JP7666041B2 - 音場支援方法および音場支援装置 - Google Patents

Description

この発明の一実施形態は、仮想空間に設定した音源による音場と、スピーカが配置される対象空間で模擬するための処理を行う音場支援方法および音場支援装置に関する。

仮想空間に設定した音源の音を実空間で模擬する技術が各種考案されている。

例えば、特許文献１に示すようなシミュレーションシステムは、視聴者の位置の変化に伴って、仮想空間上での視聴者との相対的位置関係を保って追従するように複数の仮想スピーカの位置を設定する。さらに、特許文献１に示すシミュレーションシステムは、複数の仮想スピーカの音量バランスを設定する。

特許文献１に示すシミュレーションシステムは、これらの設定に基づいて、複数の仮想スピーカを用いた音処理を実行する。

特開２０１７－１８４１７４号公報

しかしながら、仮想音源（特許文献１の仮想スピーカ）を用いて設定された音を対象空間で放音する場合、この音は、対象空間に配置され、仮想音源が割り当てられたスピーカによって放音される。すなわち、対象空間で放音される音は、仮想音源の音をスピーカの音で模擬したものである。

そして、従来、仮想音源からの音と、対象空間でスピーカによって模擬的に再生される音（模擬再生音）とは、比較できなかった。そのため、視聴者は、模擬再生音によって仮想音源からの音をどの程度模擬できているかを確認できず、調整を容易に行えなかった。

そこで、この発明の一実施形態は、仮想音源の音と模擬再生音とを比較可能にすることを目的とする。

音場支援方法は、仮想空間上で設定される音源の位置情報と、対象空間に設定されるスピーカからの出力音で音源の音を模擬するときの音源の定位情報と、のいずれか一方を選択し、選択された位置情報および定位情報に基づく音を用いて、スピーカによる音源の音像定位を調整する。

音場支援方法は、仮想音源の音と模擬再生音とを視聴者が比較できる。

本発明の第１の実施形態に係る音場支援装置を含む音場支援システムの構成を示す機能ブロック図である。 本発明の第１の実施形態に係る音場支援方法における音源、視聴点、複数スピーカの位置関係の一例を示す図であり、音源の位置座標、視聴点の位置座標、複数のスピーカの位置座標を示す図である。 音源から放音するイメージを示す図であり、音源をスピーカにレンダリングして放音するイメージを示す図である。 本発明の第１の実施形態に係る音場支援方法の第１方法を示すフローチャートである。 本発明の第１の実施形態に係る音場支援方法の第２方法を示すフローチャートである。 パラメータ調整用のＧＵＩの一例を示す図である。 本発明の第２の実施形態に係る音場支援装置を含む音場支援システムの構成を示す機能ブロック図である。 本発明の第２の実施形態に係る音場支援方法における音源、視聴点、複数スピーカ、仮想空間の位置関係の一例を示す図である。 音の広がりおよび定位感の調整用のＧＵＩの一例を示す図である。 本発明の第２の実施形態に係る音場支援方法を示すフローチャートである。 本発明の第３の実施形態に係る音場支援装置を含む音場支援システムの構成を示す機能ブロック図である。 本発明の第３の実施形態に係る音場支援方法を示すフローチャートである。

本発明の実施形態に係る音場支援方法および音場支援装置について、図を参照して説明する。

本実施形態において、対象空間は、視聴者がスピーカ等を用いて、仮想空間に設定した音源の音を実際に聞く空間である。なお、より詳細には、本実施形態の音場支援方法においては、対象空間は、スピーカが実際に配置される空間を意味するのではなく、スピーカを配置して、視聴者がこのスピーカからの音を聞く予定の空間を意味する。仮想空間は、対象空間で模擬したい音源が設定される空間である。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る音場支援装置を含む音場支援システムの構成を示す機能ブロック図である。図２（Ａ）は、本発明の第１の実施形態に係る音場支援方法における音源、視聴点、複数スピーカの位置関係の一例を示す図であり、図２（Ｂ）は、図２（Ａ）の場合における音源の位置座標、視聴点の位置座標、複数のスピーカの位置座標を示す図である。図３（Ａ）は、音源から放音するイメージを示す図であり、図３（Ｂ）は、音源をスピーカにレンダリングして放音するイメージを示す図である。

図２（Ａ）に示すように、対象空間９０には、視聴者が視聴する視聴点９００、複数のスピーカＳＰ１－ＳＰ５が配置される。この対象空間９０には、仮想空間が設定されている。仮想空間には、音源ＯＢＪが設定される。

なお、本実施形態の説明では、音源は１個であるが、音源は複数個であってもよい。音源が複数個の場合、以下に示す音場支援方法は、複数の音源毎に適用してもよい。または、以下に示す音場支援方法は、複数の音源をまとめて適用してもよい。なお、本実施形態では、音源１個の場合を説明する。また、本実施形態の説明では、スピーカの台数は５台であるが、スピーカの台数はこれに限るものではない。

対象空間９０の座標系と仮想空間の座標系とは、例えば、直交三軸の方向、中心点が一致するように設定されている。この場合、対象空間９０での座標系による位置座標と、仮想空間の座標系による位置座標とは一致する。なお、対象空間９０の座標系と仮想空間の座標系とが一致しなくても、この場合は、対象空間９０と仮想空間との間の座標変換行列が設定されていればよい。

図１に示すように、音場支援システムは、音場支援装置１０、および、ヘッドフォン８０を備える。音場支援装置１０は、視聴点設定部２１、音源位置設定部２２、スピーカ位置設定部２３、調整操作部２９、模擬再生音信号生成部３０、選択部４０、および、バイノーラル処理部５０を備える。音場支援装置１０は、上述の各機能部を実行するプログラムと、このプログラムを記憶する記憶媒体と、このプログラムを実行するＣＰＵ等の演算処理装置とによって実現される。

視聴点設定部２１は、対象空間９０における視聴点９００の位置座標Ｐｒを設定する。視聴点設定部２１は、視聴点９００の位置座標Ｐｒを、模擬再生音信号生成部３０およびバイノーラル処理部５０に出力する。

音源位置設定部２２は、仮想空間における音源ＯＢＪの位置座標Ｐｏｂｊ（より具体的には、仮想空間における音源を対象空間９０に射影した位置座標）を設定する。音源位置設定部２２は、音源ＯＢＪの位置座標Ｐｏｂｊを、模擬再生音信号生成部３０およびバイノーラル処理部５０に出力する。

スピーカ位置設定部２３は、対象空間９０における複数のスピーカＳＰ１－ＳＰ５の位置座標Ｐｓｐ１－Ｐｓｐ５を設定する。スピーカ位置設定部２３は、複数のスピーカＳＰ１－Ｐ５の位置座標Ｐｓｐ１－Ｐｓｐ５を、模擬再生音信号生成部３０およびバイノーラル処理部５０に出力する。

調整操作部２９は、調整用のパラメータの操作入力を受け付ける。調整操作部２９は、調整用のパラメータを模擬再生音信号生成部３０に出力する。

模擬再生音信号生成部３０は、オブジェクト再生音信号から、対象空間９０のスピーカＳＰ１－ＳＰ５に出力するための模擬再生音信号を生成する。

ここで、オブジェクト再生音信号とは、音源ＯＢＪから出力される音信号である。模擬再生音信号とは、音源ＯＢＪをレンダリングしたスピーカによって音源ＯＢＪの音像定位を行うための音信号である。

より具体的には、模擬再生音信号生成部３０は、視聴点９００の位置座標Ｐｒを基準点として、音源ＯＢＪの位置座標Ｐｏｂｊと複数のスピーカＳＰ１－ＳＰ５の位置座標Ｐｓｐ１－Ｐｓｐ５との位置関係を算出する。模擬再生音信号生成部３０は、この位置関係を用いて、音源ＯＢＪの音像定位情報を設定する。音像定位情報とは、複数のスピーカＳＰ１－ＳＰ５が出力する音によって視聴点９００において音源ＯＢＪで放音しているように設定する情報であり、複数のスピーカＳＰ１－ＳＰ５からの出力音の音量、出力タイミングを決定する情報である。

模擬再生音信号生成部３０は、音源ＯＢＪの音像定位情報を用いて、音源ＯＢＪをレンダリングする複数のスピーカを設定する（図３（Ｂ）参照）。模擬再生音信号生成部３０は、音源ＯＢＪがレンダリングされた複数のスピーカで再生する模擬再生音信号を生成する。模擬再生音信号生成部３０は、模擬再生音信号を選択部４０に出力する。

選択部４０は、視聴者等からの操作入力を受け、オブジェクト再生音信号と、模擬再生音信号とを選択する。より具体的に、仮想空間上に設定された音源ＯＢＪから直接出力された音を聞く設定（図３（Ａ）の状態）が選択されると、選択部４０は、オブジェクト再生音信号を選択して出力する。一方、レンダリングされた複数のスピーカからの音を聞く設定（図３（Ｂ）の状態）が選択されると、選択部４０は、模擬再生音信号を選択して出力する。言い換えれば、音源ＯＢＪの位置情報が選択されれば、オブジェクト再生音信号を選択して出力し、スピーカを用いた音源ＯＢＪの定位情報が選択されれば、模擬再生音信号を選択して出力する。

選択部４０は、選択した音信号をバイノーラル処理部５０に出力する。

バイノーラル処理部５０は、選択部４０で選択された音信号にバイノーラル処理を施す。なお、バイノーラル処理は頭部伝達関数を用いるものであり、詳細な内容は既知であり、バイノーラル処理の詳細な説明は、省略する。

より具体的には、選択部４０がオブジェクト再生音信号を選択した場合、バイノーラル処理部５０は、音源ＯＢＪの位置座標Ｐｏｂｊと視聴点９００の位置座標Ｐｒとを用いて、音源ＯＢＪの音信号にバイノーラル処理を施す。選択部４０が模擬再生音信号を選択した場合、バイノーラル処理部５０は、音源ＯＢＪがレンダリングされたスピーカＳＰの位置座標Ｐｓｐと視聴点９００の位置座標Ｐｒとを用いて、模擬再生音信号にバイノーラル処理を施す。

例えば、図２（Ａ）、図２（Ｂ）、図３（Ａ）、図３（Ｂ）の場合であれば、選択部４０がオブジェクト再生音信号を選択した場合、バイノーラル処理部５０は、音源ＯＢＪの位置座標Ｐｏｂｊと視聴点９００の位置座標Ｐｒとを用いて、オブジェクト再生音信号にバイノーラル処理を施す。選択部４０が模擬再生音信号を選択した場合、バイノーラル処理部５０は、音源ＯＢＪがレンダリングされたスピーカＳＰ１、ＳＰ５の位置座標Ｐｓｐ１、Ｐｓｐ５と視聴点９００の位置座標Ｐｒとを用いて、模擬再生音信号にバイノーラル処理を施す。

バイノーラル処理部５０は、バイノーラル処理を施した音信号（バイノーラル信号）を、ヘッドフォン８０に出力する。

ヘッドフォン８０は、バイノーラル信号による音信号を再生して放音する。なお、本実施形態では、ヘッドフォン８０を用いて放音する態様を示したが、２チャンネルのステレオスピーカを用いて放音することもできる。

このような構成によって、オブジェクト再生音信号が選択された場合、視聴者は、ヘッドフォン８０を通じて、音源ＯＢＪの位置に音源が定位した音（オブジェクト再生音）を聞くことができる。一方、模擬再生音信号が選択された場合、視聴者は、ヘッドフォンを通じて、音源ＯＢＪにレンダリングしたスピーカによって音源ＯＢＪの位置に音源を模擬的に定位させた音（模擬再生音）を聞くことができる。

これにより、視聴者は、実際に実空間にスピーカを配置しなくても、オブジェクト再生音と模擬再生音とを比較して聞くことができる。したがって、視聴者は、オブジェクト再生音と模擬再生音との相違を直接体感でき、模擬再生音がオブジェクト再生音を精度良く再現（模擬）できているか、オブジェクト再生音と模擬再生音との間で違和感がないかを判断できる。

また、視聴者は、このような体感結果を参照することで、模擬再生音信号の調整用のパラメータを調整できる。そして、このようなパラメータの調整を繰り返すことによって、視聴者は、模擬再生音によってオブジェクト再生音を精度良く再現できる。

なお、ここでは、音源ＯＢＪの音を精度良く再現するために、模擬再生音信号を調整する態様を示した。しかしながら、例えば、対象空間９０のスピーカの位置の変更、パラメータの設定の変更が難しい場合で、音源ＯＢＪの位置設定を変更できる場合には、上述のバイノーラル処理された音を聞いて、視聴者が音源ＯＢＪの設定を変更し、所望の音場を実現することが可能である。

（第１実施形態の音場支援方法１）
図４は、本発明の第１の実施形態に係る音場支援方法の第１方法を示すフローチャートである。図４に示す音場支援方法は、バイノーラル処理が施された音信号を出力するまでを実行するものである。なお、図４に示す各処理における詳細な説明は上述しているので、以下での詳細な説明は省略する。また、以下では、図２（Ａ）、図２（Ｂ）、図３（Ａ）、図３（Ｂ）に示す配置態様の場合を例に説明する。

音源位置設定部２２は、仮想空間における音源ＯＢＪの位置を設定する（Ｓ１１）。スピーカ位置設定部２３は、対象空間におけるスピーカＳＰ１－ＳＰ５の位置を設定する（Ｓ１２）。

模擬再生音信号生成部３０は、音源ＯＢＪの位置座標Ｐｏｂｊ、スピーカＳＰ１－ＳＰ５の位置座標Ｐｓｐ１－Ｐｓｐ５、視聴点９００の位置座標Ｐｒを用いて、音源ＯＢＪをスピーカＳＰ１、ＳＰ５にレンダリングする（Ｓ１３）。模擬再生音信号生成部３０は、レンダリング結果を用いて模擬再生音信号を生成する（Ｓ１４）。

選択部４０は、視聴者等からの操作によって、オブジェクト再生音信号と模擬再生音信号とを選択する（Ｓ１５）。例えば、音場支援装置１０は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を備える。ＧＵＩは、再生対象の音信号を選択する操作子を備える。視聴者がオブジェクト再生音信号の出力を選択すれば、選択部４０は、オブジェクト再生音信号を選択する（Ｓ１５０：ＹＥＳ）。視聴者が模擬再生音信号の出力を選択すれば、選択部４０は、模擬再生音信号を選択する（Ｓ１５０：ＮＯ）。なお、オブジェクト再生音信号と模擬再生音信号との選択は、切り替え時間を設定し、この時間に応じて、自動で切り替えるようにすることも可能である。

バイノーラル処理部５０は、選択した音信号にバイノーラル処理を施し、バイノーラル信号を生成する。より具体的には、オブジェクト再生音信号が選択されていれば、バイノーラル処理部５０は、オブジェクト再生音信号にバイノーラル処理を施し、オブジェクト再生音信号のバイノーラル信号を生成する（Ｓ１６１）。模擬再生音信号が選択されていれば、バイノーラル処理部５０は、模擬再生音信号にバイノーラル処理を施し、模擬再生音信号のバイノーラル信号を生成する（Ｓ１６２）。

ヘッドフォン８０は、バイノーラル信号を再生する（Ｓ１７）。より具体的には、ヘッドフォン８０は、オブジェクト再生音信号のバイノーラル信号が入力されれば、このバイノーラル信号を再生する。ヘッドフォン８０は、模擬再生音信号のバイノーラル信号が入力されれば、このバイノーラル信号を再生する。

このような処理を行うことによって、音場支援方法は、オブジェクト再生音と模擬再生音とを選択的に、視聴者等に提供できる。

（第１実施形態の音場支援方法２）
図５は、本発明の第１の実施形態に係る音場支援方法の第２方法を示すフローチャートである。図５に示す音場支援方法は、図４に示す音場支援方法に、パラメータ調整を加えたものである。なお、図５に示す処理における図４に示す処理と同じ処理の説明は省略する。また、以下では、図２（Ａ）、図２（Ｂ）、図３（Ａ）、図３（Ｂ）に示す配置態様の場合を例に説明する。

図５に示す音場支援方法は、図４に示す音場支援方法に対して、ステップＳ１７までは同じ処理を実行する。

視聴者は、ステップＳ１５からステップＳ１７の処理を実行して再生する音信号を切り替える。これにより、視聴者は、オブジェクト再生音信号のバイノーラル信号の音と、模擬再生音信号のバイノーラル信号の音とを聞き、これらの音を比較する。

パラメータ調整が不要であれば（Ｓ２３：ＮＯ）、すなわち、模擬再生音信号のバイノーラル信号による音がオブジェクト再生音信号のバイノーラル信号による音を精度良く再現できていれば、処理は終了する。パラメータ調整が必要であれば（Ｓ２３：ＹＥＳ）、視聴者は、調整操作部２９を用いてパラメータ調整を行う（Ｓ２４）。模擬再生音信号生成部３０は、この調整されたパラメータを用いて模擬再生音信号を生成する（Ｓ１４）。

なお、調整されるパラメータは、例えば、音源ＯＢＪとスピーカとのレンダリングの設定、模擬再生音信号の音量レベル、周波数特性等である。図６は、パラメータ調整用のＧＵＩの一例を示す図である。図６に示すように、ＧＵＩ１００は、位置関係確認ウィンドウ１１１、波形確認ウィンドウ１１２、複数の操作子１１３を備える。複数の操作子１１３は、それぞれに、ノブ１１３１と調整値表示ウィンドウ１１３２とを備える。

位置関係確認ウィンドウ１１１は、音源ＯＢＪ１－ＯＢＪ３と複数のスピーカＳＰ１－ＳＰ５とを、それぞれに設定された位置座標で表示する。音源ＯＢＪに割り当てるスピーカＳＰの設定は、例えば、位置関係確認ウィンドウ１１１において、レンダリングする音源ＯＢＪとスピーカＳＰとを選択することによって実現できる。

波形確認ウィンドウ１１２は、模擬再生音信号の波形を表示する。表示する模擬再生音信号の選択は、例えば、位置関係確認ウィンドウ１１１に表示された複数のスピーカＳＰ１－ＳＰ５を選択することによって切り替えられる。

複数の操作子１１３は、例えば、模擬再生音信号のＱ、フィルタ処理の設定、ゲイン値の設定等を、複数の周波数帯域（Ｈｉ、Ｍｉｄ、Ｌｏｗ）毎に受け付ける操作子である。ノブ１１３１は、視聴者からの操作を受け付け、調整値表示ウィンドウ１１３２は、ノブ１１３１によって設定された数値を表示する。複数の操作子１１３による操作入力によって、模擬再生音信号のパラメータは調整される。そして、この調整されたパラメータによる波形が、波形確認ウィンドウ１１２に表示される。

視聴者は、このＧＵＩ１００を見ながら操作することによって、パラメータを調整および設定できる。

以降、視聴者は、オブジェクト再生音信号のバイノーラル信号による音と模擬再生音信号のバイノーラル信号による音とを聞き比べながらパラメータ調整を行う。これにより、視聴者は、模擬再生音信号のバイノーラル信号による音がオブジェクト再生音信号のバイノーラル信号による音を精度良く再現する、すなわち、スピーカによる模擬再生音が音源ＯＢＪのオブジェクト再生音を精度良く模擬できるように調整できる。なお、オブジェクト再生音と模擬再生音とを出力して比較する手段、および、調整操作部２９によって、本発明の「調整部」は実現される。

なお、本実施形態の音場支援装置１０および音場支援方法は、バイノーラル再生によるオブジェクト再生音と模擬再生音の比較を行う態様を示した。しかしながら、本実施形態の音場支援装置１０および音場支援方法は、例えば、オブジェクト再生音信号の波形や周波数スペクトル、ＨＯＡ（高次アンビソニックス）と、模擬再生音信号の波形や周波数スペクトル、ＨＯＡ（高次アンビソニックス）を比較して、パラメータ調整を行うことも可能である。

［第２の実施形態］
本発明の第２の実施形態に係る音場支援装置および音場支援方法について、図を参照して説明する。

図７は、本発明の第２の実施形態に係る音場支援装置を含む音場支援システムの構成を示す機能ブロック図である。図８は、本発明の第２の実施形態に係る音場支援方法における音源、視聴点、複数スピーカ、仮想空間の位置関係の一例を示す図である。

図７に示すように、第２の実施形態に係る音場支援装置１０Ａは、第１の実施形態に係る音場支援装置１０に対して、リバーブ処理部６０を追加した点で異なる。音場支援装置１０Ａの他の構成は、音場支援装置１０と同様であり、同様の箇所の説明は省略する。

音場支援装置１０Ａは、リバーブ処理部６０を備える。リバーブ処理部６０には、オブジェクト再生音信号および模擬再生音信号が入力される。

リバーブ処理部６０は、仮想空間９９の情報を用いて初期反射音信号および残響音信号を生成する。初期反射音信号とは、音源ＯＢＪの音が仮想空間の壁で反射（一次反射）して視聴点に届く音を模擬する音信号である。初期反射音信号は、仮想空間の幾何学形状、仮想空間における音源ＯＢＪの位置、視聴点の位置において決定される。残響音信号は、仮想空間を多重反射して視聴点に届く音を模擬する音信号である。残響音信号は、仮想空間の幾何学形状、仮想空間における視聴点の位置において決定される。

より具体的には、リバーブ処理部６０は、音源ＯＢＪの位置情報と仮想空間９９の情報と視聴点の位置情報とを用いて、オブジェクト再生音信号に対する初期反射音信号および残響音信号を生成する。リバーブ処理部６０は、この生成した初期反射音信号および残響音信号をオブジェクト再生音信号に付加して、選択部４０に出力する。

また、リバーブ処理部６０は、音源ＯＢＪの位置情報、スピーカＳＰ１－スピーカＳＰ５の位置情報、仮想空間９９の情報、および、視聴点の位置情報を用いて、模擬再生音信号に対する初期反射音信号および残響音信号を生成する。具体的な一例として、リバーブ処理部６０は、音源ＯＢＪおよび視聴点の位置情報と仮想空間９９の情報とから、この音源ＯＢＪに対する初期反射音の発生位置を模擬的に表す仮想音源を設定する。リバーブ処理部６０は、この仮想音源と、この仮想音源が割り当てられるスピーカＳＰとの位置関係から、初期反射音信号を生成する。リバーブ処理部６０は、仮想空間の幾何学形状、仮想空間における視聴点の位置を用いて、残響音信号を生成する。リバーブ処理部６０は、このように生成した初期反射音信号および残響音信号を模擬再生音信号に付加して、選択部４０に出力する。

このような構成によって、音場支援装置１０Ａは、オブジェクト再生音（音源ＯＢＪからの音）および模擬再生音（スピーカで模擬した音）に、それぞれのリバーブ成分（初期反射音および残響音）を付加して、出力できる。これにより、視聴者は、リバーブ成分も考慮して、模擬再生音によるオブジェクト再生音の再現の精度を判断できる。

さらに、リバーブ処理部６０は、模擬再生音信号の初期反射音信号および残響音信号に対して広がりおよび定位感を与えることもできる。この場合、視聴者は、例えば、図９に示すようなＧＵＩを用いて調整を行うことができる。図９は、音の広がりおよび定位感の調整用のＧＵＩの一例を示す図である。図９に示すように、ＧＵＩ１００Ａは、設定表示ウィンドウ１１１Ａ、出力状態表示ウィンドウ１１５、複数の操作子１１６を備える。複数の操作子１１６は、ノブ１１６１、調整値表示ウィンドウ１１６２を備える。

設定表示ウィンドウ１１１Ａは、音源ＯＢＪに対して設定された仮想音源ＳＳ、複数のスピーカＳＰ、仮想空間９９、視聴点ＲＰを、それぞれに設定された位置座標で表示する。

複数の操作子１１６は、ウェイト値を設定するウェイトボリューム、シェイプ値を設定するシェイプボリューム等を設定する操作子である。ウェイトボリューム用の操作子１１６は、左右のウェイト、前後のウェイト、上下のウェイトを設定する操作子１１６をそれぞれに備え、それぞれに、ゲイン値の設定用の操作子と、遅延量の設定用の操作子とを備える。シェイプボリューム用の操作子１１６は、広がりを設定する操作子を備え、ゲイン値の設定用の操作子と、遅延量の設定用の操作子とを備える。視聴者は、複数の操作子１１６を操作することで、音の広がりおよび定位感の調整できる。

出力状態表示ウィンドウ１１５は、複数の操作子１１６によって設定されたウェイト値およびシェイプ値によって実現される音の広がりおよび定位感を、グラフィカルに模式的に表示する。これにより、ユーザは、複数の操作子１１６によって設定した音の広がりおよび定位感を画像として容易に認識できる。なお、出力状態表示ウィンドウ１１５は、バイノーラル処理された音をヘッドフォン８０で聞く場合に、頭部を表す画像と、この頭部の画像に合わせて音の広がりおよび定位感を表現する画像とを組み合わせて表示することもできる。

これにより、視聴者は、音の広がりおよび定位感も考慮して、模擬再生音によるオブジェクト再生音の再現の精度を判断できる。

なお、例えば、設定表示ウィンドウ１１１Ａを操作することによって、視聴者は、仮想空間９９の形状、再生空間に対する位置、音源ＯＢＪの位置、複数のスピーカＳＰの位置を調整することも可能である。この場合、音場支援装置は、調整された各種の内容に応じて、オブジェクト再生音信号および模擬再生音信号を生成し、同様のリバーブ処理を施す。これにより、視聴者は、この調整後についても、模擬再生音によるオブジェクト再生音の再現の精度を判断できる。

（第２実施形態の音場支援方法）
図１０は、本発明の第２の実施形態に係る音場支援方法を示すフローチャートである。図１０に示す音場支援方法は、図４に示す音場支援方法に、リバーブ成分の付加処理を加えたものである。なお、図１０に示す各処理における図４に示す処理と同じ処理の説明は省略する。

図１０に示す音場支援方法は、図４に示す音場支援方法に対して、ステップＳ１４までは同じ処理を実行する。

リバーブ処理部６０は、オブジェクト再生音信号および模擬再生音信号に対するリバーブ成分（初期反射音信号および残響音信号）を生成し、オブジェクト再生音信号および模擬再生音信号に付加する（Ｓ３１）。

音場支援装置１０Ａは、リバーブ成分が付加した音信号およびリバーブ成分が付加した模擬再生音信号を用いて、ステップＳ１５以降の処理を実行する。

これにより、第２の実施形態の音場支援方法は、オブジェクト再生音（音源ＯＢＪからの音）および模擬再生音（スピーカで模擬した音）に、それぞれのリバーブ成分（初期反射音および残響音）を付加して、出力できる。これにより、視聴者は、リバーブ成分も考慮して、模擬再生音によるオブジェクト再生音の再現の精度を判断できる。

［第３の実施形態］
本発明の第３の実施形態に係る音場支援装置および音場支援方法について、図を参照して説明する。図１１は、本発明の第３の実施形態に係る音場支援装置を含む音場支援システムの構成を示す機能ブロック図である。

図１１に示すように、第３の実施形態に係る音場支援装置１０Ｂは、第１の実施形態に係る音場支援装置１０に対して、姿勢検出部７０を追加した点で異なる。音場支援装置１０Ｂの他の構成は、音場支援装置１０と同様であり、同様の箇所の説明は省略する。

姿勢検出部７０は、視聴者の頭部に装着され、視聴者の頭部の姿勢を検出する。例えば、姿勢検出部７０は、直交三軸の姿勢検出センサであり、ヘッドフォン８０に装着されている。姿勢検出部７０は、検出した視聴者の頭部の姿勢を、バイノーラル処理部５０に出力する。

バイノーラル処理部５０は、視聴者の頭部の姿勢検出結果、すなわち、視聴者の顔の向きを用いて、オブジェクト再生音信号および模擬再生音信号にバイノーラル処理を施す。

これにより、音場支援装置１０Ｂは、視聴者の顔の向きに応じたオブジェクト再生音および模擬再生音を体感できる。したがって、視聴者は、対象空間内で顔の向きを変えながら、その顔の向きに応じたオブジェクト再生音と模擬再生音とを比較して聞くことができる。このため、視聴者は、対象空間内において複数の向きで、オブジェクト再生音と模擬再生音との相違を直接体感でき、模擬再生音がオブジェクト再生音を精度良く再現（模擬）できているか、オブジェクト再生音と模擬再生音との間で違和感がないかを、より精度良く判断できる。また、この結果、視聴者は、模擬再生音によってオブジェクト再生音をより精度良く再現できる。

（第３実施形態の音場支援方法）
図１２は、本発明の第３の実施形態に係る音場支援方法を示すフローチャートである。図１２に示す音場支援方法は、図４に示す音場支援方法に、頭部の姿勢検出に関連する処理を加えたものである。なお、図１２に示す各処理における図４に示す処理と同じ処理の説明は省略する。

図１２に示す音場支援方法は、図４に示す音場支援方法に対して、ステップＳ１４までは同じ処理を実行する。

姿勢検出部７０は、視聴者の頭部の姿勢を検出する（Ｓ４１）。

選択部４０は、視聴者等からの操作によって、オブジェクト再生音信号と模擬再生音信号とを選択する（Ｓ１５）。

オブジェクト再生音信号が選択されれば（Ｓ１５０：ＹＥＳ）、バイノーラル処理部５０は、検出した頭部の姿勢を用いて、オブジェクト再生音信号にバイノーラル処理を施す（Ｓ４６１）。模擬再生音信号が選択されれば（Ｓ１５０：ＮＯ）、バイノーラル処理部５０は、検出した頭部の姿勢を用いて、模擬再生音信号にバイノーラル処理を施す（Ｓ４６２）。

音場支援装置１０Ｂは、バイノーラル処理が施された音信号を用いて、ステップＳ１７の処理を実行する。

これにより、第３の実施形態の音場支援方法は、視聴者の顔の向きに応じたオブジェクト再生音および模擬再生音を出力できる。したがって、視聴者は、対象空間内で顔の向きを変えながら、その顔の向きに応じたオブジェクト再生音と模擬再生音とを比較して聞くことができる。このため、視聴者は、対象空間内において複数の向きで、オブジェクト再生音と模擬再生音との相違を直接体感でき、模擬再生音がオブジェクト再生音を精度良く再現（模擬）できているか、オブジェクト再生音と模擬再生音との間で違和感がないかを、より精度良く判断できる。また、この結果、視聴者は、模擬再生音によってオブジェクト再生音をより精度良く再現できる。

なお、上述の各実施形態の構成および処理は、適宜組合せが可能であり、それぞれの組合せに応じた作用効果を奏することができる。

また、本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０、１０Ａ、１０Ｂ：音場支援装置
２１：視聴点設定部
２２：音源位置設定部
２３：スピーカ位置設定部
２９：調整操作部
３０：模擬再生音信号生成部
４０：選択部
５０：バイノーラル処理部
６０：リバーブ処理部
７０：姿勢検出部
８０：ヘッドフォン
９０：対象空間
９９：仮想空間
１００、１００Ａ：ＧＵＩ
１１１：位置関係確認ウィンドウ
１１１Ａ：設定表示ウィンドウ
１１２：波形確認ウィンドウ
１１３、１１６：操作子
１１５：出力状態表示ウィンドウ
９００：視聴点

Claims (10)

1. 仮想空間上で設定される音源の位置情報を選択し、
   対象空間に設定されるスピーカからの出力音で前記音源の音を模擬するときの前記音源の定位情報を選択し、
   前記選択された前記位置情報および前記定位情報に基づく音を用いて、前記スピーカによる前記音源の音像定位を調整する、
   音場支援方法。
2. 前記選択された前記位置情報および前記定位情報に基づく音を比較し、比較結果に基づいて前記音像定位を調整する、
   請求項１に記載の音場支援方法。
3. 前記選択された前記位置情報および前記定位情報に基づく音に、初期反射音または残響音をそれぞれ付加する、
   請求項１または請求項２に記載の音場支援方法。
4. 前記対象空間に視聴位置を設定し、
   前記位置情報または前記定位情報と前記視聴位置とに基づいてバイノーラル処理を設定し、
   前記バイノーラル処理された音を出力する、
   請求項１乃至請求項３のいずれかに記載の音場支援方法。
5. 前記視聴位置での視聴者の顔の向きを設定し、
   前記位置情報または前記定位情報、前記視聴位置、および、前記顔の向きに基づいて、前記バイノーラル処理を設定する、
   請求項４に記載の音場支援方法。
6. 仮想空間上で設定される音源の位置情報を選択し、
   対象空間に設定されるスピーカからの出力音で前記音源の音を模擬するときの前記音源の定位情報を選択する、
   選択部と、
   前記選択された前記位置情報および前記定位情報に基づく音を用いて、前記スピーカによる前記音源の音像定位を調整する調整部と、
   を備える、音場支援装置。
7. 前記調整部は、
   前記選択された前記位置情報および前記定位情報に基づく音を比較し、比較結果に基づいて前記音像定位を調整する、
   請求項６に記載の音場支援装置。
8. 前記選択された前記位置情報および前記定位情報に基づく音に初期反射音または残響音をそれぞれ付加するリバーブ処理部を備える、
   請求項６または請求項７に記載の音場支援装置。
9. 前記対象空間に視聴位置を設定する視聴点設定部と、
   前記位置情報または前記定位情報と前記視聴位置とに基づいて、前記音にバイノーラル処理を施して、前記バイノーラル処理された音を出力するバイノーラル処理部と、
   を備える、
   請求項６乃至請求項８のいずれかに記載の音場支援装置。
10. 前記視聴位置での視聴者の顔の向きを検出する姿勢検出部を備え、
    前記バイノーラル処理部は、
    前記位置情報または前記定位情報、前記視聴位置、および、前記顔の向きに基づいて、前記バイノーラル処理を設定する、
    請求項９に記載の音場支援装置。

Images