JP2016538578A - ダウンミックス信号を生成するための概念 - Google Patents

Abstract

第１の入力信号（Ｘ1）及び第２の入力信号（Ｘ2）をダウンミックスしてダウンミックス信号にするためのオーディオ信号処理デバイス（１）であって、前記第１の入力信号（Ｘ1）及び前記第２の入力信号（Ｘ2）を受信するとともに、前記第１の入力信号（Ｘ1）に関しては前記第２の入力信号（Ｘ2）よりも相関が少ない抽出信号を出力するように構成されている相違点抽出器（２）と、前記ダウンミックス信号を得るために、前記第１の入力信号（Ｘ1）及び前記抽出信号を組み合わせるように構成されているコンバイナ（３）と、を備えるデバイス。【選択図】図１

Description

本発明はオーディオ信号処理に関し、特に、複数の入力信号の、ダウンミックス信号へのダウンミックスに関する。

信号処理において、２つ以上の信号を混合して１つの和信号にすることが必要になることが多い。混合手順は、特に、混合されるべき２つの信号に、類似しているものの位相がシフトしている信号部分が含まれている場合に、通常、何らかの信号欠陥を伴う。それらの信号が合計されると、その合計された信号は、深刻な櫛形フィルタ（comb-filter）アーティファクトを含む。それらのアーティファクトを防止するために、種々の方法が提案されているが、これらは計算複雑度の点から非常にコストがかかるか、又はすでに欠陥のある信号に補正利得若しくは補正項を適用することに基づくかのいずれかである。

マルチチャネルオーディオ信号をより少数のチャネルに変換することは、通常、いくつかのオーディオチャネルを混合することを含む。例えば、ＩＴＵは、特定のマルチチャネル設定から別の設定への下方変換のために、静的利得を有する時間領域の受動的混合行列を使用することを推奨している［１］。［２］において、非常に類似した手法が提案されている。

ダイアログの明瞭性（intelligibility）を向上するために、ＩＴＵベース及び行列ベースのダウンミックスを組み合わせた手法が［３］において提案されている。また、オーディオ符号化器は、例えばいくつかのパラメータモジュールにおいて、チャネルの受動的ダウンミックスを利用する［４，５，６］。

［７］に記載されている手法は、すべての入力及び出力チャネル、すなわち、混合プロセスの前後のすべての単一のチャネルのラウドネス測定を実施する。入力エネルギー（すなわち、混合されると想定されるチャネルのエネルギー）と出力エネルギー（すなわち、混合されたチャネルのエネルギー）との合計比率を求めることによって、信号エネルギー損失及び着色効果が低減されるように、利得を導出することができる。

［８］に記載されている手法は、後に周波数領域に変換される受動的ダウンミックスを実施する。このダウンミックスは、その後、空間補正ステージによって分析される。空間補正ステージは、チャネル間レベル差及びチャネル間位相差に対する修正を通じて任意の空間的不一致を検出及び補正するように試行する。その後、ダウンミックス信号が入力信号と同じ電力を有することを保証するために、信号に対しイコライザが適用される。最後のステップにおいて、ダウンミックス信号が変換されて時間領域に戻される。

［９，１０］においては異なる手法が開示されており、ダウンミックスされるべき２つの信号が周波数領域に変換され、所望の／実際の値の対が構築される。所望の値は、信号エネルギーの和の根として算出する一方で、実際の値は、和信号のエネルギーの根として算出する。２つの値はその後、比較され、実際の値が所望の値よりも大きいか又は小さいかに応じて、異なる補正が実際の値に適用される。

代わりに、位相差に起因して信号キャンセル効果が発生しないように、信号の位相を整列させることを目的とした方法がある。そのような方法は、例えば、パラメトリックステレオ符号化器について提案されている［１１，１２，１３］。

［１，２，３，４，５，６］においてなされるような受動的ダウンミックスは、信号を混合するための最も単純な手法である。しかし、さらなる動作が行われない場合、結果もたらされるダウンミックス信号は、深刻な信号損失及び櫛形フィルタ効果を被る場合がある。

［７，８，９，１０］に記載されている手法は、第１のステップにおいて両方の信号を等しく混合するという意味で受動的ダウンミックスを実施する。その後、いくつかの補正がダウンミックス信号に適用される。その補正は、櫛形フィルタ効果の低減に役立ち得る一方で、修正アーティファクトを導入することになる。これは、補正利得／項が経時的に急速に変化することによって引き起こされる。さらに、ダウンミックスされるべき信号間の１８０度の位相シフトは、依然としてゼロ値ダウンミックスという結果になり、例えば、補正利得を適用しても補償することができない。

［１１，１２，１３］において言及されているような位相整列手法は、望ましくない信号キャンセルを回避するのに役立ち得る。しかし、位相整列された信号を単純に加算する手順を依然として実施することに起因して、位相が適切に推定されなかった場合に櫛形フィルタやキャンセル（cancelation）が発生する場合がある。加えて、２つの信号間の位相関係を頑強に（robustly）推定することは容易な作業ではなく、特に２つよりも多い信号に対して行われる場合に計算集約的（computational intensive）である。

[1] ITU-R BS.775-2, "Multichannel Stereophonic Sound System With And Without Accompanying Picture," 07/2006. [2] R. Dressler, (05.08.2004) Dolby Surround Pro Logic II Decoder Principles of Operation. [Online]. Available: http://www.dolby.com/uploadedFiles/Assets/US/Doc/Professional/209_Dolby_Surround_Pro_Logic_II_Decoder_Principles_of_Operation.pdf. [3] K. Lopatka, B. Kunka, and A. Czyzewski, "Novel 5.1 Downmix Algorithm with Improved Dialogue Intelligibility," in 134th Convention of the AES, 2013. [4] J. Breebaart, K. S. Chong, S. Disch, C. Faller, J. Herre, J. Hilpert, K. Kjoerling, J. Koppens, K. Linzmeier, W. Oomen, H. Purnhagen, and J. Roeden, "MPEG Surround _ the ISO/MPEG Standard for Efficient and Compatible Multi-Channel Audio Coding," J. Audio Eng. Soc, vol. 56, no. 11, pp. 932_955, 2007. [5] M. Neuendorf, M. Multrus, N. Rellerbach, R. J. Fuchs Guillaume, J. Lecomte, Wilde Stefan, S. Bayer, S. Disch, C. Helmrich, R. Lefebvre, P. Gournay, B. Bessette, J. Lapierre, K. Kjoerling, H. Purnhagen, L. Villemoes, W. Oomen, E. Schuijers, K. Kikuiri, T. Chinen, T. Norimatsu, C. K. Seng, E. Oh, M. Kim, S. Quackenbush, and B. Grill, "MPEG Unified Speech and Audio Coding - The ISO/MPEG Standard for High-Efficiency Audio Coding of all Content Types," J. Audio Eng. Soc, vol. 132nd Convention, 2012. [6] C. Faller and F. Baumgarte, "Binaural Cue Coding-Part II: Schemes and Applications," Speech and Audio Processing, IEEE Transactions on, vol. 11, no. 6, pp. 520_531, 2003. [7] F. Baumgarte, "Equalization for Audio Mixing," Patent US 7,039,204 B2, 2003. [8] J. Thompson, A. Warner, and B. Smith, "An Active Multichannel Downmix Enhancement for Minimizing Spatial and Spectral Distortions," in 127nd Convention of the AES, October 2009. [9] G. Stoll, J. Groh, M. Link, J. Deigmoeller, B. Runow, M. Keil, R. Stoll, M. Stoll, and C. Stoll, "Method for Generating a Downward-Compatible Sound Format," US Patent US2012/0 014 526, 2012. [10] B. Runow and J. Deigmoeller, "Optimierter Stereo-Dowmix von 5.1-Mehrkanalproduktionen: An optimized Stereo-Downmix of a 5.1 multichannel audio production," in 25. Tonmeistertagung - VDT International Convention, 2008. [11] Samsudin, E. Kurniawati, Ng Boon Poh, F. Sattar, and S. George, "A Stereo toMono Dowmixing Scheme for MPEG-4 Parametric Stereo Encoder," in Acoustics, Speech and Signal Processing, 2006. ICASSP 2006 Proceedings. 2006 IEEE International Conference on, vol. 5, 2006, p. V. 2. [12] M. Kim, E. Oh, and H. Shim, "Stereo audio coding improved by phase parameters," in 129th Convention of the AES, 2010. [13] W. Wu, L. Miao, Y. Lang, and D. Virette, "Parametric Stereo Coding Scheme with a New Downmix Method and Whole Band Inter Channel Time/Phase Differences," Acoustics, Speech and Signal Processing, IEEE Transactions on, pp. 556_560, 2013.

本発明の目的は、複数の入力信号をダウンミックスしてダウンミックス信号にするための改善された概念を提供することである。

この目的は、請求項１に記載のデバイス、請求項１６に記載のシステム、請求項１７に記載の方法又は請求項１８に記載のコンピュータプログラムによって達成される。

第１の入力信号及び第２の入力信号をダウンミックスしてダウンミックス信号にするためのオーディオ信号処理デバイスであって、第１の入力信号（Ｘ₁）及び第２の入力信号（Ｘ₂）は少なくとも部分的に補正され、
第１の入力信号及び第２の入力信号を受信するとともに、第１の入力信号に関しては第２の入力信号よりも相関が少ない抽出信号を出力するように構成されている相違点抽出器と、
ダウンミックス信号を得るために、第１の入力信号及び抽出信号を組み合わせるように構成されているコンバイナと、を備えるデバイスが提供される。

本明細書において、デバイスは時間−周波数領域で説明されるが、すべての考慮事項は時間領域信号にも当てはまる。第１の入力信号及び第２の入力信号は混合されるべき信号であり、第１の入力信号は基準信号としての役割を果たす。両方の信号が相違点抽出器に供給され、第２の入力信号について、第２の入力信号の相関信号部分は拒絶され、第２の入力信号の無相関信号部分のみが抽出器の出力に通される。

提案した概念の改良点は信号が混合される方法にある。第１のステップにおいて、１つの信号が基準としての役割を果たすように選択される。その後、基準信号のどの部分がすでに他方の信号内に存在するかが判定され、基準信号内に存在しない部分（すなわち、無相関信号）のみが、ダウンミックス信号を構築するために基準に加えられる。基準信号について低相関又は無相関信号部分のみが基準信号と合成されるので、櫛形フィルタ効果が導入される危険性が最小限に抑えられる。

要約すると、２つの信号を混合して１つのダウンミックス信号にする新規な概念を提案する。新規の方法は、櫛形フィルタリングのようなダウンミックスアーティファクトが生成されてしまうのを防止することを目的とする。さらに、提案の方法は、計算効率的である。

本発明のいくつかの実施形態において、コンバイナは、エネルギースケーリングシステムを含む。エネルギースケーリングシステムは、ダウンミックスのエネルギーと、第１の入力信号及び第２の入力信号の合計エネルギーとの比が、第１の入力信号及び第２の入力信号の相関とは無関係になるように構成されている。そのようなエネルギースケーリングデバイスによって、ダウンミックスプロセスがエネルギーを維持する（すなわち、ダウンミックス信号が元のステレオ信号と同じ量のエネルギーを有する）こと、又は、少なくとも、第１の入力信号及び第２の入力信号の相関とは関係なく、知覚される音声に変化がないこと、が保証される。

本発明の実施形態において、エネルギースケーリングシステムは、スケーリング済み入力信号を得るために、第１のスケール係数に基づいて第１の入力信号をスケーリングするように構成されている第１エネルギースケーリングデバイスを備える。

本発明のいくつかの実施形態において、エネルギースケーリングシステムは、第１のスケール係数を提供するように構成されている第１のスケール係数プロバイダを備え、第１のスケール係数プロバイダは、好ましくは、第１の入力信号、第２の入力信号、抽出信号及び／又は抽出信号のためのスケール係数に応じて第１のスケール係数を計算するように構成されているプロセッサとして設計される。ダウンミックス中、基準信号（第１の入力信号）は、全体的なエネルギーレベルを維持するように、又は、自動的に、エネルギーレベルを入力信号の相関とは無関係に保つようにスケーリングされ得る。

本発明の実施形態において、エネルギースケーリングシステムは、スケーリング済み抽出信号を得るために、第２のスケール係数に基づいて抽出信号をスケーリングするように構成されている第２のエネルギースケーリングデバイスを備える。

本発明のいくつかの実施形態において、エネルギースケーリングシステムは、第２のスケール係数を提供するように構成されている第２のスケール係数プロバイダを備え、第２のスケール係数プロバイダは、好ましくは、第２のスケール係数を手動で入力するように構成されているマンマシンインターフェースとして設計される。

第２のスケール係数はイコライザとして捉えることができる。通常、これは、周波数依存で、好ましい実施形態においては、音響技師によって手動で行うことができる。もちろん、多数の異なる混合比が可能であり、これらは音響技師の経験及び／又は好みに大きく依存する。

代わりに、第２のスケール係数プロバイダは、好ましくは、第１の入力信号、第２の入力信号及び／又は抽出信号に応じて第１のスケール係数を計算するように構成されているプロセッサとして設計される。

本発明のいくつかの実施形態において、コンバイナは、第１の入力信号に基づくとともに抽出信号に基づいてダウンミックス信号を出力するための合計デバイスを含む。基準について低相関又はさらには無相関信号部分のみが基準に加わるので、櫛形フィルタ効果が導入される危険性が最小限に抑えられる。さらに、合計デバイスを使用することは、計算効率的である。

本発明のいくつかの実施形態において、相違点抽出器は、第１の入力信号から、第２の入力信号内に存在する第１の入力信号の信号部分を得るためのフィルタ係数を提供するように構成されている類似度推定器と、フィルタ係数に基づいて第２の入力信号内に存在する第１の入力信号の信号部分を低減するように構成されている類似度低減器と、を備える。そのような実施態様において、相違点抽出器は、２つのサブステージ、すなわち、類似度推定器及び類似度低減器から構成される。第１の入力信号と第２の入力信号は類似度推定ステージに供給され、第２の入力信号内に存在する第１の入力信号の信号部分が推定され、結果として生じるフィルタ係数により表される。フィルタ係数、第１の入力信号及び第２の入力信号は類似度低減器に供給され、第１の入力信号に類似している第２の入力信号の信号部分がそれぞれ抑制及び／又はキャンセルされる。その結果、第１の入力信号についての第２の入力信号の無相関信号部分の推定値である抽出信号が得られる。

本発明のいくつかの実施形態において、類似度低減器はキャンセルステージを備える。キャンセルステージは、第２の入力信号から又は第２の入力信号から導出される信号から、第２の入力信号内に存在する第１の入力信号の得られた信号部分又は得られた信号部分から導出される信号を、減算するように構成されている信号キャンセルデバイスを有する。この概念は、方法が適応性のある雑音消去の問題に使用されることに関するが、元々意図されているように、雑音又は無相関成分を消去するためには使用されず、代わりに、相関信号部分を消去し、抽出信号をもたらすために使用されるという相違点がある。

本発明のいくつかの実施形態において、キャンセルステージは複素フィルタデバイスを備える。複素フィルタデバイスは、複素値フィルタ係数を使用することによって第１の入力信号をフィルタリングするように構成されている。この手法の利点は、位相シフトをモデル化することができることである。

本発明のいくつかの実施形態において、キャンセルステージは、第２の入力信号の位相を第１の入力信号の位相に整列させるように構成されている位相シフトデバイスを備える。第１の入力信号と第２の入力信号との間の反対の位相について、第１の入力信号の突然の信号ドロップに加えて、位相跳躍及び信号キャンセル効果がダウンミックス信号内で発生する可能性がある。この効果は、第２の入力信号を第１の入力信号に向けて整列させることによって劇的に低減することができる。そのようなキャンセルステージは、逆位相整列キャンセルステージ（reverse phase aligned cancelation stage）と呼ばれる場合がある。

本発明のいくつかの実施形態において、類似度低減器は信号抑制ステージを備える。信号抑制ステージは、抽出信号を得るために第２の入力信号に抑制利得係数を乗算するように構成されている信号抑制デバイスを有する。フィルタ係数の推定誤差に起因する可聴歪みを、これらの特徴によって低減することができる。

本発明のいくつかの実施形態において、信号抑制ステージは、第２の入力信号の位相を第１の入力信号の位相に整列させるように構成されている位相シフトデバイスを備える。抑制利得係数は実数値であり、２つの入力信号の位相関係に影響を及ぼさない。しかし、いずれにせよ複素値フィルタ係数を推定しなければならないため、入力信号間の相対位相に関する追加の情報を入手し得る。この情報は、第２の入力信号の位相を第１の入力信号に向けて調整するのに使用することができる。これは、信号抑制ステージ内で抑制利得が適用される前に行うことができ、第２の入力信号の位相が、上述した複素値フィルタ係数の推定位相だけシフトされる。そのような抑制ステージは、逆位相整列抑制ステージと呼ばれる場合がある。

本発明のいくつかの実施形態において、抽出信号を得るためにキャンセルステージの出力信号が信号抑制ステージの入力に供給されるか、又は抽出信号を得るために信号抑制ステージの出力信号がキャンセルステージの入力に供給される。ダウンミックス信号の品質をさらに向上するために、コヒーレント信号成分のキャンセルと抑制の使用を組み合わせた手法が使用されてもよい。最初にキャンセル手順を実施し、その後、抑制手順を適用することにより、その結果としてダウンミックス信号を得ることができる。他の実施形態において、最初に抑制手順を実施し、その後、キャンセル手順を適用することによって、ダウンミックス信号を得てもよい。このように、第１の信号と相関する抽出信号内の信号部分をさらに低減することができる。抽出信号及び第１の入力信号は、前記のようにエネルギースケーリングすることができる。

本発明のいくつかの実施形態において、第２の入力信号内に存在する第１の入力信号の信号部分は、重み付け係数に応じて、第２の入力信号から減算される前に重み付けされている。重み付け係数は、通常、時間と周波数に依存するものであってもよいが、定数として選択することもできる。いくつかの実施形態において、逆位相整列キャンセルモジュールは、ここでもわずかな修正を施して使用することができ、同様に、フィルタ係数の絶対値によるフィルタリングの後に、重み付け係数による重み付けを行わなければならない。

本発明のいくつかの実施形態において、位相シフトデバイスは、重み付け係数に応じて、第２の入力信号の位相を第１の入力信号の位相に整列させるように構成されている。

本発明のいくつかの実施形態において、位相シフトデバイスは、重み付け係数が所定閾値以下である場合にのみ、第２の入力信号の位相を第１の入力信号の位相に整列させるように構成されている。

本発明はさらに、少なくとも本発明による第１のデバイスと、本発明による第２のデバイスとを備え、複数の入力信号をダウンミックスしてダウンミックス信号にするためのオーディオ信号処理システムに関する。第１のデバイスのダウンミックス信号が、第１の入力信号又は第２の入力信号として、第２のデバイスに供給される。複数の入力チャネルをダウンミックスするために、カスケード接続された複数の２チャネルダウンミックスデバイスを使用することができる。

さらに、本発明は、第１の入力信号及び第２の入力信号をダウンミックスしてダウンミックス信号にするための方法であって、
第２の入力信号の成分であり、第１の入力信号について無相関である無相関信号を推定するステップと、
ダウンミックス信号を得るために第１の入力信号及び無相関信号を合計するステップと、を含む方法に関する。

さらに、本発明は、コンピュータ又は信号プロセッサ上で実行され、本発明による方法を実施するためのコンピュータプログラムに関する。

オーディオ信号処理デバイスの第１の実施形態を示す図である。 第１の実施形態をより詳細に示す図である。 第１の実施形態の類似度低減器及びコンバイナを示す図である。 第２の実施形態の類似度低減器を示す図である。 第３の実施形態の類似度低減器及びコンバイナを示す図である。 第４の実施形態の類似度低減器を示す図である。 第５の実施形態の類似度低減器及びコンバイナを示す図である。 第６の実施形態の類似度低減器及びコンバイナを示す図である。 カスケード接続された複数のオーディオ信号処理デバイスを示す図である。

続いて、添付の図面に関連して好ましい実施形態を説明する。

図１は、提案される新規のダウンミックスデバイス１の高レベルシステム表現を示す。デバイスは時間−周波数領域において説明され、ｋとｍはそれぞれ周波数インデックス及び時間インデックスに対応するが、すべての考慮事項は時間領域信号にも当てはまる。第１の入力信号Ｘ₁（ｋ，ｍ）及び第２の入力信号Ｘ₂（ｋ，ｍ）は混合されるべき入力信号であり、第１の入力信号Ｘ₁（ｋ，ｍ）は基準信号としての役割を果たすことができる。両方の信号Ｘ₁（ｋ，ｍ）及びＸ₂（ｋ，ｍ）は相違点抽出器２に供給され、Ｘ₁（ｋ，ｍ）及びＸ₂（ｋ，ｍ）に関する相関信号部分が拒絶又は少なくとも低減され、無相関信号又は低相関部分

のみが抽出されて、抽出器の出力に通される。その後、第１の入力信号Ｘ₁（ｋ，ｍ）は、ある所定のエネルギー制約を満たすために第１エネルギースケーリングデバイス４を使用してスケーリングされ、これによって、スケーリング済み基準信号Ｘ_1s（ｋ，ｍ）がもたらされる。必要なスケール係数Ｇ_Ex（ｋ，ｍ）は、スケール係数プロバイダ５によって提供される。抽出信号部分

はまた、第２のエネルギースケーリングデバイス６を使用してスケーリングすることもでき、これによって、スケーリング済み無相関信号部分

がもたらされる。対応するスケール係数Ｇ_Eu（ｋ，ｍ）は、第２のスケール係数プロバイダ７によって提供される。スケール係数Ｇ_Eu（ｋ，ｍ）は、好ましくは音響技師によって手動で決定することができる。両方のスケーリング済み信号Ｘ_1s（ｋ，ｍ）及び

が合計デバイス８を使用して合計されて、所望のダウンミックス信号

が形成される。

図２は、提案されるデバイス１の中レベルシステム描画を示している。いくつかの実施態様において、相違点抽出器２は、図２に示されているように、２つのサブステージ、すなわち、類似度推定器９及び類似度低減器１０から構成される。第１の入力信号Ｘ₁（ｋ，ｍ）及び第２の入力信号Ｘ₂（ｋ，ｍ）は類似度推定ステージ９に供給され、Ｘ₂（ｋ，ｍ）内に存在するＸ₁（ｋ，ｍ）の信号部分が推定されてフィルタ係数Ｗ_k（ｌ）によって表される。なお、ｌ＝０...Ｌ−１であり、Ｌはフィルタ長である。フィルタ係数Ｗ_k（ｌ）、第１の入力信号Ｘ₁（ｋ，ｍ）及び第２の入力信号Ｘ₂（ｋ，ｍ）は、類似度低減器１０に供給され、Ｘ₁（ｋ，ｍ）に類似しているＸ₂（ｋ，ｍ）の信号部分がそれぞれ少なくとも部分的に抑制及び／又はキャンセルされる。この結果として残差信号

が得られる。これは、Ｘ₁（ｋ，ｍ）に対するＸ₂（ｋ，ｍ）の無相関信号部分の推定値である。

この信号モデルは、第２の入力信号Ｘ₂（ｋ，ｍ）を、第１の入力信号Ｘ₁（ｋ，ｍ）の重み付けされ又はフィルタリングされたバージョンＷ'（ｋ，ｍ）Ｘ₁（ｋ，ｍ）と、当初は未知の独立した信号Ｕ₂（ｋ，ｍ）との混合であり、

と仮定する。したがって、Ｘ₂（ｋ，ｍ）は、Ｘ₁（ｋ，ｍ）に対する相関信号部分及び無相関信号部分の和から構成されると考えられる。
Ｘ₂（ｋ，ｍ）＝Ｗ'（ｋ，ｍ）・Ｘ₁（ｋ，ｍ）＋Ｕ₂（ｋ，ｍ） （１）

大文字は周波数変換信号を示し、ｋは周波数インデックスであり、ｍは時間インデックスである。ここで、所望のダウンミックス信号

は以下のように定義することができる。

式中、

はＵ₂（ｋ，ｍ）の推定値であり、Ｇ_Ex（ｋ，ｍ）及びＧ_Eu（ｋ，ｍ）は、基準信号Ｘ₁（ｋ，ｍ）と他方の入力信号Ｘ₂（ｋ，ｍ）の抽出信号部分

のエネルギーを、所定の制約に従って調整するためのスケーリング係数である。加えて、それらは、信号を均等にするのに使用することができる。これは、いくつかの場面で特に

にとって必要になり得る。本明細書の残りの部分において、時間−周波数インデックス（ｋ，ｍ）は明瞭にするために省略される。

最大の目的は、Ｘ₁とは無相関である信号成分Ｕ₂を得ることである。これは、適応性のある雑音消去の問題に使用される方法の利用によってなし得るが、元々意図されているように、雑音又は無相関成分を消去するために使用されるのではなく、相関信号部分を消去してＵ₂の推定値

を得るために使用される点で相違する。

図３は、そのようなシステムの第１の実施形態における類似度低減器１０を示す。類似度低減器１０はキャンセル（cancelation）ステージ１０ａとコンバイナ３を有する。この手法の利点は、Ｗが複素値になることが許容され、位相シフトをモデル化できることである。

を求めるために、当初は未知の複素利得Ｗ'の推定複素利得Ｗが必要である。これは、最小平均２乗（minimum mean squared）（ＭＭＳ）の意味において抽出信号

のエネルギーを最小化することによってなされる。

Ｗ^*に関する偏導関数Ｊ（Ｗ）をゼロに設定することによって、所望のフィルタ係数が導出される。すなわち、以下のようになる。

一実施形態において、図３において灰色の破線の長方形によって強調されているキャンセルモジュール１０ａは、図４に示すような逆位相整列キャンセルブロック１０ａ'に置き換えることができる。キャンセルステージ１０ａ'は、位相シフトデバイス１３と絶対値フィルタデバイス１１'を備える。位相シフトデバイス１３は、第２の入力信号Ｘ₂の位相を、第１の入力信号Ｘ₁の位相と整列させるように構成されている。絶対値フィルタデバイス１１'は、絶対値フィルタ係数｜Ｗ｜を使用することによって、整列した第１の入力信号（Ｘ'₂をフィルタリングするように構成されている。

第１の入力信号Ｘ₁と第２の入力信号Ｘ₂との反対の位相について、さらに、第１の入力信号Ｘ₁の突然の信号ドロップとともに、位相跳躍及び信号キャンセル効果がダウンミックス信号

内で発生する可能性がある。この効果は、第２の入力信号Ｘ₂の位相を第１の入力信号Ｘ₁の位相に向けて整列させることによって劇的に低減することができる。さらに、Ｗの絶対値だけが使用されてＸ₁がフィルタリングされ、キャンセル（cancelation）も実施される。

図５は第３の実施形態における類似度低減器１０及びコンバイナ３を示している。類似度低減器１０は信号抑制ステージ１０ｂを備える。信号抑制ステージ１０ｂは、抽出信号

を得るために第２の入力信号Ｘ₁に抑制利得係数（Ｇ）を乗算するように構成されている信号抑制デバイス１４を有する。

実際には、（３）を使用して得られる抽出信号

は、複素利得Ｗにおける推定誤差に起因する可聴歪みを含む場合がある。代替形態として、最小平均２乗誤差（minimum mean squared error）（ＭＭＳＥ）の意味においてＵ₂の推定値

を得るための推定器９（図２を参照）となってもよい。図５は、提案の手法のブロック図である。

抽出信号

は以下によって得られる。

Ｇに関する偏導関数Ｊ（Ｇ）をゼロに設定することによって、所望の利得が得られる。

（１２）によれば、Ｘ₂のエネルギーを、Ｘ₁のフィルタリングされたバージョンと無相関信号Ｕ₂とのエネルギーの合計に置き換えることができる。

これにより、利得Ｇについて、

が導き出される。

はＸ₂の推定ＳＮＲである。複素フィルタ利得Ｗが（６）を使用することにより求められる。

一実施形態において、図５において破線の灰色の長方形によって強調されている抑制モジュール１０ｂは、第２の入力信号Ｘ₂の位相を第１の入力信号Ｘ₁の位相と整列させるように構成されている位相シフトデバイス１５を備えた、逆位相整列抑制モジュール１０ｂ'に置き換えることができる。

図６に、本発明の第４の実施形態として、そのような位相シフトデバイス１５を有する類似度低減器１０ｂ'を示す。抑制利得Ｇは実数値であり、２つの信号Ｘ₁とＸ₂との位相関係に影響を及ぼさない。しかし、いずれにせよフィルタ係数Ｗを推定しなければならないため、入力信号間の相対位相に関する追加の情報が得られ得る。この情報は、Ｘ₂の位相をＸ₁の位相に向けて調整するために使用することができる。これは、逆位相整列抑制ブロック１０ｂ'によって行われ、抑制利得Ｇが適用される前に、Ｘ₂の位相がＷの推定位相だけシフトされる。位相整列によって、信号

は

として表すことができる。
この式は、

内におけるＸ₁の残差成分が、

が正確に推定されていることを条件として、Ｘ₁に対して同位相であることを示している。

コヒーレント信号成分のキャンセル及び抑制の使用を組み合わせた手法を図７に示す。キャンセルステージ１０ａの出力信号

が、抽出信号

を得るために、信号抑制ステージ１０ｂの入力に供給される。キャンセルステージ１０ａは、重み付けデバイスを備える。重み付けデバイスは、第２の入力信号Ｘ₂）内に存在する第１の入力信号Ｘ₁の得られた信号部分ＷＸ₁を重み付けするように構成されている。

ここで、ダウンミックス信号

は、最初に重み付けされたキャンセル手順を実施し、その後、抑制利得を適用することによって得られる。結果として得られる信号

及びＸ₁は、前述のようにエネルギースケーリングされる。重み付け係数γに起因して、キャンセルステージ後の信号

は、Ｘ₁に関連付けられた幾つかの信号部分を依然として含む。それらの信号部分をさらに低減するために、この組み合わせ手法のための抑制利得Ｇ_Cを導出する。

パラメータγは一般的に時間及び周波数依存であるが、定数として選択することもできる。時間及び周波数に依存するγを求めるための１つとして、

があり得る。

図８は、第６の実施形態の類似度低減器１０及びコンバイナ３を示す図である。この実施形態によれば、（１９）における正規化相互相関（normalized cross-correlation）が、マッピング関数に入力として供給される。マッピング関数の出力は、実際のγ値を求めるために使用することができる。このマッピングのために、次式によって定義されるロジスティック関数を使用することができる。

ｉは入力データを定義し、Ａ_u及びＡ_lは、上及び下漸近線であり、Ｒは増加率であり、ｖ＞０は漸近線付近の最大増加率に影響を与え、ｆ₀はｆ（０）の出力値を指定し、Ｍは最大増加のデータ点ｉである。そのような実施形態において、γは以下のように定義される。

一実施形態において、逆位相整列キャンセルモジュール１０ａ'を、わずかな修正を施してここでも使用することができる。同様に、Ｗの絶対値によるフィルタリングの後に、γによる重み付けが行われなければならない。

図８に示す第６の実施形態は、逆位相処理のより洗練された応用形態を含む。これは、主に抑制されるためにマッピングされた時間−周波数ビンにのみ影響を与える、すなわち、γは特定の閾値Γ_thを下回る。その理由から、

によって定義されるフラグＦが導入される。

一実施形態において、逆位相整列キャンセルモジュール１０ａ'を、わずかな修正を施してここでも使用することができる。同様に、Ｗの絶対値によるフィルタリングの後に、γによる重み付けが行われなければならない。

いくつかの実施形態において、スケール係数プロバイダ７がＧ_Euを提供し、それによって、ダウンミックス信号

に寄与するＸ₁に関する無相関信号

のエネルギー量を制御することができる。これらのスケール係数Ｇ_Euは、イコライザと考えることができる。通常、これは、周波数依存で、好ましい実施形態においては、音響技師によって手動で行われる。無論、多数の異なる混合比が可能であり、これらは、音響技師の経験及び／又は好みに大きく依存する。代替的に、スケール係数Ｇ_Euは、信号Ｘ₁、Ｘ₂及び

の関数であってもよい。

いくつかの実施形態において、スケール係数プロバイダ４がＧ_Exを提供し、それによって、ダウンミックス信号

に寄与する第１の入力信号Ｘ₁のエネルギー量を制御することができる。ダウンミックスプロセスがエネルギーを保存すべき場合（すなわち、ダウンミックス信号が元のステレオ信号と同じエネルギー量を含む場合）、又は、少なくとも、知覚される音声レベルが維持されるべき場合、追加の処理が必要である。ダウンミックス信号内の個々の信号部分の知覚される音声レベルを一定に保つという目的から、以下の検討が為される。好ましい実施形態において、導出される最適なダウンミックスエネルギーの検討に従ってエネルギーがスケーリングされる。２つの信号

を考慮し、それらを、例えば、

として振幅がパンされたソース（amplitude panned source）の場合にそうであるように、高い相関性があると仮定することができる。信号

は、

として表すことができ、それによって、ダウンミックス信号

は結果として、

となる。

のエネルギーは、

ここで、

として、２つの信号が完全に無相関であると仮定する。その結果、ダウンミックス信号

は、

となる。

のエネルギーは、

によって与えられる。

これらの検討から、相関信号部分の最適なダウンミックスのエネルギーは、

となる。
Ｗは（２３）におけるａに対応し、無相関信号部分については、エネルギーの単純な加算が行われなければならない。そして、（１）及び（２）において仮定される信号モデルと所望のダウンミックス信号についての最終的かつ最適なダウンミックスエネルギーは、

となる。

が同じエネルギー量であることを確実にするために、エネルギースケーリング係数Ｇ_ExとＧ_Euを導入した。Ｇ_Euはスケール係数プロバイダＵ２によって与えられる。実際のダウンミックス信号

は、

として算出する。

最適なダウンミックスエネルギーとＧ_Euが得られれば、Ｇ_Exは以下のように導出することができる。

（１２）によって式（３２）の中間部分は、

として特定される。そして式（３２）は、

となる。

複数の入力チャネルＸ₁、Ｘ₂、Ｘ₃をダウンミックスするために、カスケード接続された複数の２チャネルダウンミックスステージ１を使用することができる。図９において、３つの入力信号Ｘ₁、Ｘ₂、Ｘ₃についての一例が示されている。

２ステージシステムの最終的なダウンミックス信号

は、

となる。

本発明の一実施形態の重要な特徴は、以下の通りである。
・ Ｘ１を基準信号として考え、Ｘ₂をＸ₁のフィルタリングされたバージョン、それゆえ、相関信号部分ＷＸ₁及びＸ₁に対する無相関信号部分Ｕ₂の混合として考えること。
・ Ｘ₂をその２つの前述した信号成分に分離／分解すること。以下によるＸ₂とＸ₁の相違点抽出。
・ フィルタ係数ＷとなるＸ₁とＸ₂の類似度の推定、及び
・ 推定無相関信号部分

となる相関信号部分のキャンセル若しくは抑制、又は両方の組み合わせによる類似度低減。
・ 所定のエネルギーレベルを満たすためのＸ₁のエネルギースケーリング。
・

のエネルギースケーリング。
・ 所望のダウンミックス信号

を形成するためのエネルギースケーリング済み信号の合計。
・ 周波数帯域における処理。

任意ではあるが、実施態様の特徴は、以下の通りである。
・ 逆位相整列抑制又は逆位相整列キャンセル。
・ マルチチャネルダウンミックスを実施するためのカスケード接続された２つ以上のダウンミックスブロック。
・ 部分的にのみ適用される逆位相整列抑制。

いくつかの態様を装置という面で説明してきたが、これらの態様は対応する方法の説明をも表すことは明らかであり、ブロック又はデバイスが、方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈において説明されている態様も、対応するブロックもしくは項目又は対応する装置の特徴の説明を表す。

特定の実施要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアにおいて実装することができる。実施態様は、それぞれの方法が実施されるように、プログラム可能コンピュータシステムと協働する（又は協働することが可能である）電子可読制御信号を記憶したデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリのような持続性記憶媒体、を使用して実施することができる。それゆえ、デジタル記憶媒体は、コンピュータによって読取り可能であり得る。

本発明によるいくつかの実施形態は、本明細書において説明されている方法の１つが実施されるように、プログラム可能コンピュータシステムと協働することが可能である、電子可読制御信号を有するデータキャリアを含む。

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で作動するときに、方法の１つを実施するように動作することができる。プログラムコードは、例えば、機械によって読取り可能なキャリアに記憶されていてもよい。

他の実施形態は、機械によって読取り可能なキャリアに記憶されて、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを含む。

言い換えれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で作動するときに、本明細書において説明されている方法の１つを実施するためのプログラムコードを有するコンピュータプログラムである。

本発明の方法のさらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムが格納されたデータキャリア（又はデジタル記憶媒体、又はコンピュータによって読取り可能な媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は、一般的に、有形かつ／又は持続性である。

本発明の方法のさらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えば、インターネットを介して、転送されるように構成されてもよい。

さらなる実施形態は、本明細書において説明されている方法の１つを実施するように構成され又は適合されている処理手段、例えば、コンピュータ又はプログラム可能な論理デバイスを含む。

さらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムがインストールされたコンピュータを含む。

本発明のさらなる実施形態は、本明細書において説明されている方法の１つを実施するためのコンピュータプログラムを受信機に（例えば、電子的に又は光学的に）転送するように構成されている装置又はシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。

いくつかの実施形態において、本明細書において説明されている方法の機能のいくつか又はすべてを実施するために、プログラム可能な論理デバイス（例えば、フィールドプログラマブルゲートアレイ）が使用されてもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明されている方法の１つを実施するためにマイクロプロセッサと協働することができる。通常、方法は、任意のハードウェア装置によって実施されることが好ましい。

上述した実施形態は、本発明の原理の例示にすぎない。本明細書において説明されている構成及び詳細の修正及び変形が当業者には明らかになることが理解される。したがって、本明細書における実施形態の記述及び説明として提示されている特定の詳細ではなく、添付の特許請求項の範囲のみによって限定されることが意図されている。

１ オーディオ信号処理デバイス
２ 相違点抽出器
３ コンバイナ
４ 第１エネルギースケーリングデバイス
５ 第１のスケール係数プロバイダ
６ 第２のエネルギースケーリングデバイス
７ 第２のスケール係数プロバイダ
８ 合計デバイス
９ 類似度推定器
１０ 類似度低減器
１０ａ キャンセルステージ
１０ａ’ キャンセルステージ
１０ｂ 抑制ステージ
１０ｂ’ 抑制ステージ
１１ 複素フィルタデバイス
１１’ 絶対値フィルタデバイス
１２ 信号キャンセルデバイス
１３ 位相シフトデバイス
１４ 抑制デバイス
１５ 位相シフトデバイス
１６ 重み付けデバイス
Ｘ₁ 第１の入力信号
Ｘ₂ 第２の入力信号

ダウンミックス信号

抽出信号
Ｇ_ＥＸ 第１のスケール係数
Ｘ_1s 第１のスケーリング済み入力信号
Ｗ フィルタ係数
ＷＸ₁ 第２の入力信号（Ｘ₂）内に存在する第１の入力信号の信号部分
Ｘ'₂ 第２の入力信号から導出される信号
γ 重み付け係数
γＷＸ₁ 第２の入力信号（Ｘ₂）内に存在する第１の入力信号の重み付けされた信号部分

Claims (20)

1. 第１の入力信号（Ｘ₁）及び第２の入力信号（Ｘ₂）をダウンミックスしてダウンミックス信号
   

   

   にするためのオーディオ信号処理デバイス（１）であって、
   前記第１の入力信号（Ｘ₁）と前記第２の入力信号（Ｘ₂）が少なくとも部分的に相関され、
   前記第１の入力信号（Ｘ₁）及び前記第２の入力信号（Ｘ₂）を受信するとともに、前記第１の入力信号（Ｘ₁）に関しては前記第２の入力信号（Ｘ₂）よりも相関が少ない抽出信号
   

   

   を出力するように構成されている相違点抽出器（２）と、
   前記ダウンミックス信号
   

   

   を得るために、前記第１の入力信号（Ｘ₁）及び前記抽出信号
   

   

   を合成するように構成されているコンバイナ（３）と、を備えるデバイス。
2. 前記コンバイナ（３）は、前記ダウンミックス
   

   

   のエネルギーと、前記第１の入力信号（Ｘ₁）及び前記第２の入力信号（Ｘ₂）の合計エネルギーとの比が、前記第１の入力信号（Ｘ₁）及び前記第２の入力信号（Ｘ₂）の相関とは無関係になるように構成されているエネルギースケーリングシステム（４、５、６、７）を含む請求項１に記載のデバイス。
3. 前記エネルギースケーリングシステム（４、５、６、７）は、スケーリング済み入力信号（Ｘ_1s）を得るために、第１のスケール係数（Ｇ_Ex）に基づいて前記第１の入力信号（Ｘ₁）をスケーリングするように構成されている第１エネルギースケーリングデバイス（４）を備える請求項１又は２のいずれか一項に記載のデバイス。
4. 前記エネルギースケーリングシステム（４、５、６、７）は、前記第１のスケール係数（Ｇ_Ex）を提供するように構成されている第１のスケール係数プロバイダ（５）を備え、前記第１のスケール係数プロバイダ（５）は、なるべく、前記第１の入力信号（Ｘ₁）、前記第２の入力信号（Ｘ₂）及び／又は前記抽出信号
   

   

   に応じて前記第１のスケール係数（Ｇ_Ex）を計算するように構成されているプロセッサ（５）として設計される請求項３に記載のデバイス。
5. 前記エネルギースケーリングシステム（４、５、６、７）は、スケーリング済み入力信号
   

   

   を得るために、第２のスケール係数（Ｇ_Eu）に基づいて前記抽出信号
   

   

   をスケーリングするように構成されている第２のエネルギースケーリングデバイス（６）を備える請求項１から４のいずれか一項に記載のデバイス。
6. 前記エネルギースケーリングシステム（４、５、６、７）は、前記第２のスケール係数（Ｇ_Eu）を提供するように構成されている第２のスケール係数プロバイダ（７）を備え、前記第２のスケール係数プロバイダ（７）は、なるべく、前記第２のスケール係数（Ｇ_Eu）を手動で入力するように構成されているマンマシンインターフェースとして設計される請求項５に記載のデバイス。
7. 前記コンバイナ（３）は、前記第１の入力信号（Ｘ₁）に基づくとともに前記抽出信号
   

   

   に基づいて前記ダウンミックス信号
   

   

   を出力するための合計デバイス（８）を含む請求項１から６のいずれか一項に記載のデバイス。
8. 前記相違点抽出器（２）は、前記第１の入力信号（Ｘ₁）から前記第２の入力信号（Ｘ₂）内に存在する前記第１の入力信号（Ｘ₁）の信号部分（ＷＸ₁，｜ＷＸ₁｜）を得るために、フィルタ係数（Ｗ，｜Ｗ｜）を提供するように構成されている類似度推定器（９）を備え、
   前記相違点抽出器（２）は、前記フィルタ係数（Ｗ，｜Ｗ｜）に基づいて前記第２の入力信号（Ｘ₁）内に存在する前記第１の入力信号の前記得られる信号部分（ＷＸ₁，｜ＷＸ₁｜）を低減するように構成されている類似度低減器（１０）を備える請求項１から７のいずれか一項に記載のデバイス。
9. 前記類似度低減器（１０）はキャンセル（cancelation）ステージ（１０ａ、１０ａ'）を備え、
   前記キャンセルステージ（１０ａ、１０ａ'）は、前記第２の入力信号（Ｘ₂）内に存在する前記第１の入力信号（Ｘ₁）の前記得られた信号部分（ＷＸ₁，｜ＷＸ₁｜）、又は前記得られた信号部分（ＷＸ₁，｜ＷＸ₁｜）から導出される信号（γＷＸ₁）を、前記第２の入力信号（Ｘ₂）から、又は前記第２の入力信号（Ｘ₂）から導出される信号（Ｘ'₂）から、減算するように構成されている信号キャンセルデバイス（１２）を有する請求項８に記載のデバイス。
10. 前記キャンセルステージ（１０ａ）は、複素値フィルタ係数Ｗを使用することによって前記第１の入力信号（Ｘ₁）をフィルタリングするように構成されている複素フィルタデバイス（１１）を備える請求項８又は９に記載のデバイス。
11. 前記キャンセルステージ（１０ａ'）は、前記第２の入力信号（Ｘ₂）の位相を前記第１の入力信号（Ｘ₁）の位相に整列させるように構成されている位相シフトデバイス（１３）を備える請求項８から１０のいずれか一項に記載のデバイス。
12. 前記類似度低減器（１０）は、信号抑制ステージ（１０ｂ、１０ｂ'）を備え、
    前記信号抑制ステージ（１０ｂ、１０ｂ'）は、前記抽出信号
    

    

    を得るために前記第２の入力信号（Ｘ₂）又は前記第２の入力信号（Ｘ₂）から導出される信号（Ｘ'₂）に抑制利得係数（Ｇ）を乗算するように構成されている信号抑制デバイス（１４）を有する請求項８から１１のいずれか一項に記載のデバイス。
13. 前記信号抑制ステージ（１０ｂ'）は、前記第２の入力信号（Ｘ₂）の位相を前記第１の入力信号（Ｘ₁）の位相に整列させるように構成されている位相シフトデバイス（１５）を備える請求項１２に記載のデバイス。
14. 前記抽出信号
    

    

    を得るために前記キャンセルステージ（１０ａ）の出力信号
    

    

    が前記信号抑制ステージ（１０ｂ）の入力に供給されるか、又は
    前記抽出信号
    

    

    を得るために前記信号抑制ステージ（１０ｂ）の出力信号が前記キャンセルステージ（１０ａ）の入力に供給される請求項８から１１のいずれか一項及び請求項１２又は１３のいずれか一項に記載のデバイス。
15. 前記キャンセルステージ（１０ａ）は重み付けデバイス（１６）を備え、
    前記重み付けデバイス（１６）は、重み付け係数（γ）に応じて前記第２の入力信号（Ｘ₂）内に存在する前記第１の入力信号（Ｘ₁）の前記得られた信号部分（ＷＸ₁，｜ＷＸ₁｜）を重み付けするように構成されている請求項１４に記載のデバイス。
16. 前記位相シフトデバイス（１３）は、前記重み付け係数（γ）に応じて、前記第２の入力信号（Ｘ₂）の位相を前記第１の入力信号（Ｘ₁）の位相に整列させるように構成されている請求項１１及び１５に記載のデバイス。
17. 前記位相シフトデバイス（１３）は、前記重み付け係数（γ）が所定の閾値（Γ）以下である場合にのみ、前記第２の入力信号（Ｘ₂）の位相を前記第１の入力信号（Ｘ₁）の位相に整列させるように構成されている請求項１６に記載のデバイス。
18. 少なくとも請求項１から１７のいずれか一項に記載の第１のデバイス（１）と、請求項１から１７のいずれか一項に記載の第２のデバイス（１'）とを備える、複数の入力信号（Ｘ₁，Ｘ₂，Ｘ₃）をダウンミックスしてダウンミックス信号
    

    

    にするためのオーディオ信号処理システムであって、
    前記第１のデバイスの前記ダウンミックス信号
    

    

    が、第１の入力信号
    

    

    又は第２の入力信号として前記第２のデバイスに供給されるオーディオ信号処理システム。
19. 第１の入力信号（Ｘ₁）及び第２の入力信号（Ｘ₂）をダウンミックスしてダウンミックス信号
    

    

    にするための方法であって、
    前記第１の入力信号（Ｘ₁）に関して前記第２の入力信号（Ｘ₂）よりも相関が少ない信号
    

    

    を前記第２の入力信号（Ｘ₂）から抽出するステップと、
    前記ダウンミックス信号
    

    

    を得るために前記第１の入力信号（Ｘ₁）と前記抽出信号
    

    

    を合計するステップと、を含む方法。
20. コンピュータ又は信号プロセッサ上で実行されたときに請求項１９に記載の方法を実施するコンピュータプログラム。

Images