JP4000261B2 - ステレオ音響信号の処理方法と装置 - Google Patents

Description

【０００１】
この発明はステレオ音響信号のコード化に関するものであり、特にステレオ音響信号の処理に関するものである。
【０００２】
ステレオ音響信号は左チャンネル信号と右チャンネル信号との少なくとも２個のチャンネル信号を有している。加えてステレオ音響信号は左右のサラウンドチャンネル信号を有している。またステレオ音響信号は５個の異なるチャンネル信号、すなわち前左チャンネル信号、前中央チャンネル信号、前右チャンネル信号、左後チャンネル信号、右後チャンネル信号を有している可能性も有る。
【０００３】
ステレオ音響信号のデータ低減符号化（またはコード化）のためには、少なくとも２個のチャンネル信号の同じ部分を利用して、少なくとも２個のチャンネル信号を使ってステレオ音響信号を符号化するのに必要なビット数を低減することもできる。
【０００４】
ステレオ音響信号を処理して効果的なコード化を行う公知の方法は中央／側部方法（Ｍ／Ｓ方法）と呼ばれており、この方法では第１と第２のチャンネル信号が組み合わされて、中央、側部チャンネル信号を形成する。明確にするために、ここで言及されるのは第１、第２チャンネル信号ではなく、左右のチャンネル信号（Ｌ、Ｒ）である。中央チャンネル信号は０．５のファクターで乗算された左右のチャンネル信号Ｌ、Ｒに等しく、側部チャンネル信号は例えば０．５（他のファクターを用いることもできる）で乗算された左右のチャンネル信号Ｌ、Ｒの差に等しいことが知られている。
【０００５】
これは数式で表わすとつぎのようになる。
【式１】

【０００６】
左右のチャンネル信号Ｌ、Ｒが比較的等しい場合には、Ｍ／Ｓ処理によりコード化に必要とされるビット数がかなり省かれる。なぜなら側部チャンネル信号は信号ＲまたはＬより比較的少ないエネルギーを有しているからである。左右のチャンネル信号Ｌ、Ｒが等しい境目のケースにおいては、中央チャンネル信号は左右いずれかのチャンネル信号に等しくなり、側部チャンネル信号は０になる。側部チャンネル信号が０に等しいので、５０％のコード化がなされるときには理論的なビット速度が抑制される。なぜなら中央チャンネル信号のみがコード化されるべきだからである。単一のビットのみが側部チャンネル信号で占められなければならないのではないのである。
【０００７】
左右のチャンネル信号は小さいほどより等しくなるという一般的な法則がある。すなわちエネルギーにおいて側部チャンネル信号が低くて、側部チャンネル信号をコード化するのに必要なビットは少なくなる。
【０００８】
同じチャンネル信号の場合には、聞き手は、話し手またはオーケストラをラウドスピーカの間の中央で知覚し、左右のチャンネル信号の同じ部分を知覚する。他方、聞き手は、彼が明白な音響効果を感じる場合、すなわち、話し手、オーケストラまたはオーケストラの個々の楽器がまさに左および／または右に配置されている場合、同じでないチャンネル信号を知覚する。左のチャンネル信号が高いエネルギー量を有し、右チャンネル信号が小さいエネルギーを有している場合、例えば単一の楽器が室内の非常に左側に配置されて左のチャンネルでのみ可聴であり、右のチャンネルにはノイズがある場合には、Ｍ／Ｓ処理の後で、中央チャンネル信号はほぼ左チャンネル信号と同じとなる。
【０００９】
加えて、側部チャンネル信号はほぼ左チャンネル信号と等しくなる。この場合、中央、側部チャンネル信号は、ともにほぼ等量のエネルギーを有しており、ともに比較的大きな数のビットによりコード化されなければならない。最初の場合と比較して、この信号群に必要とされるビット数はＭ／Ｓコード化ビットによっては低減されるべきではないが、際どい場合、左チャンネル信号Ｌがある量のエネルギーを有していると仮定される場合に倍増されても、右チャンネル信号Ｒは０に等しい。
【００１０】
この場合、Ｍ／Ｓ処理を行わないのが極めて有利ではあるが、Ｌ／Ｒ処理のみを行うのがよい。かくしてステレオ音響信号をコード化するのに必要なビット数への影響は、極端な場合に５０％の節減から、他の極端な場合に、コード化に必要なビットの倍増に広がる。かくしてＭ／Ｓ方法が適用される場合には、その信号データの項目がＭ／Ｓ処理に適しているか否かがチェックされる。
【００１１】
ステレオ音響信号（例えばフレームと呼ばれる２０ｍｓのテストセクター）がＭ／Ｓ処理に適しない場合には、ビット効率の理由からＭ／Ｓ処理はなしで済ます。左右のチャンネル信号はともに個々にコード化される。この「正常な」ケースもＬ／Ｒ処理と呼ばれる。
【００１２】
例えばＭＰＥＧ標準のいずれかに応じて復号される音響信号のコード化に使われる従来の音響コード化方法は一般にいくつかのステップに分割される。
【００１３】
第１に例えばＣＤプレーヤにより出力される例えばＰＣＭサンプル値の形で存在する音響信号がフィルターバンクまたは時間−周波数変換によるスペクトル表現に変換される。典型的には、ある数のサンプル値を有した「フレーム」と呼ばれるブロックを用いて、音響サンプル値（サンプル）のフレームの短時間スペクトルを形成する複素スペクトル値のブロックが発生される。
【００１４】
このブロック形成は例えば長さが１０２４サンプル値の変換ウィンドーを用いてなされる。例えば重複領域が５０％である重複ウィンドーを用いて変換がなされ、１０２４スペクトル値が１０２４のサンプル値から形成される。これらのスペクトル値は、公知の反復処理により量子化される。量子化されたスペクトル値は、例えば複数の固定ホフマンコードテーブルを用いて、エントロピーコード化に掛けられ、最終的にはビットストリームが形成される。該ビットストリームは、コード化された量子化スペクトル値を含んでおり、ウィンドー、量子化に際して計算されたスケールファクターおよびビットストリームを復号するのに必要な情報に関連する側部情報をさらに含んでいる。
【００１５】
中央／側部処理はスペクトル範囲への変換前にも実行でき、それにはデジタルの時間的に不連続なサンプル値を用いる。これに代えて、中央／側部処理は変換の後でも実行でき、それには複素スペクトル値を用いる。後者の場合には、時間領域の場合のように、中央／側部処理は、全体のスペクトルに使われることはできないが、スペクトル値が中央／側部処理に掛けられたときに、ある周波数帯域に使えるという利点がある。
【００１６】
通常音響コーダーは、定常なビット速度（秒当りのビット数）を与えるように、構成されている。限界条件として、量子化により導入された量子化ノイズは、可能なら、そのエネルギーが音響信号の音響心理学マスキングしきい値または聞き手のしきい値を下回るように、選ばれる。周波数範囲中に量子化ノイズをセットする基本的な方法はスケールファクターを用いてノイズを「整形」することからなる。
【００１７】
この目的のために、スペクトルはスペクトル係数のいくつかのグループに分割され、これがスケールファクター帯域と呼ばれ、それには個々のスケールファクターが付帯されている。スケールファクターはスケールファクター帯域中の全てのスペクトル係数の振幅を変えるのに用いる乗算値を示している。このメカニズムは、スペクトル範囲内で量子化により発生された量子化ノイズの割当てを設定するために、各スケールファクター帯域中の量子化ノイズのエネルギーがそのスケールファクター帯域中の音響心理学マスキングしきい値を下回るように、用いられる。
【００１８】
量子化もエントロピーコード化も定常なビット速度は好ましくない。反対に、いずれも可変ビット速度が好ましい。しかし通信への応用にあっては、コーダーが出力端において定常なビット速度を有していることが必要とされる。定常なビット速度を与えるためには、いわゆるビット貯留器が通常利用される。
【００１９】
外部ビット速度によるプリセットよりも少ないビットがコーダーの出力端で必要なようなステレオ音響信号の場合には、ビットはビット貯留器に付帯されて、コード化により多くのビットを必要とするステレオ音響信号セクターの場合により多くのビットを提供することができる。これによりビット貯留器は再び空にされる。
【００２０】
そのようなコーダーのひとつの限界条件は定常なビット速度であり、他の限界条件は量子化ノイズが音響心理学マスキングしきい値以下であるということである。これによりステレオ音響信号によりマスクまたは覆われるのである。
【００２１】
以下においてはコーダーの「内部ビット速度」が外部定常出力ビット速度とは異なる場合にいかにすべきかについて説明する。ビット貯留器が最大値までみたされるほどに、内 部ビット速度が低い場合には、問題はない。なぜなら、必要より細かく量子化できこれによりより多くのビットが量子化に必要となるように、量子化器が制御され得るからである。これは「外部」定常ビット速度に達するまで行われる。
【００２２】
もっと重要なのはコーダーの「内部ビット速度」が出力により必要とされる定常ビット速度より高い場合である。ステレオ音響信号がコード化し難い場合、つまりコーダーがコード化のために多くのビットを充当する必要がある場合（コーダーの「高負荷」とも呼ばれる）に、これが起きる。変換コード化については、音片が比較的効率よくコード化され得る原理があるが、うるさい信号は、比較的高い量のエネルギーを有しており、さらに音声や打楽器やドラム音楽のような比較的複雑なスペクトルを有し、比較的低い程度のみに圧縮されるのである。
【００２３】
信号が過渡的であっても、不規則な時間特性値を有した信号は、コード化アーチファクトが得られない場合には、比較的複雑な方法でのみコード化できるのである。過渡的信号の場合には、ウィンドー処理の間、大きなウィンドーから短いウィンドーに切り換えられ、よりよい時間解像度が得られるか、または量子化ノイズが少数の音響サンプル値に亙って「あいまい」となる。短いウィンドーの場合には、顕著に多くの副情報がある。
【００２４】
出力ビット速度が充分であると判定しかつビット貯留器を「空に」したコーダーは、その内部ビット速度を「激しく」低減して定常出力ビット速度の基準を満たすいくつかの可能性を有している。ひとつの可能性としては、短いウィンドーへの切換えなしで済ますことである。しかし、これは可聴のコード化アーチファクトを生じる結果となる。
【００２５】
他の可能性としては、量子化に際して意図的に音響心理的マスキングしきい値を撹乱して、必要よりも粗く量子化して、低いビットレートを得る方法がある。これもまた可聴撹乱となる。
【００２６】
さらなる可能性としては、音響帯域幅を低くすることがある。つまり最早全体の音響帯域幅をコード化せずに、出力ビット速度に応じて、あるしきい値周波数より上のスペクトル値を０にセットして、出力ビット速度を低減する。この方法は可聴量子化撹乱を生じることはないが、ステレオ音響信号中の高周波数の損失につながる。しかしこの損失は可聴量子化ノイズほどには強く知覚されないのである。
【００２７】
ステレオ音響信号を復号する際の特別な問題としては「音響アンマスキング」と呼ばれる効果がある。正常なＬ／Ｒコード化が使われた場合、左右のチャンネル信号はともにそれぞれ変換され、量子化されかつコード化される。これによりデータ低減のために左右のチャンネルに導入された量子化ノイズは他のチャンネルからは独立となる。つまり左右のチャンネル中の量子化ノイズは相関しないのである。
【００２８】
左右のチャンネル信号が比較的同じである場合を考えると、すなわち復号後聞き手は例えば話し手が中央にいるようにこの信号を知覚する。
【００２９】
「音響アンマスキング（すなわちマスクしない）」効果とは、２個のチャンネル内の量子化ノイズが相関しないが故に、左チャンネルの量子化ノイズは左側で、右チャンネルの量子化ノイズは右側で知覚される。しかしノイズに対しての高いマスキングは中央においてのみ起き、有用な信号は左右の側にはないのである。
【００３０】
Ｍ／Ｓコード化は、そのデータ速度低減効果とは別に、左右のチャンネル中の量子化ノイズが互いに相関される特別な信号には有利であり、量子化ノイズは中央でも起きて、有用な信号でマスクされた非相関の場合におけるよりも基本的、完全または顕著によいのである。
【００３１】
左右のチャンネル信号が同じでない場合は異なる。この場合Ｍ／Ｓコード化が使われると、ステレオ効果の故に、有用な信号は左右双方の側にあり、量子化ノイズはＭ／Ｓコード化の故に相関されて、中央にある。この場合も音響アンマスキングが起きるのである。
【００３２】
最近より多くの拡張性音響コーダーが試されている。拡張性音響コーダーは、その出力側のビットストリームが少なくとも第１と第２のスケーリング層を有するように、構成されている。簡単に作られているデコーターはスケールビットストリームから第１のスケーリング層のみを取り、この層は例えば低減帯域幅のコード化音響信号または簡単なコード化アルゴリズムによりコード化された音響信号を含んでいる。
【００３３】
ビットストリームから第１と第２のスケーリング層を取る他のデコーダーは、第１のスケーリング層を第１のデコーダーにより復号し、同様に第２のスケーリング層を復号し、後者の場合には、単独でまたは復号された第１のスケーリング層とともに、全帯域幅の音響信号を与える。
【００３４】
拡張性コーダーはステレオ音響信号の分野では特に望まれている。なぜならこの分野では中央チャンネル信号であるモノ信号を第１のスケーリング層として使用でき、側部チャンネル信号は例えば第２のスケーリング層として使用できるからである。迅速な動作のために構成されたデコーダーはモノ信号のみを与えるが、よりよいデコーダーまたは通信速度が決定的なものではないデコーダーはモノまたは中央層とは別に側部層を取って、デコーダーの出力端に全ステレオ音響信号を発生する。
【００３５】
スケーリング層の構造には種々の可能性がある。第１のスケーリング層は、第２のスケーリング層からまたは他のスケーリング層から、音響コード化方法自身において、音響帯域幅において、モノ／ステレオまたはそれらの品質基準や他の考えられる基準の組合せに関連する音響品質その他の事項において、異なってよい。高いコード化効率のために、第２のスケーリング層は最も少ない可能なビット数を有してもよく、第２のスケーリング層を復号するデコーダーができる限り第２のスケーリング層を使ってもよい。
【００３６】
ステレオ音響信号のための拡張性コーダーを考えると、それは、第１のスケーリング層としてモノ信号である中央信号を与え、第２の層として側部チャンネル信号を与え、Ｍ／Ｓコード化を多く使うほど、その全体の効率がよい。しかしこの要求はある種のステレオ音響信号ではビット効率と両立しない。つまり高ステレオチャンネル信号分離を有したステレオ音響信号では両立しないのである。他方Ｍ／Ｓ処理はある種の「中立」拡張性を与えて、左右のチャンネルにおける量子化ノイズが相関するようになる。
【００３７】
Ｍ／Ｓコード化に関して言及された問題は全て真実であり、より多くのコード化されるステレオ音響信号が急激にそのＭ／Ｓコード化に関してその特徴を変化させる。コード化されるステレオ音響信号は急激に左右のチャンネル信号が同じであるという特徴を最早有しない場合、Ｍ／Ｓコード化はそれ以上は施されない。量子化における撹乱の多分音響心理学聴取しきい値を越える増加および／またはコーダーの特定の実行に左右される音響帯域幅の低減が結果となろう。
【００３８】
この発明の目的は少ない撹乱でステレオ音響信号を処理する装置と方法とを提供することにある。
【００３９】
請求項１の装置および請求項２の方法により、この目的は達成される。
【００４０】
この発明は、ステレオ音響信号においては、高い音響帯域幅および／または低い可聴撹乱を得るには、ステレオチャンネル信号分離が保たれていて、音響帯域幅が低減されるかまたは量子化により導入された撹乱が可聴となる場合に比べて、高ステレオチャンネル信号分離なしの方が望ましい、という理解に立脚している。
【００４１】
経験的に言って、聞き手は可聴量子化撹乱を低ステレオチャンネル信号分離よりもより不快に知覚する。可聴量子化撹乱は一般に音響信号中で異質の要素であり、この発明により処理されたステレオ音響信号の聞き手は当初の信号のステレオチャンネル信号分離がいかなるものであったかを必ずしも知っている訳ではない。したがって低ステレオチャンネル信号分離をコード化アーチファクタとしては知覚しないのである。
【００４２】
かくして、ステレオチャンネル信号分離における低減は、コーダーの出力側ビット速度を所定の値に低減するのに使われる。
【００４３】
この発明の第１と第２のチャンネル信号を有したステレオ音響信号の処理装置は分析手段と修正手段とを有しており、分析手段はステレオ音響信号を分析してコード化アルゴリズムによりステレオ音響信号をコード化するのにコーダーが必要とするビット数の推定値を形成する。修正手段は第１、第２のチャンネル信号を修正して、修正第１、第２チャンネル信号を形成する。
【００４４】
ビット数推定値が所定の推定値を越えかつ修正手段が、第１、第２の修正チャンネル信号の和信号（少なくとも信号のエネルギーと同様に変化する信号の特性値に応じて）が第１、第２のチャンネル信号の和信号に等しく、かつ第１、第２の差信号が第１、第２のチャンネル信号の差信号に比較して減衰されるように構成されている場合には、修正手段は分析手段に応答して作動する。
【００４５】
エネルギーと同じ推移を有する特性値はエネルギーそれ自身であるが、例えばある期間におけるサンプル値の二乗の和、ある周波数範囲におけるスペクトル値の二乗の和、ある期間におけるサンプル値の大きさの和、ある周波数範囲におけるスペクトル値の二乗の和またはそれらの２個以上の組合せでもある。エネルギーはエネルギーと同じ推移を有した特性値と名づけられる。
【００４６】
ステレオ音響信号の修正、すなわちチャンネル信号分離の低減は、信号のうるささが変動しない、という条件の下で行われる。低減されたチャンネル信号分離それ自身は復号された信号中に騒がしいアーチファクタを生じるものではないが、うるささの変動は生じる。第１、第２の（つまり左右の）チャンネル信号は、非修正第１、第２チャンネル信号に比べてうるささ（つまり和信号）がエネルギーに関する限りは（かつ、好ましくは信号に関する限りは）定常を保ち差信号が減衰されるように修正される。
【００４７】
この発明のステレオ音響信号前処理は、ステレオ音響信号をコード化するのに必要なビット数があまりに高くなるか否かが判定されるか否か、を設定する。ステレオ音響信号をコード化するのに必要なビット数の推定値は違う手法でステレオ音響信号を分析することによりステレオ音響信号から引き出すことができる。
【００４８】
まず最初に、ステレオ音響信号の中央、側部チャンネル信号は、エネルギー関係またはエネルギーの対数の差の故に、いかほどのビットが必要かについて判定するものと、考えられる。ビットの正確な数を判定することなしに、中央、側部のエネルギー関係が小さい場合（つまりチャンネル信号がほぼ同じサイズである場合）には、高い数のビットが必要となる。
【００４９】
中央、側部チャンネル信号のエネルギー関係が低いほど、ある出力ビット速度を得るには、側部チャンネル信号のより高い減衰が必要となる。当初のステレオ音響信号が高いステレオチャンネル信号分離を有している場合、例えば左のチャンネル信号が高いエネルギーを有しており、右チャンネル信号が実質的にノイズを有している場合には、中央、側部チャンネル信号間の小さいエネルギー関係が存在する。
【００５０】
しかし、話し手の音声が左チャンネル信号中にあり、他の話し手の音声が右チャンネル信号中にあり、左右のチャンネル信号が同じ量のエネルギーを有しており、しかし両チャンネル信号が相関していない場合、にも小さなエネルギー関係が存在する。この場合にも高いステレオ信号分離があり、中央、側部チャンネル信号はエネルギー対数の差が比較的小さいのである。
【００５１】
中央、側部のチャンネル信号の性質とは独立なビット数の推定値を判定する可能性はコーダーそれ自身を考察することである。コーダーにより必要とされるビット数の推定値はいわゆる知覚的なエントロピー（ＰＥ）であって、有用なステレオ音響信号と有用なステレオ音響信号について計算された音響心理学マスキングしきい値との間のエネルギー関係に等しい。
【００５２】
ＰＥが大きいと、ステレオ音響信号は比較的低いマスキング能力を有している。しかしＰＥが小さいと、つまり有用な信号のエネルギーが音響心理学マスキングしきい値より若干上の場合には、有用な信号のみが粗っぽく量子化されて、量子化ノイズは音響心理学可聴しきい値の下に「隠され」る。
【００５３】
左チャンネル信号のＰＥの和が好ましくはある期間に亘って平均され、右チャンネル信号については（好ましくはある期間に亘って平均される）所定の値より上であると判定されたら、この発明に沿って側部チャンネル信号が減衰されて、必要なビット数を低減する。
【００５４】
この方法では中央、側部チャンネル信号の個々の態様を扱うものではなく、ステレオ音響信号それ自身を扱うのであって、これはＭ／Ｓコード化可能性ではなく、一般的な音響コード化可能性によるものであり、つまりコード化して目的とするビット速度を得る困難性なのである。
【００５５】
第２の考え方を一般化すると、ビットの品質について他の量を推定値とするのであって、コーダーの「負荷」を明らかにするのである。そのような量としては例えば、音響信号の過渡的な特徴の故に音響コーダーが短いウィンドーを使うことを示す信号である。なぜなら短いウィンドーは、副情報が多いが故に、高いビット速度を必要とするからである。かくしてこの発明の目的のためには、音響コーダーの制御変数の全ての範囲を用いて、その推定値またはコーダーの出力ビット速度を低減するためにいかに強く側部チャンネル信号を減衰しなければならないかを見出すのである。
【００５６】
この発明の好ましき実施例においては、側部チャンネル信号の経時増加または経時低減を行って、聞き手が直接に低減ステレオチャンネル信号分離を知覚することを防止し、ステレオチャンネル信号分離の低減が段々と行われるか、またはステレオチャンネル信号分離の増加が段々と行われるかのようにして、可能な限りステレオ音響信号の側部のコーダー側操作をなくするのである。
【００５７】
修正に起因する非変動うるささについては、修正左右チャンネル信号の和信号は必ずしも非修正左右チャンネル信号の和信号に等しい必要はなくて、両和信号のエネルギーが実質的に等しいか、所定の関係にあれば充分である。聞き手は非修正ステレオ音響信号のうるささがいかに大きかったかを知らないから、うるささの高低への変化が前処理によって導入されても、それを攪乱としては知覚しないのである。実行の容易さの故に、この関係は１であるのが望ましい。
【００５８】
ついで添付の図面によりこの発明を説明する。
【００５９】
図１に示すこの発明の処理装置において、第１と第２のチャンネル信号Ｌ、Ｒの形であるステレオ音響信号は入力端１０から装置に供給されて、一方では分析手段１２に、他方では修正手段１４に送られる。修正手段１４は両チャンネル信号を修正して修正第１、第２チャンネル信号Ｌ’、Ｒ’を形成して出力端１６に送り出す。一般に出力端１６における修正第１、第２チャンネル信号Ｌ’、Ｒ’は入力端１０における非修正チャンネル信号Ｌ、Ｒとは異なっており、出力端１６における修正ステレオ音響信号は入力端１０における非修正ステレオ音響信号より低いチャンネル信号分離を有している。
【００６０】
分析手段１２は図示しないコーダーによるビット数の推定値を見出して、コーダーによって提供されたコード化アルゴリズムによりステレオ音響信号をコード化する。このビット数の推定値は分析手段１２から信号路１８を介して修正手段１４に供給される。このビット数の推定値が所定の推定値を越える場合には、修正手段１４が起動して第１と第２のチャンネル信号Ｌ、Ｒを修正する。
【００６１】
この発明においては、出力端１６における修正ステレオ音響信号の和のエネルギーが入力端１０における非修正ステレオ音響信号のエネルギーと所定の関係において望ましくは等しくなり、しかし側部チャンネル信号に対応する例えば０．５のファクターから離れた差信号が入力端１０における非修正ステレオ音響信号と異なるように出力端１６における修正ステレオ音響信号中に減衰される、ように第１、第２のチャンネル信号の修正が行われる。
【００６２】
図１において、分析手段１２に供給する２通りの可能性が示されているが、これらは個々に用いても組合せて用いてもよい。
【００６３】
第１の可能性は図中左側に矢印１５ａで示されており、前方結合である。つまり分析手段は非修正信号Ｌ、Ｒが供給される。第２の可能性は修正信号Ｌ’、Ｒ’を分析手段１２に供給するものである。
【００６４】
特に側部信号の減衰が一次的に遅い場合には、減衰が現行の非修正信号に基づいて行われるか、それともフィードバック経路中の修正信号の最後に処理したブロックのひとつに基づいて行われるかは重要ではない。したがってステレオ音響信号それ自身が直接に分析されるか先行の修正信号の助けを借りて間接に分析されるかは無関係である。
【００６５】
つぎに入力端１０における非修正ステレオ音響信号の分析手段１２の種々の構成について説明する。分析手段１２は中央チャンネル信号と側部チャンネル信号とを形成するもので、中央チャンネル信号と側部チャンネル信号のエネルギーの関係を考察する。
【００６６】
両チャンネル信号のエネルギー関係はある期間、例えば１０音響フレームの尺度で平均されるのが望ましく、この期間はフレーム長が約２０ｍｓのＭＰＥＧ−２−ＡＡＣコーダーが用いられたときには２００ｍｓの値に相当する。該コーダーについては標準ＩＳＯ／ＩＥＣ１３８１８−７に記載されており、音響コーダー、デコーダーの機能ブロックと相互作用が詳記されている。
【００６７】
エネルギー関係または対数の差が応用分野に応じて判定されるある値（例えば６ｄＢ）より小さいと判定されたときには、修正手段１４が起動されて図２に関して詳記するように側部チャンネル信号の減衰を行う。
【００６８】
第１の発明によれば、分析手段１２はステレオ音響信号のＭ／Ｓコード化可能性の直接審査により機能する。この実行に際しては、例えば両チャンネル信号がそのエネルギーおよび／または信号に関して互いに同じでないが故に、信号がよいＭ／Ｓコード化可能性を有していないならば、ステレオ音響信号処理装置は側部チャンネル信号を減衰するのみである。この場合初期のステレオチャンネル信号分離の維持があまりに高い出力ビットになり、ステレオチャンネル信号分離が高いならば、ステレオチャンネル信号分離は常に低減される。
【００６９】
さらにこの発明においては、ステレオ音響信号があるＭ／Ｓコード化可能性を有しているか否かに拘わらず、側部チャンネル信号の減衰を用いて出力側コード化ビット速度を低減する。これにより低ステレオチャンネル信号分離の場合でも、さらに側部チャンネル信号の減衰を行えて、音響コーダーの所定の出力ビット速度を越えない。このために、音響信号のＭＳコード化可能性に関係なく、音響信号をコード化するのに必要なビット数が推定される。
【００７０】
例えばＭＰＥＧ−２−ＡＡＣ音響コーダーなどの最近の音響コーダーは音響心理学的モデルを使って、コード化される音響信号の周波数依存音響心理学的マスキングしきい値を計算する。概説すると、音響心理学的モデルは各目盛係数帯域について音響心理学的マスキングしきい値としてエネルギー値を提供する。量子化器により導入される量子化ノイズがエネルギー値より低いかまたは量子化外乱により導入されるノイズがエネルギー値に等しい場合には、導入されたノイズは音響心理学理論に対応して基本的に非可聴である。
【００７１】
エネルギー関係または音響信号の対数の差自身およびその音響心理学マスキングしきい値は知覚エントロピー（ＰＥ）とも呼ばれ、音響信号をコード化するのにどのくらい多くのビットが必要かについての推定値を与えるものである。ＰＥが高いと、多くのビットが必要となる。なぜなら音響信号のマスキング能力は比較的低く、繊細な量子化を行わなければならないからである。ＰＥが低いと、必要とされるビットは少ない。なぜなら音響信号が比較的よくマスクされ、粗い量子化のみが必要とされるからである。
【００７２】
一実施例にあっては、ビット数の推定値はつぎのようにして判定される。個々のスケールファクター帯域についてのＰＥ値が周波数に組み合わせ、つまり加算される。これは左右のチャンネル信号について行われる。左チャンネル信号についてのＰＥ和は右チャンネル信号についてのＰＥ和に加算される。
【００７３】
この左右のチャンネル信号の加算ＰＥ値はフレームに必要とされるビットである。ついでこの加算ＰＥ値がある数（例えば１０個）のフレームについて平均されるのが望ましく、これによりステレオ音響信号についての平均ＰＥ値が得られる。この平均ＰＥ値が経験的に定められた所定の値に等しいかより大きいと、乗算手段が作動して側部チャンネル信号を減衰する。
【００７４】
一般にコーダーにより必要とされるビット数の推定値としてはいかなる他の制御された変数でも使えるのであって、この変数はコーダーの「負荷」の推定値を表わすものである。例えばコーダーの制御信号であって、ウィンドー処理を行うときには短いウィンドーの使用を信号化する。短いウィンドーを用いたウィンドー処理は高い数のビットを必要とする。なぜなら短いウィンドーは長いウィンドーのように多くのビットを省いてコード化できないからである。
【００７５】
側部チャンネル信号の減衰量についていうと、種々費用の異なるものがある。一番簡単なのは、例えば経験的に確定できる所定の減衰値を特定する方法である。減衰値を適応可能に判定する方法もあり、所定のインクレメント量により側部チャンネル信号を減衰し、ついでビット数がすでに充分に低減されたか否かを観察する。
【００７６】
ついで他のインクレメント減衰量の新たな相互作用ループに入って、ビット数がすでに充分に低くなっているか否かを判定する。コーダーにより必要とされるビット数が目的とする範囲にあるまでもの処理を繰り返す。しかし適応性減衰調整の場合の計算時間と実行経費とは所定の減衰より著しく高いことが知られている。他方適応性減衰調整は最善で最も正確な結果を与える。
【００７７】
ついで図２に修正手段１４の好ましき実施例を示す。図において、修正手段１４は第１のチャンネル信号Ｌのための第１の入力端２０ａと第２のチャンネル信号Ｒのための第２の入力端２０ｂとを有している。また修正手段１４は第１のチャンネル信号Ｌをファクターｘで乗算する第１の乗算器２２ａと第１のチャンネル信号Ｌをファクターｙで乗算する第２の乗算器２２ｂと、第２のチャンネル信号Ｒをファクターｘで乗算する第３の乗算器と、第２のチャンネル信号Ｒをファクターｙで乗算する第４の乗算器２２ｄとを有している。
【００７８】
さらに修正手段１４は第１の乗算器２２ａの出力信号と第４の乗算器２２ｄの出力信号とを加算する第１の加算器２４ａと、第２の乗算器２２ｂの出力信号と第３の乗算器２２ｃの出力信号とを加算する第２の加算器２４ｂとを有している。修正第１チャンネル信号Ｌ’は第１の加算器２４ａの出力端２６ａに出され、修正第２チャンネル信号Ｒ’は第２の加算器２４ｂの出力端２６ｂに出される。
【００７９】
減衰側部チャンネル信号を得るための２個の乗算ファクターｘ、ｙの判定をつぎに説明する。出力端２６ａ、２６ｂにおける中央チャンネル信号は図２における修正手段１４の入力端２０ａ、２０ｂに等しい。修正手段１４により実行される信号処理にはつぎの行列が用いられる。
【００８０】
【式２】

【００８１】
ｘとｙとを判定すべくつぎが行われる。
【００８２】
【式３】

【００８３】
加えて以下が行われる。
【００８４】
【式４】

【００８５】
結果はつぎの通りである。
【００８６】
【式５】

【００８７】
Ｍは処理により修正されないので、つぎの等式が成り立つ。
【００８８】
【式６】

【００８９】
側部チャンネル信号に関しては、つぎのようになる。
【００９０】
【式７】

【００９１】
等式（７）の結果は、Ｓがファクター（ｘ−ｙ）で減算されるか、または対数的には１０・ｌｏｇ１０（ｘ−ｙ）ｄＢ＝ａｔｔ．により減衰される。ａｔｔは減衰を表わし０ｄＢより小である。
【００９２】
ｄＢステップにおける減衰についてはつぎが適用される。
【００９３】
【式８】

【００９４】
この式（８）からつぎのようになる。
【００９５】
【式９】

【００９６】
等式（６）と（９）の結果は、等式（１０）についてはｘであり、等式（１１）についてはｙである。
【００９７】
【式１０】

【００９８】
減衰「ａｔｔ」（ｄＢにおいて）は上記の制御変数のいずれかに基づいて判定される。等式（９）、（１０）において、ファクターｘ、ｙは図２の減衰行列を結果し、等式の形で、等式（１）、（２）を反映している。
【００９９】
実行および計算の経費を省くべく、減衰ａｔｔの適応性調整を全て行う必要はなく、ビット数の推定値が所定のしきい値を越えていたら、経験的に確立された判定減衰値を使うことができる。
【０１００】
この発明では、例えば話し手が最初左側にいて急に中央で聞き取る場合など、チャンネル信号分離の低減が急激に行われると、聴者の側で音響外乱や驚きが生じるので、減衰は急激には増加されない。
【０１０１】
側部チャンネル信号が減衰されると判定された場合には、側部チャンネル信号の徐々な減衰は、例えば所定の増し分値を用いて行われる。この際には話題の話し手がゆっくりと左側から中央へと「移動」する。
【０１０２】
これとは反対に、ビット数の推定値が所定の値より小さい場合には、減衰を急激に停止することはなく、ゆっくりとゼロに戻す。この際には例えば話し手が中央から左側にゆっくりと「移動」する。かかる徐々の減衰または段階的な減衰除去はできるだけゆっくりと行って、側部チャンネル信号の減衰が実際には知覚されないようにする。しかし減衰の低減はある程度は早くして、出力端における高いビット速度の故に、コーダーが音響心理学的マスキングしきい値を妨害したりまたは音響帯域幅を除いたりしないようにする。
【０１０３】
この発明においては、コーダー中にビット貯留機構が有り、これを完全に利用して、目的値に達するまで減衰をゆっくりと増加させる。この際減衰が高いので、コーダーの出力端において所定のビット速度が保たれる。減衰が再び停止されたら、ビット貯留機構が再び空にされる。
【０１０４】
図２の処理において、ｘ、ｙを判定する限界条件は、中央チャンネル信号に対応する和信号が、ファクター０．５を除いて、変更されないようなものである。しかし信号は想像可能であって、左右のチャンネル信号は同じであるが、互いに位相が１８０度ずれている。そのような信号はしばしば見られるものではない。なぜならそれらはモノ再生装置によって表現できないからである。
【０１０５】
にも拘わらず、そのような信号は想像可能である。この場合、中央チャンネル信号Ｍは小さくなり、側部チャンネル信号Ｓはより大きくなる。もし側部チャンネル信号Ｓが中央チャンネル信号Ｍより小さくなるほどに強く減衰されると、全体の音の大きさが強く影響される。しかしステレオチャンネル信号分離の低減とは反対に、音響信号そのものには関係なく、音が強く振動すると聞き手は耐えられないものとなり、苦痛と感じるようになる。
【０１０６】
この問題を除くべく、分析手段１２中に、信号ＬとＲとの位相差が１８０度付近であるか否かを分析することを確立することを追加するのが望ましい。これが確立されたら、信号Ｒの符号は反転できる。しかし当初望まれた三次元音響効果は失われるが、うるささの低減効果が防止され、聞き手をあまり悩まさない。
【０１０７】
信号反転に代えて、Ｍチャンネル信号を修正手段中または下流コーダーステージ中の所定の値に増幅して、修正Ｍチャンネル信号のエネルギーが非修正ステレオ音響信号のＭチャンネル信号のエネルギーと所定の関係になるようにする。エネルギー関係については、１の値が望ましく、修正手段によりある増幅または減衰が行われる。しかし非修正ステレオ音響信号に対する関係は常に実質的に維持されなければならない。これにより聞き手は前処理によるうるささの波動を感じない。実際うるささの小さな波動は問題ではなく、ときには感知されないこともある。しかしうるささの大きな波動は聞き手にとっては苦痛となる。
【０１０８】
ステレオ音響信号を処理するために時間的に不連続なサンプル値とスペクトル値のいずれがこの発明の装置の入力端１０に印加されるかは重要なことではないことが判った。ステレオ音響信号を分析するための全ての処理は不連続なサンプル値とスペクトル値の双方で行えるのである。また修正手段中での処理も全て不連続なサンプル値とスペクトル値の双方で行えるのである。
【０１０９】
この発明のステレオ音響信号を処理する装置は、例えばＭＰＥＧ音響コーダーなどの時間／周波数変換型コーダーの時間／周波数変換ステージの後に配置することもできる。このことからして、音響前処理は周波数選択方法でもできるという可能性が出てくる。例えば信号Ｓの異なる減衰が周波数に応じて行える。
【０１１０】
人間の聴覚による方向発見の可能性は全ての周波数について等しく敏感ではないから、このことは特に実際的である。この発明の処理がスペクトル値に基づいて行われる場合には、人間の聴覚がある周波数範囲で方向に依存して聞くのが少ないほど、側部チャンネル信号のスペクトル値は強く減衰できる。人間の聴覚がより方向発見を与えるような周波数範囲にあるスペクトル値はほとんど変えられないかまたはほんの少しだけ変えられるのである。
【０１１１】
最近の音響コーダーでは周波数が関する限りではいわゆるＭ／Ｓマスクを用いることが確立されていて、Ｍ／Ｓコード化が行われ、Ｌ／Ｒコード化の方がよいのである。この場合この発明の処理はＭＳコード化が存在する、すなわちＭＳマスクがセットされている周波数範囲に適用される。これに代えて、ＭＳマスクはＭＳコード化が行われるより多くの帯域にもセットされて、公知の方法に比べて、それらの追加のＭＳ帯域において側部チャンネル信号が減衰されてビット速度への要求に応じるようになる。
【０１１２】
以下図３に示すステレオ音響信号処理装置においては、ＭＳコーダー３０とビットストリームＢＳを出力する拡張性コーダー３２とが設けられている。周知のように、ＭＳコーダー３０は加算器３０ａを有しており、これが修正左右のチャンネル信号Ｌ’、Ｒ’を加算して、乗算器３０ｂによる乗算後に乗算中央チャンネル信号を発生して、これに例えば０．５のファクターが付帯される。
【０１１３】
加えて、ＭＳコーダー３０は減算器３０ｃと乗算器３０ｄとを有していて、修正側部チャンネル信号Ｓ’を発生し、入力端１０での修正ステレオ音響信号から形成された側部信号とは対照的に、減衰される。中央チャンネル信号Ｍ’と側部チャンネル信号Ｓ’とはともに好ましくはモノ−ステレオ拡張性を具えた拡張性コーダー３２に供給される。第１のスケーリング層はモノ信号Ｍ’を表わし、第２のスケーリング層は修正側部チャンネル信 号Ｓ’を含んでいる。
【０１１４】
さらなる拡張の可能性がある。すなわち修正または非修正モノチャンネル信号Ｍ’が帯域制限されて、第２のスケーリング層中には修正側部チャンネル信号とは別に上側モノ帯域が含まれる。
【０１１５】
ＬＲコード化は使われないがＭＳコード化が使われる場合には、モノ−ステレオコーダー３２中における拡張可能性の効果は特に好ましい。分析手段１２と修正手段１４とによるこの発明の音響信号処理は拡張性コーダー３２と組み合せると特に有利である。モノ−ステレオ拡張可能性を得るべく、ＬＲコード化とは比較して好ましくないにしても、ＭＳコード化を利用できる。これはコーダー３２の入力端における側部チャンネル信号は非修正信号とは対照的に減衰されるからである。
【０１１６】
図３においてコーダー３２から分析手段１２までの破線信号路３６が示されている。この信号路３６は、入力端１０におけるステレオ音響信号をコード化する拡張性コーダーにより必要とされるビット数の推定値を引出して、分析手段１２においては直接計算される必要がなく、ウィンドー使用の基準である周辺エントロピーＰＥのような拡張コーダーから分析手段１２に出力される、操作を示している。すなわちそれらの機能ブロックは分析手段１２中にもコーダー３２中にもある必要はなく、コーダー３２における実行だけで充分なのである。
【０１１７】
この場合、修正手段１４はビット数について推定値１８を判定するために修正を行わない。ある意味では図３に示す手段は「前モード」にあり、ビットストリームは書き込まれていないが、側部チャンネル信号に必要とされる減衰程度のみが判定される。拡張性コーダーによりビットストリームＢＳが書き込まれる以下のコード化モードにおいては、修正手段１４はファクターｘ、ｙを用いて機能する。
【０１１８】
図３に示す手段が第１と第２のチャンネル信号Ｌ、Ｒについてのスペクトル値で操作され、拡張性コーダーが時間／周波数変換コーダーであるならば、時間／周波数変換を行う拡張性コーダー３２の段階は、入力端１０の上流側である。分析手段１２と修正手段１４およびＭＳコーダー３０はコーダー３２中に内蔵できる。
【０１１９】
信号路３６ａ、３６ｂは修正チャンネル信号がＭ／Ｓコード化なしに拡張性コーダーに送られ得ることを示しており、これによりＭ／Ｓコード化またはＬ／Ｒコード化がより好ましいかどうかを確認している。
【図面の簡単な説明】
【図１】 この発明のステレオ音響信号処理装置の原理的構成を示すブロック線図である。
【図２】 修正装置の構成を示す詳細図である。
【図３】 前処理段階における装置を示すブロック線図である。
【符号の説明】
１０：入力端
１２：分析手段
１４：修正手段
１６：出力端

Claims (2)

1. 第１のチャンネル信号（Ｌ）と第２のチャンネル信号（Ｒ）とを有したステレオ音響信号を処理して、修正第１のチャンネル信号（Ｌ’）と修正第２のチャンネル信号（Ｒ’）とを有し符号化アルゴリズムを用いているエンコーダーに入力される修正ステレオ信号を得る装置であって、分析手段（１２）と前記分析手段に接続される修正手段（１４）とを有し、前記分析手段は前記ステレオ音響信号または前記修正ステレオ信号を分析して符号化アルゴリズムを用いて前記ステレオ音響信号を符号化するエンコーダー（３２）により必要とされるビット数の推定値を得て、前記修正手段は前記第１・第２のチャンネル信号（Ｌ、Ｒ）を修正して修正第１・第２のチャンネル信号（Ｌ’、Ｒ’）を得て、前記修正手段（１４）が前記分析手段（１２）に応答してビット数の前記推定値（１８）が所定の推定値を越えたときに前記修正手段がアクティブとなり、さらに前記修正手段（１４）は、前記修正第１・第２のチャンネル信号を加算することにより得られる和信号の特性値がその和信号のエネルギーに等しく、かつ前記第１・第２のチャンネル信号（Ｌ、Ｒ）を加算することにより得られる和信号の特性値に基本的に等しく、かつ前記修正第１・第２のチャンネル信号（Ｌ’、Ｒ’）間の差信号が前記第１・第２のチャンネル信号（Ｌ、Ｒ）間の差信号と比較して減衰されるように構成され、
   前記修正手段（１４）は、前記第１のチャンネル信号（Ｌ）に第１の因数（ｘ）を乗算する第１の乗算器（２２ａ）と、前記第１のチャンネル信号（Ｌ）に第２の因数（ｙ）を乗算する第２の乗算器（２２ｂ）と、前記第２のチャンネル信号（Ｒ）に第１の因数（ｘ）を乗算する第３の乗算器（２２ｃ）と、前記第２のチャンネル信号（Ｒ）に第２の因数（ｙ）を乗算する第４の乗算器（２２ｄ）と、前記第１の乗算器（２２ａ）の出力信号と前記第４の乗算器（２２ｄ）の出力信号とを加算して修正第１のチャンネル信号（Ｌ’）を発生する第１の加算器（２４ａ）と、前記第３の乗算器（２２ｃ）の出力信号と前記第２の乗算器（２２ｂ）の出力信号とを加算して修正第２のチャンネル信号（Ｒ’）を発生する第２の加算器（２４ｂ）とを有し、かつ前記第１・第２の因数（ｘ、ｙ）は、前記第１・第２のチャンネル信号を加算することにより得られる和信号の特性値と前記修正第１・第２のチャンネル信号を加算することにより得られる和信号の特性値とが実質的に等しくさらに前記修正第１・第２のチャンネル信号間の差信号が前記第１・第２のチャンネル信号間の差信号より減衰されるように、選択されることを特徴とする装置。
2. 音響信号処理装置によって第１のチャンネル信号（Ｌ）と第２のチャンネル信号（Ｒ）とを有したステレオ音響信号を処理して、修正第１のチャンネル信号（Ｌ’）と修正第２のチャンネル信号（Ｒ’）とを有し符号化アルゴリズムを用いているエンコーダーに入力される修正ステレオ信号を得る方法であって、
   前記音響信号処理装置は分析手段（１２）と前記分析手段に接続される修正手段（１４）とを有し、
   前記方法は、
   前記分析手段により前記ステレオ音響信号または前記修正ステレオ信号を分析して符号化アルゴリズムを用いて前記ステレオ音響信号を符号化するエンコーダー（３２）により必要とされるビット数の推定値を得るステップと、
   前記修正手段により前記第１・第２のチャンネル信号（Ｌ、Ｒ）を修正して修正第１・第２のチャンネル信号（Ｌ’、Ｒ’）を得るステップであって、前記修正手段（１４）が前記分析手段（１２）に応答してビット数の前記推定値（１８）が所定の推定値を越えたときに前記修正手段がアクティブとなり、さらに前記修正手段（１４）により、前記修正第１・第２のチャンネル信号を加算することにより得られる和信号の特性値がその和信号のエネルギーに等しく、かつ前記第１・第２のチャンネル信号（Ｌ、Ｒ）を加算することにより得られる和信号の特性値に基本的に等しく、かつ前記修正第１・第２のチャンネル信号（Ｌ’、Ｒ’）間の差信号が前記第１・第２のチャンネル信号（Ｌ、Ｒ）間の差信号と比較して減衰されるステップとを備え、
   前記修正手段（１４）は、第１の乗算器（２２ａ）と、第２の乗算器（２２ｂ）と、第３の乗算器（２２ｃ）と、第４の乗算器（２２ｄ）と、第１の加算器（２４ａ）と、第２ の加算器（２４ｂ）とを有し、
   前記修正第１・第２のチャンネル信号（Ｌ’、Ｒ’）を得るステップは、前記第１の乗算器（２２ａ）により前記第１のチャンネル信号（Ｌ）に第１の因数（ｘ）を乗算するステップと、前記第２の乗算器（２２ｂ）により前記第１のチャンネル信号（Ｌ）に第２の因数（ｙ）を乗算するステップと、前記第３の乗算器（２２ｃ）により前記第２のチャンネル信号（Ｒ）に第１の因数（ｘ）を乗算するステップと、前記第４の乗算器（２２ｄ）により前記第２のチャンネル信号（Ｒ）に第２の因数（ｙ）を乗算するステップと、前記第１の加算器（２４ａ）により前記第１の乗算器（２２ａ）の出力信号と前記第４の乗算器（２２ｄ）の出力信号とを加算して修正第１のチャンネル信号（Ｌ’）を発生するステップと、前記第２の加算器（２４ｂ）により前記第３の乗算器（２２ｃ）の出力信号と前記第２の乗算器（２２ｂ）の出力信号とを加算して修正第２のチャンネル信号（Ｒ’）を発生するステップとを備え、かつ前記第１・第２の因数（ｘ、ｙ）は、前記第１・第２のチャンネル信号を加算することにより得られる和信号の特性値と前記修正第１・第２のチャンネル信号を加算することにより得られる和信号の特性値とが実質的に等しくさらに前記修正第１・第２のチャンネル信号間の差信号が前記第１・第２のチャンネル信号間の差信号より減衰されるように、選択されることを特徴とする方法。

Images