JP2009296298A - 音声信号処理装置および方法 - Google Patents

Abstract

【課題】音声信号に対する単一バンドのＤＲＣやＡＧＣによる息継ぎ現象等の不自然な音の時間的な変動感を抑える。
【解決手段】入力音声信号の周波数分析を行う周波数分析部１９０と、前記周波数分析結果に基づいて、ラウドネス平滑化部１４０とゲイン平滑化部１６０との時定数をそれぞれ算出するラウドネス平滑化時定数算出部１７０とゲイン平滑化時定数算出部１８０とを備え、低域周波数成分が所定の値より大きい場合、および／または全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、前記時定数を大きくすることにより、不自然な音の時間的な変動感を抑えた聞き取りやすい音声信号にすることができる。
【選択図】図１

Description

本発明は、音声信号のダイナミック・レンジを制御する音声信号処理装置および方法に関するものである。

音声信号のダイナミック・レンジを適切に抑えて、聞き取りやすい音声信号にする音声信号処理方法としては、ダイナミック・レンジ・コントロール／コンプレッション（Dynamic Range Control/Compression:ＤＲＣ）や自動利得制御（Automatic Gain Control：ＡＧＣ）が知られている。

図６は、非特許文献１に記載されたＤＲＣを使用する従来の音声信号処理装置の構成を示すブロック図である。図６において、６００は乗算部、６１０はラウドネス測定部、６２０はゲイン算出部、６３０はゲイン平滑化部、６４０はゲイン平滑化時定数算出部である。以下その動作について説明する。

ラウドネス測定部６１０は、入力音声信号のラウドネス（聴覚による音の大きさの尺度）を測定して出力する。ラウドネス測定部６１０は、周波数重み付けフィルタを通した後の入力音声信号の２乗平均をブロック単位（サンプリング周波数４８ｋＨｚで２５６サンプル）で算出して、ラウドネスとして出力する。

ゲイン算出部６２０は、前記入力音声信号のダイナミック・レンジを制御するためにあらかじめ設定されたラウドネス対ゲイン関数に基づいて、前記ラウドネスからゲインを算出する。

ゲイン平滑化時定数算出部６４０は、前記ゲインを時間平滑化するときの時定数を算出し、ゲイン平滑化時定数として出力する。ゲイン平滑化時定数算出部６４０は、ラウドネス測定部６１０で測定した現在のラウドネスから平滑化ラウドネス（過去のラウドネスを時間平滑化したもの）を減算することにより、ラウドネスの変動値を算出する。ゲイン平滑化時定数算出部６４０は、次に、前記ラウドネスの変動値に基づいて、次の４種類の時定数の１つを選択して出力する。なお、１）から４）にいくにしたがって、時定数の値が大きくなる。
１）高速アタック時定数（ラウドネス変動値が正で、アタックの閾値より大きい場合）
２）低速アタック時定数（ラウドネス変動値が正で、アタックの閾値以下の場合）
３）高速リリース時定数（ラウドネス変動値が負で、リリース閾値より小さい場合）
４）低速リリース時定数（ラウドネス変動値が負で、リリース閾値以上の場合）
ゲイン平滑化部６３０は、ゲイン算出部６２０からのゲインをゲイン平滑化時定数算出部６４０からのゲイン平滑化時定数で時間平滑化を行い、平滑化されたゲインを算出して出力する。

乗算部６００は、入力音声信号に前記平滑化されたゲインを乗算して出力音声信号を算出して出力する。

図６の装置では、入力音声信号のダイナミック・レンジを適切に抑え、静寂でない環境でも聞き取りやすい音声信号に処理して出力することができる。

また、特許文献１には、ＡＧＣを使用して、入力信号レベルを一定レベルの信号にして出力する従来の自動利得制御装置について記載されている。

非特許文献１および特許文献１に記載しているのは、全周波数帯域に対して一括してＤＲＣ処理あるいはＡＧＣ処理を行う単一バンドの処理であるが、非特許文献２には、音声信号を複数の周波数帯域（バンド）に分割して、それぞれの周波数帯域に対してＤＲＣ処理あるいはＡＧＣ処理を行うマルチバンドの処理について記載している。なお、ここでは、オーディオ用のコンプレッサ等で使用されている単一バンド、マルチバンドという言葉を使用するが、非特許文献２では、その代わりとして、補聴器等で使用されている単一チャンネル、マルチチャンネルという言葉を使用している。
特許第４０１４４２９号公報 チャールズ・キュー・ロビンソン（Charles Q. Robinson）他１名，「メタデータによるダイナミック・レンジ制御（Dynamic Range Control via Metadata）」，第１０７回AESコンベンション（107th AES convention），１９９９年９月，プレプリント（Preprint）５０２８ ハーベイ・ディロン（Harvey Dillon）著，中川雅文監訳，「補聴器ハンドブック」，医歯薬出版株式会社，２００４年１０月，第６章，ｐ．１５５−１８１

しかしながら、前記非特許文献１および特許文献１に記載された従来の単一バンドの音声信号処理装置では、息継ぎ現象（信号の変動に応じて雑音や背景音のレベルが変動し、息継ぎをするように感じられる現象）等の不自然な音の時間的な変動感があるという課題を有していた。また、息継ぎ現象を抑えるために、低速なリリース時定数を使用すると、時間的な変動感は抑えられるものの、音声信号のゲインが抑えられる時間が長くなり、打音の響き等の情報量が減少する、という課題を有していた。前記非特許文献１に記載された音声信号装置では、複数の時定数を適応的に切り替えることにより、前記息継ぎ現象に関する課題を改善している。しかしながら、更なる改善が期待されていた。

一方、非特許文献２に記載されたマルチバンド処理では、バンド毎に独立した処理を行うことにより、息継ぎ現象は発生しにくいが、スペクトルの形状がフラットになり、バンド間の周波数バランスが変化する、という課題を有していた。

本発明は、前記従来の課題を解決するもので、音声信号に対する単一バンドのＤＲＣやＡＧＣによる息継ぎ現象等の不自然な音の時間的な変動感を抑えた音声信号処理装置および方法を提供することを目的とする。

この課題を解決するために、本発明の音声信号処理装置は、入力音声信号にゲインを乗算し、出力音声信号を算出する乗算部と、前記入力音声信号または出力音声信号のラウドネスを測定するラウドネス測定部と、前記測定されたラウドネスを所定の時定数で時間平滑化を行うラウドネス平滑化部と、前記平滑化されたラウドネスに基づいて前記ゲインを算出するゲイン算出部と、前記入力音声信号または出力音声信号の周波数分析を行う周波数分析部と、前記周波数分析部の分析結果に基づいて、前記ラウドネス平滑化部の時定数を算出するラウドネス平滑化時定数算出部と、を備えたものであり、前記周波数分析結果に基づいて算出した時定数でラウドネスの時間平滑化を行うことにより、息継ぎ現象等の不自然な音の時間的な変動感を抑えることができる。

また、前記ラウドネス平滑化時定数算出部は、低域周波数成分が所定の値よりも大きい場合、および／または全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、前記ラウドネス平滑化部の時定数を大きくするように算出することを特徴とするものである。

また、さらに、前記ゲインを所定の時定数で時間平滑化を行い、平滑化されたゲインを算出するゲイン平滑化部を備え、前記乗算部は、前記入力音声信号に前記平滑化されたゲインを乗算することを特徴とするものである。

また、さらに、前記周波数分析結果に基づいて、前記ゲイン平滑化部の時定数を算出するゲイン平滑化時定数算出部を備えたことを特徴とするものである。

また、入力音声信号に平滑化されたゲインを乗算し、出力音声信号を算出する乗算部と、前記入力音声信号または出力音声信号のラウドネスを測定するラウドネス測定部と、前記測定されたラウドネスに基づいてゲインを算出するゲイン算出部と、前記算出されたゲインを所定の時定数で時間平滑化を行い、平滑化されたゲインを算出するゲイン平滑化部と、前記入力音声信号または出力音声信号の周波数分析を行う周波数分析部と、前記周波数分析部の分析結果に基づいて、前記ゲイン平滑化部の時定数を算出するゲイン平滑化時定数算出部と、を備えたことを特徴とするものである。

また、前記ゲイン平滑化時定数算出部は、低域周波数成分が所定の値よりも大きい場合、および／または全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、前記ゲイン平滑化部の時定数を大きくするように算出することを特徴とするものである。

また、前記低域周波成分が３０Ｈｚ乃至１５０Ｈｚ以下の成分であることを特徴とするものである。

本発明によれば、最小可聴限以上の音に対しては、低域周波数の音は、中高域周波数の音と比較して、同じ信号レベルの変化に対して音の大きさの変化が大きい、という心理音響学の知見を利用して、低域周波数成分が大きい場合、および／または全周波数成分に占める低域周波数成分の比率が大きい場合には、比較的大きな値の時定数でラウドネスおよび／またはゲインの時間平滑化を行うことにより、単一バンドのＤＲＣやＡＧＣの不自然な音の時間的な変動感を抑えた聞き取りやすい音声信号にすることができる。単一バンドのゲイン制御であるので、ゲイン制御によって周波数バランスが変化しない。

以下本発明を実施するための最良の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における音声信号処理装置の構成を示すブロック図である。図１において、１００は入力音声信号を重畳するブロックに分割する重畳ブロック分割部、１１０はブロック分割部１００の出力とゲイン平滑化部１６０の出力とを乗算する乗算部、１２０は１１０の出力を重畳加算して出力音声信号を合成する重畳加算合成部、１３０は入力音声信号のラウドネスを測定するラウドネス測定部、１４０はラウドネス平滑化時定数算出部１７０の出力を使用してラウドネス測定部１３０の出力を時間平滑化するラウドネス平滑化部、１５０はラウドネス平滑化部１４０の出力からゲインを算出するゲイン算出部、１６０はゲイン平滑化時定数算出部１８０の出力を使用してゲイン算出部１５０の出力を時間平滑化するゲイン平滑化部、１７０はラウドネス平滑化部１４０の出力と周波数分析部１９０の出力とからラウドネス平滑化部１４０の時定数を算出するラウドネス平滑化時定数算出部、１８０はラウドネス平滑化部１４０の出力と周波数分析部１９０の出力とからゲイン平滑化部１６０の時定数を算出するゲイン平滑化時定数算出部、１９０は入力音声信号の周波数分析を行い、分析結果を出力する周波数分析部である。

図１の音声信号処理装置は、単一バンドのブロック単位のＤＲＣ処理を行う。以下、その動作について説明する。

重畳ブロック分割部１００は、入力音声信号を重畳するブロックに分割して出力する。すなわち、（数１）に示すように、入力音声信号ｘ（ｎ）に対して５０％重畳する窓関数ｗ（ｎ）を乗算することにより、重畳するブロックに分割した分割音声信号ｙ（ｎ，ｔ）を算出する。ここで、ｎはサンプル時刻番号、ｔはブロック番号、Ｎはブロック長で、Ｎ／２はブロックシフト長を表す。Ｎの値としては、サンプリング周波数Ｆｓが４８ｋＨｚの場合には、例えば、６４から４０９６に設定される。

窓関数ｗ（ｎ）としては、例えば、（数２）に示すハニング窓を用いる。

乗算部１１０は、重畳ブロック分割部１００からの分割音声信号にゲイン平滑化部１６０からの平滑化されたゲインＧｓ（ｔ）を乗算し、ゲイン制御された分割音声信号を出力する。

重畳加算合成部１２０は、乗算部１１０からのゲイン制御された分割音声信号を（数３）に示すように重畳加算することにより、出力音声信号ｚ（ｎ）を合成して出力する。

以上のようにして、クロスフェード重畳加算を行い、ブロック単位の分割音声信号を滑らかに接続することができる。

ラウドネス測定部１３０は、前記入力音声信号のブロック単位のラウドネスを測定して出力する。ラウドネスの測定方法としては、各種の方法が提案されているが、実施の形態１では、重み付けフィルタによる方法を用いる。すなわち、最初に、入力音声信号ｘ（ｎ）に対して周波数重み付けフィルタを通した信号ｖ（ｎ）を作成する。次に、（数４）に示すように、前記重み付けフィルタを通した信号ｖ（ｎ）に対して、前記窓関数ｗ（ｎ）を掛けてブロックに分割し、前記ブロック単位で２乗平均を算出することにより、ブロック番号ｔのラウドネスＬ（ｔ）を測定する。前記周波数重み付けフィルタとしては、例えば、ＩＴＵ−Ｒのラウドネス測定の標準化に関する勧告ＢＳ．１７７０に記載の特性を有するフィルタを用いる。

ラウドネス平滑化部１４０は、最初に、ラウドネス測定部１３０からのブロック番号ｔのラウドネスＬ（ｔ）と１つ前のブロック番号（ｔ−１）の平滑化されたラウドネスＬｓ（ｔ−１）とを比較して、Ｌ（ｔ）＞Ｌｓ（ｔ−１）の場合にはアタック状態、そうでない場合にはリリース状態、と判定して結果をアタック／リリース情報として、ラウドネス平滑化時定数算出部１７０とゲイン平滑化時定数算出部１８０とに出力する。次に、ラウドネス平滑化部１４０は、前記アタック／リリース情報に基づいて、ラウドネス平滑化時定数算出部１７０が算出したラウドネス平滑化時定数Ｔｌ（ｔ）でラウドネス測定部１３０からのラウドネスＬ（ｔ）の時間平滑化を行い、平滑化されたラウドネスＬｓ（ｔ）を算出して出力する。ラウドネスの時間平滑化は（数５）にしたがって行う。（数５）で、Ａの値は、（数６）にしたがって算出される。

ゲイン算出部１５０は、（数７）に示すように、あらかじめ設定されたラウドネス対ゲインのＤＲＣ関数Ｆ（）を使用して、ラウドネス平滑化部１４０からの平滑化されたラウドネスＬｓ（ｔ）に基づいて、ブロック単位のゲインＧ（ｔ）を算出する。

図２は、前記ラウドネス対ゲインのＤＲＣ関数の一例を示す模式図である。図２で横軸は対数軸で表したラウドネスで、縦軸はｄＢ軸（２０ｌｏｇ₁₀Ｇ（ｔ））で表したゲインである。図２のＤＲＣ関数は、次の３つの領域に分類される。
１）ラウドネスが第１の閾値Ｌ１以下の場合には、Ｇ（ｔ）＞１で増幅する。
２）ラウドネスが第１の閾値より大きく、第２の閾値Ｌ２以下の場合にはＧ（ｔ）＝１（すなわち、０ｄＢ）でゲインの変更を行わない。
３）ラウドネスが第２の閾値より大きい場合には、Ｇ（ｔ）＜１で減衰する。

図２のＤＲＣ関数は、小さい音を増幅し、大きい音を減衰するので、ダイナミック・レンジを抑えて、静寂でない環境でも聞き取りやすい音声信号にすることができる。

ゲイン平滑化部１６０は、ゲイン平滑化時定数算出部１８０で算出されたゲイン平滑化時定数Ｔｇ（ｔ）で、ゲイン算出部１５０からのゲインＧ（ｔ）の時間平滑化を行い、平滑化されたゲインＧｓ（ｔ）を算出して出力する。前記ゲインの時間平滑化は（数８）にしたがって行う。（数８）で、Ｂの値は、（数９）にしたがって算出される。

周波数分析部１９０は、前記入力音声信号の前記ブロック単位の周波数分析を行い、周波数分析結果を出力する。周波数分析部１９０では、最初に、入力音声信号ｘ（ｎ）に対して（数１０）の短時間離散的フーリエ変換を行い、フーリエ変換係数Ｘ（ｋ，ｔ）を算出する。ここで、ｗ（ｎ）は前記窓関数であり、ｋはフーリエ変換係数番号を表す。なお、短時間離散的フーリエ変換は、高速フーリエ変換を使用して、効率的に実行することができる。

次に、（数１１）に従って、周波数帯域毎に前記フーリエ変換係数をグループ化し、各周波数帯域の信号レベルＰ（ｍ，ｔ）を算出する。ここで、ｍは周波数帯域番号、Ｍは周波数帯域の数を表す。

（数１１）で、ｋ１（ｍ）とｋ２（ｍ）は、それぞれ周波数帯域ｍの開始フーリエ変換係数番号と終了フーリエ変換係数番号を表す。実施の形態１では、Ｍ＝２であり、３０Ｈｚ乃至１５０Ｈｚ以下の低域周波数成分Ｐ（０，ｔ）とそれ以外の中高域周波数成分Ｐ（１，ｔ）とにグループ化して、分析結果として出力する。なお、各周波数帯域の信号レベルＰ（ｍ，ｔ）の算出時に、（数１１）の代わりに、（数１２）に示すように、重み付け係数ｃ（ｋ）を掛けて算出しても良い。

また、短時間離散的フーリエ変換の代わりに帯域分割フィルタバンクを使用して各周波数帯域の信号レベルを算出しても良い。

ラウドネス平滑化時定数算出部１７０は、ラウドネス平滑化部１４０からのアタック／リリース情報と周波数分析部１９０からの各周波数帯域の信号レベルとに基づいて、ラウドネス平滑化部１４０で使用するラウドネス平滑化時定数を算出して出力する。ラウドネス平滑化時定数算出部１７０は、前記アタック／リリース情報に基づいて、アタック状態とリリース状態とで異なる値の時定数を算出する。アタック状態の場合には、リリース状態と比較して、通常、小さな値の（高速な）時定数となるように算出する。

実施の形態１では、低域周波数成分Ｐ（０，ｔ）が、所定の値以下の場合には、小さな値の（高速な）時定数を算出し、そうでない場合には、全周波数成分（Ｐ（０，ｔ）＋Ｐ（１，ｔ））に占める低域周波数成分Ｐ（０，ｔ）の比率が所定の値よりも大きい場合には大きな値の時定数を算出する。図３は、前記全周波数成分に占める低域周波数成分の比率に対する時定数の関数の一例を示す模式図で、前記比率が所定の値Ｒ１より大きな場合には、前記比率に応じて大きな値の時定数を算出する。

図４は、ＩＳＯ ２２６：２００３「音響−正常な音の大きさの等感曲線」に記載された自由音場試聴条件下の耳科学的に正常な人に対する純音の音の大きさの基準等感曲線である。各曲線上の点は、純音の周波数に関係なく、すべて同じ大きさに聞こえる。同じ大きさに聞こえるための各周波数の音圧レベルが縦軸で示されている。図４からわかるように、最小可聴限（Hearing threshold）以上の音に対しては、低域周波数の音は中高域周波数の音と比較して、同じ信号レベルの変化に対して音の大きさの変化が大きい。すなわち、中高域周波数の音と比較して、低域周波数の音の方が、聞こえ始めると、信号レベルの変化による音の大きさの変化が大きい。

したがって、ラウドネス平滑化時定数算出部１７０で、前記心理音響学の知見を利用して、低域周波数成分が所定の値より大きい場合、および全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、平滑化時定数を大きくするように算出することにより、音の大きさの変化を抑えることができる。

ゲイン平滑化時定数算出部１８０は、ラウドネス平滑化部１４０からのアタック／リリース情報と周波数分析部１９０からの各周波数帯域の信号レベルとに基づいて、ゲイン平滑化部１６０で使用するゲイン平滑化時定数を算出して出力する。ゲイン平滑化時定数算出部１８０の動作は、ラウドネス平滑化時定数算出部１７０の動作と同様であり、説明を省略する。

なお、ラウドネス平滑化時定数算出部１７０とゲイン平滑化時定数算出部１８０とで算出する時定数を同一の値としても良い。この場合には、ラウドネス平滑化時定数算出部１７０とゲイン平滑化時定数算出部１８０は兼用することができるので、いずれか一方で良い。

以上のように実施の形態１の音声信号処理装置では、入力音声信号の周波数分析を行う周波数分析部１９０と、周波数分析部１９０の分析結果に基づいて、ラウドネス平滑化とゲイン平滑化の時定数をそれぞれ算出するラウドネス平滑化時定数算出部１７０とゲイン平滑化時定数算出部１８０とを備えることにより、低域周波数では、信号レベルの変化に対する音の大きさの変化が大きい、という心理音響学の知見を利用して、低域周波数成分が所定の値より大きい場合、および全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、前記時定数を大きくして、前記ラウドネス平滑化と前記ゲイン平滑化を行うので、音の変動感を抑えた聞き取りやすい音声信号にすることができる。

なお、実施の形態１の音声信号処理装置では、ラウドネス平滑化部１４０とその時定数を算出するラウドネス平滑化時定数算出部１７０、およびゲイン平滑化部１６０とその時定数を算出するゲイン平滑化時定数算出部１８０をともに備えた構成としたが、前者か後者のいずれか一方のみを備えた構成としても良い。

また、実施の形態１のラウドネス平滑化時定数算出部１７０とゲイン平滑化時定数算出部１８０とでは、低域周波数成分が所定の値よりも大きい場合、および全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、時定数を大きくするように算出したが、前記２つの場合のいずれか一方の場合を満足するときには、時定数を大きくするように算出してもよい。

また、実施の形態１のラウドネス平滑化時定数算出部１７０とゲイン平滑化時定数算出部１８０とでは、低域周波数成分に基づいて時定数を算出するようにしたが、高域周波数成分に対しても同様な考え方を適用して、時定数を算出するようにしてもよい。

（実施の形態２）
図５は、本発明の実施の形態２における音声信号処理装置の構成を示すブロック図である。図１の実施の形態１の音声信号処理装置は、フィード・フォワード型のブロック単位のＤＲＣの構成であるのに対して、図５の実施の形態２の音声信号処理装置は、フィード・バック型のサンプル単位のＡＧＣの構成である。

図５において、５００は入力音声信号とゲイン平滑化部５４０の出力とを乗算する乗算部、５１０は出力音声信号のラウドネスを測定するラウドネス測定部、５２０はラウドネス平滑化時定数算出部５５０の出力を使用してラウドネス測定部５１０の出力を平滑化するラウドネス平滑化部、５３０はラウドネス平滑化部５２０の出力からゲインを算出するゲイン算出部、５４０はゲイン平滑化時定数算出部５６０の出力を使用してゲイン算出部５３０の出力を平滑化するゲイン平滑化部、５５０はラウドネス平滑化部５２０の出力と周波数分析部５７０の出力とからラウドネス平滑化部５２０の時定数を算出するラウドネス平滑化時定数算出部、５６０はラウドネス平滑化部５２０の出力と周波数分析部５７０の出力とからゲイン平滑化部５４０の時定数を算出するゲイン平滑化時定数算出部、５７０は出力音声信号の周波数分析を行い、分析結果を出力する周波数分析部である。図５の音声信号処理装置は、単一バンドのサンプル単位のＡＧＣ処理を行う。以下、その動作について説明する。

乗算部５００は、（数１３）に示すように、入力音声信号ｘ（ｎ）（ただし、ｎはサンプル時刻番号）にゲイン平滑化部５４０からの平滑化されたサンプル単位のゲインＧｓ（ｎ）を乗算し、ゲイン制御された出力音声信号ｚ（ｎ）を算出する。

ラウドネス測定部５１０は、乗算部５００からの出力音声信号のラウドネスを測定して出力する。ラウドネスの測定方法として、実施の形態１では、周波数重み付けフィルタによる方法を用いたが、実施の形態２では、周波数重み付けフィルタを使用しないで（フラットな周波数特性で）、（数１４）に示すように、過去Ｎサンプルの出力音声信号の２乗平均を算出することにより、サンプル時刻番号ｎのラウドネスＬ（ｎ）を測定する。Ｎの値としては、例えば、サンプリング周波数Ｆｓが４８ｋＨｚの場合には、６４から４０９６に設定される。

ラウドネス平滑化部５２０は、最初に、ラウドネス測定部５１０からのサンプル時刻番号ｎのラウドネスＬ（ｎ）と１つ前のサンプル時刻番号（ｎ−１）の平滑化されたラウドネスＬｓ（ｎ−１）とを比較して、Ｌ（ｎ）＞Ｌｓ（ｎ−１）の場合にはアタック状態、そうでない場合にはリリース状態、と判定して結果をアタック／リリース情報として、ラウドネス平滑化時定数算出部５５０とゲイン平滑化時定数算出部５６０とに出力する。次に、ラウドネス平滑化部５２０は、前記アタック／リリース情報に基づいて、ラウドネス平滑化時定数算出部５５０が算出したラウドネス平滑化時定数Ｔｌ（ｎ）でラウドネス測定部５１０からのラウドネスＬ（ｎ）の時間平滑化を行い、平滑化されたラウドネスＬｓ（ｎ）を算出して出力する。ラウドネスの時間平滑化は（数１５）に従って行う。（数１５）で、Ａの値は、（数１６）にしたがって算出される。

ゲイン算出部５３０は、（数１７）に示すようにラウドネス平滑化部５２０からの平滑化されたラウドネスＬｓ（ｎ）とあらかじめ設定された目標ラウドネスＬＴとからサンプル単位のゲインＧ（ｎ）を算出する。なお、前記ゲインの値が、あらかじめ設定された上限値より大きい場合には、前記ゲインの値を前記上限値に制限する。また、前記ゲインの値があらかじめ設定された下限値よりも小さい場合には、前記ゲインの値を前記下限値に制限する。

ゲイン平滑化部５４０は、ゲイン平滑化時定数算出部５６０からのゲイン平滑化時定数Ｔｇ（ｎ）でゲイン算出部５３０からのゲインＧ（ｎ）の時間平滑化を行い、平滑化されたゲインＧｓ（ｎ）を算出して出力する。前記ゲインの時間平滑化は（数１８）に従って行う。（数１８）で、Ｂの値は、（数１９）にしたがって算出される。

周波数分析部５７０は、最初に、前記出力音声信号ｚ（ｎ）を入力として、帯域分割フィルタバンクで、Ｍ個の周波数帯域に分割した信号Ｚ（ｍ，ｎ）（ただし、ｍは周波数帯域番号）を算出する。次に、（数２０）に従って、各周波数帯域の過去Ｎサンプルの２乗和を算出し、各周波数帯域の信号レベルＰ（ｍ，ｎ）として出力する。

実施の形態２の周波数分析部５７０では、実施の形態１と同様に、Ｍ＝２であり、３０Ｈｚ乃至１５０Ｈｚ以下の低域周波数成分Ｐ（０，ｎ）とそれ以外の中高域周波数成分Ｐ（１，ｎ）とを算出して分析結果として出力する。

ラウドネス平滑化時定数算出部５５０は、ラウドネス平滑化部５２０からのアタック／リリース情報と周波数分析部５７０からの各周波数帯域の信号レベルとに基づいて、ラウドネス平滑化部５２０で使用する時定数を算出して出力する。ラウドネス平滑化時定数算出部５５０では、実施の形態１のラウドネス平滑化時定数算出部１７０と同様にして、低域周波数成分が所定の値より大きい場合、および全周波数に占める低域周波数成分の比率が所定の値よりも大きい場合には、前記時定数を大きくするように算出する。

同様に、ゲイン平滑化時定数算出部５６０は、ラウドネス平滑化部５２０からのアタック／リリース情報と周波数分析部５７０からの各周波数帯域の信号レベルとに基づいて、ゲイン平滑化部５４０で使用する時定数を算出して出力する。ゲイン平滑化時定数算出部５６０の動作は、ラウドネス平滑化時定数算出部５５０の動作と同様であり、説明を省略する。

なお、ラウドネス平滑化時定数算出部５５０とゲイン平滑化時定数算出部５６０とで算出する時定数を同一の値としても良い。この場合には、ラウドネス平滑化時定数算出部５５０とゲイン平滑化時定数算出部５６０は兼用することができるので、いずれか一方で良い。

以上のように実施の形態２の音声信号処理装置では、出力音声信号の周波数分析を行う周波数分析部５７０と、周波数分析部５７０の分析結果に基づいて、ラウドネス平滑化とゲイン平滑化の時定数をそれぞれ算出するラウドネス平滑化時定数算出部５５０とゲイン平滑化時定数算出部５６０とを備えることにより、低域周波数では、信号レベルの変化に対する音の大きさの変化が大きい、という心理音響学の知見を利用して、低域周波数成分が所定の値より大きい場合、および全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、前記時定数を大きくして前記ラウドネス平滑化とゲイン平滑化を行うので、音の変動感を抑えた聞き取りやすい音声信号にすることができる。

なお、実施の形態２の音声信号処理装置では、ラウドネス平滑化部５２０とその時定数を算出するラウドネス平滑化時定数算出部５５０、およびゲイン平滑化部５４０とその時定数を算出するゲイン平滑化時定数算出部５６０をともに備えた構成としたが、前者か後者のいずれか一方のみを備えた構成としてもよい。

また、実施の形態２のラウドネス滑化時定数算出部５５０とゲイン平滑化時定数算出部５６０とでは、低域周波数成分が所定の値よりも大きい場合、および全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、時定数大きくするように算出したが、前記２つの場合のいずれか一方の場合を満足するときには、時定数を大きくするようにしてもよい。

また、実施の形態２のラウドネス平滑化時定数算出部５５０とゲイン平滑化時定数算出部５６０では、低域周波数成分に基づいて時定数を算出するようにしたが、高域周波数成分に対しても同様な考え方を適用して、時定数を算出するようにしてもよい。

なお、実施の形態１ではブロック単位で処理をしているが、実施の形態２と同様にサンプル単位で処理してもよい。

また、実施の形態２ではサンプル単位で処理をしているが、実施の形態１と同様にブロック単位で処理してもよい。

なお、本発明の音声信号処理装置は、各ブロックにおける処理をコンピュータに実行させるためのプログラムによって動作するコンピュータで構成してもよい。

以上のように、本発明にかかる音声信号処理装置は、不自然な音の時間的な変動感を抑えて、音声信号のダイナミック・レンジを制御し、聞き取りやすい音声信号にすることができるので、テレビ、ラジオ、ＤＶＤ、ビデオカメラ、ミニコン、携帯電話等の音声信号処理装置等として有用である。

本発明の実施の形態１における音声信号処理装置の構成を示すブロック図 本発明の実施の形態１のゲイン算出部１５０で使用するラウドネス対ゲインのＤＲＣ関数の一例を示す模式図 本発明の実施の形態１および２における全周波数成分に占める低域周波数成分の比率に対する時定数の関数の一例を示す模式図 ＩＳＯ ２２６：２００３「音響−正常な音の大きさの等感曲線」に記載された自由音場試聴条件下の耳科学的に正常な人に対する純音の音の大きさの基準等感曲線を示すグラフ 本発明の実施の形態２における音声信号処理装置の構成を示すブロック図 非特許文献１に記載された従来の音声信号処理装置の構成を示すブロック図

符号の説明

１００ 重畳ブロック分割部
１１０，５００ 乗算部
１２０ 重畳加算合成部
１３０，５１０ ラウドネス測定部
１４０，５２０ ラウドネス平滑化部
１５０，５３０ ゲイン算出部
１６０，５４０ ゲイン平滑化部
１７０，５５０ ラウドネス平滑化時定数算出部
１８０，５６０ ゲイン平滑化時定数算出部
１９０，５７０ 周波数分析部

Claims (10)

1. 入力音声信号にゲインを乗算し、出力音声信号を算出する乗算部と、
   前記入力音声信号または出力音声信号のラウドネスを測定するラウドネス測定部と、
   前記測定されたラウドネスを所定の時定数で時間平滑化を行うラウドネス平滑化部と、
   前記平滑化されたラウドネスに基づいて前記ゲインを算出するゲイン算出部と、
   前記入力音声信号または出力音声信号の周波数分析を行う周波数分析部と、
   前記周波数分析部の分析結果に基づいて、前記ラウドネス平滑化部の時定数を算出するラウドネス平滑化時定数算出部と、を備えたことを特徴とする音声信号処理装置。
2. 前記ラウドネス平滑化時定数算出部は、低域周波数成分が所定の値よりも大きい場合、および／または全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、前記ラウドネス平滑化部の時定数を大きくするように算出することを特徴とする請求項１に記載の音声信号処理装置。
3. さらに、前記ゲインを所定の時定数で時間平滑化を行い、平滑化されたゲインを算出するゲイン平滑化部を備え、
   前記乗算部は、前記入力音声信号に前記平滑化されたゲインを乗算することを特徴とする請求項１に記載の音声信号処理装置。
4. さらに、前記周波数分析結果に基づいて、前記ゲイン平滑化部の時定数を算出するゲイン平滑化時定数算出部を備えたことを特徴とする請求項３に記載の音声信号処理装置。
5. 入力音声信号に平滑化されたゲインを乗算し、出力音声信号を算出する乗算部と、
   前記入力音声信号または出力音声信号のラウドネスを測定するラウドネス測定部と、
   前記測定されたラウドネスに基づいてゲインを算出するゲイン算出部と、
   前記算出されたゲインを所定の時定数で時間平滑化を行い、平滑化されたゲインを算出するゲイン平滑化部と、
   前記入力音声信号または出力音声信号の周波数分析を行う周波数分析部と、
   前記周波数分析部の分析結果に基づいて、前記ゲイン平滑化部の時定数を算出するゲイン平滑化時定数算出部と、を備えたことを特徴とする音声信号処理装置。
6. 前記ゲイン平滑化時定数算出部は、低域周波数成分が所定の値よりも大きい場合、および／または全周波数成分に占める低域周波数成分の比率が所定の値よりも大きい場合には、前記ゲイン平滑化部の時定数を大きくするように算出することを特徴とする請求項５に記載の音声信号処理装置。
7. 前記低域周波成分が３０Ｈｚ乃至１５０Ｈｚ以下の成分であることを特徴とする請求項２または請求項６に記載の音声信号処理装置。
8. 入力音声信号にゲインを乗算し、出力音声信号を算出する乗算ステップと、
   前記入力音声信号または出力音声信号のラウドネスを測定するラウドネス測定ステップと、
   前記測定されたラウドネスを所定の時定数で時間平滑化を行うラウドネス平滑化ステップと、
   前記平滑化されたラウドネスに基づいて前記ゲインを算出するゲイン算出ステップと、
   前記入力音声信号または出力音声信号の周波数分析を行う周波数分析ステップと、
   前記周波数分析の分析結果に基づいて、前記ラウドネス平滑化の時定数を算出するラウドネス平滑化時定数算出ステップと、を備えたことを特徴とする音声信号処理方法。
9. 入力音声信号に平滑化されたゲインを乗算し、出力音声信号を算出する乗算ステップと、
   前記入力音声信号または出力音声信号のラウドネスを測定するラウドネス測定ステップと、
   前記測定されたラウドネスに基づいてゲインを算出するゲイン算出ステップと、
   前記算出されたゲインを所定の時定数で時間平滑化を行い、平滑化されたゲインを算出するゲイン平滑化ステップと、
   前記入力音声信号または出力音声信号の周波数分析を行う周波数分析ステップと、
   前記周波数分析の分析結果に基づいて、前記ゲイン平滑化の時定数を算出するゲイン平滑化時定数算出ステップと、を備えたことを特徴とする音声信号処理方法。
10. 請求項８または請求項９記載の音声信号処理方法における各ステップをコンピュータに実行させるためのプログラム。

Images