JP2012032648A - 機械音抑圧装置、機械音抑圧方法、プログラムおよび撮像装置 - Google Patents

Abstract

【課題】簡易な構成で、個体毎の機械音のバラツキによらず一定の低減効果を実現可能とする。
【解決手段】周波数スペクトル修正部１２３は、入力信号の周波数スペクトルＸ(f,τ)に、周波数毎に、ゲイン関数テーブル１２１から読み出したゲインＧ(f,τ)を掛けて、修正された周波数スペクトルＹ(f,τ)を出力する。ゲイン関数テーブル１２１には、入力信号のパワー｜Ｘ(f,τ)｜^２と機械音のパワー｜Ｎ(f,τ)｜^２のパワー比の各値に対応したゲイン設定値が記憶されている。パワー比算出部１２２は、周波数毎に、パワー比を算出する。ゲイン関数テーブル１２１から周波数スペクトル修正部１２３に、周波数毎に、算出パワー比に対応したゲインＧ(f,τ)を供給する。機械音のばらつきの特性は様々であるが、それに適したゲイン関数Ｇ(f,τ)をゲイン関数テーブル１２１に設定できる。
【選択図】図２

Description

この発明は、機械音抑圧装置、機械音抑圧方法、プログラムおよび撮像装置に関し、特に、音声付き動画撮影機能を備えた撮像装置において、動画撮影中の光学ズームに伴う機械音（モータ音）等を低減する機械音抑圧装置等に関する。

近年、デジタルカメラなどの撮像装置として、カメラ機能の他に、音声付き動画撮影機能を備えたものが提案されている。この種の撮像装置においては、動画撮影中の光学ズームに伴う機械音（モータ音）が、マイクロホンで集音される周辺音に入り込み、記録音声の劣化を招くという問題がある。

従来から音声信号に重畳した雑音を除去するための手法として、スペクトルサブトラクション（Spectral Subtraction）法が知られている（非特許文献１参照）。このスペクトルサブトラクション法は、無音区間におけるスペクトルを雑音スペクトルと推定し、その雑音スペクトルに所定の係数（サブトラクト係数）を乗じた信号を入力音声スペクトルから差し引くことで雑音成分を除去する方法である。

無音区間におけるスペクトルを雑音スペクトルと推定する方法では、上述の音声付き動画撮影機能を備えた撮像装置のように、周辺音とは無関係に発生する機械音を雑音として除去することができない。そこで、特許文献１において、予め動画撮影中の光学ズームに伴う機械音の周波数スペクトルを保持し、ズーム操作時には、入力信号のスペクトルから、機械音の周波数スペクトルを減算して、機械音を低減することが提案されている。

図３７は、特許文献１に記載されている雑音除去機能を備えた音声記録装置の構成を示している。モータ２１は、ズームレンズなどのレンズ光学系を光軸方向に移動させるためのモータである。モータ駆動部２１ａは、モータ２１を回転駆動させるための駆動機構である。制御部３２は、キー入力部３６に含まれるズームキーなどの操作信号を受けて、モータ駆動制御信号をモータ駆動部２１ａに出力する。また、制御部３２は、音声付き動画撮影中にモータ２１の駆動タイミングに基づいて、スペクトル切り替え部５６を制御する。

音声入力部５１は、図示しないマイクロホンを通じて入力される音声信号Ｓａを所定のゲインで増幅してフレーム分割部５２に与える。この場合、音声付き動画撮影中に、例えばズーム操作が行われると、そのズーム操作に伴って発生するモータ音（ズーム音）が音声入力部５１を通じて音声信号Ｓａと共に入り込むことになる。フレーム分割部５２は、この音声入力部５１によって入力された音声信号Ｓａを所定時間分のフレーム単位で分割する。フーリエ変換部５３は、このフレーム分割部５２によってフレーム単位で分割された音声信号Ｓａをフーリエ変換し、周波数毎のパワーを示した入力音声スペクトルＳｂに変換する。

モータ音スペクトル記憶部５４には、予め雑音除去対象となるモータ音をスペクトル化したモータ音スペクトルＳｃが雑音スペクトルとして記憶されている。サブトラクト部５５は、フーリエ変換部５３によって得られた入力音声スペクトルＳｂとモータ音スペクトル記憶部５４に記憶されているモータ音スペクトルＳｃに基づいて、雑音成分を除去する処理を行う。すなわち、サブトラクト部５５は、入力音声スペクトルＳｂから雑音スペクトルとして予め記憶されたモータ音スペクトルＳｃに所定のサブトラクト係数αを乗じた信号を減算する。

スペクトル切り替え部５６は、フーリエ変換部５３によって得られた入力音声スペクトルＳｂと、このサブトラクト部５５によって得られる雑音除去後の音声スペクトルＳｄを、制御部３２から出力される選択信号によって切り替えて、逆フーリエ変換部５７に与える。すなわち、スペクトル切り替え部５６は、ズーム動作中などのモータ２１の駆動時には雑音除去後の音声スペクトルＳｄを逆フーリエ変換部５７に供給し、その他のときには入力音声スペクトルＳｂを逆フーリエ変換部５７に供給する。

逆フーリエ変換部５７は、スペクトル切り替え部５６を通じて入力された入力音声スペクトルＳｂ、または、雑音除去後の音声スペクトルＳｄを逆フーリエ変換して元のフレーム単位毎の音声信号Ｓｅに戻す。波形合成部５８は、逆フーリエ変換部５７によって得られるフレーム単位毎の音声信号Ｓｅを合成して、時系列的に連続した音声信号Ｓｆに復元する。この音声信号Ｓｆは、最終的な記録用の音声信号として用いられ、撮像系から得られる動画データと共にメモリ等の記録媒体に記録される。

特開２００６−２７９１８５号公報

S.F.Boll, "Suppression of acoustic noise inspeech using spectral subtraction," IEEE Trans.Acoustics, Speech, and Signal Processing, vol.27, no.2, pp.113-120, 1979.

特許文献１で用いているスペクトルサブトラクション法について、図３８を参照して、概説する。入力信号ｘ(t)は、高速フーリエ変換（ＦＦＴ：fast Fourier Transform）によって、周波数領域の周波数スペクトルＸ(f,τ)に変換される。ここで、(f,τ)は、ｆ番目の周波数のフレームτの周波数スペクトルであることを示している。

この入力信号ｘ(t)のパワースペクトル｜Ｘ(f,τ)｜^２からノイズのパワースペクトル｜Ｎ(f,τ)｜^２を差し引く減算処理が行われて、結果としてのパワースペクトル｜Ｙ(f,τ)｜^２が得られる。なお、ノイズスペクトルＮ(f,τ)は、入力信号ｘ(t)を用いて推定する、あるいは事前にノイズのモデルを仮定する等により得られる。減算結果が負となる場合には、適当な値が代入される。

すなわち、この減算処理は、（１）式に基づいて行われる。この式において、αは固定係数であって、例えば１〜２の間の値に設定される。また、βも固定係数であって、例えば、０〜０．１の間の値に設定される。

減算後、（２）式に示すように、減算結果の振幅スペクトル｜Ｙ(f,τ)｜に、入力信号ｘ(t)の周波数スペクトルＸ(f,τ)の偏角arg{Ｘ(f,τ)}が掛けられて、減算結果としての周波数スペクトルＹ(f,τ)が得られる。そして、この周波数スペクトルＹ(f,τ)は、逆高速フーリエ変換（ＩＦＦＴ：Inverse fast Fourier Transform）によって、時間領域の出力信号ｙ(t)に変換される。

図３９、図４０は、スペクトルサブトラクションのイメージ図である。図３９のイメージ図は、結果が正しく得られる場合を示している。入力信号には、目的音成分と真のノイズ成分とが含まれている。この入力信号から減算する推定ノイズ成分が真のノイズ成分と等しければ、出力信号は目的音成分を正しく含むものとなる。

これに対して、図４０のイメージ図は、結果が誤って得られる場合を示している。入力信号には、目的音成分と真のノイズ成分とが含まれている。この入力信号から減算する推定ノイズ成分に、真のノイズ成分に対して誤差が存在すると、出力信号は目的音成分を正しく含むものとはならない。この場合、ノイズの消しすぎや消し残りが発生する。

特許文献１では、上述したように、機械音の抑圧にスペクトルサブトラクション法を用いている。しかし、この特許文献１では、入力信号に含まれる真のノイズ成分と、事前に測定した機械音の誤差を考慮しておらず、サブトラクト部５５において機械音（ノイズ）の消しすぎや消し残りが発生し、音質劣化が避けられない。

入力信号に含まれる真のノイズ成分と事前に測定した機械音との間に誤差が発生する要因は多数存在する。この要因には、例えば、以下のようなものがある。
（ａ）機械組み立て位置、ネジの締め付け圧力の差
（ｂ）機械駆動による部品の摩耗、経年変化
（ｃ）温度変化
（ｄ）姿勢（カメラの持ち方、角度）変化
（ｅ）カメラズームを駆動するためのモータ

図４１は、セットＡ（set A）、セットＢ（set B）、セットＣ（set C）の３台の音声付き動画撮影機能を持つ撮像装置で実際に録音したズーム音（機械音）の周波数スペクトルを示している。図示のように、それぞれのズーム音（機械音）の周波数スペクトルの特徴は全く異なっている。そのため、例えば、セットＢにおいて、特許文献１のサブトラクト部５５が、セットＡで作成したノイズスペクトルを用いて減算処理を行った場合、サブトラクト部５５において機械音（ノイズ）の消しすぎや消し残りが発生し、音質劣化が生じる。

このように、スペクトルサブトラクション法を用いた機械音抑圧では、機械音のばらつきに十分に対処できない。ここで、説明のために、スペクトルサブトラクションの式を変形する。これまでは、スペクトルを引く、すなわち「減算系」で説明していたが、新たに「乗算系」の枠組みを導入する。

（３）式は、上述の（２）式の右辺を変形したものである。この（３）式から、周波数スペクトルＹ(f,τ)は、入力信号ｘ(t)の周波数スペクトルＸ(f,τ)にゲイン関数Ｇ(f,τ)＝√（１−α｜Ｎ(f,τ)｜^２／｜Ｘ(f,τ)｜^２）を掛けたものとして表すことができる。つまり、減算系のスペクトルサブトラクションを乗算系で示すことができる。

ゲイン関数Ｇ(f,τ)＝√（１−α｜Ｎ(f,τ)｜^２／｜Ｘ(f,τ)｜^２）について説明する。ゲイン関数Ｇ(f,τ)において、｜Ｎ(f,τ)｜^２／｜Ｘ(f,τ)｜^２は、雑音（機械音）のパワーと、入力信号のパワーの比である。このパワー比によって、ゲイン関数Ｇ(f,τ)の値が変動していることになる。

図４２は、ゲイン関数Ｇ(f,τ)の挙動をプロットしたものである。図示の例では、α＝１である。また、図示の例では、｜Ｎ(f,τ)｜^２≧｜Ｘ(f,τ)｜^２のとき、Ｇ(f,τ)＝０．０５、つまりβ＝０．０５としたものである。この図４２では、理解を容易とするため、横軸は、｜Ｎ(f,τ)｜^２／｜Ｘ(f,τ)｜^２ではなく、分母と分子を逆にした｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２のｄＢ値としている。この場合、右に行くほど雑音が小さく、逆に左に行くほど雑音が大きくなる。分母の雑音（機械音）のパワー｜Ｎ(f,τ)｜^２は固定なので、入力信号のパワー｜Ｘ(f,τ)｜^２の大きさによってゲインが変化する。

特許文献１においても、機械音（モータ音）のばらつきの対策が採られている。すなわち、機械音のばらつきが大きい場合には、サブトラクト係数αを大きくして減算している。このサブトラクト係数αを変化させることは、乗算系（（３）式参照）で考えると、ゲイン関数Ｇ(f,τ)の変形をしていることになる。

図４３は、α＝１，２，３のそれぞれにおけるゲイン関数Ｇ(f,τ)の挙動をプロットしたものである。この図からも明らかなように、サブトラクト係数αを大きくしていくことで、ゲイン関数Ｇ(f,τ)は全体的に右側にシフトしていく。ばらつきが大きく機械音（モータ音）が多く含まれることがある場合には｜Ｘ(f,τ)｜^２のレベルが大きくなるので、｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が右側にずれていく。サブトラクト係数αを大きくすることでゲインがβとなる範囲が増加する。ゲインが小さい程機械音（モータ音）を抑圧している状態になるので、サブトラクト係数αを大きくすることで、抑圧範囲を広げることができ、ばらつきが大きく機械音（モータ音）が多く含まれることがある場合に対処できる。

しかし、図４３からも明らかなように、サブトラクト係数αを変化させても、ゲイン関数Ｇ(f,τ)を左右にシフトするコントロールしかできない。つまり、サブトラクト係数αを変化させても、図４４に破線枠で囲んで示す｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２の変化に対応したゲイン（gain）の変化形態は変わらない。そのため、特性が様々な機械音（モータ音）のばらつき対策が十分だとは言えない。

また、スペクトルサブトラクション法を用いた機械音抑圧において、ゲイン関数Ｇ(f,τ)は、図４５に破線枠で囲んで示すように、例えば、α＝１のときには、｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢのところでゲインの値が急に変化する。そのため、出力信号に歪みが生じ、音質に悪影響を及ぼす。

また、スペクトルサブトラクション法を用いた機械音抑圧において、ゲイン関数Ｇ(f,τ)は、図４６に破線枠で囲んで示すように、例えば、α＝１のときには、｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢより小さなところではゲインがβとされる。そのため、もともと｜Ｘ(f,τ)｜の値が小さいところをさらに抑圧してしまい、ノイズ以外の成分も抑圧され、過剰な抑圧による音質劣化を招く。

また、特許文献１において、サブトラクト部５５では、フーリエ変換部５３によって得られた入力音声スペクトルＳｂとモータ音スペクトル記憶部５４に記憶されているモータ音スペクトルＳｃに基づいて、雑音成分を除去する処理が行われている。つまり、サブトラクト部５５で使用されるモータ音スペクトルＳｃは常に同じものであり、動画撮影中に記録される音に関する情報（周波数特性、パワーなど）は考慮されていない。そのため、実際には知覚されない機械音までも抑圧する状態となり、必要以上に所望音を劣化させる問題がある。

この発明の目的は、簡易な構成で、個体毎の機械音のバラツキによらず一定の低減効果を実現可能とすることにある。また、この発明の目的は、周囲環境に応じて、ユーザの所望音の劣化を極力抑えた上で、機械音を低減可能とすることにある。

この発明の概念は、
入力信号を所定時間長のフレームに分割してフレーム化するフレーム化部と、
上記フレーム化部で得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換部と、
上記フーリエ変換部で得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減部と、
上記機械音低減部で修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換部と、
上記逆フーリエ変換部で得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成部とを備え、
上記機械音低減部は、
上記フーリエ変換部で得られた上記入力信号の周波数スペクトルと上記機械音の周波数スペクトル情報に基づいて、周波数毎に、上記入力信号の周波数スペクトルと上記機械音の周波数スペクトルのパワー比を算出するパワー比算出部と、
周波数毎に、上記パワー比の各値に対応したゲインの設定値が記憶されたゲイン関数テーブルから、上記パワー比算出部で算出されたパワー比に対応したゲインを読み出すゲイン読み出し部と、
周波数毎に、上記フーリエ変換部で得られた上記入力信号の周波数スペクトルに、上記ゲイン読み出し部で読み出されたゲインを掛けて、修正された周波数スペクトルを得る周波数スペクトル修正部とを有する
機械音抑圧装置にある。

この発明において、フレーム化部により入力信号は所定時間長のフレームに分割されてフレーム化され、フーリエ変換部により、このフレーム化信号が周波数領域の周波数スペクトルに変換される。そして、機械音低減部により、入力信号の周波数スペクトルが、機械音の周波数スペクトル情報に基づいて修正される。逆フーリエ変換部により、機械音低減部で修正された周波数スペクトルが時間領域のフレーム化信号に戻される。そして、フレーム合成部により、逆フーリエ変換部で得られた各フレームのフレーム化信号がフレーム合成されて機械音が抑圧された出力信号が得られる。例えば、機械音は、周辺音記録機能を有する撮像装置において、特定の撮影動作、例えばズーム動作に関連して発生する機械音（モータ音）等である。

機械音低減部では、パワー比算出部、ゲイン読み出し部および周波数スペクトル修正部により、入力信号の周波数スペクトルが機械音の周波数スペクトルに基づいて修正される。パワー比算出部により、フーリエ変換部で得られた入力信号の周波数スペクトルと機械音の周波数スペクトル情報に基づいて、周波数毎に、入力信号の周波数スペクトルと機械音の周波数スペクトルのパワー比が算出される。

そして、ゲイン読み出し部により、周波数毎に、パワー比の各値に対応したゲインの設定値が記憶されたゲイン関数テーブルから、パワー比算出部で算出されたパワー比に対応したゲインが読み出される。そして、周波数スペクトル修正部により、周波数毎に、フーリエ変換部で得られた入力信号の周波数スペクトルに、ゲイン読み出し部で読み出されたゲインが掛けられて、修正された周波数スペクトルが得られる。

このように、この発明においては、入力信号の周波数スペクトルに、周波数毎に、パワー比の各値に対応したゲインの設定値が記憶されたゲイン関数テーブルから読み出されたゲインが掛けられることで、この入力信号の周波数スペクトルが修正されて、機械音が抑圧される。この場合、ゲイン関数テーブルに設定されるゲイン関数の形状を、機械音のバラツキに合わせて自由に設定できる。これにより、簡易な構成で、個体毎の機械音のバラツキによらず一定の低減効果を実現できる。

この発明において、例えば、ゲイン関数テーブルに記憶されたゲインの設定値は、パワー比が０ｄＢ近傍で小さくなり、このパワー比が０ｄＢ近傍から大きくなるにつれて傾きが不連続にならないように滑らかに大きくなっていく、ようにされてもよい。この場合、ゲインの値が急に変化しないので、出力信号が歪んで音質が劣化することを回避できる。

また、この発明において、例えば、ゲイン関数テーブルに記憶されたゲインの設定値は、さらに、０ｄＢ近傍から小さくなるにつれて傾きが不連続にならないように滑らかに大きくなっていく、ようにされてもよい。この場合、入力信号の周波数スペクトルの値が小さい位置でゲインが大きくされるので、この位置における機械音（ノイズ）以外の成分の抑圧を抑制でき、過剰な抑圧による音質劣化を回避できる。

また、この発明において、例えば、機械音低減部で使用する機械音の周波数スペクトル情報を、入力信号に関する情報（周波数特性、パワーなど）に基づいて変更するスペクトル情報変更部をさらに備える、ようにしてもよい。これにより、周囲環境に応じて、ユーザの所望音の劣化を極力抑えた上で、機械音を低減できる。

また、この発明の他の概念は、
入力信号を所定時間長のフレームに分割してフレーム化するフレーム化部と、
上記フレーム化部で得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換部と、
上記フーリエ変換部で得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減部と、
上記機械音低減部で使用する上記機械音の周波数スペクトル情報を、上記入力信号に関する情報に基づいて変更するスペクトル情報変更部と、
上記機械音低減部で修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換部と、
上記逆フーリエ変換部で得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成部と
を備える機械音抑圧装置にある。

この発明において、フレーム化部により入力信号は所定時間長のフレームに分割されてフレーム化され、フーリエ変換部により、このフレーム化信号が周波数領域の周波数スペクトルに変換される。この入力信号の周波数スペクトルは、機械音低減部により、機械音の周波数スペクトル情報に基づいて修正される。このように修正された周波数スペクトルが、逆フーリエ変換部により、時間領域のフレーム化信号に戻される。そして、フレーム合成部により、逆フーリエ変換部で得られた各フレームのフレーム化信号がフレーム合成されて機械音が抑圧された出力信号が得られる。例えば、機械音は、周辺音記録機能を有する撮像装置において、特定の撮影動作、例えばズーム動作に関連して発生する機械音（モータ音）等である。

この発明において、機械音低減部で使用される機械音の周波数スペクトル情報は、スペクトル情報変更部により、入力信号に関する情報（周波数特性、パワーなど）に基づいて変更される。例えば、スペクトル情報変更部は、ノイズテーブルに記憶された機械音の周波数スペクトル情報を、入力信号に関する情報に基づいて補正することで、機械音低減部で使用する機械音の周波数スペクトル情報を変更する、ようにされる。

スペクトル情報変更部では、例えば、入力信号に関する情報に基づいて周辺音の特徴量を示すパラメータを算出し、この算出されたパラメータに基づいて補正係数を取得し、この取得された補正係数をノイズテーブルに記憶された機械音の周波数スペクトル情報に掛けて補正する、ようにされる。

この場合、例えば、特徴量を示すパラメータは入力信号の周波数スペクトルのスペクトル包絡を示す線形予測係数であり、スペクトル情報変更部は、スペクトル包絡を示す線形予測係数に基づいて、スペクトル包絡の山部分に対応して値が低下するように各周波数の補正係数を取得し、周波数毎に、機械音の周波数スペクトル情報に、この取得された補正係数を掛けて補正する、ようにされる。

また、この場合、例えば、特徴量パラメータは、入力信号の平均パワーであり、スペクトル情報変更部は、入力信号の平均パワーに基づいて、この平均パワーが大きいとき値が低下するように各周波数に共通の補正係数を取得し、機械音の各周波数の周波数スペクトル情報に、この取得された補正係数を掛けて補正する、ようにされる。

また、例えば、機械音の周波数スペクトル情報が記憶された複数のノイズテーブルを備え、複数のノイズテーブルには、入力信号の平均パワーが互いに異なる場合に使用する機械音の周波数スペクトル情報が記憶されており、スペクトル情報変更部は、入力信号の平均パワーに基づいて、機械音の周波数スペクトル情報を読み出すノイズテーブルを切り替えることで、機械音低減部で使用する機械音の周波数スペクトル情報を変更する、ようにされる。

このように、この発明において、機械音低減部で使用される機械音の周波数スペクトル情報は、入力信号に関する情報（周波数特性、パワーなど）に基づいて、変更されたものとされる。そのため、実際には知覚されない機械音までも抑圧する過剰な抑圧を行うことが抑制され、過剰な抑圧による所望音の劣化を回避できる。つまり、周囲環境に応じて、ユーザの所望音の劣化を極力抑えた上で、機械音を低減できる。

この発明によれば、簡易な構成で、個体毎の機械音のバラツキによらず一定の低減効果を実現できる。また、この発明によれば、周囲環境に応じて、ユーザの所望音の劣化を極力抑えた上で、機械音を低減できる。

この発明の第１の実施の形態としての音声付き動画撮影機能を備えた撮像装置の音声系の構成例を示すブロック図である。 音声系が有する機械音低減部の構成例を示すブロック図である。 機械音低減部が有するゲイン関数テーブルに記憶されているゲイン関数Ｇ(f,τ)の一例を示す図である。 機械音のばらつきに応じて０ｄＢ近傍のゲインが低下部分の幅が変更されることを説明するための図である。 多台数の機械音を事前に測定し、特性のばらつき（スペクトルの分散）を元に、ゲイン関数テーブルに記憶されるゲイン関数Ｇ(f,τ)を設定する設定方法を説明するための図である。 多台数の機械音を事前に測定し、特性のばらつき（スペクトルの分散）を元に、ゲイン関数テーブルに記憶されるゲイン関数Ｇ(f,τ)を設定する設定方法を説明するための図である。 ゲイン関数テーブルに記憶されているゲイン関数Ｇ(f,τ)において、パワー比が０ｄＢ前後でゲイン変化が滑らかにされていることを説明するための図である。 ゲイン関数テーブルに記憶されているゲイン関数Ｇ(f,τ)において、パワー比が０ｄＢ近傍から小さくなるにつれてゲインが滑らかに大きくされていることを説明するための図である。 機械音低減部における機械音抑圧処理の手順の一例を示すフローチャートである。 機械音低減部のゲイン関数テーブルに設定されるゲイン関数Ｇ(f,τ)の他の例を説明するための図である。 この発明の第２の実施の形態としての音声付き動画撮影機能を備えた撮像装置の音声系の構成例を示すブロック図である。 音声系が有するノイズテーブル補正部の構成例を示すブロック図である。 ノイズテーブル補正部の処理手順の一例を示すフローチャートである。 聴覚的マスキング現象における雑音しきい値とスペクトル包絡の関係を示す図である。 周波数領域によっては雑音が残っていても知覚しにくい部分があることを説明するための図である。 機械音低減部の演算部において、入力信号の周波数スペクトルの平均スペクトルから平均スペクトル包絡を算出し、この平均スペクトル包絡から補正係数を算出することを説明するための図である。 ノイズテーブルに記憶されている機械音の周波数スペクトル情報｜Ｎ(f,τ)｜２と、周波数毎に補正係数で補正された後の機械音の周波数スペクトル情報｜Ｎ’(f,τ)｜２の一例を示す図である。 スペクトル包絡（線形予測フィルタ）Ｆ(z)の周波数特性と、その周波数特性に修正を加えたＫ(z)の周波数特性の一例を示す図である。 Ｈ(z)＝Ｋ(z)／Ｆ(z)の周波数特性の一例を示す図である。 周波数毎の補正係数を取得して補正する場合における、ノイズテーブル補正部の詳細な処理手順の一例を示すフローチャートである。 ズーム音のみがマイクロホンで集音される場合の、ズーム音とＡＧＣの関係の一例を示す図である。 ズーム音と小さめの周辺音（環境音）がマイクロホンで集音される場合の、ズーム音とＡＧＣの関係の一例を示す図である。 ズーム音と、かなり大きい周辺音（環境音）がマイクロホンで集音される場合の、ズーム音とＡＧＣの関係の一例を示す図である。 テンプレート（ノイズテーブル）に持つズーム音をそのまま使用してズーム音を抑圧した場合の不都合を説明するための図である。 各周波数に共通な補正係数を取得して補正する場合における、ノイズテーブル補正部の詳細な処理手順の一例を示すフローチャートである。 平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの一例を示す図である。 平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの作成方法を説明するための装置例を示す図である。 平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの作成方法を説明するための、内部マイクおよび外部マイクの音声収録部の構成を示す図である。 平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの作成方法を説明するための図である。 平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの作成方法を説明するための図である。 平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの作成方法を説明するための図である。 平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの作成方法を説明するための図である。 この発明の第３の実施の形態としての音声付き動画撮影機能を備えた撮像装置の音声系の構成例を示すブロック図である。 音声系が有するノイズテーブル切り替え部の構成例を示すブロック図である。 ノイズテーブル切り替え部の詳細な処理手順の一例を示すフローチャートである。 音声抑圧処理をソフトウェアで行うコンピュータ装置の構成例を示す図である。 従来の雑音除去機能を備えた音声記録装置の構成例を示すブロック図である。 スペクトルサブトラクション法を説明するための図である。 スペクトルサブトラクション法のイメージ図であって、結果が正しく得られる場合を示す図である。 スペクトルサブトラクション法のイメージ図であって、結果が誤って得られる場合を示す図である。 セットＡ〜Ｃの３台の音声付き動画撮影機能を持つ撮像装置で実際に録音したズーム音（機械音）の周波数スペクトルを示す図である。 減算系のスペクトルサブトラクションを乗算系で示した場合におけるゲイン関数Ｇ(f,τ)の挙動をプロットした図である。 サブトラクト係数α＝１，２，３のそれぞれにおけるゲイン関数Ｇ(f,τ)の挙動をプロットした図である。 サブトラクト係数αを変化させても、パワー比の変化に対応したゲイン（gain）の変化形態は変わらないことによる不都合を説明するための図である。 スペクトルサブトラクション法を用いた機械音抑圧において、パワー比が０ｄＢのところでゲインの値が急に変化することによる不都合を説明するための図である。 スペクトルサブトラクション法を用いた機械音抑圧において、パワー比が０ｄＢの０ｄＢより小さなところではゲインが一定とされることによる不都合を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．変形例

＜１．第１の実施の形態＞
［音声付き動画撮影機能を備えた撮像装置の音声系］
図１は、第１の実施の形態としての音声付き動画撮影機能を備えた撮像装置の音声系１００の構成例を示している。この音声系１００は、マイクロホン１０１と、Ａ／Ｄ変換器１０２と、ＡＧＣ（Automatic Gain Control）回路１０３と、フレーム分割部１０４と、フーリエ変換部１０５を有している。また、この音声系１００は、機械音低減部１０６と、ノイズテーブル１０７と、スペクトル切り替え部１０８と、逆フーリエ変換部１０９と、波形合成部１１０と、記録部１１１を有している。

音声系１００の動作は、撮像装置の各部の動作を制御する制御部２０１により制御される。この制御部２０１にはキー入力部２０２が接続されている。このキー入力部２０２には、ユーザが撮像装置における種々の操作を行うためのキーが配置されている。モータ２０３は、ズームレンズを光軸方向に移動させるためのモータである。モータ駆動部２０４は、モータ２０３を回転駆動させるための駆動機構である。制御部２０１は、キー入力部２０２に含まれるズームキーの操作信号を受けて、モータ駆動制御信号をモータ駆動部２０４に出力する。また、制御部２０１は、音声付き動画撮影中にモータ２０３の駆動タイミングに基づいて、スペクトル切り替え部１０８を制御する。

マイクロホン（内部マイク）１０１は、撮像装置に内蔵されており、周辺音（環境音）を集音して音声信号を得る。動画撮影時には、このマイクロホン１０１から得られる音声信号が画像信号と共に記録される。Ａ／Ｄ変換器１０２は、マイクロホン１０１から得られる音声信号を、アナログ信号からデジタル信号に変換する。ＡＧＣ回路１０３は、Ａ／Ｄ変換器１０２でデジタル信号に変換された音声信号を、そのレベルに応じたゲインで増幅する。

フレーム分割部１０４は、ＡＧＣ回路１０３から得られた音声信号を、フレーム毎の処理を行うために、所定時間長のフレームに分割して、フレーム化する。フーリエ変換部１０５は、フレーム分割部１０４で得られたフレーム信号に対して、高速フーリエ変換（ＦＦＴ：Fast Fourier transform）処理を施し、周波数領域の周波数スペクトルＸ(f,τ)に変換する。ここで、(f,τ)は、ｆ番目の周波数のフレームτの周波数スペクトルであることを示している。

ノイズテーブル１０７には、予め収録された機械音の周波数スペクトル情報が記憶されている。この機械音の周波数スペクトル情報は、モータ２０３に対応したモータの駆動音の周波数スペクトル情報である。この実施の形態において、周波数スペクトル情報はパワースペクトル｜Ｎ(f,τ)｜^２であるが、振幅スペクトル｜Ｎ(f,τ)｜、あるいは周波数スペクトルＮ(f,τ)であってもよい。なお、テレ方向およびワイド方向のズーム操作時のそれぞれでモータ２０３が発生する駆動音が異なる。そのため、ノイズテーブル１０７には、機械音の周波数スペクトル情報として、テレ方向およびワイド方向のズーム操作時のそれぞれに対応したものが記録されている。

機械音低減部１０６は、ノイズテーブル１０７に記憶されている機械音の周波数スペクトル情報に基づき、フーリエ変換部１０５で得られた周波数スペクトルＸ(f,τ)を、機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２に基づいて修正して、機械音を抑圧する。この機械音低減部１０６は、（４）式に示すように、周波数スペクトルＸ(f,τ)に、ゲイン関数Ｇ(f,τ)を掛けることで、修正された周波数スペクトルＹ(f,τ)を得る。

この場合、機械音低減部１０６は、制御部２０１からのズーム制御情報（ズーム有無、方向）に基づいて、機械音低減処理を行う。機械音低減部１０６は、ズーム操作時、つまりモータ２０３の駆動時に機械音低減処理を行う。また、機械音低減部１０６は、テレ方向およびワイド方向のズーム操作時に、それぞれの方向に対応した機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２をノイズテーブル１０７から読み出して用いる。

図２は、機械音低減部１０６の構成例を示している。この機械音低減部１０６は、ゲイン関数テーブル１２１と、パワー比算出部１２２と、周波数スペクトル修正部１２３を有している。

ゲイン関数テーブル１２１は、予め設定されたゲイン関数Ｇ(f,τ)（（４）式参照）が記憶されている。すなわち、このゲイン関数テーブル１２１には、入力信号のパワー｜Ｘ(f,τ)｜^２と機械音のパワー｜Ｎ(f,τ)｜^２の比の各値に対応したゲインの設定値が記憶されている。

ゲイン関数テーブル１２１に記憶されるゲイン関数Ｇ(f,τ)は、上述の（３）式に示すゲイン関数Ｇ(f,τ)（図４２参照）とは異なって、機械音のバラツキを考慮しつつ、音質が良い出力が得られるように、任意の形に自由に設定される。図３は、ゲイン関数テーブル１２１に記憶されているゲイン関数Ｇ(f,τ)の一例を示している。この図３において、横軸はパワー比（｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２)のｄＢ値であり、縦軸はゲイン（gain）である。

機械音のばらつきは、入力信号の周波数スペクトルＸ(f,τ)の大きさに影響する。そのため、ゲイン関数Ｇ(f,τ)の形が重要である。機械音のばらつきの特性は様々であるため、それに適したゲイン関数Ｇ(f,τ)を設定することにより、品質の良い出力を得ることができる。上述の（３）式に示すゲイン関数Ｇ(f,τ)では、サブトラクト係数αの変更による左右シフトしかできないが、ゲイン関数テーブル１２１に記憶されるゲイン関数Ｇ(f,τ)を任意の形に自由に設定できる。

図３のゲイン関数Ｇ(f,τ)の一例においては、全体として、パワー比（Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２)が０ｄＢ近傍でゲインが低下する曲線形状とされている。この場合、機械音のばらつきに応じて、図４に破線枠で囲んだ箇所が変更される。すなわち、ばらつきが大きい場合には幅が広くされ、ばらつきが小さい場合には幅が狭くされる。

ゲイン関数テーブル１２１に記憶されるゲイン関数Ｇ(f,τ)の設定方法について説明する。設定方法には、例えば、以下の２つの方法がある。

（１）設計者が、聴感的にゲイン関数Ｇ(f,τ)をチューニングする設定方法である。この設定方法にあっては、設定時の手間はかかるが、ばらつきを考慮した品質の良いゲイン関数Ｇ(f,τ)を決定できる。

（２）多台数の機械音を事前に測定し、特性のばらつき（スペクトルの分散）を元にゲイン関数Ｇ(f,τ)を設定する設定方法である。この設定方法にあっては、データに基づいたゲイン関数Ｇ(f,τ)を決定できる。

（２）の設定方法においては、例えば、｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２の分散が算出され、その概形を反転させたものがゲイン関数Ｇ(f,τ)とされる。図５（ａ）は、｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２の分散が小さい場合、つまりばらつきが小さい場合を示している。その場合、ゲイン関数Ｇ(f,τ)は図５（ｂ）に示すように設定され、谷部分の幅が狭いものとなる。一方、図６（ａ）は、｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２の分散が大きい場合、つまりばらつきが大きい場合を示している。その場合、ゲイン関数Ｇ(f,τ)は図６（ｂ）に示すように設定され、谷部分の幅が広いものとなる。

また、図３のゲイン関数例においては、上述の（３）式に示すゲイン関数Ｇ(f,τ)（図４２参照）とは異なって、図７に破線枠で囲んで示すように、パワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢ前後でゲインの変化が滑らかにされている。この場合、パワー比が０ｄＢ近傍から大きくなるにつれて傾きが不連続にならないように、ゲインの設定値が滑らかに大きくなっていく。このようにゲイン関数Ｇ(f,τ)が設定されることで、パワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２の変化に伴ってゲインの値が急に変化するということがなく、出力信号が歪んで音質が劣化することが回避される。

また、図３のゲイン関数例においては、図８に破線枠で囲んで示すように、パワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢ近傍から小さくなるにつれてゲインが滑らかに大きくされている。これは、上述の（３）式に示す従来例のゲイン関数Ｇ(f,τ)（図４２参照）とは異なる。従来例においては、｜Ｘ(f,τ)｜^２＜｜Ｎ(f,τ)｜^２のとき、減算後の周波数スペクトルが負となるため、適当な値（β）を設定していた。しかし、これを行うと、もともとＸ(f,τ)の値が小さいところをさらに抑圧してしまい、機械音以外の成分も抑圧される。パワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢ近傍から小さくなるにつれてゲインが滑らかに大きくなるように設定されることで、過剰な抑圧による音質劣化を避けることができる。

図２に戻って、パワー比算出部１２２は、周波数毎に、入力信号の周波数スペクトル（入力信号スペクトル）と機械音の周波数スペクトル（機械音スペクトル）のパワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２を算出する。この場合、パワー比算出部１２２は、フーリエ変換部１０５で得られた入力信号の周波数スペクトルＸ(f,τ)と、ノイズテーブル１０７に記憶されている機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２に基づいて算出する。

周波数スペクトル修正部１２３は、周波数毎に、フーリエ変換部１０５で得られた入力信号の周波数スペクトルＸ(f,τ)に、ゲインＧ(f,τ)を掛けて、修正された周波数スペクトルＹ(f,τ)を得る。なお、このゲインゲインＧ(f,τ)は、パワー比算出部１２２で算出されたパワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２に基づいて、ゲインテーブル関数テーブル１２１から読み出される。このことから、機械音低減部１０６は、図示していないが、ゲイン読み出し部も有している。

図９のフローチャートは、図２に示す機械音低減部１０６の処理手順の一例を示している。なお、このフローチャートは、フレームτの周波数ｆの周波数スペクトルＸ(f,τ)を修正する処理手順を示しており、他の周波数スペクトルの修正に関しても同様の手順で行われる。

機械音低減部１０６は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、機械音低減部１０６は、フーリエ変換部１０５から入力信号として、フレームτの周波数ｆの周波数スペクトルＸ(f,τ)を取得する。また、機械音低減部１０６は、ステップＳＴ３において、ノイズテーブル１０７から、周波数ｆに対応した機械音スペクトル情報としてのパワースペクトル｜Ｎ(f,τ)｜^２を取得する。

次に、機械音低減部１０６は、ステップＳＴ４において、パワー比算出部１２２で、入力信号スペクトルと機械音スペクトルのパワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２を算出する。そして、機械音低減部１０６は、ステップＳＴ５において、この算出されたパワー比に基づいて、このパワー比に対応したゲインＧ(f,τ)を、ゲイン関数テーブル１２１から読み出して取得する。

次に、機械音低減部１０６は、ステップＳＴ６において、周波数スペクトル修正部１２３で、入力信号としての周波数スペクトルＸ(f,τ)にゲインＧ(f,τ)を掛けて、出力信号としての、修正された周波数スペクトルＹ(f,τ)を得る。機械音低減部１０６は、ステップＳＴ６の処理の後、ステップＳＴ７において、処理を終了する。

図１に戻って、スペクトル切り替え部１０８は、フーリエ変換部１０５で得られた周波数スペクトルＸ(f,τ)、あるいは機械音低減部１０６で得られた修正された周波数スペクトルＹ(f,τ)のいずれかを選択的に出力する。このスペクトル切り替え部１０８の切り替え動作は、制御部２０１により制御される。この場合、スペクトル切り替え部１０８は、ズーム動作中でないとき、周波数スペクトルＸ(f,τ)を出力する。一方、スペクトル切り替え部１０８は、ズーム動作中であるとき、つまりモータ２０３から駆動音（機械音）が発生している状態では、修正された周波数スペクトルＹ(f,τ)を出力する。

逆フーリエ変換部１０９は、フレーム毎に、スペクトル切り替え部１０８から出力される周波数スペクトルに対して、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier transform）処理を施す。この逆高速フーリエ変換部１０９は、上述のフーリエ変換部１０５とは逆の処理を行い、周波数領域信号を時間領域信号に変換して、フレーム化信号を得る。

波形合成部１１０は、逆フーリエ変換部１０９によって得られる各フレームのフレーム信号を合成して、時系列的に連続した音声信号に復元する。この波形合成部１１０は、フレーム合成部を構成している。記録部１１１は、波形合成部１１０で得られる音声信号を、ディスクあるいはメモリ等の記録媒体に、例えば、画像系で得られる画像信号と共に記録する。

図１に示す音声付き動画撮影機能を備えた撮像装置の音声系１００における動画撮影中の動作を簡単に説明する。マイクロホン１０１では周辺音が集音されて音声信号が得られる。この音声信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換され、さらにＡＧＣ回路１０３を介してフレーム分割部１０４に供給される。フレーム分割部１０４では、ＡＧＣ回路１０３から出力音声信号が、フレーム毎の処理を行うために、所定時間長のフレームに分割されて、フレーム化される。

フレーム分割部１０４で得られる各フレームのフレーム化信号は、フーリエ変換部１０５に順次供給される。フーリエ変換部１０５では、フレーム信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の周波数スペクトルＸ(f,τ)に変換される。この周波数スペクトルＸ(f,τ)は、スペクトル切り替え部１０８および機械音低減部１０６に供給される。

機械音低減部１０６では、制御部２０１からのズーム制御情報（ズーム有無、方向）に基づいて、ズーム動作中には、機械音低減処理が行われる。この場合、機械音低減部１０６では、周波数スペクトルＸ(f,τ)にゲイン関数Ｇ(f,τ)が掛けられて、機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が得られる。この周波数スペクトルＹ(f,τ)は、スペクトル切り替え部１０８に供給される。

ズーム動作中でないとき、スペクトル切り替え部１０８では、フーリエ変換部１０５から供給される周波数スペクトルＸ(f,τ)が選択される。このとき、モータ２０３は駆動しておらず、周波数スペクトルＸ(f,τ)は、機械音（モータ２０３の駆動音）の成分を含んでいないからである。一方、ズーム動作中であるとき、スペクトル切り替え部１０８では、機械音低減部１０６で得られた、機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が選択される。

スペクトル切り替え部１０８からの周波数スペクトルＸ(f,τ)、あるいは修正周波数スペクトルＹ(f,τ)は、逆フーリエ変換部１０９に供給される。この逆フーリエ変換部１０９では、フレーム毎に、スペクトル切り替え部１０８から出力される周波数スペクトルに対して、逆高速フーリエ変換（ＩＦＦＴ）処理が施されて、時間領域のフレーム化信号に戻される。

このフレーム化信号は、波形合成部１１０に供給される。この波形合成部１１０では、各フレームのフレーム信号が合成されて、時系列的に連続した音声信号に復元される。この音声信号は、記録部１１１に供給される。記録部１１１では、波形合成部１１０から供給される音声信号が、ディスクあるいはメモリ等の記録媒体に、例えば、画像系で得られる画像信号と共に記録される。

上述したように、図１に示す音声付き動画撮影機能を備えた撮像装置の音声系１００においては、ズーム動作中であるとき、機械音低減部１０６で機械音低減処理が行われる。また、この音声系１００においては、ズーム動作中であるとき、スペクトル切り替え部１０８では機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が選択される。そのため、ズーム動作中であるとき、機械音（モータ２０３の駆動音）が抑圧された音声信号を記録することができる。

また、図１に示す音声系１００において、機械音低減部１０６では、入力信号の周波数スペクトルＸ(f,τ)に、周波数毎に、ゲイン関数テーブル１２１から読み出されたゲインが掛けられることで、周波数スペクトルの修正が行われる。この場合、ゲイン関数テーブル１２１に記憶されるゲイン関数Ｇ(f,τ)としては、任意の形に自由に設定できる。すなわち、機械音のばらつきの特性は様々であるが、それに適したゲイン関数Ｇ(f,τ)をゲイン関数テーブル１２１に設定できる。これにより、簡易な構成で、個体毎の機械音のバラツキによらず一定の低減効果を実現でき、品質の良い出力を得ることができる。

また、図１に示す音声系１００において、ゲイン関数テーブル１２１に設定されるゲイン関数Ｇ(f,τ)を、パワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢ前後でゲインの変化が滑らかとなるようにできる（図３参照）。これにより、パワー比の変化に伴ってゲインの値が急に変化するということがなく、出力信号が歪んで音質が劣化することを回避できる。

また、図１に示す音声系１００において、ゲイン関数テーブル１２１に設定されるゲイン関数Ｇ(f,τ)を、パワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢ近傍から小さくなるにつれてゲインが滑らかに大きくなるようにできる（図３参照）。これにより、もともとＸ(f,τ)の値が小さいところを大きく抑圧することが回避され、過剰な抑圧による音質劣化を避けることができる。

なお、上述では、機械音低減部１０６のゲイン関数テーブル１２１に設定されるゲイン関数Ｇ(f,τ)として、全体として、パワー比（Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２)が０ｄＢ近傍でゲインが低下する曲線形状である例を示した（図３参照）。このゲイン関数Ｇ(f,τ)は、上述したように、パワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢ近傍から小さくなるにつれてゲインが滑らかに大きくされている。

しかし、機械音低減部１０６のゲイン関数テーブル１２１に設定されるゲイン関数Ｇ(f,τ)としては、その他の形状である例も考えられる。例えば、図１０に示すように、パワー比｜Ｘ(f,τ)｜^２／｜Ｎ(f,τ)｜^２が０ｄＢより小さくなるとき、つまり｜Ｘ(f,τ)｜^２＜｜Ｎ(f,τ)｜^２のとき、従来例と同様に、ゲインが一定値となるものも考えられる。

＜２．第２の実施の形態＞
［音声付き動画撮影機能を備えた撮像装置の音声系］
図１１は、第２の実施の形態としての音声付き動画撮影機能を備えた撮像装置の音声系１００Ａの構成例を示している。この図１１において、図１と対応する部分には、同一符号を付し、適宜、その詳細説明を省略する。

この音声系１００Ａは、マイクロホン１０１と、Ａ／Ｄ変換器１０２と、ＡＧＣ回路１０３と、フレーム分割部１０４と、フーリエ変換部１０５を有している。また、この音声系１００Ａは、機械音低減部１０６と、ノイズテーブル１０７と、ノイズテーブル補正部１１２と、スペクトル切り替え部１０８と、逆フーリエ変換部１０９と、波形合成部１１０と、記録部１１１を有している。

ノイズテーブル補正部１１２は、ノイズテーブル１０７に記憶された機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２を補正することで、機械音低減部１０６で使用する機械音の周波数スペクトル情報を変更する。この場合、ノイズテーブル補正部１１２は、フーリエ変換部１０５で得られた入力信号の周波数スペクトルＸ(f,τ)に基づいて補正を行う。このノイズテーブル補正部１１２は、スペクトル情報変更部を構成している。

ノイズテーブル補正部１１２は、マスキング特性を利用したスペクトル補正を行う。ノイズテーブル補正部１１２は、入力信号の周波数スペクトルＸ(f,τ)に基づいて周辺音の特徴量を示すパラメータを算出し、このパラメータに基づいて補正係数を取得し、この補正係数を、機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２に掛けて補正する。

この場合、ノイズテーブル補正部１１２は、制御部２０１からのズーム制御情報（ズーム有無、方向）に基づいて、ノイズテーブル補正処理を行う。ノイズテーブル補正部１１２は、ズーム操作時、つまりモータ２０３の駆動時に、ノイズテーブル補正処理を行う。また、ノイズテーブル補正部１１２は、テレ方向およびワイド方向のズーム操作時に、それぞれの方向に対応した機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２をノイズテーブル１０７から読み出して補正する。

図１２は、ノイズテーブル補正部１１２の構成例を示している。このノイズテーブル補正部１１２は、演算部１３１と、保持部１３２と、補正部１３３と、通知部１３４を有している。演算部１３１は、入力信号の周波数スペクトルＸ(f,τ)に基づいて周辺音の特徴量を示すパラメータを算出し、このパラメータに基づいて補正係数を取得する。この演算部１３１は、周波数毎の補正係数、あるいは各周波数に共通の補正係数を取得する。

周波数毎の補正係数を取得する場合、特徴量を示すパラメータは、例えば、スペクトル包絡を示す線形予測係数とされる。この場合、演算部１３１は、入力信号の周波数スペクトルＸ(f,τ)に基づいて、スペクトル包絡を示す線形予測係数を求め、このスペクトル包絡の山部分に対応して値が低下するように各周波数の補正係数を取得する。演算部１３１で周波数毎の補正係数を取得する場合の詳細については後述する。

また、各周波数に共通の補正係数を取得する場合、特徴量を示すパラメータは、例えば、入力信号の周波数スペクトルＸ(f,τ)の平均パワーとされる。この場合、演算部１３１は、入力信号の周波数スペクトルＸ(f,τ)に基づいて、平均パワーを求め、この平均パワーが大きいとき値が低下するように各周波数に共通の補正係数を取得する。演算部１３１で各周波数に共通の補正係数を取得する場合の詳細については後述する。

保持部１３２は、演算部１３１における演算処理で必要なデータ、あるいは、演算結果としての補正係数などを保持する。補正部１３３は、ノイズテーブル１０７から読み出した機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２を、保持部１３２に保持されている補正係数を掛けることで補正する。通知部１３４は、補正部１３３で補正された機械音の周波数スペクトル情報｜Ｎ’(f,τ)｜^２を、機械音低減部１０６に通知する。図１に示す音声系１０６の機械音低減部１０６は、機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２を使用するが、図１１に示す音声系の機械音低減部１０６は、補正された機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２を使用する。

図１３のフローチャートは、ノイズテーブル補正部１１２の処理手順の一例を示している。ノイズテーブル補正部１１２は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、ノイズテーブル補正部１１２は、フーリエ変換部１０５から、所定時間分の入力信号の周波数スペクトルＸ(f,τ)を取得する。

次に、ノイズテーブル補正部１１２は、ステップＳＴ１３において、演算部１３１で、ステップＳＴ１２で取得された所定時間分の入力信号の周波数スペクトルＸ(f,τ)から、周辺音の特徴量を示すパラメータを求める。このパラメータは、上述したように、スペクトル包絡を示す線形予測係数、あるいは、平均パワーなどである。

次に、ノイズテーブル補正部１１２は、ステップＳＴ１４において、ステップＳＴ１３で算出されたパラメータに基づいて、補正係数を取得する。この場合、パラメータがスペクトル包絡を示す線形予測係数であるときには周波数毎の補正係数が取得され、パラメータが平均パワーであるときには各周波数に共通の補正係数が取得される。

次に、ノイズテーブル補正部１１２は、ステップＳＴ１５において、補正部１３３で、ノイズテーブル１０７から機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２を読み出し、ステップＳＴ１４で取得した補正係数を掛けて補正する。これにより、ノイズテーブル補正部１１２は、このステップＳＴ１５において、補正後の機械音の周波数スペクトル情報｜Ｎ’(f,τ)｜^２を得る。

次に、ノイズテーブル補正部１１２は、ステップＳＴ１６において、通知部１３４で、補正後の機械音の周波数スペクトル情報｜Ｎ’(f,τ)｜^２を、機械音低減部１０６に通知する。ノイズテーブル補正部１１２は、このステップＳＴ１６の処理の後、ステップＳＴ１２の処理に戻り、上述した処理手順を繰り返す。つまり、ノイズテーブル補正部１１２から機械音低減部１０６に通知される補正後の機械音の周波数スペクトル情報｜Ｎ’(f,τ)｜^２は、入力信号の周波数スペクトルＸ(f,τ)に基づいて、順次更新されていく。

［周波数毎の補正係数を取得して補正する場合］
ノイズテーブル補正部１１２において、演算部１３１で周波数毎の補正係数を取得して補正する場合について説明する。図１４は、聴覚的マスキング現象における雑音しきい値とスペクトル包絡の関係を示している（古井貞煕著、近代科学社、「新音響・音声工学」Ｐ１４９参照）。

この図１４において、曲線ａは周波数スペクトル（スペクトル微細構造）を示し、曲線ｂはスペクトル包絡を示し、さらに、曲線ｃは雑音しきい値を示している。雑音しきい値は、それ以下に抑えれば雑音が人間に知覚されないという振幅を表している。つまり、雑音は、雑音しきい値より大きな振幅でないと、人間には聞こえない。そのため、入力信号の周波数スペクトルの振幅が大きい領域では、雑音をあまり抑圧しなくてもよいことになる。

図１５に示すハッチング部分などは、他のところに比べて、たとえ雑音（機械音）が残っていても知覚しにくい部分になる。機械音（モータ２０３の駆動音）の全てを消す必要はなく、入力信号の特性に応じて、周波数毎にどの程度抑圧（低減）するべきかが変わる。機械音の抑圧程度を入力信号の特性に応じて抑制することで、実際には知覚されない機械音まで消そうすることに起因する所望音の劣化を抑えることができる。

ノイズテーブル補正部１１２の演算部１３１は、周波数毎の補正係数を取得するために、まず、入力信号の周波数スペクトルＸ(f,τ)に基づいて、長時間、例えば１〜２秒の平均スペクトルを算出する。次に、演算部１３１は、この平均スペクトルから、平均スペクトル包絡を算出し、この平均スペクトル包絡から補正係数を算出する。図１６（ａ）の曲線ａは平均スペクトルの一例を示し、図１６（ａ）の曲線ｂは平均スペクトル包絡の一例を示し、さらに、図１６（ｂ）の曲線ｃは補正係数の一例を示している。

図１７の曲線ａは、ノイズテーブル１０７に記憶されている機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２の一例を示している。そして、図１７の曲線ｂは、その周波数スペクトル情報｜Ｎ(f,τ)｜^２を、周波数毎に、図１６（ｂ）の曲線ｃで示される補正係数で補正された後の機械音の周波数スペクトル情報｜Ｎ’(f,τ)｜^２の一例を示している。

ここで、スペクトル包絡（線形予測フィルタ）Ｆ(z)の周波数特性は、（５）式で表される。この式において、Ａ(z)は逆フィルタと呼ばれる（古井貞煕著、近代科学社、「新音響・音声工学」Ｐ１２６−１２７参照）。

スペクトル包絡から補正係数を求める場合、例えば、上述のＦ(z)の周波数特性に修正を加えた、（６）式で表されるＫ(z)の周波数特性が算出される。この（６）式において、λは０＜λ≦１を満たす値である。λが１に近いほど、平坦な補正係数を得ることができる。

そして、（７）式で表されるＨ(z)＝Ｋ(z)／Ｆ(z)の周波数特性、つまり補正係数の周波数特性が算出される。このＨ(z)は、スペクトル包絡のピーク周波数周辺に谷を持つフィルタとなる。

図１８の曲線ａはＦ(z)の周波数特性の一例を示し、図１８の曲線ｂはＫ(z)の周波数特性の一例を示している。そして、図１９の曲線ｃはＨ(z)の周波数特性の一例を示している。

図２０のフローチャートは、周波数毎の補正係数を取得して補正する場合における、ノイズテーブル補正部１１２の詳細な処理手順の一例を示している。ノイズテーブル補正部１１２は、ステップＳＴ２１において、処理を開始し、その後に、ステップＳＴ２２の処理に移る。このステップＳＴ２２において、ノイズテーブル補正部１１２は、フーリエ変換部１０５から、入力信号の周波数スペクトルＸ(f,τ)を取得する。

次に、ノイズテーブル補正部１１２は、ステップＳＴ２３において、制御部２０１からの制御情報に基づいて、ズーム操作が行われているか否かを判断する。ノイズテーブル補正部１１２は、ズーム操作が行われていない場合に、モータ２０３の駆動音（機械音）の成分が含まれていない入力信号の周波数スペクトルＸ(f,τ)に基づいて、補正係数を算出する。そのため、ズーム操作が行われていないとき、ノイズテーブル補正部１１２は、補正係数を算出するため、ステップＳＴ２４の処理に移る。

このステップＳＴ２４において、ノイズテーブル補正部１１２は、前回補正係数を算出してから一定期間が経過したか否かを判断する。一定期間が経過していないとき、ノイズテーブル補正部１１２は、補正係数を算出することなく、直ちに、ステップＳＴ２２の処理に戻る。一方、一定期間が経過しているとき、ノイズテーブル補正部１１２は、ステップＳＴ２５の処理に移る。

このステップＳＴ２５において、ノイズテーブル補正部１１２は、過去所定時間（Ｔ秒）において、ズーム操作が行われなかったか否かを判断する。ノイズテーブル補正部１１２は、過去所定時間で得られる所定フレーム分の入力信号の周波数スペクトルＸ(f,τ)に基づいて補正係数を算出するからである。例えば、Ｔ秒は、１〜２秒である。過去所定時間にズーム操作が行われていたとき、ノイズテーブル補正部１１２は、補正係数を算出することなく、直ちに、ステップＳＴ２２の処理に戻る。一方、過去所定時間にズーム操作が行われていなかったとき、ノイズテーブル補正部１１２は、ステップＳＴ２６の処理に移る。

このステップＳＴ２６において、ノイズテーブル補正部１１２は、過去所定時間における所定フレーム分の入力信号の周波数スペクトルＸ(f,τ)の平均スペクトルを求め、さらにそのスペクトル包絡の線形予測係数αiを算出する（（５）式参照）。そして、ノイズテーブル補正部１１２は、ステップＳＴ２７において、Ｈ(z)＝Ｋ(z)／Ｆ(z)の周波数特性、つまり補正係数の周波数特性を算出する（（７）式参照）。

次に、ノイズテーブル補正部１１２は、ステップＳＴ２８において、ステップＳＴ２７で算出されたＨ(z)＝Ｋ(z)／Ｆ(z)の周波数特性から、周波数毎の補正係数Ｈ(k)（k=1,2,・・・,L）を算出して、保持部１３２に保持する。ここで、「ｋ」は周波数を示すインデックスである。ノイズテーブル補正部１１２は、ステップＳＴ２８の処理の後、ステップＳＴ２２の処理に戻る。

ノイズテーブル補正部１１２は、ズーム操作が行われているとき、ノイズテーブル１０７から機械音の周波数スペクトル情報を読み出し、補正後の機械音の周波数スペクトル情報を機械音低減部１０６に通知する。そのため、ステップＳＴ２３でズーム操作が行われていないとき、ノイズテーブル補正部１１２は、ステップＳＴ２９の処理に移る。

このステップＳＴ２９において、ノイズテーブル補正部１１２は、制御部２０１からの制御情報に基づいて、ノイズテーブル１０７からズーム方向に対応した機械音の各周波数の周波数スペクトル情報Ｎtable（k)（k=1,2,・・・,L）を読み出す。そして、ノイズテーブル補正部１１２は、ステップＳＴ３０において、保持部１３２に保持されている周波数毎の補正係数Ｈ(k)（k=1,2,・・・,L）を読み出す。

次に、ノイズテーブル補正部１１２は、ステップＳＴ３１において、周波数毎に、機械音の周波数スペクトル情報Ｎtable(k)に補正係数Ｈ(k)を掛けて、補正を行う。この補正により、補正後の機械音の周波数スペクトル情報Ｎcomp(k)＝Ｈ(k)・Ｎtable(k)（k=1,2,・・・,L）が得られる。そして、ノイズテーブル補正部１１２は、ステップＳＴ３２において、機械音低減部１０６に、補正後の機械音の周波数スペクトル情報Ｎcomp(k)（k=1,2,・・・,L）を通知する。ノイズテーブル補正部１１２は、ステップＳＴ３２の処理の後、ステップＳＴ２２の処理に戻る。

ズーム操作中に機械音低減部１０６に通知される補正後の機械音の周波数スペクトル情報Ｎcomp(k)（k=1,2,・・・,L）が変動すると、出力音声も同様に変動するので、好ましくない。そのため、上述の図２０のフローチャートに沿ったノイズテーブル補正部１１２の処理手順では、ズーム操作中に、補正係数Ｈ(k)（k=1,2,・・・,L）の変更が行われないようにされている。

［各周波数に共通の補正係数を取得して補正する場合］
ノイズテーブル補正部１１２において、演算部１３１で各周波数に共通の補正係数を取得して補正する場合について説明する。この補正処理は、例えば、ＡＧＣ回路により、録音レベルが圧縮され、実際より小さく機械音が観測される場合に適用することができる。

ＡＧＣ回路の役割は、音源の配置、大きさなど、収録対象に依存せず、なるべく一定の音量レベルを保つことにある。そのため、ＡＧＣ回路は、小さいレベルの音でも拾えるように、入力された信号を増幅する。また、ＡＧＣ回路は、大きすぎる音が入った場合、入力が飽和しないように、入力された信号を圧縮する。

図２１は、機械音（以下、ズーム音（ズームモータの駆動音）とする）とＡＧＣの関係の一例を示している。この例は、ズーム音のみがマイクロホンで集音される場合を示している。この場合、ズーム音のレベルが小さいので、このズーム音はＡＧＣ回路で一定の割合で増幅されて観測される。

図２２は、ズーム音とＡＧＣの関係の他の例を示している。この例は、ズーム音と、小さめの周辺音（環境音）がマイクロホンで集音される場合を示している。この場合、ズーム音および周辺音の双方のレベルが小さいので、これらズーム音および周辺音の双方がＡＧＣ回路で一定の割合で増幅されて観測される。

図２３は、ズーム音とＡＧＣの関係のさらに他の例を示している。この例は、ズーム音と、かなり大きい周辺音（環境音）がマイクロホンで集音される場合を示している。この場合、周辺音のレベルがかなり大きいので、この周辺音は圧縮されて観測される。そして、これに伴って、もともとレベルの小さなズーム音も小さく圧縮されて観測される。

上述したように、ＡＧＣのために、周辺音（環境音）によって、ズーム音は、単体で観測される場合（図２１参照）に比べて、圧縮されて観測されること（図２３参照）がある。このような場合、図２４に示すように、テンプレート（ノイズテーブル）に持つズーム音レベルより小さいレベルでズーム音が観測される。そのため、テンプレート（ノイズテーブル）に持つズーム音をそのまま使用してズーム音を抑圧した場合、必要以上にズーム音を低減してしまうため、所望音が劣化する。

この場合、周波数全体のレベルが下がる傾向がある。そのため、スペクトル形状ではなく、レベルを表す特徴量を算出して、全体に均一な補正を行う。ここでは、入力信号の周波数スペクトルＸ(f,τ)に基づいて、平均パワーを求め、この平均パワーが大きいとき値が低下するように各周波数に共通の補正係数を取得して補正を行う。

図２５のフローチャートは、各周波数に共通な補正係数を取得して補正する場合における、ノイズテーブル補正部１１２の詳細な処理手順の一例を示している。ノイズテーブル補正部１１２は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２において、ノイズテーブル補正部１１２は、フーリエ変換部１０５から、入力信号の周波数スペクトルＸ(f,τ)を取得する。

次に、ノイズテーブル補正部１１２は、ステップＳＴ４３において、制御部２０１からの制御情報に基づいて、ズーム操作が行われているか否かを判断する。ノイズテーブル補正部１１２は、ズーム操作が行われていない場合に、モータ２０３の駆動音（機械音）の成分が含まれていない入力信号の周波数スペクトルＸ(f,τ)に基づいて、補正係数を算出する。そのため、ズーム操作が行われていないとき、ノイズテーブル補正部１１２は、補正係数を算出するため、ステップＳＴ４４の処理に移る。

このステップＳＴ４４において、ノイズテーブル補正部１１２は、前回補正係数を算出してから一定期間が経過したか否かを判断する。一定期間が経過していないとき、ノイズテーブル補正部１１２は、補正係数を算出することなく、直ちに、ステップＳＴ４２の処理に戻る。一方、一定期間が経過しているとき、ノイズテーブル補正部１１２は、ステップＳＴ４５の処理に移る。

このステップＳＴ４５において、ノイズテーブル補正部１１２は、過去所定時間（Ｔ秒）において、ズーム操作が行われなかったか否かを判断する。ノイズテーブル補正部１１２は、過去所定時間で得られる所定数のフレームの入力信号の周波数スペクトルＸ(f,τ)に基づいて補正係数を算出するからである。例えば、Ｔ秒は、１〜２秒である。過去所定時間にズーム操作が行われていたとき、ノイズテーブル補正部１１２は、補正係数を算出することなく、直ちに、ステップＳＴ４２の処理に戻る。一方、過去所定時間にズーム操作が行われていなかったとき、ノイズテーブル補正部１１２は、ステップＳＴ４６の処理に移る。

このステップＳＴ４６において、ノイズテーブル補正部１１２は、過去所定時間における入力信号の周波数スペクトルＸ(f,τ)の平均パワー（平均エネルギー）Ｐ（対数ＲＭＳ Ｐ）を、（８）式により、算出する。この場合、例えば、１〜４ｋＨｚの周波数領域内の周波数の周波数スペクトルＸ(f,τ)のみが使用される。

次に、ノイズテーブル補正部１１２は、ステップＳＴ４７において、ステップＳＴ４６で算出された平均パワーＰを利用し、平均パワーＰと補正係数Ｃとの対応関係を示すテーブルを参照して、各周波数共通の補正係数Ｃを求めて保持部１３２に保持する。図２６は、平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの一例を示している。この作成方法については後述する。ノイズテーブル補正部１１２は、ステップＳＴ４７の処理の後、ステップＳＴ４２の処理に戻る。

ノイズテーブル補正部１１２は、ズーム操作が行われているとき、ノイズテーブル１０７から機械音の周波数スペクトル情報を読み出し、補正後の機械音の周波数スペクトル情報を機械音低減部１０６に通知する。そのため、ステップＳＴ４３でズーム操作が行われていないとき、ノイズテーブル補正部１１２は、ステップＳＴ４８の処理に移る。

このステップＳＴ４８において、ノイズテーブル補正部１１２は、制御部２０１からの制御情報に基づいて、ノイズテーブル１０７からズーム方向に対応した機械音の各周波数の周波数スペクトル情報Ｎtable（k)（k=1,2,・・・,L）を読み出す。そして、ノイズテーブル補正部１１２は、ステップＳＴ４９において、保持部１３２に保持されている各周波数に共通の補正係数Ｃを読み出す。

次に、ノイズテーブル補正部１１２は、ステップＳＴ５０において、周波数毎に、機械音の周波数スペクトル情報Ｎtable(k)に補正係数Ｃを掛けて、補正を行う。この補正により、補正後の機械音の周波数スペクトル情報Ｎcomp(k)＝Ｃ・Ｎtable(k)（k=1,2,・・・,L）が得られる。そして、ノイズテーブル補正部１１２は、ステップＳＴ５１において、機械音低減部１０６に、補正後の機械音の周波数スペクトル情報Ｎcomp(k)（k=1,2,・・・,L）を通知する。ノイズテーブル補正部１１２は、ステップＳＴ５１の処理の後、ステップＳＴ４２の処理に戻る。

ズーム操作中に機械音低減部１０６に通知される補正後の機械音の周波数スペクトル情報Ｎcomp(k)（k=1,2,・・・,L）が変動すると、出力音声も同様に変動するので、好ましくない。そのため、上述の図２５のフローチャートに沿ったノイズテーブル補正部１１２の処理手順では、ズーム操作中に、補正係数Ｃの変更が行われないようにされている。

[平均パワーＰと補正係数Ｃとの対応関係を示すテーブルの作成方法]
ここで、平均パワーＰと補正係数Ｃとの対応関係を示すテーブル（図２６参照）の作成方法の一例を説明する。図２７に示すように、デジタルカメラの内部マイクＭａとは別に、このデジタルカメラに外部マイクＭｂが設置される。内部マイクＭａの音声収録部に関しては、図２８（ａ）に示すように、後段にＡＧＣ回路が設けられる。一方、外部マイクＭｂの音声収録部に関しては、図２８（ｂ）に示すように、後段にＡＧＣ回路の代わりに線形増幅アンプが設けられる。つまり、この外部マイクＭｂの音声収録部に関しては、一定の割合で増幅だけが行われる、レベル圧縮は生じないようにされる。

図２７に示すように、スピーカから、例えばピンクノイズが再生される。この場合、ＡＧＣ回路が増幅だけを行う信号レベルから圧縮を行うような信号レベルに渡り、様々なレベルの信号が再生される。そして、スピーカの再生レベルと、観測信号レベルがグラフにプロットされる。

図２９は、グラフへのプロット例を示している。横軸は、スピーカの再生信号の平均パワーのｄＢ値を示している。縦軸は、内部マイクＭａおよび外部マイクＭｂの観測信号の平均パワーのｄＢ値を示している。実線ａは内部マイクＭａの観測信号を示し、破線ｂは外部マイクＭｂの観測信号を示している。

破線枠ＡＲ１で囲んで示すＡＧＣが一定の割合で増幅している領域（線形増加領域）では、内部マイクＭａの観測信号も、外部マイクＭｂの観測信号も一定の割合で増加する。また、破線枠ＡＲ２で囲んで示すＡＧＣのレベル圧縮が生じている領域（レベル圧縮領域）では、外部マイクＭｂの観測信号は線形に増加するが、内部マイクＭａの観測信号は一定になっている。

線形増加領域における内部マイクＭａの観測信号と外部マイクＭｂの観測信号の差Ｄは、単純にマイクおよび後段のアンプの特性差になる。そのため、この部分を補正すると、ＡＧＣのレベル圧縮が行われる場合のレベル差を見ることができる。図３０は、線形増加領域における内部マイクＭａの観測信号と外部マイクＭｂの観測信号の差Ｄを補正した状態を示している。

図３０に基づいて、内部マイクＭａの観測信号と外部マイクＭｂの観測信号のパワー（エネルギー）の違いを比で表現すると、図３１に示すようになる。横軸は、内部マイクＭａの平均パワーのｄＢ値を示している。縦軸は、パワーの比、つまり外部マイクＭａの平均パワーに対する内部マイクＭａの平均パワーの比を示している。

図３１に示す離散的なデータを線形補間することで、図３２に示すように、ｄＢ領域におけるＡＧＣのレベル圧縮値を得ることができる。図２６に示す平均パワーＰと補正係数Ｃとの対応関係を示すテーブルは、この図３２に示す内部マイクＭａの平均パワー（横軸）と、平均パワーの比（縦軸）との関係から作成される。この場合、内部マイクＭａの平均パワーがテーブルの平均パワーＰに対応し、平均パワーの比が補正係数Ｃに対応する。

なお、上述の図２５のフローチャートに沿ったノイズテーブル補正部１１２の処理手順においては、ステップＳＴ４６で過去所定時間における入力信号の周波数スペクトルＸ(f,τ)の平均パワーＰ（対数ＲＭＳ Ｐ）を算出するものである。つまり、入力信号の平均パワーＰを、周波数領域の信号処理で取得するものである。

しかし、この代わりに、過去所定時間における入力信号の時間領域のサンプルｘ(t)を用いて、（８）式と同様の式により平均パワーＰ（対数ＲＭＳ Ｐ）を算出し、この平均パワーＰを利用して補正係数Ｃを得ることも考えられる。この場合、入力信号の平均パワーＰを、時間領域の信号処理で取得するものである。

図１１に戻って、ノイズテーブル補正部１１２は、上述したように、ノイズテーブル１０７に記憶された機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２を、フーリエ変換部１０５で得られた入力信号の周波数スペクトルＸ(f,τ)に基づいて補正する。そして、このノイズテーブル補正部１１２は、補正後の機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２を機械音低減部１０６に通知する。

機械音低減部１０６は、この補正後の機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２を用いて、フーリエ変換部１０５で得られた周波数スペクトルＸ(f,τ)を修正して、機械音を抑圧する。すなわち、図１に示す音声系１００の機械音低減部１０６はノイズテーブル１０７から読み出された機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２をそのまま使用する。しかし、この図１１に示す音声系１００Ａの機械音低減部１０６は、ノイズテーブル補正部１１２で補正された機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２を使用する。図１１に示す音声系１００Ａにおいて、その他は、図１に示す音声系１００と同様に構成される。

図１１に示す音声付き動画撮影機能を備えた撮像装置の音声系１００Ａにおける動画撮影中の動作を簡単に説明する。マイクロホン１０１では周辺音が集音されて音声信号が得られる。この音声信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換され、さらにＡＧＣ回路１０３を介してフレーム分割部１０４に供給される。フレーム分割部１０４では、ＡＧＣ回路１０３から出力音声信号が、フレーム毎の処理を行うために、所定時間長のフレームに分割されて、フレーム化される。

フレーム分割部１０４で得られる各フレームのフレーム化信号は、フーリエ変換部１０５に順次供給される。フーリエ変換部１０５では、フレーム信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の周波数スペクトルＸ(f,τ)に変換される。この周波数スペクトルＸ(f,τ)は、スペクトル切り替え部１０８、機械音低減部１０６およびノイズテーブル補正部１１２に供給される。

機械音低減部１０６では、制御部２０１からのズーム制御情報（ズーム有無、方向）に基づいて、ズーム動作中には、機械音低減処理が行われる。この場合、機械音低減部１０６では、周波数スペクトルＸ(f,τ)にゲイン関数Ｇ(f,τ)が掛けられて、機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が得られる。この周波数スペクトルＹ(f,τ)は、スペクトル切り替え部１０８に供給される。

ノイズテーブル補正部１１２では、ノイズテーブル１０７に記憶された機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２が、フーリエ変換部１０５で得られた入力信号の周波数スペクトルＸ(f,τ)に基づいて補正される。つまり、この機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２は、入力信号に関する情報（周波数特性、パワーなど）に基づいて、得られた補正係数により補正される。機械音低減部１０６には、この補正された機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２が通知されて使用される。

ズーム動作中でないとき、スペクトル切り替え部１０８では、フーリエ変換部１０５から供給される周波数スペクトルＸ(f,τ)が選択される。このとき、モータ２０３は駆動しておらず、周波数スペクトルＸ(f,τ)は、機械音（モータ２０３の駆動音）の成分を含んでいないからである。一方、ズーム動作中であるとき、スペクトル切り替え部１０８では、機械音低減部１０６で得られた、機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が選択される。

スペクトル切り替え部１０８からの周波数スペクトルＸ(f,τ)、あるいは修正周波数スペクトルＹ(f,τ)は、逆フーリエ変換部１０９に供給される。この逆フーリエ変換部１０９では、フレーム毎に、スペクトル切り替え部１０８から出力される周波数スペクトルに対して、逆高速フーリエ変換（ＩＦＦＴ）処理が施されて、時間領域のフレーム化信号に戻される。

このフレーム化信号は、波形合成部１１０に供給される。この波形合成部１１０では、各フレームのフレーム信号が合成されて、時系列的に連続した音声信号に復元される。この音声信号は、記録部１１１に供給される。記録部１１１では、波形合成部１１０から供給される音声信号が、ディスクあるいはメモリ等の記録媒体に、例えば、画像系で得られる画像信号と共に記録される。

上述したように、図１１に示す音声付き動画撮影機能を備えた撮像装置の音声系１００Ａにおいては、ズーム動作中であるとき、機械音低減部１０６で機械音低減処理が行われる。また、この音声系１００Ａにおいては、ズーム動作中であるとき、スペクトル切り替え部１０８では機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が選択される。そのため、ズーム動作中であるとき、機械音（モータ２０３の駆動音）が抑圧された音声信号を記録することができる。

また、図１１に示す音声系１００Ａにおいて、機械音低減部１０６では、入力信号の周波数スペクトルＸ(f,τ)に、周波数毎に、ゲイン関数テーブル１２１から読み出されたゲインが掛けられることで、周波数スペクトルの修正が行われる。この場合、ゲイン関数テーブル１２１に記憶されるゲイン関数Ｇ(f,τ)としては、任意の形に自由に設定できる。すなわち、機械音のばらつきの特性は様々であるが、それに適したゲイン関数Ｇ(f,τ)をゲイン関数テーブル１２１に設定できる。これにより、簡易な構成で、個体毎の機械音のバラツキによらず一定の低減効果を実現でき、品質の良い出力を得ることができる。

また、図１１に示す音声系１００Ａにおいて、機械音低減部１０６では、ノイズテーブル１０７に記憶されている機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２がそのまま使用されるものではない。すなわち、ノイズテーブル補正部１１２により、入力信号に関する情報（周波数特性、パワーなど）に基づいて補正された機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２が使用される。そのため、実際には知覚されない機械音までも抑圧する過剰な抑圧を行うことが抑制され、過剰な抑圧による所望音の劣化を回避できる。つまり、周囲環境に応じて、ユーザの所望音の劣化を極力抑えた上で、機械音を低減できる。

＜３．第３の実施の形態＞
［音声付き動画撮影機能を備えた撮像装置の音声系］
図３３は、第３の実施の形態としての音声付き動画撮影機能を備えた撮像装置の音声系１００Ｂの構成例を示している。この図３３において、図１、図１１と対応する部分には、同一符号を付し、適宜、その詳細説明を省略する。

この音声系１００Ｂは、マイクロホン１０１と、Ａ／Ｄ変換器１０２と、ＡＧＣ（Automatic Gain Control）回路１０３と、フレーム分割部１０４と、フーリエ変換部１０５を有している。また、この音声系１００Ｂは、機械音低減部１０６と、ノイズテーブル１０７-1〜１０７-nと、ノイズテーブル切り替え部１１３と、スペクトル切り替え部１０８と、逆フーリエ変換部１０９と、波形合成部１１０と、記録部１１１を有している。

ノイズテーブル１０７-1〜１０７-nには、それぞれ、補正後の機械音の周波数スペクトル情報｜Ｎｉ(f,τ)｜^２（i=1,2,・・・,n）が記憶されている。この周波数スペクトル情報｜Ｎｉ(f,τ)｜^２（i=1,2,・・・,n）は、Ｐ（平均パワーＰ）−Ｃ（補正係数）テーブル（図２６参照）のそれぞれの補正係数Ｃの値Ｃｉ（i=1,2,・・・,n）で予め補正されたものである。予め収録された機械音（モータ２０３の駆動音に相当）の周波数スペクトル情報が｜Ｎ(f,τ)｜^２であるとき、｜Ｎｉ(f,τ)｜^２（i=1,2,・・・,n）は、｜Ｎｉ(f,τ)｜^２＝Ｃｉ・｜Ｎ(f,τ)｜^２（i=1,2,・・・,n）で表される。

なお、テレ方向およびワイド方向のズーム操作時のそれぞれでモータ２０３が発生する駆動音が異なる。そのため、ノイズテーブル１０７-1〜１０７-nには、補正後の機械音の周波数スペクトル情報として、テレ方向およびワイド方向のズーム操作時のそれぞれに対応したものが記録されている。

ノイズテーブル切り替え部１１３は、ノイズテーブル１０７-1〜１０７-nの中から、機械音低減部１０６で使用する、補正後の機械音の周波数スペクトル情報を読み出すためのノイズテーブル（使用ノイズテーブル）を決定する。ノイズテーブル切り替え部１１３は、この使用ノイズテーブルの決定を、フーリエ変換部１０５で得られた入力信号の周波数スペクトルＸ(f,τ)に基づいて行う。そして、ノイズテーブル切り替え部１１３は、この決定された使用ノイズテーブルから補正後の機械音の周波数スペクトル情報を読み出し、機械音低減部１０６に通知する。このノイズテーブル切り替え部１１３は、スペクトル情報変更部を構成している。

この場合、ノイズテーブル切り替え部１１３は、制御部２０１からのズーム制御情報（ズーム有無、方向）に基づいて、ノイズテーブル切り替え処理を行う。ノイズテーブル切り替え部１１３は、ズーム操作時、つまりモータ２０３の駆動時に、ノイズテーブル切り替え処理を行う。また、ノイズテーブル切り替え部１１３は、テレ方向およびワイド方向のズーム操作時に、決定された使用ノイズテーブルからそれぞれの方向に対応した周波数スペクトル情報を読み出して、機械音低減部１０６に通知する。

図３４は、ノイズテーブル切り替え部１１３の構成例を示している。このノイズテーブル切り替え部１１３は、演算部１４１と、保持部１４２と、切り替え部１４３と、通知部１４４を有している。演算部１４１は、入力信号の周波数スペクトルＸ(f,τ)の平均パワーＰを求める。そして、演算部１４１は、Ｐ−Ｃテーブル（図２６参照）を参照して、平均パワーＰに対応した補正係数Ｃの値を取得し、この値で補正された機械音の周波数スペクトル情報が記憶されているノイズテーブルを、使用ノイズテーブルに決定する。

なお、平均パワーＰと使用ノイズテーブルとの対応関係を示すテーブルを予め作成しておくことも考えられる。この場合、演算部１４１は、このテーブルに基づいて、使用ノイズテーブルを簡単に決定できる。

保持部１４２は、演算部１４１における演算処理で必要なデータ、あるいは、演算結果としての使用ノイズテーブル情報を保持する。切り替え部１４３は、補正後の機械音の周波数スペクトル情報を読み出すノイズテーブルを、保持部１４２に保持されている使用ノイズテーブル情報で示されるノイズテーブルに切り替える。通知部１４４は、切り替え部１４３で切り替えられたノイズテーブルから補正後の機械音の周波数スペクトル情報｜Ｎ’(f,τ)｜^２を読み出し、機械音低減部１０６に通知する。機械音低減部１０６は、このようにノイズテーブル切り替え部１１３から通知された補正後の機械音の周波数スペクトル情報｜Ｎ’(f,τ)｜^２を使用する。

図３５のフローチャートは、ノイズテーブル切り替え部１１３の詳細な処理手順の一例を示している。ノイズテーブル切り替え部１１３は、ステップＳＴ６１において、処理を開始し、その後に、ステップＳＴ６２の処理に移る。このステップＳＴ６２において、ノイズテーブル切り替え部１１３は、フーリエ変換部１０５から、入力信号の周波数スペクトルＸ(f,τ)を取得する。

次に、ノイズテーブル切り替え部１１３は、ステップＳＴ６３において、制御部２０１からの制御情報に基づいて、ズーム操作が行われているか否かを判断する。ノイズテーブル切り替え部１１３は、ズーム操作が行われていない場合に、モータ２０３の駆動音（機械音）の成分が含まれていない入力信号の周波数スペクトルＸ(f,τ)に基づいて、使用ノイズテーブルを決定する。そのため、ズーム操作が行われていないとき、ノイズテーブル切り替え部１１３は、補正係数を算出するため、ステップＳＴ６４の処理に移る。

このステップＳＴ６４において、ノイズテーブル切り替え部１１３は、前回使用ノイズテーブルを決定してから一定期間が経過したか否かを判断する。一定期間が経過していないとき、ノイズテーブル切り替え部１１３は、使用ノイズテーブルを決定することなく、直ちに、ステップＳＴ６２の処理に戻る。一方、一定期間が経過しているとき、ノイズテーブル切り替え部１１３は、ステップＳＴ６５の処理に移る。

このステップＳＴ６５において、ノイズテーブル切り替え部１１３は、過去所定時間（Ｔ秒）において、ズーム操作が行われなかったか否かを判断する。ノイズテーブル切り替え部１１３は、過去所定時間で得られる所定数のフレームの入力信号の周波数スペクトルＸ(f,τ)に基づいて使用ノイズテーブルを決定するからである。例えば、Ｔ秒は、１〜２秒である。過去所定時間にズーム操作が行われていたとき、ノイズテーブル切り替え部１１３は、使用ノイズテーブルを決定することなく、直ちに、ステップＳＴ６２の処理に戻る。一方、過去所定時間にズーム操作が行われていなかったとき、ノイズテーブル切り替え部１１３は、ステップＳＴ６６の処理に移る。

このステップＳＴ６６において、ノイズテーブル切り替え部１１３は、過去所定時間における入力信号の周波数スペクトルＸ(f,τ)の平均パワー（平均エネルギー）Ｐ（対数ＲＭＳ Ｐ）を、（９）式により、算出する。この場合、例えば、１〜４ｋＨｚの周波数領域内の周波数の周波数スペクトルＸ(f,τ)のみが使用される。

次に、ノイズテーブル切り替え部１１３は、ステップＳＴ６７において、ステップＳＴ６６で算出された平均パワーＰを利用し、平均パワーＰと補正係数Ｃとの対応関係を示すテーブル（図２６参照）を参照して、補正係数Ｃの値を取得する。そして、ノイズテーブル切り替え部１１３は、このステップＳＴ６７において、さらに、この補正係数Ｃの値で補正された機械音の周波数スペクトル情報が記憶されているノイズテーブルを、使用ノイズテーブルに決定する。ノイズテーブル切り替え部１１３は、ステップＳＴ６７の処理の後、ステップＳＴ６２の処理に戻る。

ノイズテーブル切り替え部１１３は、ズーム操作が行われているとき、ノイズテーブル１０７-1〜１０７-nのうち、使用ノイズテーブルから補正後の機械音の周波数スペクトル情報を読み出し、機械音低減部１０６に通知する。そのため、ステップＳＴ６３でズーム操作が行われていないとき、ノイズテーブル切り替え部１１３は、ステップＳＴ６８の処理に移る。

ステップＳＴ６８において、ノイズテーブル切り替え部１１３は、制御部２０１からの制御情報に基づいて、使用ノイズテーブルからズーム方向に対応した補正後の機械音の各周波数の周波数スペクトル情報Ｎtable（k)（k=1,2,・・・,L）を読み出す。そして、ノイズテーブル切り替え部１１３は、ステップＳＴ６９において、機械音低減部１０６に、その読み出した補正後の機械音のスペクトル情報Ｎtable（k)（k=1,2,・・・,L）を通知する。ノイズテーブル切り替え部１１３は、ステップＳＴ６９の処理の後、ステップＳＴ６２の処理に戻る。

ズーム操作中に機械音低減部１０６に通知される補正後の機械音の周波数スペクトル情報Ｎtable（k)（k=1,2,・・・,L）が変動すると、出力音声も同様に変動するので、好ましくない。そのため、上述の図３５のフローチャートに沿ったノイズテーブル切り替え部１１３の処理手順では、ズーム操作中に、使用ノイズテーブルの変更が行われないようにされている。

なお、上述の図３５のフローチャートに沿ったノイズテーブル切り替え部１１３の処理手順においては、ステップＳＴ６６で過去所定時間における入力信号の周波数スペクトルＸ(f,τ)の平均パワーＰ（対数ＲＭＳ Ｐ）を算出するものである。つまり、入力信号の平均パワーＰを、周波数領域の信号処理で取得するものである。

しかし、この代わりに、過去所定時間における入力信号の時間領域のサンプルｘ(t)を用いて、（９）式と同様の式により平均パワーＰ（対数ＲＭＳ Ｐ）を算出し、この平均パワーＰを利用して、使用ノイズテーブルを決定することも考えられる。この場合、入力信号の平均パワーＰを、時間領域の信号処理で取得するものである。

図３３に戻って、ノイズテーブル切り替え部１１３は、上述したように、ノイズテーブル１０７-1〜１０７-nの中から、機械音低減部１０６で使用する、補正後の機械音の周波数スペクトル情報を読み出すための使用ノイズテーブルを決定する。そして、ノイズテーブル切り替え部１１３は、この使用ノイズテーブルから補正後の機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２を読み出し、機械音低減部１０６に通知する。

機械音低減部１０６は、この補正後の機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２を用いて、フーリエ変換部１０５で得られた周波数スペクトルＸ(f,τ)を修正して、機械音を抑圧する。すなわち、図１１に示す音声系１００Ａの機械音低減部１０６はノイズテーブル補正部１１２で補正された機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２を使用する。しかし、図３３に示す音声系１００Ｂの機械音低減部１０６は、使用ノイズテーブルから読み出された補正後の機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２を使用する。図３３に示す音声系１００Ｂにおいて、その他は、図１、図１１に示す音声系１００，１００Ａと同様に構成される。

図３３に示す音声付き動画撮影機能を備えた撮像装置の音声系１００Ｂにおける動画撮影中の動作を簡単に説明する。マイクロホン１０１では周辺音が集音されて音声信号が得られる。この音声信号は、Ａ／Ｄ変換器１０２でアナログ信号からデジタル信号に変換され、さらにＡＧＣ回路１０３を介してフレーム分割部１０４に供給される。フレーム分割部１０４では、ＡＧＣ回路１０３から出力音声信号が、フレーム毎の処理を行うために、所定時間長のフレームに分割されて、フレーム化される。

フレーム分割部１０４で得られる各フレームのフレーム化信号は、フーリエ変換部１０５に順次供給される。フーリエ変換部１０５では、フレーム信号に対して、高速フーリエ変換（ＦＦＴ）処理が施されて、周波数領域の周波数スペクトルＸ(f,τ)に変換される。この周波数スペクトルＸ(f,τ)は、スペクトル切り替え部１０８、機械音低減部１０６およびノイズテーブル切り替え部１１３に供給される。

機械音低減部１０６では、制御部２０１からのズーム制御情報（ズーム有無、方向）に基づいて、ズーム動作中には、機械音低減処理が行われる。この場合、機械音低減部１０６では、周波数スペクトルＸ(f,τ)にゲイン関数Ｇ(f,τ)が掛けられて、機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が得られる。この周波数スペクトルＹ(f,τ)は、スペクトル切り替え部１０８に供給される。

ノイズテーブル切り替え部１１３では、ノイズテーブル１０７-1〜１０７-nの中から、機械音低減部１０６で使用する、補正後の機械音の周波数スペクトル情報を読み出すための使用ノイズテーブルが決定される。この決定は、フーリエ変換部１０５で得られた入力信号の平均パワーＰに基づいて行われる。機械音低減部１０６には、ノイズテーブル切り替え部１１３より、使用ノイズテーブルから読み出された補正後の機械音の周波数スペクトル情報｜Ｎ‘(f,τ)｜^２が通知されて使用される。

ズーム動作中でないとき、スペクトル切り替え部１０８では、フーリエ変換部１０５から供給される周波数スペクトルＸ(f,τ)が選択される。このとき、モータ２０３は駆動しておらず、周波数スペクトルＸ(f,τ)は、機械音（モータ２０３の駆動音）の成分を含んでいないからである。一方、ズーム動作中であるとき、スペクトル切り替え部１０８では、機械音低減部１０６で得られた、機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が選択される。

スペクトル切り替え部１０８からの周波数スペクトルＸ(f,τ)、あるいは修正周波数スペクトルＹ(f,τ)は、逆フーリエ変換部１０９に供給される。この逆フーリエ変換部１０９では、フレーム毎に、スペクトル切り替え部１０８から出力される周波数スペクトルに対して、逆高速フーリエ変換（ＩＦＦＴ）処理が施されて、時間領域のフレーム化信号に戻される。

このフレーム化信号は、波形合成部１１０に供給される。この波形合成部１１０では、各フレームのフレーム信号が合成されて、時系列的に連続した音声信号に復元される。この音声信号は、記録部１１１に供給される。記録部１１１では、波形合成部１１０から供給される音声信号が、ディスクあるいはメモリ等の記録媒体に、例えば、画像系で得られる画像信号と共に記録される。

上述したように、図３３に示す音声付き動画撮影機能を備えた撮像装置の音声系１００Ｂにおいては、ズーム動作中であるとき、機械音低減部１０６で機械音低減処理が行われる。また、この音声系１００においては、ズーム動作中であるとき、スペクトル切り替え部１０８では機械音（モータ２０３の駆動音）を抑圧するように修正された周波数スペクトルＹ(f,τ)が選択される。そのため、ズーム動作中であるとき、機械音（モータ２０３の駆動音）が抑圧された音声信号を記録することができる。

また、図３３に示す音声系１００Ｂにおいて、機械音低減部１０６では、入力信号の周波数スペクトルＸ(f,τ)に、周波数毎に、ゲイン関数テーブル１２１から読み出されたゲインが掛けられることで、周波数スペクトルの修正が行われる。この場合、ゲイン関数テーブル１２１に記憶されるゲイン関数Ｇ(f,τ)としては、任意の形に自由に設定できる。すなわち、機械音のばらつきの特性は様々であるが、それに適したゲイン関数Ｇ(f,τ)をゲイン関数テーブル１２１に設定できる。これにより、簡易な構成で、個体毎の機械音のバラツキによらず一定の低減効果を実現でき、品質の良い出力を得ることができる。

また、図３３に示す音声系１００Ｂにおいて、機械音低減部１０６では、入力信号の平均パワーに基づいて決定された使用ノイズテーブルから読み出された補正後の機械音の周波数スペクトル情報｜Ｎ(f,τ)｜^２が使用される。そのため、実際には知覚されない機械音までも抑圧する過剰な抑圧を行うことが抑制され、過剰な抑圧による所望音の劣化を回避できる。つまり、周囲環境に応じて、ユーザの所望音の劣化を極力抑えた上で、機械音を低減できる。

＜４．変形例＞
なお、上述の各実施の形態においては、スペクトル切り替え部１０８が設けられている。このスペクトル切り替え部１０８により、ズーム動作中でないとき、フーリエ変換部１０５からの周波数スペクトルＸ(f,τ)が取り出され、一方、ズーム動作中であるとき、機械音低減部１０６からの修正された周波数スペクトルＹ(f,τ)が取り出される。

しかし、機械音低減部１０６において、周波数スペクトルＸ(f,τ)に掛けられるゲイン関数Ｇ(f,τ)を、ズーム動作中でないときは「１」に制御することで、常に機械音低減部１０６の出力周波数スペクトルＹ(f,τ)を使用する構成とすることができる。この場合、機械音低減部１０６の出力周波数スペクトルＹ(f,τ)が逆フーリエ変換部１０９に直接供給され、スペクトル切り替え部１０８は不要となる。

また、上述の図１１に示す音声系１００Ａでは、周波数スペクトルＸ(f,τ)をゲイン関数テーブル１２１から読み出したゲインにより修正する機械音低減部１０６を持つものである。しかし、例えば、機械音の抑圧にスペクトルサブトラクション法を用いる音声系（図３７参照）等のように、予め収録された機械音の周波数スペクトル情報を利用して機械音を抑圧するその他の音声系においても、同様に構成できる。

例えば、サブトラクト部に供給する機械音の周波数スペクトル情報を、図１１に示す音声系１００Ａのノイズテーブル補正部１１２と同様の補正部で補正して供給すればよい。これにより、図１１に示す音声系１００Ａと同様の効果を得ることができる。すなわち、実際には知覚されない機械音までも抑圧する過剰な抑圧を行うことが抑制され、過剰な抑圧による所望音の劣化を回避できる。つまり、周囲環境に応じて、ユーザの所望音の劣化を極力抑えた上で、機械音を低減できる。

また、上述の図３３に示す音声系１００Ｂでも、周波数スペクトルＸ(f,τ)をゲイン関数テーブル１２１から読み出したゲインにより修正する機械音低減部１０６を持つものである。しかし、例えば、機械音の抑圧にスペクトルサブトラクション法を用いる音声系（図３７参照）等のように、予め収録された機械音の周波数スペクトル情報を利用して機械音を抑圧するその他の音声系においても、同様に構成できる。

例えば、サブトラクト部に、図３３に示す音声系１００Ｂのノイズテーブル切り替え部１１３と同様の切り替え部から、補正された機械音の周波数スペクトル情報を供給すればよい。これにより、図３３に示す音声系１００Ｂと同様の効果を得ることができる。すなわち、実際には知覚されない機械音までも抑圧する過剰な抑圧を行うことが抑制され、過剰な抑圧による所望音の劣化を回避できる。つまり、周囲環境に応じて、ユーザの所望音の劣化を極力抑えた上で、機械音を低減できる。

また、上述実施の形態においては、抑圧される機械音がモータ２０３の駆動音（ズーム音）であるものを示した。しかし、抑圧される機械音はこれに限定されるものでないことは勿論である。例えば、フォーカスモータの駆動音、パン、チルトのためのモータの駆動音なども考えられる。

また、上述実施の形態における機械音抑圧に係る部分は、ハードウェアで構成できる他、同様の処理をソフトウェアで行うこともできる。図３６は、ソフトウェアで処理を行うコンピュータ装置５０の構成例を示している。このコンピュータ装置５０は、ＣＰＵ１８１、ＲＯＭ１８２、ＲＡＭ１８３およびデータ入出力部（データＩ／Ｏ）１８４により構成されている。

ＲＯＭ１８２には、ＣＰＵ１８１の処理プログラム、予め収録された機械音の周波数スペクトル情報などの必要なデータが格納されている。ＲＡＭ１８３は、ＣＰＵ１８１のワークエリアとして機能する。ＣＰＵ１８１は、ＲＯＭ１８２に格納されている処理プログラムを必要に応じて読み出し、読み出した処理プログラムをＲＡＭ１８３に転送して展開し、当該展開された処理プログラムを読み出して、機械音抑圧処理を実行する。

このコンピュータ装置５０においては、入力音声信号（マイクロホンの出力信号）は、データＩ／Ｏ１８４を介して入力され、ＲＡＭ１８３に蓄積される。このＲＡＭ１８３に蓄積された入力音声信号に対して、ＣＰＵ１８１により、上述実施の形態と同様の機械音抑圧処理が行われる。そして、処理結果としての機械音が抑圧された出力音声信号は、データＩ／Ｏ１８４を介して外部に出力される。

この発明は、例えば、音声付き動画撮影機能を備えたデジタルカメラなど、特定の撮影動作に関連して機械音を発生する機械音発生源を有する撮像装置に適用できる。

５０・・・コンピュータ装置
１００，１００Ａ，１００Ｂ・・・音声系
１０１・・・マイクロホン
１０２・・・Ａ／Ｄ変換器
１０３・・・ＡＧＣ回路
１０４・・・フレーム分割部
１０５・・・フーリエ変換部
１０６・・・機械音低減部
１０７，１０７-1〜１０７-n・・・ノイズテーブル
１０８・・・スペクトル切り替え部
１０９・・・逆フーリエ変換部
１１０・・・波形合成部
１１１・・・記録部
１１２・・・ノイズテーブル補正部
１１３・・・ノイズテーブル切り替え部
１２１・・・ゲイン関数テーブル
１２２・・・パワー比算出部
１２３・・・周波数スペクトル修正部
１３１・・・演算部
１３２・・・保持部
１３３・・・補正部
１３４・・・通知部
１４１・・・演算部
１４２・・・保持部
１４３・・・切り替え部
１４４・・・通知部
２０１・・・制御部
２０２・・・キー入力部
２０３・・・モータ
２０４・・・モータ駆動部

Claims (18)

1. 入力信号を所定時間長のフレームに分割してフレーム化するフレーム化部と、
   上記フレーム化部で得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換部と、
   上記フーリエ変換部で得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減部と、
   上記機械音低減部で修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換部と、
   上記逆フーリエ変換部で得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成部とを備え、
   上記機械音低減部は、
   上記フーリエ変換部で得られた上記入力信号の周波数スペクトルと上記機械音の周波数スペクトル情報に基づいて、周波数毎に、上記入力信号の周波数スペクトルと上記機械音の周波数スペクトルのパワー比を算出するパワー比算出部と、
   周波数毎に、上記パワー比の各値に対応したゲインの設定値が記憶されたゲイン関数テーブルから、上記パワー比算出部で算出されたパワー比に対応したゲインを読み出すゲイン読み出し部と、
   周波数毎に、上記フーリエ変換部で得られた上記入力信号の周波数スペクトルに、上記ゲイン読み出し部で読み出されたゲインを掛けて、修正された周波数スペクトルを得る周波数スペクトル修正部とを有する
   機械音抑圧装置。
2. 上記ゲイン関数テーブルに記憶されたゲインの設定値は、
   上記パワー比が０ｄＢ近傍で小さくなり、該パワー比が０ｄＢ近傍から大きくなるにつれて傾きが不連続にならないように滑らかに大きくなっていく
   請求項１に記載の機械音抑圧装置。
3. 上記ゲイン関数テーブルに記憶されたゲインの設定値は、さらに、上記０ｄＢ近傍から小さくなるにつれて傾きが不連続にならないように滑らかに大きくなっていく
   請求項２に記載の機械音抑圧装置。
4. 上記機械音低減部で使用する上記機械音の周波数スペクトル情報を、上記入力信号に関する情報に基づいて変更するスペクトル情報変更部をさらに備える
   請求項１に記載の機械音抑圧装置。
5. 上記機械音は、周辺音記録機能を有する撮像装置において特定の撮影動作に関連して発生する機械音である
   請求項１に記載の機械音抑圧装置。
6. 入力信号を所定時間長のフレームに分割してフレーム化するフレーム化ステップと、
   上記フレーム化ステップで得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換ステップと、
   上記フーリエ変換ステップで得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減ステップと、
   上記機械音低減ステップで修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換ステップと、
   上記逆フーリエ変換ステップで得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成ステップとを備え、
   上記機械音低減ステップは、
   上記フーリエ変換ステップで得られた上記入力信号の周波数スペクトルと上記機械音の周波数スペクトル情報に基づいて、周波数毎に、上記入力信号の周波数スペクトルと上記機械音の周波数スペクトルのパワー比を算出するパワー比算出ステップと、
   周波数毎に、上記パワー比の各値に対応したゲインの設定値が記憶されたゲイン関数テーブルから、上記パワー比算出ステップで算出されたパワー比に対応したゲインを読み出すゲイン読み出しステップと、
   周波数毎に、上記フーリエ変換ステップで得られた上記入力信号の周波数スペクトルに、上記ゲイン読み出しステップで読み出されたゲインを掛けて、修正された周波数スペクトルを得る周波数スペクトル修正ステップとを有する
   機械音抑圧方法。
7. コンピュータを、
   入力信号を所定時間長のフレームに分割してフレーム化するフレーム化手段と、
   上記フレーム化手段で得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換手段と、
   上記フーリエ変換手段で得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減手段と、
   上記機械音低減手段で修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換手段と、
   上記逆フーリエ変換手段で得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成手段として機能させ、
   上記機械音低減手段は、
   上記フーリエ変換手段で得られた上記入力信号の周波数スペクトルと上記機械音の周波数スペクトル情報に基づいて、周波数毎に、上記入力信号の周波数スペクトルと上記機械音の周波数スペクトルのパワー比を算出するパワー比算出手段と、
   周波数毎に、上記パワー比の各値に対応したゲインの設定値が記憶されたゲイン関数テーブルから、上記パワー比算出手段で算出されたパワー比に対応したゲインを読み出すゲイン読み出し手段と、
   周波数毎に、上記フーリエ変換手段で得られた上記入力信号の周波数スペクトルに、上記ゲイン読み出し手段で読み出されたゲインを掛けて、修正された周波数スペクトルを得る周波数スペクトル修正手段とを有する
   プログラム。
8. 特定の撮影動作に関連して機械音を発生する機械音発生源を有すると共に、周辺音記録機能を有する撮像装置であって、
   マイクロホンで集音されて得られた周辺音の入力信号を所定時間長のフレームに分割してフレーム化するフレーム化部と、
   上記フレーム化部で得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換部と、
   上記フーリエ変換部で得られた上記入力信号の周波数スペクトルを、上記機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減部と、
   上記機械音低減部で修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換部と、
   上記逆フーリエ変換部で得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成部と、
   上記フレーム合成部で得られた出力信号を記録する記録部とを備え、
   上記機械音低減部は、
   上記フーリエ変換部で得られた上記入力信号の周波数スペクトルと上記機械音の周波数スペクトル情報に基づいて、周波数毎に、上記入力信号の周波数スペクトルと上記機械音の周波数スペクトルのパワー比を算出するパワー比算出部と、
   周波数毎に、上記パワー比の各値に対応したゲインの設定値が記憶されたゲイン関数テーブルから、上記パワー比算出部で算出されたパワー比に対応したゲインを読み出すゲイン読み出し部と、
   周波数毎に、上記フーリエ変換部で得られた上記入力信号の周波数スペクトルに、上記ゲイン読み出し部で読み出されたゲインを掛けて、修正された周波数スペクトルを得る周波数スペクトル修正部とを有する
   撮像装置。
9. 入力信号を所定時間長のフレームに分割してフレーム化するフレーム化部と、
   上記フレーム化部で得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換部と、
   上記フーリエ変換部で得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減部と、
   上記機械音低減部で使用する上記機械音の周波数スペクトル情報を、上記入力信号に関する情報に基づいて変更するスペクトル情報変更部と、
   上記機械音低減部で修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換部と、
   上記逆フーリエ変換部で得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成部と
   を備える機械音抑圧装置。
10. 上記スペクトル情報変更部は、
    ノイズテーブルに記憶された上記機械音の周波数スペクトル情報を、上記入力信号に関する情報に基づいて補正することで、上記機械音低減部で使用する上記機械音の周波数スペクトル情報を変更する
    請求項９に記載の機械音抑圧装置。
11. 上記スペクトル情報変更部は、
    上記入力信号に関する情報に基づいて周辺音の特徴量を示すパラメータを算出し、該算出されたパラメータに基づいて補正係数を取得し、該取得された補正係数を上記ノイズテーブルに記憶された上記機械音の周波数スペクトル情報に掛けて補正する
    請求項１０に記載の機械音抑圧装置。
12. 上記特徴量を示すパラメータは上記入力信号の周波数スペクトルのスペクトル包絡を示す線形予測係数であり、
    上記スペクトル情報変更部は、
    上記スペクトル包絡を示す線形予測係数に基づいて、上記スペクトル包絡の山部分に対応して値が低下するように各周波数の補正係数を取得し、周波数毎に、上記機械音の周波数スペクトル情報に該取得された補正係数を掛けて補正する
    請求項１１に記載の機械音抑圧装置。
13. 上記特徴量パラメータは、上記入力信号の平均パワーであり、
    上記スペクトル情報変更部は、
    上記入力信号の平均パワーに基づいて、該平均パワーが大きいとき値が低下するように各周波数に共通の補正係数を取得し、上記機械音の各周波数の周波数スペクトル情報に上記取得された補正係数を掛けて補正する
    請求項１１に記載の機械音抑圧装置。
14. 上記機械音の周波数スペクトル情報が記憶された複数のノイズテーブルを備え、
    上記複数のノイズテーブルには、上記入力信号の平均パワーが互いに異なる場合に使用する上記機械音の周波数スペクトル情報が記憶されており、
    上記スペクトル情報変更部は、
    上記入力信号の平均パワーに基づいて、上記機械音の周波数スペクトル情報を読み出すノイズテーブルを切り替えることで、上記機械音低減部で使用する上記機械音の周波数スペクトル情報を変更する
    請求項９に記載の機械音抑圧装置。
15. 上記機械音は、周辺音記録機能を有する撮像装置において特定の撮影動作に関連して発生する機械音である
    請求項９に記載の機械音抑圧装置。
16. 入力信号を所定時間長のフレームに分割してフレーム化するフレーム化ステップと、
    上記フレーム化ステップで得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換ステップと、
    上記フーリエ変換ステップで得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減ステップと、
    上記機械音低減ステップで使用する上記機械音の周波数スペクトル情報を、上記入力信号に関する情報に基づいて変更するスペクトル情報変更ステップと、
    上記機械音低減ステップで修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換ステップと、
    上記逆フーリエ変換ステップで得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成部ステップと
    を備える機械音抑圧方法。
17. コンピュータを、
    入力信号を所定時間長のフレームに分割してフレーム化するフレーム化手段と、
    上記フレーム化手段で得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換手段と、
    上記フーリエ変換手段で得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減手段と、
    上記機械音低減手段で使用する上記機械音の周波数スペクトル情報を、上記入力信号に関する情報に基づいて変更するスペクトル情報変更手段と、
    上記機械音低減手段で修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換手段と、
    上記逆フーリエ変換手段で得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成手段と
    して機能させるプログラム。
18. 特定の撮影動作に関連して機械音を発生する機械音発生源を有すると共に、周辺音記録機能を有する撮像装置であって、
    マイクロホンで集音されて得られた周辺音の入力信号を所定時間長のフレームに分割してフレーム化するフレーム化部と、
    上記フレーム化部で得られたフレーム化信号を周波数領域の周波数スペクトルに変換するフーリエ変換部と、
    上記フーリエ変換部で得られた上記入力信号の周波数スペクトルを、機械音の周波数スペクトル情報に基づいて修正して機械音を抑圧する機械音低減部と、
    上記機械音低減部で使用する上記機械音の周波数スペクトル情報を、上記入力信号に関する情報に基づいて変更するスペクトル情報変更部と、
    上記機械音低減部で修正された周波数スペクトルを時間領域のフレーム化信号に戻す逆フーリエ変換部と、
    上記逆フーリエ変換部で得られた各フレームのフレーム化信号をフレーム合成して機械音を抑圧した出力信号を得るフレーム合成部と、
    上記フレーム合成部で得られた出力信号を記録する記録部と
    を備える撮像装置。

Images