JP2016009039A - 撮像装置 - Google Patents

Abstract

【課題】適切にノイズ低減処理を行う。
【解決手段】入力される音声信号の周波数スペクトルの信号レベルとノイズプロファイルのレベルを周波数毎に比較してレベル抑圧をするノイズキャンセル部を有し、入力音声レベルが予め定められた閾値を下回る場合、駆動部が駆動前の周波数スペクトルと駆動中にノイズキャンセル部にてレベル抑圧された周波数スペクトルとの信号レベルを比較し、ノイズプロファイルのレベルを補正する。
【選択図】図２

Description

本発明は、撮像装置に関する。

従来、画像信号を記録すると共に音声信号を記録する撮像装置が知られている。これらの撮像装置には、装置に備えられたまたは装着されたレンズを移動する際に、レンズを移動するためのモータなどの駆動部が発生した音（駆動ノイズ、駆動雑音）を低減するものがあった（特許文献１：例えば図１１）。

特開平０６−３４９２０８号公報

ズームレンズ等を構成する鏡筒は、個体ばらつきや経年変化により駆動時の駆動音にレベル差が生じる。よって、レベル差に応じて鏡筒駆動時の減音処理のパラメータの補正が必要となる。

前記に記載された音声処理の技術は、鏡筒の駆動音のみを抽出してレベルを検知する構成となっていない。つまり、鏡筒の駆動音を除いた音と鏡筒駆動音の区別することができない。

よって環境音が限りなく小さい、例えば無響室や無響箱等の静音環境下でないと鏡筒の個体ばらつきによる音レベル差、経年変化による音レベル差を検知することができない。

そこで、本発明は、静音環境等の限定された環境下だけでなく、ある程度の音が存在する環境下においても、鏡筒の個体ばらつきに依る鏡筒駆動時の駆動音のレベル差や経年変化により生じる鏡筒駆動時の駆動音のレベル変化を補正する事ができ、また、限定された環境下においては鏡筒駆動時の駆動音の周波数ずれも補正できる音声信号処理装置を提供することを目的とする。

本発明の撮像装置は、撮像手段と、前記撮像手段の光学系を移動させる駆動手段と、時系列の音声データを周波数スペクトルに変換するＦＦＴ部と、入力される音声信号の周波数スペクトルの信号レベルとノイズプロファイルのレベルを周波数毎に比較してレベル抑圧をするノイズキャンセル部と、前記ノイズキャンセル部にてレベル抑圧された周波数スペクトルを時系列の音声データに戻すｉＦＦＴ部と、前記周波数スペクトルの信号レベルと前記ノイズプロファイルのレベルを比較するレベル比較部と、前記ノイズプロファイルと対象とする駆動部の周波数スペクトルとの周波数ずれあるいはレベルずれを演算し、結果に応じて補正を実行するか否かを判定する補正判定部と、前記ノイズプロファイルの補正レベルを演算し補正する補正部と、前記駆動部を駆動させているか否かに応じて、前記調整手段を制御する制御手段を備え、入力音声レベルが予め定められた閾値を下回る場合、駆動部が駆動前の周波数スペクトルと駆動中にノイズキャンセル部にてレベル抑圧された周波数スペクトルとの信号レベルを比較し、ノイズプロファイルのレベルを補正する。

本発明によれば、静音環境等の限定された環境下だけでなく、ある程度の音が存在する環境下においても、鏡筒の個体ばらつきに依る鏡筒駆動時の駆動音のレベル差や経年変化により生じる鏡筒駆動時の駆動音のレベル変化を補正する事ができ、また、限定された環境化においては鏡筒駆動時の駆動音の周波数ずれも補正する事ができる。

撮像装置のブロック図である。 撮像部及び音声入力部の詳細な構成を示すブロック図である。 ノイズプロファイルの周波数スペクトルを示す図である。 ノイズキャンセル処理を表す図である。 デジタル音声信号の周波数スペクトルを表す図である。 音声信号の周波数スペクトルを表す図である。 音声信号の周波数スペクトルを表す図である。 補正パラメータを示した図である。 デジタル音声信号の周波数スペクトルを表す図である。 音声信号の周波数スペクトルを表す図である。 従来例の撮像部及び、音声入力部の構成を示すブロック図である。

以下、図面を参照して本発明の実施例を詳細に説明する。

本実施例では、撮像装置について図１から図１０を用いて説明する。図１は、実施例１の撮像装置１００の構成を示すブロック図である。

図１において、撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。撮影レンズは、内蔵型のレンズであっても、着脱式のレンズであっても良い。また、撮像素子は、ＣＣＤ、ＣＭＯＳ等に代表される光電変換素子であればよい。

音声入力部１０２は、内蔵または音声端子を介して接続されたマイクにより、撮像装置１００の周辺の音声を集音し、アナログデジタル変換、音声処理などを行い音声データを生成する。マイクは、指向性、無指向性を問わないが、本実施例では無指向性のマイクを使用するものとする。メモリ１０３は、撮像部１０１により得られた画像データや、音声入力部１０２により得られた音声データを一時的に記憶する。表示制御部１０４は、撮像部１０１により得られた画像データに係る映像や、撮像装置１００の操作画面、メニュー画面等を表示部１０５や、不図示の映像端子を介して外部のディスプレイに表示させる。

符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。また、音声データに関しては圧縮しないようにしてもよい。圧縮画像データは、例えば、ＭＰＥＧ２やＨ．２６４／ＭＰＥＧ４−ＡＶＣなど、どのような圧縮方式で圧縮されたものであってもよい。また、圧縮音声データも、ＡＣ３、ＡＡＣ、ＡＴＲＡＣ、ＡＤＰＣＭなどのような圧縮方式で圧縮されたものであってもよい。

記録再生部１０７は、記録媒体１０８に対して、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データまたは音声データ、各種データを記録したり、記録媒体１０８から読出したりする。ここで、記録媒体１０８は、画像データ、音声データ、等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体を含む。

制御部１０９は、撮像装置１００の各ブロックに制御信号を送信することで撮像装置１００の各ブロックを制御することができ、各種制御を実行するためのＣＰＵやメモリなどからなる。制御部１０９で使用するメモリは、各種制御プログラムを格納するＲＯＭ、演算処理のためのＲＡＭ等であり、制御部１０９外付けのメモリも含む。操作部１１０は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部１０９に送信する。

本実施例の撮像装置では、動画記録開始、終了を指示するための撮影ボタン、光学的、電子的に画像を拡大、縮小する指示するためのズームレバー、各種調整をするための十字キー、決定キーなどからなる。音声出力部１１１は、記録再生部１０７により再生された音声データや圧縮音声データ、または制御部１０９により出力される音声データをスピーカ１１２や音声端子などに出力する。外部出力部１１３は、記録再生部１０７により再生された圧縮映像データや圧縮音声データ、音声データなどを外部機器に出力する。データバス１１４は、音声データや画像データ等の各種データ、各種制御信号を撮像装置１００の各ブロックに供給する。

ここで、本実施例の撮像装置１００の通常の動作について説明する。本実施例の撮像装置１００は、ユーザが操作部１１０を操作して電源を投入する指示が出されたことに応じて、不図示の電源供給部から、撮像装置の各ブロックに電源を供給する。

電源が供給されると、制御部１０９は、操作部１１０のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部１１０からの指示信号により確認する。動画記録モードでは、撮像部１０１により得られた画像データと音声入力部１０２により得られた音声データとを１つのファイルとして保存する。再生モードでは、記録媒体１０８に記録された圧縮画像データを記録再生部１０７により再生して表示部１０５に表示させる。

動画記録モードでは、まず、制御部１０９は、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。

撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部１０４に送信し、表示部１０５に表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データを音声出力部１１１に送信し、接続されたスピーカ１１２や不図示のイヤホンから音声として出力させる。ユーザは、この様にして出力された音声を聞きながら記録音量を決定するためのマニュアルボリュームの調整をすることもできる。

次に、ユーザが操作部１１０の記録ボタンを操作することにより撮影開始の指示信号が制御部１０９に送信されると、制御部１０９は、撮像装置１００の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。

撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部１０４に送信し、表示部１０５に表示させる。また、得られた画像データをメモリ１０３送信する。

音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データをメモリ１０３に送信する。また、マイクが一つの場合には、得られたアナログ音声信号をデジタル変換し音声データを生成し、音声データをメモリ１０３に送信する。

符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。

そして、制御部１０９は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。音声データを圧縮しない場合には、制御部１０９は、メモリ１０３に格納された音声データと圧縮画像データとを合成し、データストリームを形成して記録再生部１０７に出力する。

記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。

以上の動作を撮影中は継続する。そして、ユーザが操作部１１０の記録ボタンを操作することにより撮影終了の指示信号が制御部１０９に送信されると、制御部１０９は、撮像装置１００の各ブロックに撮影終了の指示信号を送信し、以下のような動作をさせる。

撮像部１０１、音声入力部１０２は、それぞれ画像データ、音声データの生成を停止する。符号化処理部１０６は、メモリに記憶されている残りの画像データと音声データとを読出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し終えたら動作を停止する。音声データを圧縮しない場合には、当然、圧縮画像データの生成が終わったら動作を停止する。

そして、制御部１０９は、これらの最後の圧縮画像データと、圧縮音声データまたは音声データとを合成し、データストリームを形成し、記録再生部１０７に出力する。

記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。

制御部１０９は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、再生モードでは、制御部１０９は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。

記録媒体１０８に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部１０７が読出して、読出された圧縮画像データ、圧縮音声データは、符号化処理部１０６に送る。

符号化処理部１０６は、圧縮画像データ、圧縮音声データを復号してそれぞれ、表示制御部１０４、音声出力部１１１に送信する。表示制御部１０４は、復号された画像データを表示部１０５に表示させる。音声出力部１１１は、復号された音声データを内蔵または、取付けられた外部スピーカから出力させる。本実施例の撮像装置１００は以上のように、画像、音声の記録再生を行うことができる。

本実施例では、音声入力部１０２において、音声信号を得る際に、マイクにより得られた音声信号のレベル調整処理等の処理をしている。この処理は、装置が起動してから常に行われてもよいし、撮影モードが選択されてから行われてもよい、または、音声の記録に関連するモードが選択されてから行われても良い。また、音声の記録に関連するモードにおいて、音声の記録が開始したことに応じて上記の処理を行ってもよい。本実施例では、動画像撮影の開始されたタイミングで上記の処理を行うようにしたものとする。

図２は、本実施例の撮像装置１００の撮像部１０１、音声入力部１０２の詳細な構成を示すブロック図である。

撮像部１０１は、被写体の光学像を取り込むレンズ２０１等の光学系、レンズ２０１により取り込まれた被写体の光学像を電気信号（画像信号）に変換させる撮像素子２０２を有している。さらに、撮像素子２０２により得られたアナログ画像信号をデジタル画像信号に変換し、画質調整処理をして画像データを形成し、メモリに送信する画像処理手段２０３を有している。さらに、レンズ２０１を移動させるための位置センサ、モータ等の公知の駆動メカニズムを有するレンズ制御部２０４を有している。本実施例では撮像部１０１にレンズ２０１、レンズ制御部２０４が内蔵されているように記載しているが、これらは着脱可能な交換レンズであっても良い。

例えば、ズーム動作、フォーカス調整などの指示を、ユーザが操作部１１０を操作して入力すると、制御部１０９は、レンズ制御部２０４にレンズを移動させる制御信号（駆動信号）を送信する。レンズ制御部２０４は、この制御信号に応じて、位置センサでレンズ２０１の位置を確認し、モータ等の駆動部でレンズ２０１の移動を行う。また、画像処理部２０３により得られた画像や被写体との距離を制御部１０９が確認し、自動的に調整する場合は、レンズを駆動させる制御信号を送信することになる。また、画像のブレを防止する、いわゆる防振機能を備えている場合には、制御部１０９は、不図示の振動センサにより検出された振動に基づいて、レンズ２０１を移動させるための制御信号をレンズ制御部２０４に送信することになる。

このときに、本実施例の撮像装置１００は、レンズ２０１の移動による駆動ノイズやレンズ２０１を移動させるためのモータの駆動ノイズが発生することになる。本実施例では、制御部１０９からのレンズを駆動させる制御信号に応じて、レンズ制御部２０４は、レンズを駆動させる。すなわち、制御部１０９は、駆動ノイズが発生するタイミングを知る（検出するまたは、決定する）ことができる。

本実施例において、レンズ２０１は、例えば最大で６倍、最小で１倍の拡大、縮小を光学的に行うことができる。これを本実施例では光学ズームと言う。光学ズームは、制御部１０９からの指示で、レンズ制御部２０４が、レンズ２０１のレンズを移動させることで、被写体の光学像を拡大させるものである。また、画像処理部２０３は、撮像素子２０２により得られた画像信号の一部を拡大した画像信号を出力する電子ズーム（拡大）機能を備えている。また、撮像素子２０２により得る画像の範囲を広くし、画像処理部２０３で画像サイズを縮小した画像信号を出力する電子ズーム（縮小）機能を備えている。

また、音声入力部１０２の音声処理は、音声振動を電気信号に変換し、音声信号を出力するマイク２０５、マイク２０５により得られたアナログ音声信号をデジタル音声信号に変換するＡＤ変換部２０６を有している。また、ＡＤ変換された時間領域のデジタル音声信号を高速フーリエ変換して周波数領域のデジタル音声信号に変換するＦＦＴ部２０７、ＦＦＴ部２０７により変換された周波数領域のデジタル音声信号の或るサンプルタイミングにおける周波数スペクトルの信号レベルをメモリ２０８に記憶されている周波数スペクトルが持つ各周波数ごとの信号レベルと比較し、周波数毎に抑圧処理を施すノイズキャンセル部２０９を有している。さらに、抑圧処理された後の周波数領域のデジタル信号を時間軸に逆変換してデジタル音声信号を生成するｉＦＦＴ部２１０、ｉＦＦＴ部２１０により生成された時間領域のデジタル音声信号の振幅を所定のレベルに抑えるためのオートレベルコントローラ（以後、ＡＬＣ）２１１、音声信号に所定の処理を行い音声データを形成しメモリ１０３へ送信する音声処理部２１２を有している。

本実施例におけるメモリ２０８に記録された周波数スペクトルは、例えば、被写体の光学像を拡大するためにレンズ２０１を移動（以降、拡大駆動）するときに対応する「拡大時の周波数スペクトル」を有している。また、被写体の光学像を縮小するためにレンズ２０１を移動（以降、縮小駆動）するときに対応する「縮小時の周波数スペクトル」を有している。本実施例ではレンズ２０１を移動する場合について説明したが、これ以外の駆動部についてそれぞれに異なる周波数スペクトルを有し、同様の処理をしてもよい。

このメモリ２０８に記録された周波数スペクトルの例を示した図が図３である。図３において（Ａ１）は、拡大駆動するときに対応する「拡大時の周波数スペクトル」を示す。また、（Ｂ１）は、縮小駆動するときに対応する「縮小時の周波数スペクトル」を示す。本実施例はこれらをノイズプロファイルと呼ぶ。

本実施例においてデジタル音声信号は、４８ＫＨｚ、１６ｂｉｔのサンプリングである。周波数スペクトルは、レンズ２０１を移動している期間のスペクトルの信号レベルを５１２ポイントＦＦＴ部２０７で求め、周波数スペクトルとして算出している。本実施例においては、「拡大時の周波数スペクトル」（以後ノイズプロファイルＡ１）と「縮小時の周波数スペクトル」（以後ノイズプロファイルＢ１）を例として図３に図示している。勿論、レンズ２０１以外の駆動部についてそれぞれに異なる周波数スペクトルを有し、同様の処理をしてもよい。

次にレンズ２０１がレンズ制御部２０４の駆動部により移動するときのノイズキャンセル処理について説明する。ユーザによる操作部１１０の操作により、被写体の光学像を拡大するためにレンズ２０１が移動する（拡大駆動）場合について説明する。ユーザにより操作部１１０が拡大操作されると、制御部１０９は、レンズ制御部２０４に、被写体の光学像を拡大する方向にレンズが移動するように制御信号を送信する。レンズ制御部２０４はこの制御信号に応じて、被写体の光学像を拡大する方向にレンズ２０１が移動するようにモータ等を駆動する。このとき、レンズ２０１が駆動部の駆動により移動する間、制御部１０９は、ノイズキャンセル部２０９に対して、レンズ２０１が拡大駆動することを示す制御信号を送信する。

そして、マイク２０５により得られたアナログ音声信号はＡＤ変換部２０６によりデジタル音声信号に変換され、ＦＦＴ部２０７により周波数領域に変換されたデジタル音声信号をノイズキャンセル部２０９に送信する。ノイズキャンセル部２０９は、レンズ２０１が拡大駆動することを示す制御信号を制御部１０９から受信しているので、メモリ２０８からノイズプロファイルＡ１を読み出す。ノイズプロファイルＡ１を用いたノイズキャンセル部２０９のノイズキャンセル処理を図４に示す。ＦＦＴ部２０７により周波数領域にへ変換されたデジタル信号の周波数スペクトルをＡ２として示す。

本実施例においてデジタル音声信号は、４８ＫＨｚ、１６ｂｉｔのサンプリングである。周波数スペクトルは、レンズ２０１を移動している期間、ある一定の短期間においてスペクトルの信号レベルを５１２ポイントＦＦＴ部２０７で求め、周波数スペクトルＡ２として算出している。ノイズプロファイルＡ１と周波数スペクトルＡ２の５１２ポイントでのレベルを比較し、４段階に分類して抑圧量を決定している。図４に示すように例として、ノイズプロファイルＡ１と周波数スペクトルＡ２の一致度を比較して、（１）４８ｄＢ抑圧、（２）３６ｄＢ抑圧、（３）２４ｄＢ抑圧、（４）抑圧なしとする。勿論、抑圧量は、変更しても構わないし、４段階も問わない。ノイズキャンセル部２０９により前記抑圧処理を施されたデジタル音声データは、ｉＦＦＴ部２１０により時間領域のデジタル音声信号に逆変換され、その後、ＡＬＣ部２１１によりＡＬＣ処理、音声処理部２１１によりデジタル音声データに所定の処理を行い音声データを形成してメモリ１０３へ送信する。

ユーザによる操作部１１０の操作により、被写体の光学像を縮小するためにレンズ２０１が移動する（縮小駆動）場合のノイズキャンセル処理についても、拡大駆動時と同様に、ノイズキャンセル部２０９が、レンズ２０１が縮小駆動することを示す制御信号を制御部１０９から受信して、メモリ２０８からノイズプロファイルＢ１を読み出して、ＦＦＴ部２０７により周波数領域にへ変換されたデジタル信号の周波数スペクトルに対し信号レベルを比較して、４段階に分類して抑圧量を決定する。勿論、レンズ２０１以外の駆動部についても、それぞれに異なるノイズプロファイルをメモリ２０８に格納し、ＦＦＴ部２０７は制御部１０９の制御信号により、読み出すプロファイルを変更してノイズキャンセル動作を実施する。

本実施例では図２において、マイクが一つの場合について説明したが、複数のマイクを使用するようにしてもよい。この場合、ノイズプロファイルをマイク共通にしてノイズキャンセル処理をするようにしてもよい。しかし、それぞれのマイクに対応するノイズプロファイルを個別に設けるようにすると、さらに雑音低減効果を高めることができる。これは、マイクによって、配置された位置などの影響により、それぞれのマイクに入力される駆動雑音のレベルが異なるため、個別に雑音を低減することが望ましいからである。

次に、図２を用いて、本実施例におけるノイズプロファイルの補正について説明する。図２において、レベル比較部２１３は、ＦＦＴ部２０７により変換された周波数領域のデジタル音声信号の周波数スペクトルの信号レベルとメモリ２０８に格納されたノイズプロファイルのレベルを比較するものである。補正判定部２１４は、レベル比較部２１３の比較結果を受けて、補正判定の条件を満たした場合、メモリ２０８に格納されたノイズプロファイルを補正するか否かを判定する。（補正判定の条件についての説明は後述する）。補正部２１６は、補正判定部２１４からの補正判定結果を受けて、メモリ２０８に格納されたノイズプロファイルを補正する。

ここで、補正判定部２１４が補正判定をする条件について説明する。まず、第一の条件について説明する。補正判定部２１４は、レベル比較部の比較結果如何により、メモリ２０８に格納されたノイズプロファイルを補正するか否かを判定する。補正判定部２１４は、レベル比較部の比較結果を以って、補正判定手段を変更する。第一の補正判定手段として、メモリ２０８に格納されたノイズプロファイルとノイズキャンセル部２０８から出力されるノイズキャンセル後のデジタル音声信号の周波数スペクトルを比較することに依る。（詳細の処理については後述する。）また、／第二の補正判定手段として、レンズ２０１がレンズ制御部２０４の駆動部により移動する時のイズキャンセル部２０８から出力されるノイズキャンセル後のデジタル音声信号と、レンズ２０１が移動する直前のバッファ１に格納されたノイズキャンセル未処理のデジタル音声信号の夫々の所定の周波数帯のみの平均値とメモリ２０８に格納された補正パラメータを比較することに依る。（補正パラメータについての説明は後述する。）補正判定部２１４が補正判定をする第一の条件として、第一の補正判定手段もしくは、第二の補正判定手段による比較結果によりメモリ２０８に格納されたノイズプロファイルの補正が必要か否かである。

次に、補正判定部２１４が補正判定をする第二の条件について説明する。ユーザーが操作部１１０により補正処理を指示すると、制御部１０９は、補正判定部２１４と補正部２１６に対して、補正処理司令を示す制御信号を送信する。補正判定部２１４が補正判定をする第二の条件として、ユーザーにより補正処理の操作が為されたか否かである。

次に、補正判定部２１４が補正判定をする第三の条件について説明する。制御部１０９は、カウンターとメモリを内蔵しており、レンズ２０１の駆動回数をカウントして記録し、メモリに記録されている予め定められた規定の回数を超えたら、補正判定部２１４と補正部２１６に対して、補正処理司令を示す制御信号を送信する。また制御部１０９は、カウンターが規定の回数を超えたらリセットする。カウンターとメモリは外部に別で構成しても勿論良いものとする。補正判定部２１４が補正判定をする第三の条件としては、レンズ２０１等の駆動部の駆動回数が規定の回数を超えたか否かである。補正判定部２１４は、前記条件１においてノイズプロファイルの補正が必要と判定された場合、かつ前記条件２においてユーザーにより補正処理の操作が為された場合において、補正実行を判定をする。また、補正判定部２１４は、前記条件１においてノイズプロファイルの補正が必要と判定された場合、かつ前記条件３においてレンズ２０１等の駆動部の駆動回数が規定の回数を超えた場合において、補正実行を判定をする。

次に本実施例における音声入力部１０２の音声レベル補正処理について説明する。まずユーザによる操作部１１０の操作により、被写体の光学像を拡大するためにレンズ２０１が移動する（拡大駆動）場合について説明する。ユーザによる操作部１１０の操作により、被写体の光学像を拡大するためにレンズ２０１が移動する（拡大駆動）と、制御部１０９は、補正判定部２１４と補正部２１６に対して、レンズ２０１が駆動部の駆動により移動する間、レンズ２０１が拡大駆動することを示す制御信号を送信する。また、マイク２０５により得られたアナログ音声信号はＡＤ変換部２０６によりデジタル音声信号に変換され、さらにＦＦＴ部２０７により変換された周波数領域のデジタル音声信号がレベル比較部２１３に送信される。ここでレベル比較部２１３は、ＦＦＴ部２０７からのデジタル音声信号の周波数スペクトルの信号レベルとメモリ２０８に格納された拡大駆動時のノイズプロファイルＡ１のレベルを比較する。

実施例においてデジタル音声信号は、４８ＫＨｚ、１６ｂｉｔのサンプリングである。周波数スペクトルは、レンズ２０１を拡大駆動する直前の、ある一定の短期間においてスペクトルを５１２ポイントＦＦＴ部２０７で求め、周波数スペクトルＸとして算出している。図５は、前述のノイズプロファイルＡ１、レンズ２０１を拡大駆動する直前のデジタル音声信号の周波数スペクトルＸを表す。補正判定部２１４は、レベル比較部２１３の結果により、前述の補正判定手段を決定する。周波数全帯域において周波数スペクトルＸがノイズプロファイルＡ１を下回る場合、例えば周波数スペクトルＸ１とノイズプロファイルＡ１の関係にある場合に補正判定部２１４は前述の第一の補正判定手段を選定する。周波数全帯域において周波数スペクトルＸがノイズプロファイルＡ１を下回らなかった場合、補正判定部２１４は、周波数スペクトルＸとノイズプロファイルＡ１夫々の予め定められた特定の周波数帯の平均値を比較する。予め定められた特定の周波数帯の平均値においては、周波数スペクトルＸがノイズプロファイルＡ１を下回る場合、例えば周波数スペクトルＸ２とノイズプロファイルＡ１の関係の様に予め定められた特定周波数帯Ｆ１においては、周波数スペクトルＸの平均値がノイズプロファイルＡ１の平均値を下回る場合に補正判定部２１４は前述の第二の補正判定手段を選定する。予め定められた特定の周波数帯の平均値においても、周波数スペクトルＸがノイズプロファイルＡ１を上回る場合、例えば周波数スペクトルＸ３とノイズプロファイルＡ１の関係にある場合には、補正判定部２１４は補正判定を実施しない。

ここで第一の補正判定手段について説明する。補正判定部２１４は、バッファに格納されたレンズ２０１を拡大駆動する直前の音声信号の周波数スペクトルの信号レベルと、ノイズキャンセル部２０９によりノイズキャンセル処理の施されたレンズ２０１の拡大駆動中の周波数スペクトルの夫々５１２ポイントのレベルを比較する。バッファ２１５は、随時ある一定の短期間においてスペクトルの信号レベルを５１２ポイントＦＦＴ部２０７で求め、周波数スペクトルとして格納される。補正判定部２１４は、前述の２種類の周波数スペクトルの夫々５１２ポイント分のレベルを比較した（以後、このレベル比較の処理をプロファイルチェック１と記述）結果、予め定められた閾値よりも大きな差分が算出された場合、そのポイントをワーニングする。例えば図６の様に、拡大駆動する直前の音声信号の周波数スペクトルＸ１ａに対し、拡大駆動中の音声信号の周波数スペクトルＸ１ｂがＦ３、Ｆ４の周波数帯でのポイントで閾値以上の差分が算出された場合、その周波数帯でのポイントをワーニングする。更に補正判定部２１４は、前述のプロファイルチェック１を所定回数実施し、ワーニングした回数が所定回数以上となるポイントを補正実行ポイントと判定する。例えば図６の様に、周波数スペクトルＸ１ａと周波数スペクトルＸ１ｂのＦ３、Ｆ４の周波数帯でのポイントのレベル差が所定回数以上閾値を超え、ワーニングされた場合、Ｆ３、Ｆ４の周波数帯でのポイントが補正手段１実行ポイントと判定される。

次に、第二の補正判定手段について説明する。補正判定部２１４は、バッファに格納されたレンズ２０１を拡大駆動する直前の音声信号の周波数スペクトルの予め定められた特定の周波数帯の平均値と、ノイズキャンセル部２０９によりノイズキャンセル処理の施されたレンズ２０１の拡大駆動中の周波数スペクトルの予め定められた特定の周波数帯の平均値を比較する。例えば、図７の様に、予め定められた特定の周波数帯Ｆ１において、夫々拡大駆動する直前の音声信号の周波数スペクトルＸ２ａとノイズキャンセル処理を施された拡大駆動中の周波数スペクトルＸ２ｂの平均値の差分αを算出する。ここで、補正判定部２０９は、メモリ２０８に格納された補正パラメータと前述の算出した夫々のある特定周波数帯Ｆ１での周波数スペクトルの平均値の差分αから、補正レベルを算出する。

ここで補正パラメータについて説明する。図８は補正パラメータを示した図である。横軸にレンズ２０１が拡大駆動していない一定期間の音声信号の周波数スペクトルの予め定められた特定の周波数帯域Ｆ１の平均レベルを示し、縦軸に拡大駆動している一定期間の一定期間の音声信号の周波数スペクトルの予め定められた特定の周波数帯域Ｆ１の平均レベルから拡大駆動していない一定期間の音声信号の周波数スペクトルの予め定められた特定の周波数帯域Ｆ１の平均レベルを引いたレベルを示す。前記の関係を求める場合、音圧レベル［ｄＢ］は相対尺度のため音圧［μＰａ］で算出 する。駆動部が駆動していないある一定期間の間入力される音声信号のレベル、つまり環境音の音圧レベルをＳ［ｄＢ］、音圧をｓ［μＰａ］と表し、駆動部が駆動しているある一定期間の間入力される音声信号のレベルから駆動部が駆動していないある一定期間の間入力される音声信号、つまり駆動部駆動音の音圧レベルをＮ［ｄＢ］、音圧をｎ［μＰａ］と表し、駆動部が駆動しているある一定期間の間入力される音声信号のレベル、つまり駆動部駆動音と環境音を足した音圧レベルをＳ＋Ｎ［ｄＢ］、音圧をｓ＋ｎ［μＰａ］と表すとする。この時後述の計算式が成り立つ。

Ｓ＝２０ｌｏｇ１０（ｓ^２／ｐ０^２）
Ｎ＝２０ｌｏｇ１０（ｎ^２／ｐ０^２）
Ｓ＋Ｎ＝２０ｌｏｇ１０（１０＾（Ｓ／１０）＋１０＾（Ｎ／１０））
※ｐ０は基準値（ｐ０＝２０μＰａ）
前記式より、図８で前述の横軸に拡大駆動していない一定期間の音声信号の周波数スペクトルの予め定められた特定の周波数帯域Ｆ１の平均レベルを示し、縦軸に拡大駆動している一定期間の一定期間の音声信号の周波数スペクトルの予め定められた特定の周波数帯域Ｆ１の平均レベルから拡大駆動していない一定期間の音声信号の周波数スペクトルの予め定められた特定の周波数帯域Ｆ１の平均レベルを引いたレベルの関係を導いている。

補正判定部２１４は、前述の算出した夫々のある特定周波数帯Ｆ１での周波数スペクトルの平均値の差分αと横軸上のレベルが同レベルであり、補正パラメータ上にあるデフォルトレベルβとの差分を算出する（以後、この算出の処理をプロファイルチェック２と記述）。前述のプロファイルチェック２の結果、予め定められた閾値よりも大きな差分が算出された場合、補正判定部２１４はワーニングする。更に補正判定部２１４は、前述のプロファイルチェック２を所定回数実施し、ワーニングした回数が所定回数以上となる場合、補正手段２実行と判定する。

続いて、補正判定部２１４は、前述の補正判定の条件１かつ２を満たした場合、もしくは、条件１かつ３を満たした場合、補正実行を判定する。またこの場合、補正判定部２１４は、条件１において、補正判定手段１における判定か、補正判定手段２における判定か、又、補正判定手段１における判定の場合は補正手段１実行ポイントも判定に付与する。

次に、補正部２１６は、補正判定部２１４の判定結果を受けて、補正処理を実行する。ここで、補正判定部２１４が補正判定手段１により補正実行を判定した場合の補正処理１について説明する。

ユーザーによる操作部１１０の操作により、被写体の光学像を拡大するためにレンズ２０１が移動する（拡大駆動）と、制御部１０９は、補正判定部２１４と補正部２１６に対して、レンズ２０１が駆動部の駆動により移動する間、レンズ２０１が拡大駆動することを示す制御信号を送信する。また、マイク２０５により得られたアナログ音声信号はＡＤ変換部２０６によりデジタル音声信号に変換され、さらにＦＦＴ部２０７により変換された周波数領域のデジタル音声信号がレベル比較部２１３に送信される。ここでレベル比較部２１３は、ＦＦＴ部２０７からのデジタル音声信号の周波数スペクトルの信号レベルとメモリ２０８に格納された拡大駆動時のノイズプロファイルＡ１のレベルを比較する。

実施例においてデジタル音声信号は、４８ＫＨｚ、１６ｂｉｔのサンプリングである。周波数スペクトルは、レンズ２０１を拡大駆動する直前の、ある一定の短期間においてスペクトルの信号レベルを５１２ポイントＦＦＴ部２０７で求め、周波数スペクトルＹとして算出している。図９は、前述のノイズプロファイルＡ１、レンズ２０１を拡大駆動する直前のデジタル音声信号の周波数スペクトルＹ１を表す。

補正部２１６は、レベル比較部２１３からの結果を受け、図９の様に補正手段１実行ポイントの周波数帯において、周波数スペクトルＹ１がノイズプロファイルＡ１を下回る場合、補正処理の実行を進める。逆に周波数スペクトルＹ１がノイズプロファイルＡ１を上回る場合、補正処理の実行を中止する。続いて、補正部２１６は、バッファ２１７に格納されたレンズ２０１を拡大駆動する直前の音声信号の周波数スペクトルの信号レベルと、ノイズキャンセル部２０９によりノイズキャンセル処理の施されたレンズ２０１の拡大駆動中の周波数スペクトルの夫々補正手段１実行ポイントのレベルを比較する。バッファ２１５は、随時ある一定の短期間においてスペクトルの信号レベルを５１２ポイントＦＦＴ部２０７で求め、周波数スペクトルとして格納される。補正部２１６は、前述の２種類の周波数スペクトルの夫々補正手段１実行ポイント分のレベルを比較した（以後、このレベル比較の処理をプロファイル補正１と記述）結果、予め定められた閾値よりも大きな差分が算出された場合、メモリ２０８に格納されたノイズプロファイルＡ１のレベルを補正する。例えば図１０の様に、拡大駆動する直前の音声信号の周波数スペクトルＹ１ａに対し、拡大駆動中の音声信号の周波数スペクトルＹ１ｂがＦ３、Ｆ４の周波数帯でのポイントで閾値以上の差分が算出された場合、メモリ２０８に格納されたノイズプロファイルＡ１のその周波数帯でのポイントのレベルに対し、算出結果分の補正を実施する。前述のプロファイル補正１の処理は、レンズ２０１の縮小駆動の場合においても、同様の処理を実施する。比較する対象が、縮小駆動時のノイズプロファイルとなるのみである。

次に、補正判定部２１４が補正判定手段２により補正実行を判定した場合の補正処理２を説明する。レベル比較部２１３の比較結果の処理までは、前述の補正処理１と同様である。前述しているが、図５は、前述のノイズプロファイルＡ１、レンズ２０１を拡大駆動する直前のデジタル音声信号の周波数スペクトルＸを表す。レベル比較部２１３の比較結果を受けて、補正部２１６は、例えば周波数スペクトルＸ２とノイズプロファイルＡ１の関係の様に予め定められた特定周波数帯Ｆ１において、周波数スペクトルＸ２の平均値がノイズプロファイルＡ１の平均値を下回る場合に補正部２１６は補正処理の実行を進める。予め定められた特定の周波数帯の平均値においても、周波数スペクトルＸがノイズプロファイルＡ１を上回る場合は、補正処理の実行を中止する。

続いて、補正部２１６は、バッファ２１７に格納されたレンズ２０１を拡大駆動する直前の音声信号の周波数スペクトルの予め定められた特定の周波数帯の平均値と、ノイズキャンセル部２０９によりノイズキャンセル処理の施されたレンズ２０１の拡大駆動中の周波数スペクトルの予め定められた特定の周波数帯の平均値を比較する。処理内容としては、補正判定手段２と同様の処理を実施する。例えば、前述の図７の様に、予め定められた特定の周波数帯Ｆ１において、夫々拡大駆動する直前の音声信号の周波数スペクトルＸ２ａとノイズキャンセル処理を施された拡大駆動中の周波数スペクトルＸ２ｂの平均値の差分αを算出する。ここで、補正部２１６は、メモリ２０８に格納された補正パラメータと前述の算出した夫々のある特定周波数帯Ｆ１での周波数スペクトルの平均値の差分αから、補正レベルを算出する。図８の補正パラメータについては、前述の通りである。補正部２１６は、前述の算出した夫々のある特定周波数帯Ｆ１での周波数スペクトルの平均値の差分αと横軸上のレベルが同レベルであり、補正パラメータ上にあるデフォルトレベルβとの差分を算出する（以後、この算出の処理をプロファイル補正２と記述）。

前述のプロファイル補正２の結果、予め定められた閾値よりも大きな差分が算出された場合、補正部２１６は、メモリ２０８に格納されたノイズプロファイルＡ１のその周波数帯でのポイントのレベルに対し、算出結果分の補正を実施する。前述のプロファイル補正１の処理は、レンズ２０１の縮小駆動の場合においても、同様の処理を実施する。比較する対象が、縮小駆動時のノイズプロファイルとなるのみである。

本実施例においては、１系統の音声が入力される場合について説明したが、それ以上のチャンネル数であっても適用することができる。

また、本実施例においては、撮像装置について説明したが、本実施例の音声入力部１０２にの音声処理は、外部の音声を記録、または入力するような装置であればどのような装置であっても適用することができる。例えば、ＩＣレコーダ、携帯電話等に適用しても良い。

１００ 撮像装置、１０１ 撮像部、１０２ 音声入力部、１０３ メモリ、
１０４ 表示制御部、１０５ 表示部、１０６ 符号化処理部

Claims (4)

1. 撮像手段と、
   前記撮像手段の光学系を移動させる駆動手段と、
   時系列の音声データを周波数スペクトルに変換するＦＦＴ部と、
   入力される音声信号の周波数スペクトルの信号レベルとノイズプロファイルのレベルを周波数毎に比較してレベル抑圧をするノイズキャンセル部と、
   前記ノイズキャンセル部にてレベル抑圧された周波数スペクトルを時系列の音声データに戻すｉＦＦＴ部と、
   前記周波数スペクトルの信号レベルと前記ノイズプロファイルのレベルを比較するレベル比較部と、
   前記ノイズプロファイルと対象とする駆動部の周波数スペクトルとの周波数ずれあるいはレベルずれを演算し、結果に応じて補正を実行するか否かを判定する補正判定部と、
   前記ノイズプロファイルの補正レベルを演算し補正する補正部と、
   前記駆動部を駆動させているか否かに応じて、前記調整手段を制御する制御手段を備え、
   入力音声レベルが予め定められた閾値を下回る場合、駆動部が駆動前の周波数スペクトルと駆動中にノイズキャンセル部にてレベル抑圧された周波数スペクトルとの信号レベルを比較し、ノイズプロファイルのレベルを補正することを特徴とする撮像装置。
2. 前記周波数スペクトルの信号レベルが予め定められた第一の閾値以下であれば、前記補正判定部は、前記駆動部が駆動前の周波数スペクトルの信号レベルと前記駆動部が駆動中のノイズキャンセル部によりレベル抑圧された周波数スペクトルの信号レベルを比較し、比較結果に応じて補正を実行するか否かを判定することを特徴とする請求項１に記載の撮像装置。
3. 前記周波数スペクトルの信号レベルが予め定められた第二の閾値以下であれば、前記補正判定部は、所定の周波数帯域において、前記駆動部が駆動中のノイズキャンセル部によりレベル抑圧された周波数スペクトルの信号レベルと前記駆動部が駆動前の周波数スペクトルの信号レベルの平均値と補正パラメータを比較し、比較結果に応じて補正を実行するか否かを判定することを特徴とする請求項１に記載の撮像装置。
4. 前記操作手段から補正が指示された場合か、もしくは駆動部の駆動回数が予め定められた回数を超えた場合の条件と前記補正判定部による補正実行の判定結果が出された場合の条件との和条件により、前記補正判定部は補正処理を実行するか否かを判定することを特徴とする請求項１に記載の撮像装置。