JP2010081395A - 電子機器 - Google Patents

Abstract

【課題】水中で集音した音声信号を再生した際に、ユーザの意図に反した音声信号となってしまうことを抑制することが可能な電子機器を提供する。
【解決手段】集音した音声信号の記録及び／又は再生機能を有し、集音環境判定部６３の判定結果により水中モードと通常モードが切り替わり、集音時に記録機器本体から到来するノイズの影響を低減するノイズ影響低減部（処理部６４Ｒ、６４Ｌ）を備え、集音した音声信号を水中モードにて記録する際、又は、記録した音声信号を水中モードにて再生する際のいずれかにおいて、前記ノイズ影響低減部が、ノイズ判定情報生成部６２からの情報を用いて、集音時に記録機器本体から到来するノイズの影響を低減することを特徴とする電子機器。
【選択図】図３

Description

本発明は、音声信号の記録及び／又は再生が可能な電子機器（例えば、撮像装置やＩＣレコーダ等）に関する。

近年、空気中のみならず水中においても集音することができる撮像装置やＩＣレコーダなどの電子機器が種々提案されている。これらの電子機器は、防水構造や防水ハウジングに収納可能な構造とすることで、空気中のみならず水中においても集音することを可能としている。

しかしながら、水中における集音特性は空気中における集音特性と大きく異なるため、電子機器を用いて水中で集音した音声信号は、空気中で集音した音声信号とは大きく異なるものとなる。そのため、水中で集音した音声信号を再生した場合に、非常に聞き取り難くなったり耳障りになったりするなど、ユーザの意図に反した音声信号となってしまうことが問題となっていた。

この問題に対して、集音している環境が水中か否かを判定し、その判定結果に応じて利得制御部及び可変フィルタ部を制御し、マイクロホンからの集音信号の利得及び周波数特性を変化させるビデオカメラが、特許文献１において提案されている。

特開平７−３０７９０号公報

上述した特許文献１では、利得及び周波数特性を空気中と水中に応じ最適に調整するとしか記載されておらず、どのような調整をすれば、水中で集音した音声信号を再生した場合に、非常に聞き取り難くなったり耳障りになったりするなどの問題を解決することができるかについては何ら開示されていなかった。

本発明は、上記の状況に鑑み、水中で集音した音声信号を再生した際に、ユーザの意図に反した音声信号となってしまうことを抑制することが可能な電子機器を提供することを目的とする。

本発明者等は、前記目的を達成すべく鋭意検討を重ねた。その結果、水中で集音した音声信号を再生した際にユーザの意図に反した音声信号となってしまうのは、電子機器内部のマイクロホンを包む空気層と電機機器外部の水との境界において、水を伝搬して外部から到来する音は媒質の相違から大きく反射することで、外部から到来する本来必要な音はマイクロホンで感知し難くなり、逆に電子機器本体が発するノイズは電子機器内部にこもって大きな音として集音されてしまうためであるとの知見を得た。

本発明はかかる知見に基づきなされたものであり、本発明に係る電子機器は、集音した音声信号の記録及び／又は再生機能を有し、水中モードと通常モードを有し、集音時に記録機器本体から到来するノイズの影響を低減するノイズ影響低減部を備え、集音した音声信号を水中モードにて記録する際、又は、記録した音声信号を水中モードにて再生する際のいずれかにおいて、前記ノイズ影響低減部が、集音時に記録機器本体から到来するノイズの影響を低減する構成としている。

このような構成によると、水中で集音された音声信号に対して、集音時に記録機器本体から到来するノイズの影響を低減する音声処理を施すことができ、水中で集音した音声信号を再生した際に、ユーザの意図に反した音声信号となってしまうことを抑制することができる。なお、通常モードでは、集音時に記録機器本体から到来するノイズの影響を低減する必要性が乏しく、また、通常モードでは、集音時に記録機器本体から到来するノイズの影響を低減することが困難であることから、集音した音声信号の記録及び再生機能を有する場合は、集音した音声信号を通常モードにて記録する際、及び、記録した音声信号を通常モードにて再生する際のいずれにおいても、前記ノイズ影響低減部が、集音時に記録機器本体から到来するノイズの影響を低減せず、集音した音声信号の記録又は再生機能を有する場合は、集音した音声信号を通常モードにて記録する際、又は、記録した音声信号を通常モードにて再生する際のいずれかにおいて、前記ノイズ影響低減部が、集音時に記録機器本体から到来するノイズの影響を低減しないようにすることが望ましい。

また、前記ノイズ影響低減部が、複数のマイクロホンで集音した音声信号の相対位相差及び／又は相対レベル差を利用して、記録機器本体が発するノイズを判定する判定部と、前記判定部の判定結果に基づき、記録機器本体から到来するノイズの影響を低減する音声処理を行う処理部とを備えるようにしてもよい。この場合、複数のマイクロホンで集音した音声信号を周波数領域の信号に変換する変換部を備え、前記判定部が、前記周波数領域の信号の所定の周波数帯域毎に、相対位相差及び／又は相対レベル差を解析し、予め設定した閾値以上の相対位相差及び／又は相対レベル差を有する周波数帯域成分を機器本体が発したノイズ成分であると判定してもよい。さらに、前記処理部が、前記判定部によってノイズと判定された周波数帯域の信号若しくは前記判定部によってノイズと判定された周波数帯域の信号を含む複数の帯域の信号を減衰させることにより、及び／又は、前記判定部によってノイズと判定された周波数帯域以外の信号若しくは前記判定部によってノイズと判定された周波数帯域の信号を含む複数の帯域以外の信号を増幅させることにより、記録機器本体から到来するノイズの影響を低減するようにしてもよい。

また、上記各構成において、音声信号が水中で集音されたものであるか否かを判定する集音環境判定部を備え、前記集音環境判定部の判定結果に応じて水中モードと通常モードとを切り替えるようにしてもよい。これにより、水中モードと通常モードの自動切り替えが可能となる。

また、上記各構成の電子機器の一例としては、映像を撮影するカメラを備える撮像装置が挙げられる。

本発明の構成によると、水中で集音された音声信号に対して、集音時に記録機器本体から到来するノイズの影響を低減する音声処理を施すことができ、水中で集音した音声信号を再生した際に、ユーザの意図に反した音声信号となってしまうことを抑制することができる。

本発明の実施形態について図面を参照して以下に説明する。ここでは、本発明に係る電子機器として、音声信号の記録・再生とともに画像信号の記録・再生も可能な撮像装置を例に挙げて説明する。

＜＜撮像装置＞＞
（撮像装置の基本構成）
まず、撮像装置の基本構成について図１を参照して説明する。図１は、本発明に係る撮像装置の一内部構成例を示すブロック図である。

図１に示す撮像装置は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、撮像装置の前方の左右方向から入力された音声を独立して電気信号に変換するステレオマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正等の各種画像処理を施す画像処理部５と、ステレオマイク４からのアナログ信号である音声信号に対してデジタル信号に変換するとともに音声補正処理を施す音声処理部６と、画像処理部５から出力される画像信号及び音声処理部６から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ（Liquid Crystal Display）等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、ユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。なお、ＣＰＵ１７は、画像処理部５で検出した画像信号に応じて、レンズ部２内の各モータを駆動して焦点、絞りの制御を行う。

（撮像装置の基本動作）
次に、図１に示す撮像装置の動画撮影時の基本動作について図１を参照して説明する。まず、撮像装置は、レンズ部２より入射される光をイメージセンサ１において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ１は、タイミングジェネレータ１６から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ３に画像信号を出力する。

そして、ＡＦＥ３によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部５に入力される。画像処理部５は、入力される画像信号を、輝度信号と色差信号とからなる画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１８はフレームメモリとして動作し、画像処理部５が処理を行う際に画像信号を一時的に保持する。

また、このとき画像処理部５に入力される画像信号に基づき、レンズ部２において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

一方、ステレオマイク４において電気信号に変換される音声信号は、音声処理部６に入力される。音声処理部６は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの音声補正処理を施す。なお、音声処理部６の構成については後述する。

そして、画像処理部５から出力される画像信号と、音声処理部６から出力される音声信号とがともに圧縮処理部７に入力され、圧縮処理部７において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部８を介して外部メモリ２２に記録される。

また、音声のみを記録する場合であれば、音声信号が圧縮処理部７において所定の圧縮方式で圧縮され、外部メモリ２２に記録されることとなる。

外部メモリ２２に記録された圧縮符号化信号は、ユーザの指示に基づく操作部１９の出力信号に応じて、伸長処理部９に読み出される。伸長処理部９は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号をビデオ出力回路部１０、音声信号を音声出力回路部１３にそれぞれ出力する。そして、ビデオ出力回路部１０や音声出力回路部１３において、画像信号及び音声信号がディスプレイ部１２やスピーカ部１５において再生可能な形式に変換されて出力される。

また、画像信号の記録を行わずにディスプレイ部１２に表示される画像をユーザが確認する、所謂プレビューモードである場合に、圧縮処理部７が圧縮処理を行わないようにし、画像処理部５が圧縮処理部７ではなくビデオ出力回路部１０に画像信号を出力するようにしてもよい。また、画像信号を記録する際に、ドライバ部８を介して外部メモリ２２に記録する動作と並行して、ビデオ出力回路１０を介してディスプレイ部１２に画像信号を出力するようにしても構わない。

なお、図１に示す構成では、ディスプレイ部１２やスピーカ部１５が撮像装置に搭載されているが、ディスプレイ部１２やスピーカ部１５を撮像装置と別体とし、撮像装置に設けられる端子（ビデオ出力端子１１、音声出力端子１４）とケーブル等を用いて接続されるような構成であっても構わない。

（ステレオマイクの配置）
次に、図１に示す撮像装置が備えるステレオマイク４の配置例について図面を参照して説明する。図２は、図１に示す撮像装置を装置上面から見た概略外観図である。モニタユニット２３に、ディスプレイ部１２と、ステレオマイク４を構成している右側マイク４Ｒ及び左側マイク４Ｌとが設けられている。右側マイク４Ｒ及び左側マイク４Ｌは、ディスプレイ部１２の背面にマイク間隔２ｃｍで設けられている。

（音声処理部の基本構成）
次に、図１に示す撮像装置が備える音声処理部６の基本構成について図３を参照して説明する。図３は、音声処理部６の基本構成を示すブロック図である。

図３に示すように、音声処理部６は、ＦＦＴ（Fast Fourier Transform）部６１Ｒ及び６１Ｌと、ノイズ判定情報生成部６２と、集音環境判定部６３と、処理部６４Ｒ及び６４Ｌと、ＩＦＦＴ（Inverse Fast Fourier Transform）部６５Ｒ及び６５Ｌとを備えている。

ＦＦＴ部６１Ｒは、ステレオマイク４の右側マイク４Ｒ（図２参照）から入力されるＲｃｈ音声信号を４８ｋＨｚでサンプリングしてデジタル信号に変換した後、２０４８サンプル毎にＦＦＴ処理にて周波数領域の信号ＳＲ［Ｆ］に変換する。また、ＦＦＴ部６１Ｌは、ステレオマイク４の左側マイク４Ｌ（図２参照）から入力されるＬｃｈ音声信号を４８ｋＨｚでサンプリングしてデジタル信号に変換した後、２０４８サンプル毎にＦＦＴ処理にて周波数領域の信号ＳＬ［Ｆ］に変換する。

ノイズ判定情報生成部６２は、ＦＦＴ部６１Ｒから出力される周波数領域の信号ＳＲ［Ｆ］及びＦＦＴ部６１Ｌから出力される周波数領域の信号ＳＬ［Ｆ］を用いて、撮像装置本体が発するノイズであるか否かの判定に必要な情報を生成する。また、集音環境判定部６３は、音声処理部６に入力される音声信号が水中で集音されたものであるか否かを判定する。

音声処理部６に入力される２つの音声信号が水中で集音されたものであると集音環境判定部６３が判定した場合、処理部６４Ｒは、ノイズ判定情報生成部６２から出力される情報を用いて、周波数領域の信号ＳＲ［Ｆ］に対して、集音時に撮像装置本体から到来するノイズの影響を低減する音声処理を行い、処理部６４Ｌは、ノイズ判定情報生成部６２から出力される情報を用いて、周波数領域の信号ＳＬ［Ｆ］に対して、集音時に撮像装置本体から到来するノイズの影響を低減する音声処理を行う。一方、音声処理部６に入力される２つの音声信号が水中で集音されたものでないと集音環境判定部６３が判定した場合、処理部６４Ｒ及び６４Ｌは、集音時に撮像装置本体から到来するノイズの影響を低減する音声処理を行わない。

このような構成により、水中で集音された音声信号に対して、集音時に撮像装置本体から到来するノイズの影響を低減する音声処理を施すことができ、水中で集音した音声信号を再生した際に、ユーザの意図に反した音声信号となってしまうことを抑制することができる。

なお、集音環境判定部６３の判定結果をディスプレイ部１２に表示したり、表示用ＬＥＤ（Light Emitting Diode）を集音環境判定部６３の判定結果に応じて発光、点滅させたりして、集音環境判定部６３の判定結果をユーザに通知するようにしてもよい。このような構成によると、ユーザは集音環境判定部６３が正しい判定を行っているか否かを容易に確認することができる。

また、撮像装置が空気中にあるときに適した撮影モードである通常撮影モードと、撮像装置が水中にあるときに適した撮影モードである水中撮影モードとを、ユーザが操作部１９の操作によって手動で切り替えることができる構成としても構わない。この場合においても、集音環境判定部６３が、音声処理部６に入力される音声信号が水中で集音されたものであるか否かを判定するようにしてもよく、集音環境判定部６３の判定結果により自動設定された撮影モードと操作部１９の操作により手動設定された撮影モードのどちらを優先させても構わない。なお、自動設定された撮影モードと手動設定された撮影モードのどちらを優先するかを操作部１９の操作によって変更可能にしていることが望ましい。

また、音声処理部６において、処理部６４Ｒ及び６４Ｌの他に、音声補正処理を行う処理部を備えることとしても構わない。また、この処理部６４Ｒ及び６４Ｌ以外の処理部が、水中で集音されたものでないと判定された音声信号に対して音声補正処理を施すものであっても構わないし、入力される全ての音声信号に対して音声補正処理を施すものであっても構わない。

（ノイズ判定情報生成部、集音環境判定部、処理部の実施例）
上述したノイズ判定情報生成部６２、集音環境判定部６３、並びに処理部６４Ｒ及び６４Ｌの各実施例について以下に図面を参照して順に説明する。なお、以下の説明において、上述した基本構成と同一の部分については同一の符号を付し、その詳細な説明を省略する。

＜ノイズ判定情報生成部の第１実施例＞
最初に、ノイズ判定情報生成部６２の第１実施例について図４及び図５を参照して説明する。図４は、ノイズ判定情報生成部６２の第１実施例を採用した場合の音声処理装置６の構成を示すブロック図である。ノイズ判定情報生成部６２の第１実施例では、ノイズ判定情報生成部６２が相対位相差情報生成部６２１を備えている。また、図５は、撮像装置本体のノイズ源及び本来の集音対象である音源からの音の伝搬の様子を示す図である。

２つのマイクロホンでそれぞれ集音した２つの音声信号の相対位相差を一意に決定するためには、２つのマイクロホンの間隔が半波長に相当する周波数以下の音声信号である必要がある。そのため、２つのマイクロホンの間隔が図５に示すように２ｃｍの場合、空気中での音速を３４０ｍ／ｓとすれば、相対位相差情報生成部６２１は、８．５ｋＨｚ以下の帯域の音声信号についてのみ相対位相差情報を生成することができる。

撮像装置本体が発するモータ音などのノイズは、撮像装置の筐体内の空洞（空気中）を伝搬して、マイクロホン４Ｒ及び４Ｌそれぞれに到達する。このとき、右側マイクロホン４Ｒに到達したノイズの位相と左側マイクロホン４Ｌに到達したノイズの位相との差である相対位相差Δφ０は、下記の（１）式で表すことができる。ただし、Freqは、相対位相差を求めているノイズの周波数である。
Δφ０＝２π×（Freq×２０／３４００００） …（１）

一方、水中を伝搬して右側マイクロホン４Ｒに到達した音の位相と左側マイクロホン４Ｌに到達した音の位相との差（相対位相差）は、図５に示すように水中を伝搬してくる音が撮像装置の側面から到来した場合に最も大きくなり、その場合の相対位相差Δφ１は、水中での音速が空気中での音速の約５倍であるため、下記の（２）式で表すことができる。ただし、Freqは、相対位相差を求めている音の周波数である。また、水中を伝搬した音は、その後、モニタユニット２３に入りマイクロホン４Ｒ及び４Ｌに到達するまでに空気中を伝搬することになるが、このモニタユニット２３に入りマイクロホン４Ｒ及び４Ｌに到達するまでの伝搬経路長は２つの経路でほぼ同じであり、また、モニタユニット２３内（空気中）での伝搬経路長が水中での伝搬経路長に比べて極めて短いため、水中を伝搬してくる音の相対位相差を考える上では、モニタユニット２３内（空気中）での伝搬経路を無視して構わない。また、図５（ａ）に示すように、本来の集音対象である音源が空気中に有る場合もあるが、音源から空気中−水中の境界面までの伝搬経路長は２つの経路でほぼ同じであるため、水中を伝搬してくる音の相対位相差を考える上では、音源から空気中−水中の境界面までの伝搬経路を無視して構わない。
Δφ１＝２π×｛Freq×２０／（３４００００×５）｝ …（２）

相対位相差情報生成部６２１は、周波数領域の信号ＳＲ［Ｆ］と周波数領域の信号ＳＬ［Ｆ］との位相差を比較して、右側マイクロホン４Ｒに到達した音の位相と左側マイクロホン４Ｌに到達した音の位相との差である相対位相差の情報を生成する。なお、相対位相差比較部６２１は、ＦＦＴ部６１Ｒ及び６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に相対位相差を得ている。

水中を伝搬してくる音の相対位相差はΔφ１以下であり、撮像装置本体が発するノイズの相対位相差はΔφ０（＝５×Δφ１）であるため、相対位相差情報生成部６２１によって得られた相対位相差がΔφ１以下である周波数成分は水中を伝達してくる音の周波数成分であると判定することができる。

＜ノイズ判定情報生成部の第２実施例＞
次に、ノイズ判定情報生成部６２の第２実施例について図６を参照して説明する。図６は、ノイズ判定情報生成部６２の第２実施例を採用した場合の音声処理装置６の構成を示すブロック図である。ノイズ判定情報生成部６２の第２実施例では、ノイズ判定情報生成部６２が相対レベル差情報生成部６２２を備えている。

水中では音の減衰が非常に小さい事が知られている。また、一般的に音源に近いほど音の距離減衰は大きい事が知られている。そのため、水中を伝搬してマイクロホン４Ｒ及び４Ｌそれぞれに到達する外部からの音に対する減衰は小さく、右側マイクロホン４Ｒと左側マイクロホン４Ｌとの間での信号レベル差は殆ど生じない。一方、撮像装置の筐体内の空洞（空気中）を伝搬してマイクロホン４Ｒ及び４Ｌそれぞれに到達するノイズは、空気中を伝搬する事、ノイズ源とマイクロホン４Ｒ及び４Ｌとが近距離であること、筐体内部での反射時の吸音による減衰などがある事から、右側マイクロホン４Ｒと左側マイクロホン４Ｌとの間での信号レベル差が大きくなる。

相対レベル差情報生成部６２２は、周波数領域の信号ＳＲ［Ｆ］と周波数領域の信号ＳＬ［Ｆ］とのレベル差を比較して、右側マイクロホン４Ｒに到達した音のレベルと左側マイクロホン４Ｌに到達した音のレベルとの差である相対レベル差の情報を生成する。なお、相対レベル差情報生成部６２２は、ＦＦＴ部６１Ｒ及び６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に相対レベル差を得ている。

水中を伝搬してくる音の相対レベル差は大きく、撮像装置本体が発するノイズの相対レベル差は小さいため、相対レベル差情報生成部６２２によって得られた相対レベル差が予め設定した閾値以上である周波数成分は水中を伝達してくる音の周波数成分であると判定することができる。

なお、ノイズ判定情報生成部６２の第１実施例と第２実施例の組み合わせも可能である。すなわち、ノイズ判定情報生成部６２が、相対位相差及び相対レベル差の情報を生成することも可能である。相対位相差、相対レベル差の両方を用いて判定を行うことで判定の精度を上げることが可能となる。

＜集音環境判定部の第１実施例＞
次に、集音環境判定部６３の第１実施例について図７を参照して説明する。図７は、集音環境判定部６３の第１実施例を採用した場合の音声処理装置６の構成を示すブロック図である。集音環境判定部６３の第１実施例では、集音環境判定部６３が圧力判定部６３１を備えている。

集音環境判定部６３の第１実施例を採用する場合、図１に示す撮像装置に新たに圧力センサを設ける。圧力判定部６３１は、圧力センサの検出信号を入力し、撮像装置外部の圧力が予め設定した閾値以上である場合に、撮像装置が水中で使用されており、音声処理部６に入力される音声信号が水中で集音されたものであると判定し、撮像装置外部の圧力が予め設定した閾値未満である場合に、撮像装置が空気中で使用されており、音声処理部６に入力される音声信号が空気中で集音されたものであると判定する。

＜集音環境判定部の第２実施例＞
次に、集音環境判定部６３の第２実施例について図８を参照して説明する。図８は、集音環境判定部６３の第２実施例を採用した場合の音声処理装置６の構成を示すブロック図である。集音環境判定部６３の第２実施例では、集音環境判定部６３が周波数特性判定部６３２を備えている。

ここで、空気中で白色雑音を再生し、それを空気中で集音した場合の周波数特性を図９に示す。また、空気中で白色雑音を再生し、それを水中で集音した場合の周波数特性を図１０に示す。

空気中で集音した場合の周波数特性は、図９に示す通りほぼフラットな特性となる。一方、水中で集音した場合の周波数特性は、一般的に、信号レベルが大きければ、図１０に示す通り高周波帯域の信号が大きく減衰する。これは、伝搬されてくる音が、空気中−水中、水中−集音機器の筐体内部（空気中）の２つの境界において反射により減衰し、水中で新たに発生した波の音や筐体内部で新たに発生した音などの一般的に低い音が残るためである。

このように、撮像装置を水中で使用している場合には、撮像装置を空気中で使用している場合では起こりえないような、低帯域の音と中帯域の音及び高帯域の音とのレベル差が生じるため、そのレベル差を利用して判定を行う。

以下、周波数特性判定部６３２が実行する判定方法について説明する。Ｒｃｈ音声信号及びＬｃｈ音声信号を対象として、低帯域（例えば、数十（７０）Ｈｚ〜３ｋＨｚ）、中帯域（例えば、６ｋＨｚ〜９ｋＨｚ）、高帯域（例えば、１２ｋＨｚ〜１５ｋＨｚ）の各帯域で信号レベルの平均値を算出する。なお、各帯域の具体的数値は上記の例に限らず、各帯域相互の大小関係が正しければ問題ない。また、低帯域と中帯域が一部重複していてもよく、中帯域と高帯域が一部重複していてもよい。

その各帯域における信号レベルの平均値から算出することが可能な、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２、及び、高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、ステレオマイク４を空気中から水中に挿入し再び空気中に戻した場合図１１に示すような時間変化を示す。図１１中の期間Ｔ１及びＴ３はステレオマイク４が空気中に位置する期間であり図１１中の期間Ｔ２はステレオマイク４が水中に位置する期間である。高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、空気中、水中に関係なく、ほぼ一定値である。これに対し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、空気中では小さい値であるが、水中では受音感度が変化し、空気中の場合と比べて大幅に大きな値になる。

このことを利用して、周波数特性判定部６３２は、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を各帯域における信号レベルの平均値から算出し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が予め設定した閾値以上に大きくなった場合に、音声処理部６に入力される音声信号が水中で集音されたものであると判定する。判定精度は劣ることになるが、中帯域における信号レベルの平均値及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を算出せず、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１が予め設定した閾値以上に大きくなった場合に音声処理部６に入力される音声信号が水中で集音されたものであると判定すること、或いは、高帯域における信号レベルの平均値及び高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１を算出せず、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が予め設定した閾値以上に大きくなった場合に音声処理部６に入力される音声信号が水中で集音されたものであると判定することも可能である。

なお、水中においても、気泡の音や筐体のこすれ音によって突発的なノイズが発生し、中帯域及び高帯域の信号レベルが瞬間的に大きくなり、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が瞬間的に小さな値になる可能性がある。そのため、周波数特性判定部６３２が判定に使用する高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、一定時間において平均をとった値を用いることが望ましい。

また、閾値に関しては、ヒステリシス特性を持たせ、空気中であると判定している間は閾値を高く、水中であると判定している間は閾値を低く設定することが望ましい。

＜処理部の第１実施例＞
次に、処理部６４Ｒ及び６４Ｌの第１実施例について図１２を参照して説明する。図１２は、処理部６４Ｒ及び６４Ｌの第１実施例を採用した場合の音声処理装置６の構成を示すブロック図である。処理部６４Ｒ及び６４Ｌの第１実施例では、処理部６４Ｒが低減処理部６４１Ｒを備え、処理部６４Ｌが低減処理部６４１Ｌを備えている。

低減処理部６４１Ｒ及び６４１Ｌは、音声処理部６に入力される音声信号が水中で集音されたものであると集音環境判定部６３が判定した場合、ノイズ判定情報生成部６２からのノイズ判定情報と閾値（例えばノイズ判定情報生成部６２の第１実施例を採用した場合は 上述した（２）式のΔφ１）とを比較して周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が撮像装置本体が発するノイズであるか否かを、ＦＦＴ部６１Ｒ及び６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に判定し、撮像装置本体が発するノイズであると判定された周波数成分を−２０ｄＢ低減し、撮像装置本体が発するノイズであると判定されなかった周波数成分を低減しない処理を行う。

処理部６４Ｒ及び６４Ｌの第１実施例を採用する場合、ノイズ判定情報生成部６２の第１実施例を採用すると、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］間で位相差の大きい周波数成分に対してのみ低減処理が行われるため、仮に集音環境判定部６３が誤判定しても、撮影している正面方向の音を低減することなく、集音環境の誤判定による悪影響が小さいという利点がある。

＜処理部の第２実施例＞
次に、処理部６４Ｒ及び６４Ｌの第２実施例について図１３を参照して説明する。図１３は、処理部６４Ｒ及び６４Ｌの第２実施例を採用した場合の音声処理装置６の構成を示すブロック図である。処理部６４Ｒ及び６４Ｌの第２実施例では、処理部６４Ｒが強調処理部６４２Ｒを備え、処理部６４Ｌが強調処理部６４２Ｌを備えている。

強調処理部６４２Ｒ及び６４２Ｌは、音声処理部６に入力される音声信号が水中で集音されたものであると集音環境判定部６３が判定した場合、ノイズ判定情報生成部６２からのノイズ判定情報と閾値（例えばノイズ判定情報生成部６２の第１実施例を採用した場合は 上述した（２）式のΔφ１）とを比較して周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が撮像装置本体が発するノイズであるか否かを、ＦＦＴ部６１Ｒ及び６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に判定し、撮像装置本体が発するノイズであると判定されなかった周波数成分を強調（増幅）し、撮像装置本体が発するノイズであると判定された周波数成分を強調しない処理を行う。なお、強調の度合いは、周波数にかかわらず一律としてもよく、周波数に応じて変化する（図１０の周波数特性を考慮し低帯域では強調を弱め、中帯域／高帯域では強調を強める）ようにしてもよい。

処理部６４Ｒ及び６４Ｌがノイズと判定した周波数成分以外は、水中を伝搬してきた本来の水中音の周波数成分である。水中を伝搬してきた本来の水中音は水と空気との境界面で反射し、音は大きく減衰している。そのため、処理部６４Ｒ及び６４Ｌの第２実施例を採用し、ノイズと判定した周波数成分以外を強調（増幅）することにより、本来の水中音を有るべきレベルに近づけることができる。

なお、処理部６４の第１実施例と第２実施例の組み合わせも可能である。すなわち、撮像装置本体が発するノイズであると判定された周波数成分を低減し、撮像装置本体が発するノイズであると判定されなかった周波数成分を強調（増幅）する処理を行うようにすることも可能である。

＜処理部の第３実施例＞
次に、処理部６４Ｒ及び６４Ｌの第３実施例について図１４を参照して説明する。図１４は、処理部６４Ｒ及び６４Ｌの第３実施例を採用した場合の音声処理装置６の構成を示すブロック図である。処理部６４Ｒ及び６４Ｌの第３実施例では、処理部６４Ｒが閾値可変処理部６４３Ｒを備え、処理部６４Ｌが閾値可変処理部６４３Ｌを備えている。なお、処理部６４Ｒ及び６４Ｌの第３実施例を採用する場合、図１４に示すように、ノイズ判定情報生成部６２の第１実施例を採用する。

閾値可変処理部６４３Ｒ及び６４３Ｌは、音声処理部６に入力される音声信号が水中で集音されたものであると集音環境判定部６３が判定した場合、ノイズ判定情報生成部６２からのノイズ判定情報と第１の閾値（上述した（２）式のΔφ１）とを比較して周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が撮像装置本体が発するノイズであるか否かを、ＦＦＴ部６１Ｒ及び６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に判定し、撮像装置本体が発するノイズであると判定された周波数成分を−２０ｄＢ低減し、撮像装置本体が発するノイズであると判定されなかった周波数成分を低減しない処理を行う。

また、閾値可変処理部６４３Ｒ及び６４３Ｌは、音声処理部６に入力される音声信号が空気中で集音されたものであると集音環境判定部６３が判定した場合、ＦＦＴ部６１Ｒ及び６１Ｌの解像度である２０４８／４８０００［Ｈｚ］毎に、相対位相差情報生成部６２１からの相対位相差情報と第２の閾値（下記に示す（３）式のΔφ２）とを比較して、相対位相差情報生成部６２１からの相対位相差情報が第２の閾値（下記に示す（３）式のΔφ２）より大きければ、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が音源方向角θＲ又はθＬ（図１５参照）が３０°より大きい音源（不要音）によるものであると判定し、音源方向角θＲ又はθＬが３０°より大きい音源（不要音）によるものであると判定された周波数成分を−２０ｄＢ低減し、相対位相差情報生成部６２１からの相対位相差情報が第２の閾値（下記に示す（３）式のΔφ２）以下であれば、周波数領域の信号ＳＲ［Ｆ］及びＳＬ［Ｆ］が音源方向角θＲ又はθＬ（図１５参照）が３０°以内の音源によるものであると判定し、音源方向角θＲ又はθＬが３０°以内の音源によるものであると判定された周波数成分を低減しない処理を行う。これにより、撮像装置正面方向から左右それぞれ３０°以内の方向に指向性を持たせることができる。ただし、（３）式中のFreqは、相対位相差情報との比較対象の周波数である。
Δφ２＝２π×（Freq×２０×sin３０°／３４００００） …（３）

処理部６４の第３実施例を採用すると、水中撮影モードにおけるノイズ低減処理と通常撮影モードにおける指向性処理との切り替えを、回路規模又はソフトウェア規模を大きくすることなく、閾値（第１の閾値、第２の閾値）の切り替えのみで実現することができる。

＜＜再生時の適用例＞＞
上述した図１に示す撮像装置は、集音した音声信号を記録する際に、集音時に撮像装置本体から到来するノイズの影響を低減する処理を実行している。しかしながら、本発明はこれに限定されず、集音した音声信号を再生する際に、集音時に撮像装置本体から到来するノイズの影響を低減する処理を実行するようにしてもよい。

集音した音声信号を再生する際に、集音時に撮像装置本体から到来するノイズの影響を低減する処理を実行する撮像装置を図１６に示す。なお、図１６において図１と実質上同一の部分には同一の符号を付している。

図１６に示す撮像装置が図１に示す撮像装置と異なる点は、音声処理部６の代わりに音声処理部６ａを設け、さらに、伸長処理部９と音声出力回路部１３との間に音声処理部６ｂを設けている点である。

音声処理部６ａは、音声処理部６と異なり、ステレオマイク４からのアナログ信号である音声信号に対してＡ／Ｄ変換は行うが、ＦＦＴ処理、ノイズ判定情報生成処理、集音環境判定処理、集音時に撮像装置本体から到来するノイズの影響を低減する処理、及びＩＦＦＴ処理を行わない構成である。

音声処理部６ｂは、ＦＦＴ部がＡ／Ｄ変換処理を行わない点を除き、音声処理部６と同様の構成である。音声処理部６ｂにおいて行われる音声処理は、基本的に音声処理部６において行われる音声処理と同様であるので、ここでは説明を省略する。

音声処理部６ｂの集音環境判定部によって水中で集音されたと判定された場合は、水中で集音された音声信号の再生に適した再生モードである水中再生モードとなり、音声処理部６ｂの集音環境判定部によって空気中で集音されたと判定された場合は、空気中で集音された音声信号の再生に適した再生モードである通常再生モードとなるが、これに代えて、又は、これに加えて、水中再生モードと通常再生モードとをユーザが操作部１９の操作によって手動で切り替えることができる構成としても構わない。後者のように、手動切り替えの構成を付加した場合、自動設定された再生モードと操作部１９の操作により手動設定された再生モードのどちらを優先させても構わない。なお、自動設定された再生モードと手動設定された再生モードのどちらを優先するかを操作部１９の操作によって変更可能にしていることが望ましい。

なお、集音環境（集音時に図１６に示す撮像装置が置かれている環境）と再生環境（再生時に図１６に示す撮像装置が置かれている環境）とが異なっている可能性があるため、音声処理部６ｂの集音環境判定部には、上述した集音環境判定部の第１実施例を採用しないようにする。

＜＜変形例＞＞
上述した図１又は図１６に示す撮像装置では、水中で集音されたと判定した場合に、集音した音声信号（集音した音声信号を記録、再生したものを含む）に対して、集音時に機器本体から到来するノイズの影響を低減する音声処理を行ったが、それに加えて、スムージング処理、ズーム処理中における利得の抑制、メモリ１８に予め記憶している音声データ或いは前フレームデータの利用、及び、オートゲインコントロールのレスポンス速度を上げることによるクリックノイズの抑制の少なくとも一つを行うようにしてもよい。

また、上述した図１又は図１６に示す撮像装置では、水中で集音されたと判定した場合に、集音した音声信号（集音した音声信号を記録、再生したものを含む）に対して、集音時に記録機器本体から到来するノイズの影響を低減する音声処理を行ったが、それに加えて、水中で集音されたと判定された場合に撮影した映像信号（撮影した映像信号を記録、再生したものを含む）に対して水中環境に適した特性補正や撮影時のカメラ制御に対して水中環境に適した特性補正を行ってもよい。

また、上述した図１又は図１６に示す撮像装置では、ステレオマイク４を用いたが、複数のマイクロホンで構成される他のマイク（例えば、５．１ｃｈサラウンド録音対応マイク）を用いても構わない。

また、本発明にかかる電子機器は、音声信号の記録及び／又は再生が可能であればよいので、映像に関連するブロックは特に必要ない。したがって、本発明は、撮像装置以外の電子機器、例えば、音声記録装置、音声再生装置、音声記録再生装置（例えばＩＣレコーダ）等にも適用することができる。

また、本発明に係る集音環境判定装置を搭載した電子機器は、防水構造であることが望ましいが、防水構造でなくても例えば防水ハウジングに収納し防水仕様の外部マイクによって集音した音声信号を入力するというような使用法を採用することが可能である。

また、例えば、音声処理部６ｂの各部としてコンピュータを機能させるためのプログラムを含む再生ソフトウェアを、パーソナルコンピュータ上で動作させることで、本発明に係る電子機器を実現することもできる。

処理部の第１実施例では、撮像装置本体が発するノイズであると判定された周波数成分を−２０ｄＢ低減し、撮像装置本体が発するノイズであると判定されなかった周波数成分を低減しない処理を行ったが、この処理に代えて、図１７に示すように、撮像装置本体が発するノイズであると判定された周波数成分を大きく低減（図１７に示す例では−１２ｄＢ）し、撮像装置本体が発するノイズであると判定された周波数成分の前後の周波数成分を少し低減（図１７に示す例では−６ｄＢ）し、それ以外の周波数成分を低減しない処理を行ってもよい。これにより、連続する周波数間で減衰量の相違が大きくなって、不自然な音となったりミュージカルノイズが発生することを抑制することができる。

同様に、処理部の第２実施例では、撮像装置本体が発するノイズであると判定されなかった周波数成分を強調（増幅）し、撮像装置本体が発するノイズであると判定された周波数成分を強調しない処理を行ったが、この処理に代えて、撮像装置本体が発するノイズであると判定されなかった周波数成分を大きく強調（増幅）し、撮像装置本体が発するノイズであると判定されなかった周波数成分の前後の周波数成分を少し強調（増幅）し、それ以外の周波数成分を強調（増幅）しない処理を行ってもよい。

は、本発明に係る撮像装置の一内部構成例を示すブロック図である。 は、図１に示す撮像装置を装置上面から見た概略外観図である。 は、図１に示す撮像装置が備える音声処理部の基本構成を示すブロック図である。 は、ノイズ判定情報生成部の第１実施例を採用した場合の音声処理装置の構成を示すブロック図である は、撮像装置本体のノイズ源及び本来の集音対象である音源からの音の伝搬の様子を示す図である。 は、ノイズ判定情報生成部の第２実施例を採用した場合の音声処理装置の構成を示すブロック図である は、集音環境判定部の第１実施例を採用した場合の音声処理装置の構成を示すブロック図である は、集音環境判定部の第２実施例を採用した場合の音声処理装置の構成を示すブロック図である は、空気中における音声の周波数特性を示す図である。 は、水中における音声の周波数特性を示す図である。 は、空気中と水中における音声の周波数特性の相違を示す図である。 は、処理部の第１実施例を採用した場合の音声処理装置の構成を示すブロック図である。 は、処理部の第２実施例を採用した場合の音声処理装置の構成を示すブロック図である。 は、処理部の第３実施例を採用した場合の音声処理装置の構成を示すブロック図である。 は、音源方向角を示す図である。 は、本発明に係る撮像装置の他の内部構成例を示すブロック図である。 は、処理部の減衰処理例を示す図である。

符号の説明

１ 固体撮像素子（イメージセンサ）
２ レンズ部
３ ＡＦＥ
４ ステレオマイク
４Ｌ、４Ｒ マイク
５ 画像処理部
６、６ａ、６ｂ 音声処理部
７ 圧縮処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ タイミングジェネレータ（ＴＧ）
１７ ＣＰＵ
１８ メモリ
１９ 操作部
２０、２１ バス回線
２２ 外部メモリ
２３ モニタユニット
６１Ｒ、６１Ｌ ＦＦＴ部
６２ ノイズ判定情報生成部
６３ 集音環境判定部
６４Ｒ、６４Ｌ 処理部
６５Ｒ、６５Ｌ ＩＦＦＴ部
６２１ 相対位相差情報生成部
６２２ 相対レベル差情報生成部
６３１ 圧力判定部
６３２ 周波数特性判定部
６４１Ｒ、６４１Ｌ 低減処理部
６４２Ｒ、６４２Ｌ 強調処理部
６４３Ｒ、６４３Ｌ 閾値可変処理部

Claims (6)

1. 集音した音声信号の記録及び／又は再生機能を有し、
   水中モードと通常モードを有し、
   集音時に記録機器本体から到来するノイズの影響を低減するノイズ影響低減部を備え、
   集音した音声信号を水中モードにて記録する際、又は、記録した音声信号を水中モードにて再生する際のいずれかにおいて、前記ノイズ影響低減部が、集音時に記録機器本体から到来するノイズの影響を低減することを特徴とする電子機器。
2. 前記ノイズ影響低減部が、
   複数のマイクロホンで集音した音声信号の相対位相差及び／又は相対レベル差を利用して、記録機器本体が発するノイズを判定する判定部と、
   前記判定部の判定結果に基づき、記録機器本体から到来するノイズの影響を低減する音声処理を行う処理部とを備える請求項１に記載の電子機器。
3. 複数のマイクロホンで集音した音声信号を周波数領域の信号に変換する変換部を備え、
   前記判定部が、前記周波数領域の信号の所定の周波数帯域毎に、相対位相差及び／又は相対レベル差を解析し、予め設定した閾値以上の相対位相差及び／又は相対レベル差を有する周波数帯域成分を機器本体が発したノイズ成分であると判定する請求項２に記載の電子機器。
4. 前記処理部が、前記判定部によってノイズと判定された周波数帯域の信号若しくは前記判定部によってノイズと判定された周波数帯域の信号を含む複数の帯域の信号を減衰させることにより、及び／又は、前記判定部によってノイズと判定された周波数帯域以外の信号若しくは前記判定部によってノイズと判定された周波数帯域の信号を含む複数の帯域以外の信号を増幅させることにより、記録機器本体から到来するノイズの影響を低減する請求項３に記載の電子機器。
5. 音声信号が水中で集音されたものであるか否かを判定する集音環境判定部を備え、前記集音環境判定部の判定結果に応じて水中モードと通常モードとを切り替える請求項１〜４のいずれか１項に記載の電子機器。
6. 映像を撮影するカメラを備える撮像装置である請求項１〜５のいずれか１項に記載の電子機器。