JP2010134260A - 電子機器及び音声処理方法 - Google Patents

Abstract

【課題】水中で収録された音声を再生した際の違和感を低減することができる電子機器を提供する。
【解決手段】集音した音声信号の記録及び／又は再生機能を有し、水中で集音した音声信号を記録する際、及び／又は、水中で集音され記録された音声信号を再生する際において、水中における人間の聴覚特性に合わせて音声信号を処理する音声処理部７を備える電子機器。音声処理部７は、水中における人間の聴覚特性に合わせて音声信号の周波数特性を補正する補正処理部７２を備えている。
【選択図】図３

Description

本発明は、音声信号の記録及び／又は再生が可能な電子機器（例えば、撮像装置やＩＣレコーダ等）及び音声信号の記録及び／又は再生の際に実施される音声信号処理方法に関する。

近年の技術開発の発展に伴い、水中での音の収録が可能となっている。水中での音の収録は、例えばハイドロホン(水中マイクロホン)を用いて実施される。ハイドロホンは、特殊な防水加工が施されているため直接水中に入れて使用することができる。また、一般的なハイドロホンは水中でフラットな可聴帯域の集音特性を持っており、さらにハイドロホンの中には人間が聞くことのできない高帯域の音まで集音することができるものもある。また、水深数ｍ〜数十ｍ程度の深さでの撮影及び集音が可能な防水タイプの民生用デジタルカメラやムービーカメラも開発されている。

一方、人間の聴覚特性は、水中と空気中では大きく異なり、水中においては特に３ｋＨｚから８ｋＨｚ付近の聴感が非常に悪いということが知られている(図１参照) 。なお、図１は、空気中の４０phonに相当する水中の等感レベルと空気中の等感レベルのレベル差を示す図であり、非特許文献１に開示されている。ここで、図１に示すグラフの内容について詳細に説明する。「phon」とは、「音量」のことであり、人間が感じる音の大きさを示している。また、「等感レベル」とは、全周波数帯域で同じ「音量」であると感じられるレベルを意味している。等感レベルは、周波数によって異なる場合がある。すなわち、或る周波数で４０phonと感じるレベルと、他の周波数で４０phonと感じるレベルは異なる場合がある。また、図１に示すグラフの縦軸の単位ｄＢは、「音圧レベル」の単位であり、信号レベルそのものを示している。したがって、図１に示すグラフは、空気中での等感レベルが４０phonとなる音響信号を水中において放射したときに、水中では空気中よりも特に３ｋＨｚから８ｋＨｚ付近の聴感特性が悪いことを示している。例えば、周波数６ｋＨｚ付近では、人間が４０phonと感じる信号レベルが、空気中より水中の方が約２８ｄＢ程度高いことを示している。

上述した人間の聴覚特性のため、水中に潜ったときは、音がこもったような感覚になり、中域の音が聞き取りにくくなるが、このようなこもった音が人間にとって「水中らしい」と感じる音になる。

桑原信也、他３名、「水中聴覚に基づく周波数特性補正による明瞭度の改善」、海洋音響学会講演論文集、２００４年５、ｐ．８９−９２

ところが、水中で収録された音声は、撮影者が実際に水中に潜ったときに聴いた音声と異なる場合があり、違和感がある。このような違和感は、水中における集音装置(マイク)の集音特性と水中における人間の聴覚特性とが異なっている場合に生じる。例えば、一般的なハイドロホンで集音した音声は、すべての可聴帯域の音が同じ感度で集音されるが、撮影者が水中に潜って聴いた音は、中域が聞こえにくく、こもった音になるので、一般的なハイドロホンを用いて水中で音声を集音し記録した場合、上述した違和感が生じることになる。

本発明は、上記の状況に鑑み、水中で収録された音声を再生した際の違和感を低減することができる電子機器及び音声信号処理方法を提供することを目的とする。

上記の目的を達成するために、本発明に係る電子機器は、集音した音声信号の記録及び／又は再生機能を有し、水中で集音した音声信号を記録する際、及び／又は、水中で集音され記録された音声信号を再生する際において、水中における人間の聴覚特性に合わせて音声信号を処理する音声処理部を備える構成とする。

また、前記音声処理部の一例として、水中で集音した音声信号を記録する際、及び／又は、水中で集音され記録された音声信号を再生する際において、水中における人間の聴覚特性に合わせて音声信号の周波数特性を補正する音声補正処理部が挙げられる。

また、前記音声処理部の他の例として、水中で集音した音声信号を記録する際において、水中における人間の聴覚特性に合わせて音声圧縮符号化における符号ビット割り当ての重み付けを水中以外で集音した音声信号を記録する場合から変更する音声処理部が挙げられる。

また、前記音声処理部の更に他の例として、上述した二つの例を組み合わせた音声処理部が挙げられる。上述した二つの例を組み合わせた音声処理部は、水中で集音した音声信号を記録する際において、水中における人間の聴覚特性に合わせて音声信号の周波数特性を補正し且つ水中における人間の聴覚特性に合わせて音声圧縮符号化における符号ビット割り当ての重み付けを水中以外で集音した音声信号を記録する場合から変更する音声補正処理部、又は、水中で集音した音声信号を記録する際において、水中における人間の聴覚特性に合わせて音声圧縮符号化における符号ビット割り当ての重み付けを水中以外で集音した音声信号を記録する場合から変更し且つ水中で集音され記録された音声信号を再生する際において、水中における人間の聴覚特性に合わせて音声信号の周波数特性を補正する音声補正処理部である。

また、音声信号が水中で集音されたものであるか否かを判定する集音環境判定部を備え、前記集音環境判定部によって音声信号が水中で集音されたものであると判定された場合にのみ、前記音声処理部が水中における人間の聴覚特性に合わせて音声信号を処理するようにしてもよい。

また、上記各構成の電子機器の一例としては、映像を撮影するカメラを備える撮像装置が挙げられる。

また、上記の目的を達成するために、本発明に係る音声信号処理方法は、水中で集音した音声信号を記録する際、及び／又は、水中で集音され記録された音声信号を再生する際のいずれかにおいて、水中における人間の聴覚特性に合わせて音声信号を処理するステップを備えるようにする。

本発明の構成によると、水中で集音した音声信号を記録する際、及び／又は、水中で集音され記録された音声信号を再生する際のいずれかにおいて、水中における人間の聴覚特性に合わせて音声信号が処理されるので、撮影者が実際に水中に潜ったときに聴いた音声に近づけることができ、水中で収録された音声を再生した際の違和感を低減することができる。

本発明の実施形態について図面を参照して以下に説明する。ここでは、本発明に係る電子機器として撮像装置を例に挙げて説明する。

＜撮像装置の基本構成＞
まず、撮像装置の基本構成について図２を参照して説明する。図２は、本発明に係る撮像装置の一内部構成例を示すブロック図である。

図２に示す撮像装置は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正等の各種画像処理を施す画像処理部４と、画像処理部４から出力される画像信号に対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す画像圧縮処理部５と、音声を電気信号に変換するハイドロホン（水中マイク）６と、ハイドロホン６からのアナログ信号である音声信号に対して音声処理（少なくともアナログ−デジタル変換処理とＭＰＥＧ圧縮方式などの圧縮符号化処理とを含む音声処理）を行う音声処理部７と、画像圧縮処理部５で圧縮符号化された圧縮符号化画像信号及び音声処理部７で圧縮符号化された圧縮符号化音声信号からなる圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ（Liquid Crystal Display）等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、撮影者からの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１とを備える。なお、ＣＰＵ１７は、画像処理部４で検出した画像信号に応じて、レンズ部２内の各モータを駆動して焦点、絞りの制御を行う。

＜撮像装置の基本動作＞
次に、図２に示す撮像装置の動画像撮影時の基本動作について図２を参照して説明する。まず、撮像装置は、レンズ部２より入射される光をイメージセンサ１において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ１は、タイミングジェネレータ１６から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ３に画像信号を出力する。なお、ＣＰＵ１７は、設定された撮影モードに応じたカメラ制御（ＡＦ、ＡＥ、ＩＳＯ感度等）をイメージセンサ１及びレンズ部２に対して行う。

そして、ＡＦＥ３によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部４に入力される。画像処理部４は、入力される画像信号を、輝度信号と色差信号とからなる画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１８はフレームメモリとして動作し、画像処理部４が処理を行う際に画像信号を一時的に保持する。そして、画像処理部４から出力される画像信号が画像圧縮処理部５に入力され、画像圧縮処理部５において所定の圧縮方式で圧縮される。

また、このとき画像処理部４に入力される画像信号に基づき、レンズ部２において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、撮影者の指示に基づいて手動で行われたりする。

一方、ハイドロホン６において電気信号に変換される音声信号は、音声処理部７に入力される。音声処理部７は、入力される音声信号をデジタル信号に変換し、場合によってはノイズ除去や音声信号の強度制御などの音声補正処理を施した後、所定の圧縮方式で圧縮される。

そして、画像圧縮処理部５から出力される圧縮符号化画像信号と、音声処理部７から出力される圧縮符号化音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部８を介して外部メモリ２２に記録される。

外部メモリ２２に記録された圧縮符号化信号は、撮影者の指示に基づく操作部１９の出力信号に応じて、伸長処理部９に読み出される。伸長処理部９は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号をビデオ出力回路部１０、音声信号を音声出力回路部１３にそれぞれ出力する。そして、ビデオ出力回路部１０や音声出力回路部１３において、画像信号及び音声信号がディスプレイ部１２やスピーカ部１５において再生可能な形式に変換されて出力される。

また、画像信号の記録を行わずにディスプレイ部１２に表示される画像を撮影者が確認する、所謂プレビューモードである場合に、画像圧縮処理部５が圧縮処理を行わないようにし、画像処理部４が画像圧縮処理部５ではなくビデオ出力回路部１０に画像信号を出力するようにしてもよい。また、画像信号を記録する際に、ドライバ部８を介して外部メモリ２２に記録する動作と並行して、ビデオ出力回路１０を介してディスプレイ部１２に画像信号を出力するようにしても構わない。

なお、図２に示す構成では、ディスプレイ部１２やスピーカ部１５が撮像装置に搭載されているが、ディスプレイ部１２やスピーカ部１５を撮像装置と別体とし、撮像装置に設けられる端子（ビデオ出力端子１１、音声出力端子１４）とケーブル等を用いて接続されるような構成であっても構わない。

＜音声処理部の第１実施例＞
最初に、音声処理部７の第１実施例について図３〜図５を参照して説明する。図３は、音声処理部７の第１実施例を採用した場合の音声処理部７の構成を示すブロック図である。音声処理部７の第１実施例では、音声処理部７が、ハイドロホン６から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換部７１と、Ａ／Ｄ変換部７１から出力されるデジタル音声信号に対して補正処理を施す補正処理部７２と、補正処理部７２から出力される音声信号に対してＭＰＥＧ圧縮方式などの圧縮符号化処理を施す音声圧縮処理部７３とを備えている。また、図４（ａ）は水中で白色雑音を再生した場合における補正処理部７２の入力信号の周波数特性を示す図であり、図４（ｂ）は水中で白色雑音を再生した場合における補正処理部７２の出力信号の周波数特性を示す図である。

上述したように、一般的なハイドロホンは、水中においてフラットな集音特性を持っているのに対し、水中における人間の聴覚特性は、図１に示すような特性になる。そこで、補正処理部７２は、ハイドロホン６から出力されるアナログ音声信号をＡ／Ｄ変換したデジタル音声信号に対して３ｋＨｚから８ｋＨｚの信号レベルを数ｄＢから３０ｄＢ程度低減させ、水中における人間の聴覚特性に近い周波数特性に補正する。これにより、図４に示すような補正処理部７２の入出力信号の周波数特性を得ることができ、水中で収録された音声を再生した際の違和感を低減することができる。

音声処理部７の第１実施例を採用した場合の音声処理部７が継続的に行う動作の概略をまとめると、図５に示すフローチャートのようになる。すなわち、音声処理部７の第１実施例を採用した場合の音声処理部７は、ハイドロホン６から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換処理を施し（ステップ＃１０）、当該Ａ／Ｄ変換処理で得られたデジタル音声信号に対して３ｋＨｚから８ｋＨｚの信号レベルを数ｄＢから３０ｄＢ程度低減させ、水中における人間の聴覚特性に近い周波数特性に補正する補正処理を施し（ステップ＃２０）、当該補正処理で得られた音声信号に対してＭＰＥＧ圧縮方式などの圧縮符号化処理を施す（ステップ＃３０）という一連の動作を継続的に行っている。

なお、図２に示す撮像装置ではハイドロホン６を用いているが、集音装置はハイドロホンに限らない。水中における集音装置の集音特性が図４（ｂ）に示す特性とみなせるように、補正処理部７２の補正処理の設定を変更する。これにより、ハイドロホン以外の集音装置を用いた場合でも、補正処理部７２が、水中における人間の聴覚特性に近い周波数特性に補正することになる。

また、ハイドロホン６が人間が聞くことのできない高帯域の音まで集音することができるものである場合、補正処理部７２が、人間が聞くことのできない高帯域の音の信号レベルを低減する補正処理もあわせて行うようにしてもよい。

＜音声処理部の第２実施例＞
次に、音声処理部７の第２実施例について図６及び図７を参照して説明する。図６は、音声処理部７の第２実施例を採用した場合の音声処理部７の構成を示すブロック図である。音声処理部７の第２実施例では、音声処理部７が、ハイドロホン６から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換部７１と、Ａ／Ｄ変換部７１から出力される音声信号に対してＭＰＥＧ圧縮方式などの圧縮符号化処理を施す音声圧縮処理部７３と、音声信号が水中で集音されたものであるか否かを判定する集音環境判定部７４とを備えている。

一般的に、音声圧縮符号化では、人間の聴覚心理を考慮し、最も聴感感度のよい帯域に多くの符号ビットを割り当てるように重み付けをし、量子化誤差が小さくなるように音声信号を圧縮している。空気中においては３ｋＨｚ〜４ｋＨｚが最も聴感感度のよい帯域であるため、一般的に、３ｋＨｚ〜４ｋＨｚに最も符号ビットを割り当てるように重み付けされている。一方、水中においては、図１に示すような聴覚特性になるため、特に３ｋＨｚ〜８ｋＨｚ付近の聴感感度は悪くなる。

そこで、音声処理部７の第２実施例では、音声圧縮処理部７３が、水中で集音した音声信号を記録する場合に、水中における人間の聴覚特性に合わせて３ｋＨｚ〜８ｋＨｚへの符号ビット割り当てを少なくし、他の帯域への符号ビット割り当てが多くなるように符号ビット割り当ての重み付けを、空気中で集音した音声信号を記録する場合から変更する。

上述した符号ビット割り当ての重み付けの変更を実現するために、音声処理部７の第２実施例では、音声圧縮処理部７３が、圧縮符号化部７３１と、水中用符号ビット重み付けテーブル格納部７３２と、空気中用符号ビット重み付けテーブル格納部７３３とを備える構成にしている。

ハイドロホン６によって集音された音声信号が水中で集音されたものであると集音環境判定部７４が判定した場合、圧縮符号化部７３１は、水中用符号ビット重み付けテーブル格納部７３２に格納されている水中用符号ビット重み付けテーブル（３ｋＨｚ〜８ｋＨｚへの符号ビット割り当てが少なく、他の帯域への符号ビット割り当てが多いテーブル）を用いて圧縮符号化処理を行う。一方、ハイドロホン６によって集音された音声信号が空気中で集音されたものであると集音環境判定部７４が判定した場合、圧縮符号化部７３１は、空気中用符号ビット重み付けテーブル格納部７３３に格納されている空気中用符号ビット重み付けテーブル（３ｋＨｚ〜４ｋＨｚに最も符号ビットを割り当てているテーブル）を用いて圧縮符号化処理を行う。

なお、図６では、集音環境判定部７４がＡ／Ｄ変換部７１から出力されるデジタル音声信号を入力する実施例、すなわち、集音環境判定部７４がＡ／Ｄ変換部７１から出力されるデジタル音声信号に基づいて集音環境を判定する実施例を図示しているが、集音環境判定部７４はこの実施例に限定されない。集音環境判定部７４の実施例の詳細について後述する。

音声処理部７の第２実施例を採用した場合の音声処理部７が継続的に行う動作の概略をまとめると、図７に示すフローチャートのようになる。すなわち、音声処理部７の第２実施例を採用した場合の音声処理部７は、ハイドロホン６から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換処理を施し（ステップ＃１１０）、ハイドロホン６によって集音された音声信号が水中で集音されたものであるか否かを判定し（ステップ＃１２０）、ハイドロホン６によって集音された音声信号が水中で集音されたものであると判定された場合（ステップ＃１２０のＹＥＳ）は水中用符号ビット重み付けテーブルを用いて上記Ａ／Ｄ変換処理で得られたデジタル音声信号に対して圧縮符号化処理を施し（ステップ＃１３０）、ハイドロホン６によって集音された音声信号が水中で集音されたものであると判定されなかった場合（ステップ＃１２０のＮＯ）は空気中用符号ビット重み付けテーブルを用いて上記Ａ／Ｄ変換処理で得られたデジタル音声信号に対して圧縮符号化処理を施す（ステップ＃１４０）という一連の動作を継続的に行っている。

なお、図２に示す撮像装置ではハイドロホン６を用いているが、集音装置はハイドロホンに限らない。ハイドロホン以外の集音装置を用いた場合でも、その集音装置によって集音された音声信号が水中で集音されたものであると集音環境判定部７４が判定した場合、圧縮符号化部７３１が、水中用符号ビット重み付けテーブル格納部７３２に格納されている水中用符号ビット重み付けテーブル（３ｋＨｚ〜８ｋＨｚへの符号ビット割り当てが少なく、他の帯域への符号ビット割り当てが多いテーブル）を用いて圧縮符号化処理を行うようにすればよい。

＜音声処理部の第３実施例＞
防水タイプのデジタルカメラやムービーカメラで撮影する場合、音声を収音した場所が空気中であったり、水中であったりする場合がある。特に、水面付近で撮影している場合は、撮影中に水の中(水中)と水の外(空気中)を頻繁に行き来することが予想される。上述した音声処理部の第２実施例はこのような場面に対応できるが、上述した音声処理部の第１実施例はこのような場面に対応できない。

そこで、音声処理部７の第３実施例では、上述した音声処理部の第１実施例を変形して、上述した音声処理部の第２実施例と同様に、音声を収音した場所が空気中であったり、水中であったりする場合にも対応できるようにする。以下、音声処理部７の第３実施例について図８及び図９を参照して説明する。

図８は、音声処理部７の第３実施例を採用した場合の音声処理部７の構成を示すブロック図である。音声処理部７の第３実施例では、音声処理部７が、ハイドロホン６から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換部７１と、音声信号が水中で集音されたものであるか否かを判定する集音環境判定部７４と、音声信号が水中で集音されたものであると集音環境判定部７４によって判定された場合にＡ／Ｄ変換部７１から出力されるデジタル音声信号に対して補正処理を施す補正処理部７２と、Ａ／Ｄ変換部７１から出力され補正処理部７２を経由せずに又は補正処理部７２を経由して入力された音声信号に対してＭＰＥＧ圧縮方式などの圧縮符号化処理を施す音声圧縮処理部７３とを備えている。

なお、図８では、集音環境判定部７４がＡ／Ｄ変換部７１から出力されるデジタル音声信号を入力する実施例、すなわち、集音環境判定部７４がＡ／Ｄ変換部７１から出力されるデジタル音声信号に基づいて集音環境を判定する実施例を図示しているが、集音環境判定部７４はこの実施例に限定されない。集音環境判定部７４の実施例の詳細について後述する。

音声処理部７の第３実施例を採用した場合の音声処理部７が継続的に行う動作の概略をまとめると、図９に示すフローチャートのようになる。すなわち、音声処理部７の第３実施例を採用した場合の音声処理部７は、ハイドロホン６から出力されるアナログ音声信号をデジタル音声信号に変換するＡ／Ｄ変換処理を施し（ステップ＃２１０）、ハイドロホン６によって集音された音声信号が水中で集音されたものであるか否かを判定し（ステップ＃２２０）、ハイドロホン６によって集音された音声信号が水中で集音されたものであると判定された場合（ステップ＃２２０のＹＥＳ）はステップ＃２１０のＡ／Ｄ変換処理で得られたデジタル音声信号に対して３ｋＨｚから８ｋＨｚの信号レベルを数ｄＢから３０ｄＢ程度低減させ、水中における人間の聴覚特性に近い周波数特性に補正する補正処理を施し（ステップ＃２３０）、その後、当該補正処理で得られた音声信号に対してＭＰＥＧ圧縮方式などの圧縮符号化処理を施し（ステップ＃２４０）、一方、ハイドロホン６によって集音された音声信号が水中で集音されたものであると判定されなかった場合（ステップ＃２２０のＮＯ）はステップ＃２１０のＡ／Ｄ変換処理で得られたデジタル音声信号に対してＭＰＥＧ圧縮方式などの圧縮符号化処理を施す（ステップ＃２４０）という一連の動作を継続的に行っている。

なお、図２に示す撮像装置ではハイドロホン６を用いているが、集音装置はハイドロホンに限らない。水中における集音装置の集音特性が図４（ｂ）に示す特性とみなせるように、補正処理部７２の補正処理の設定を変更する。これにより、ハイドロホン以外の集音装置を用いた場合でも、補正処理部７２が、水中における人間の聴覚特性に近い周波数特性に補正することになる。

また、ハイドロホン６が人間が聞くことのできない高帯域の音まで集音することができるものである場合、補正処理部７２が、人間が聞くことのできない高帯域の音の信号レベルを低減する補正処理もあわせて行うようにしてもよい。

また、ハイドロホン６によって集音された音声信号が空気中で集音されたものであると判定された場合にのみ実行される空気中において集音された音声信号に適した補正処理を行う補正処理部を音声処理部７内に設けてもよく、ハイドロホン６によって集音された音声信号が水中で集音されたものであると判定された場合及びハイドロホン６によって集音された音声信号が空気中で集音されたものであると判定された場合の双方で実行される水中において集音された音声信号及び空気中において集音された音声信号の双方に適した補正処理を行う補正処理部を音声処理部７内に設けてもよい。

また、音声処理部の第３実施例は音声処理部の第２実施例と組み合わせて実行することが可能である。

＜集音環境判定部の第１実施例＞
次に、音声処理部７の第２実施例及び第３実施例で用いる集音環境判定部７４の第１実施例について図１０を参照して説明する。図１０は、集音環境判定部７４の第１実施例を採用した場合の集音環境判定部７４の構成を示すブロック図である。集音環境判定部７４の第１実施例では、集音環境判定部７４が周波数特性判定部７４１を備えている。

ここで、空気中で白色雑音を再生し、それを空気中で集音した場合の周波数特性を図１１に示す。また、空気中で白色雑音を再生し、それを水中で集音した場合の周波数特性を図１２に示す。なお、図１１及び図１２に示す周波数特性は、空気中で一般的に使用されるエレクトレットコンデンサマイクロホン（Electret Condenser Microphone）やＭＥＭＳ（Micro Electro Mechanical System）マイクロホンなどのハウジングに防水構造を施した集音装置で集音して得られたものである。

空気中で集音した場合の周波数特性は、図１１に示す通りほぼフラットな特性となる。一方、水中で集音した場合の周波数特性は、一般的に、信号レベルが大きければ、図１２に示す通り高周波帯域の信号が大きく減衰する。これは、伝搬されてくる音が、空気中−水中、水中−集音機器の筐体内部（空気中）の２つの境界において反射により減衰し、水中で新たに発生した波の音や筐体内部で新たに発生した音などの一般的に低い音が残るためである。

このように、撮像装置を水中で使用している場合には、撮像装置を空気中で使用している場合では起こりえないような、低帯域の音と中帯域の音及び高帯域の音とのレベル差が生じるため、そのレベル差を利用して判定を行う。なお、ハイドロホンマイクを用いて水中で集音した場合は水中−集音機器の筐体内部（空気中）の境界は存在しないので、低帯域の音と中帯域の音及び高帯域の音とのレベル差は、図１１及び図１２の場合よりも小さくなる。しかしながら、音源が空気中である限り、伝搬されてくる音が空気中−水中の境界において反射により減衰するので、低帯域の音と中帯域の音及び高帯域の音とのレベル差を利用した集音環境判定が可能である。

周波数特性判定部７４１が、音声信号を対象として、低帯域（例えば、数十（７０）Ｈｚ〜３ｋＨｚ）、中帯域（例えば、６ｋＨｚ〜９ｋＨｚ）、高帯域（例えば、１２ｋＨｚ〜１５ｋＨｚ）の各帯域で信号レベルの平均値を算出する。なお、各帯域の具体的数値は上記の例に限らず、各帯域相互の大小関係が正しければ問題ない。また、低帯域と中帯域が一部重複していてもよく、中帯域と高帯域が一部重複していてもよい。

その各帯域における信号レベルの平均値から算出することが可能な、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２、及び、高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、マイクを空気中から水中に挿入し再び空気中に戻した場合図１３に示すような時間変化を示す（図１３はハイドロホン以外のマイクを用いた場合のデータを示している）。図１３中の期間Ｔ１及びＴ３はマイクが空気中に位置する期間であり図１３中の期間Ｔ２はマイクが水中に位置する期間である。高帯域に対する中帯域の信号レベル比（中帯域／高帯域）Ｒ３は、空気中、水中に関係なく、ほぼ一定値である。これに対し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、空気中では小さい値であるが、水中では受音感度が変化し、空気中の場合と比べて大幅に大きな値になる。

このことを利用して、周波数特性判定部７４１は、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を各帯域における信号レベルの平均値から算出し、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が予め設定した閾値以上に大きくなった場合に、音声処理部７に入力される音声信号が水中で集音されたものであると判定する。判定精度は劣ることになるが、中帯域における信号レベルの平均値及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２を算出せず、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１が予め設定した閾値以上に大きくなった場合に音声処理部７に入力される音声信号が水中で集音されたものであると判定すること、或いは、高帯域における信号レベルの平均値及び高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１を算出せず、中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が予め設定した閾値以上に大きくなった場合に音声処理部７に入力される音声信号が水中で集音されたものであると判定することも可能である。

なお、水中においても、気泡の音や筐体のこすれ音によって突発的なノイズが発生し、中帯域及び高帯域の信号レベルが瞬間的に大きくなり、高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２が瞬間的に小さな値になる可能性がある。そのため、周波数特性判定部７４１が判定に使用する高帯域に対する低帯域の信号レベル比（低帯域／高帯域）Ｒ１及び中帯域に対する低帯域の信号レベル比（低帯域／中帯域）Ｒ２は、一定時間において平均をとった値を用いることが望ましい。

また、閾値に関しては、ヒステリシス特性を持たせ、空気中であると判定している間は閾値を高く、水中であると判定している間は閾値を低く設定することが望ましい。

＜集音環境判定部の第２実施例＞
次に、音声処理部７の第２実施例及び第３実施例で用いる集音環境判定部７４の第２実施例について図１４を参照して説明する。図１４は、集音環境判定部７４の第２実施例を採用した場合の集音環境判定部７４の構成を示すブロック図である。集音環境判定部７４の第２実施例では、集音環境判定部７４が伝搬特性判定部７４２を備えている。伝搬特性判定部７４２は、空気中で集音された音声信号の伝搬特性と、水中で集音された音声信号の伝搬特性との差異に基づいて、入力される音声信号が集音された環境を判定する。

伝搬特性判定部７４２が判定に用いる音声信号の伝搬特性として、例えば、音速の差異がある。空気中での音速は３４４ｍ／ｓ程度であり、水中での音速は１５００ｍ／ｓ程度となる。本例ではこの音速の差異に基づいて集音環境を判定する。また、このように判定を行う場合、例えば、レンズ部２に備えられる光学ズーム倍率を変化させるモータの駆動音を用いることができる。このように判定を行う場合について以下に説明する。

ＣＰＵ１７は、レンズ部２内の光学ズーム倍率を変化させるモータの駆動を操作部１９の出力に応じて制御する。さらにＣＰＵ１７は、レンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングについて時間管理を行い、その情報を伝搬特性判定部７４２に提供する。レンズ部２内の光学ズーム倍率を変化させるモータの駆動音は、図２に示す撮像装置における駆動音（自己発生駆動音）としてハイドロホン６によって集音される。そして、伝搬特性判定部７４２において、ＣＰＵ１７から提供されたレンズ部２内の光学ズーム倍率を変化させるモータの駆動タイミングに関する時間情報と、ハイドロホン６によって集音された自己発生駆動音（レンズ部２内の光学ズーム倍率を変化させるモータの駆動音）の集音時間とに基づいて、自己発生駆動音の伝達速度が測定される。図２に示す撮像装置において、空気中での自己発生駆動音の伝達速度はあらかじめ得られる事から、空気中で集音されたか水中で集音されたかを判定することが可能である。

＜集音環境判定部の第３実施例＞
次に、音声処理部７の第２実施例及び第３実施例で用いる集音環境判定部７４の第３実施例について図１５を参照して説明する。図１５は、集音環境判定部７４の第３実施例を採用した場合の集音環境判定部７４の構成を示すブロック図である。集音環境判定部７４の第３実施例では、集音環境判定部７４が伝搬特性判定部７４３を備えている。伝搬特性判定部７４３は、入力される音声信号が集音された環境を、空気中及び水中における音声信号の伝搬特性の差異に基づいて判定する。ただし、伝搬特性判定部７４３は、図１４に示す第２実施例の伝搬特性判定部７４２とは異なる方法で判定を行う。

伝搬特性判定部７４３の判定方法について、図１６を用いて説明する。水中判定部の第３実施例を実施する場合、ハイドロホン６を例えば図１６に示すようにマイク６Ｌとマイク６Ｒからなるステレオマイクにする。図１６に示すように、音源が発する音がステレオマイクに集音される際に、マイク６Ｌとマイク６Ｒとの間に行路差ｄが生じる。そして、この行路差ｄに起因して到達時間の差（行路差ｄを音速で除算した値）が生じる。また、この到達時間の差が異なることにより、マイク６Ｒから音声処理部７に入力された音声信号（Ｒｃｈ）とマイク６Ｌから音声処理部７に入力された音声信号（Ｌｃｈ）との間に位相差が生じる。

そして、上述したように空気中と水中とでは音速が異なる。そのため、音声信号（Ｒｃｈ）と音声信号（Ｌｃｈ）との間に生じる位相差が、空気中で集音された音声信号と水中で集音された音声信号とによって異なるものとなる。そこで、伝搬特性判定部７４３はこの位相差の差異に基づいて、集音環境判定部７４に入力される音声信号が水中で集音されたものであるか否かを判定する。

なお、ハイドロホン６をステレオマイクにする代わりに他チャンネルのマイクアレイ（例えば５．１ｃｈサラウンド録音対応マイク）にしても本実施例の実施が可能である。

＜集音環境判定部の第４実施例＞
次に、集音環境判定部７４の第４実施例について図１７を参照して説明する。図１７は、集音環境判定部７４の第４実施例を採用した場合の集音環境判定部７４の構成を示すブロック図である。集音環境判定部７４の第４実施例では、集音環境判定部７４が圧力判定部７４４を備えている。

集音環境判定部７４の第４実施例を採用する場合、図２に示す撮像装置に新たに圧力センサを設ける。圧力判定部７４４は、圧力センサの検出信号を入力し、撮像装置外部の圧力が予め設定した閾値以上である場合に、撮像装置が水中で使用されており、音声処理部７に入力される音声信号が水中で集音されたものであると判定し、撮像装置外部の圧力が予め設定した閾値未満である場合に、撮像装置が空気中で使用されており、音声処理部７に入力される音声信号が空気中で集音されたものであると判定する。

＜集音環境判定部の第５実施例＞
次に、集音環境判定部７４の第５実施例について図１８を参照して説明する。図１８は、集音環境判定部７４の第５実施例を採用した場合の集音環境判定部７４の構成を示すブロック図である。集音環境判定部７４の第５実施例では、集音環境判定部７４が映像判定部７４５を備えている。

映像判定部７４５は、画像処理部４から入力した映像信号を解析し、撮像装置が水中で使用されているかを判定する。映像判定部７４５は、例えば、画像処理部４から入力しホワイトバランス調整前の映像信号を画像処理部４から入力し、そのホワイトバランス調整前の映像信号の色分布を解析して、撮像装置が水中で使用されているかを判定する。

なお、映像判定部７４５を音声処理部７内に設けるのではなく画像処理部４内に設け、集音環境判定部７４が映像判定部７４５の判定結果を入力するようにしてもよい。

＜変形例＞
上述した図２に示す撮像装置は、集音した音声信号を記録する際に、水中における人間の聴覚特性に合わせて音声信号を処理することができる処理部を備えている。しかしながら、本発明はこれに限定されず、集音した音声信号を再生する際に、水中における人間の聴覚特性に合わせて音声信号を処理することができる処理部を備えるようにしてもよい。

集音した音声信号を再生する際に、水中で集音した音声信号を再生する際に、水中における人間の聴覚特性に合わせて音声信号を処理することができる処理部を備える撮像装置を図１９に示す。なお、図１９において図２と実質上同一の部分には同一の符号を付している。

図１９に示す撮像装置が図２に示す撮像装置と異なる点は、音声処理部７の代わりに音声処理部７ａを設け、さらに、伸長処理部９と音声出力回路部１３との間に音声処理部７ｂを設けている点である。

音声処理部７ａは、音声処理部７と異なり、水中で集音した音声信号を記録する際に、水中における人間の聴覚特性に合わせて音声信号を処理することができる処理部を備えていない構成である。

音声処理部７ｂは、Ａ／Ｄ変換処理及び圧縮符号化処理を行わない点を除き、音声処理部７と同様の構成である。音声処理部７ｂにおいて行われる音声処理は、基本的に音声処理部７において行われる音声処理と同様であるので、ここでは説明を省略する。なお、音声処理部７ｂは、圧縮符号化処理を行わないので、上述した音声処理部の第２実施例を実施することはできない。

なお、集音環境（集音時に図１９に示す撮像装置が置かれている環境）と再生環境（再生時に図１９に示す撮像装置が置かれている環境）とが異なっている可能性があるため、音声処理部７ｂの集音環境判定部には、上述した集音環境判定部の第４実施例を採用しないようにする。

また、上述した図２又は図１９に示す撮像装置では、集音した音声信号の記録時、集音し記録した音声信号の再生時のいずれか一方のみでしか、水中における人間の聴覚特性に合わせて音声信号を処理していないが、集音した音声信号の記録時、集音し記録した音声信号の再生時の双方において、水中における人間の聴覚特性に合わせて音声信号を処理してもよい。この場合、例えば、集音した音声信号の記録時に、水中における人間の聴覚特性に合わせて音声圧縮符号化における符号ビット割り当ての重み付けを水中以外で集音した音声信号を記録する場合から変更し、集音し記録した音声信号の再生時に、水中における人間の聴覚特性に合わせて音声信号の周波数特性を補正してもよく、水中における人間の聴覚特性に合わせて音声信号の周波数特性を補正する処理を２段階に分け、集音した音声信号の記録時に第１段階の補正を行い、集音し記録した音声信号の再生時に第２段階の補正を行うようにしてもよい。

また、本発明にかかる電子機器は、音声信号の記録及び／又は再生が可能であればよいので、映像に関連するブロックは特に必要ない。したがって、本発明は、撮像装置以外の電子機器、例えば、音声記録装置、音声再生装置、音声記録再生装置（例えばＩＣレコーダ）等にも適用することができる。

また、本発明に係る集音環境判定装置を搭載した電子機器は、防水構造であることが望ましいが、防水構造でなくても例えば防水ハウジングに収納し外部のハイドロホンによって集音した音声信号を入力するというような使用法を採用することが可能である。

また、例えば、音声処理部７ｂの各部としてコンピュータを機能させるためのプログラムを含む再生ソフトウェアを、パーソナルコンピュータ上で動作させることで、本発明に係る電子機器を実現することもできる。

また、上述した場合に限らず、図２及び図１９の撮像装置や音声処理部７、７ａ、７ｂは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて図２及び図１９の撮像装置や音声処理部７、７ａ、７ｂを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明に係る実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

は、水中の等感レベルと空気中の等感レベルのレベル差を示す図である。 は、本発明に係る撮像装置の一内部構成例を示すブロック図である。 は、音声処理部の第１実施例の構成を示すブロック図である。 は、水中で白色雑音を再生した場合における補正処理部の入出力信号の周波数特性を示す図である。 は、第１実施例の音声処理部が継続的に行う動作の概略を示すフローチャートである。 は、音声処理部の第２実施例の構成を示すブロック図である。 は、第２実施例の音声処理部が継続的に行う動作の概略を示すフローチャートである。 は、音声処理部の第３実施例の構成を示すブロック図である。 は、第３実施例の音声処理部が継続的に行う動作の概略を示すフローチャートである。 は、集音環境判定部の第１実施例の構成を示すブロック図である。 は、空気中における音声の周波数特性を示す図である。 は、水中における音声の周波数特性を示す図である。 は、空気中と水中における音声の周波数特性の相違を示す図である。 は、集音環境判定部の第２実施例の構成を示すブロック図である。 は、集音環境判定部の第３実施例の構成を示すブロック図である。 は、ステレオマイクの模式図である。 は、集音環境判定部の第４実施例の構成を示すブロック図である。 は、集音環境判定部の第５実施例の構成を示すブロック図である。 は、本発明に係る撮像装置の他の内部構成例を示すブロック図である。

符号の説明

１ 固体撮像素子（イメージセンサ）
２ レンズ部
３ ＡＦＥ
４ 画像処理部
５ 画像圧縮処理部
６ ハイドロホン
７、７ａ、７ｂ 音声処理部
８ ドライバ部
９ 伸長処理部
１０ ビデオ出力回路部
１１ ビデオ出力端子
１２ ディスプレイ部
１３ 音声出力回路部
１４ 音声出力端子
１５ スピーカ部
１６ タイミングジェネレータ（ＴＧ）
１７ ＣＰＵ
１８ メモリ
１９ 操作部
２０、２１ バス回線
２２ 外部メモリ
７１ Ａ／Ｄ変換部
７２ 補正処理部
７３ 音声圧縮処理部
７３１ 圧縮符号化部
７３２ 水中用符号ビット重み付けテーブル格納部
７３３ 空気中用符号ビット重み付けテーブル格納部
７４ 集音環境判定部
７４１ 周波数特性判定部
７４２、７４３ 伝搬特性判定部
７４４ 圧力判定部
７４５ 映像判定部

Claims (6)

1. 集音した音声信号の記録及び／又は再生機能を有し、
   水中で集音した音声信号を記録する際、及び／又は、水中で集音され記録された音声信号を再生する際において、水中における人間の聴覚特性に合わせて音声信号を処理する音声処理部を備えることを特徴とする電子機器。
2. 前記音声処理部が、水中で集音した音声信号を記録する際、及び／又は、水中で集音され記録された音声信号を再生する際において、水中における人間の聴覚特性に合わせて音声信号の周波数特性を補正する請求項１に記載の電子機器。
3. 前記音声処理部が、水中で集音した音声信号を記録する際において、水中における人間の聴覚特性に合わせて音声圧縮符号化における符号ビット割り当ての重み付けを水中以外で集音した音声信号を記録する場合から変更する請求項１又は請求項２に記載の電子機器。
4. 音声信号が水中で集音されたものであるか否かを判定する集音環境判定部を備え、前記集音環境判定部によって音声信号が水中で集音されたものであると判定された場合にのみ、前記音声処理部が水中における人間の聴覚特性に合わせて音声信号を処理する請求項１〜３のいずれか１項に記載の電子機器。
5. 映像を撮影するカメラを備える撮像装置である請求項１〜４のいずれか１項に記載の電子機器。
6. 水中で集音した音声信号を記録する際、又は、水中で集音され記録された音声信号を再生する際のいずれかにおいて、水中における人間の聴覚特性に合わせて音声信号を処理するステップを備えることを特徴とする音声信号処理方法。