JP2006314078A - 撮像装置、音声記録装置および音声記録方法 - Google Patents

Abstract

【課題】マルチチャネルの音声記録により臨場感の高い音声再生が可能で、かつ狙った被写体の発する音声を明瞭に再生できるようにする。
【解決手段】被写体に装着されたワイヤレスマイクでの収音信号が、ビデオカメラ３０に対して無線送信される。ビデオカメラ３０は、マルチチャネル収音処理部３５において複数のマイクロフォン３５ａ〜３５ｄにより音声を収音し、各音声信号を基にマルチチャネル音声合成部３７においてマルチチャネル音声信号を生成する。これとともに、ワイヤレスマイクからの収音信号を受信して、その収音信号をマルチチャネル音声合成部３７において、マルチチャネル音声信号の１つ以上の任意のチャネルに割り当て、それぞれ任意の合成比で合成して、撮像画像信号とともに記録媒体に記録する。
【選択図】図３

Description

本発明は、画像を撮像するとともに音声を収音してともに記録媒体に記録する撮像装置、収音信号を記録する音声記録装置および音声記録方法に関し、特に、音声信号をマルチチャネルで収音して記録する撮像装置、音声記録装置および音声記録方法に関する。

従来から、撮像・収音機能と画像・音声記録機能とを一体化したビデオカメラがよく知られている。このようなビデオカメラでは、モノラル信号を記録・再生する場合を除けば、左チャネルと右チャネルの２チャネルの音声信号を記録し、再生するのが一般的であった。この手法によれば、ビデオカメラによる撮像方向に向かって左右方向への発音源の位置の変化については明瞭に記録できるので、再生時において音源の位置の左右方向での変化を再現することができるが、撮影者の前後方向の音場変化は明瞭には再現できない。

そこで、近年では音声の臨場感の再現性を高めるべく、左右方向に加えて前後方向の収音信号を含めてマルチチャネルで記録し、再生するサラウンドと呼ばれる立体音場再生システムがよく知られるようになってきている。そして、家庭用のビデオカメラでも、立体音場を収音するために複数のマイクロフォンが搭載されるようになり、一般の聴取者が撮影しても手軽に立体音場を再現できるようになってきた。

音声をマルチチャネルで収音する従来の装置の例としては、複数のマイクロフォンからの複数チャネルの音声信号と、それらの全チャネルの音声信号を１つのチャネルに処理した信号とを記録し、これらを独立して再生可能としたことで、臨場感があふれる音響再生を行うことができるようにしたビデオカメラがあった（例えば、特許文献１参照）。

また、前方、後方、左側、右側に配置した４つの無指向性マイクロフォンと、この４つの無指向性マイクロフォンの出力から、４５°おきに水平面内全周の８方向に指向性を向けた８つの指向性マイクロフォンの出力を合成する８つの第１〜第８の合成手段と、この８つの合成手段の出力からマルチチャネルステレオ信号を合成する第９の合成手段とを備えた構成とすることにより、４つの無指向性マイクロフォンだけで、様々な音場、様々な方式のマルチチャネルステレオに対応可能とした小型で低コストのマルチチャネル収音装置もあった（例えば、特許文献２参照）。
特開２００３−１８５４３号公報（段落番号〔００１８〕〜〔００２８〕、図２） 特開２００２−２２３４９３号公報（段落番号〔００２６〕〜〔００４１〕、図１）

しかし、上述したマルチチャネルの音声記録が可能なビデオカメラでは、狙った被写体の発する音声と比較して、その周囲の音声がよく聞こえるような状況で収音すると、サラウンド再生システムで再生しても、狙った被写体の音声が相対的に聞こえづらくなってしまう。また、狙った被写体が移動している場合、その被写体が発する音声が複数のチャネルに分割されて録音されてしまうために、再生時の音像定位が不明瞭になってしまう。さらにこれらの事態はビデオカメラに限らず、ポータブル録音装置など音声記録のみ可能な装置であっても起こり得るものであった。

本発明はこのような課題に鑑みてなされたものであり、マルチチャネルの音声記録により臨場感の高い音声再生が可能で、かつ狙った被写体の発する音声を明瞭に再生できるようにした撮像装置を提供することを目的とする。

また、本発明の他の目的は、マルチチャネルの音声記録により臨場感の高い音声再生が可能で、かつ狙った対象物の発する音声を明瞭に再生できるようにした音声記録装置を提供することである。

さらに、本発明の他の目的は、マルチチャネルの音声記録により臨場感の高い音声再生が可能で、かつ狙った対象物の発する音声を明瞭に再生できるようにした音声記録方法を提供することである。

本発明では、上記問題を解決するために、画像を撮像するとともに音声を収音してともに記録媒体に記録する撮像装置において、複数チャネルの音声を収音する収音部と、外部の収音装置から無線送信された音声信号を受信する無線通信部と、前記無線通信部により受信された音声信号を、前記収音部により収音された音声信号のうち、１つ以上の任意のチャネルに合成する音声合成部とを有することを特徴とする撮像装置が提供される。

このような撮像装置では、複数チャネルの音声が収音部により収音されるとともに、外部の収音装置で収音されて無線送信された音声信号が、無線通信部により受信される。無線通信部により受信された音声信号は、音声合成部により、収音部からの複数チャネルの音声信号のうち、任意のチャネルに合成される。これにより、例えば外部の収音装置を撮像中の被写体に近接させて設置しておくことで、その被写体の発する音声を任意のチャネルの音声信号に合成して、記録できるようになる。

また、本発明では、収音信号を記録媒体に記録する音声記録装置において、複数チャネルの収音信号の入力を有線により受け付ける音声入力部と、外部の収音装置から無線送信された音声信号を受信する無線通信部と、前記無線通信部により受信された音声信号を、前記音声入力部に入力された収音信号のうち、１つ以上の任意のチャネルに合成する音声合成部とを有することを特徴とする音声記録装置が提供される。

このような音声記録装置では、複数チャネルの収音音声が有線により音声入力部で受け付けられるとともに、外部の収音装置で収音されて無線送信された音声信号が、無線通信部により受信される。無線通信部により受信された音声信号は、音声合成部により、複数チャネルの収音信号のうち、任意のチャネルに合成される。これにより、例えば外部の収音装置を特定の対象物に近接させて設置しておくことで、その対象物の発する音声を任意のチャネルの収音信号に合成して、記録できるようになる。

本発明の撮像装置によれば、例えば外部の収音装置を撮像中の被写体に近接させて設置しておくことで、その被写体の発する音声を任意のチャネルの音声信号に合成して、記録できるようになる。従って、複数チャネルの収音信号により臨場感の高い音声再生が可能であるとともに、狙った被写体の発する音声を明瞭に再生できる。

また、本発明の音声記録装置によれば、例えば外部の収音装置を特定の対象物に近接させて設置しておくことで、その対象物の発する音声を任意のチャネルの収音信号に合成して、記録できるようになる。従って、複数チャネルの収音信号により臨場感の高い音声再生が可能であるとともに、狙った対象物の発する音声を明瞭に再生できる。

以下、図面を参照してこの発明の実施の形態について説明する。
［第１の実施の形態］
まず、音声信号をマルチチャネルで収音して記録媒体に記録する音声収録装置に本発明を適用した場合について説明する。

図１は、第１の実施の形態に係る音声収録装置とその周辺装置の構成を示す図である。
図１に示す音声収録装置１０は、マルチチャネルの収音・記録機能とともに、ワイヤレスマイク２０によって収音され、無線送信された音声信号を受信して記録する機能も備えている。なお、以下の説明では、ワイヤレスマイク２０によって収音された音声信号を、ワイヤレス音声信号と呼称する。

この音声収録装置１０において、マルチチャネル収音処理部１１は、複数のマイクロフォン１１ａ〜１１ｄによって収音された音声信号をそれぞれデジタル信号に変換し、マルチチャネル音声合成部１４に出力する。なお、マイクロフォン１１ａ〜１１ｄのそれぞれは、音声収録装置１０に内蔵されたものでも、その外部に接続されたものでもよい。無線通信部１２は、ワイヤレスマイク２０から送信された音声信号（ワイヤレス音声信号）をアンテナ１３を通じて受信し、マルチチャネル音声合成部１４に出力する。

マルチチャネル音声合成部１４は、マルチチャネル収音処理部１１からの複数チャネルの音声信号を基に、所定のマルチチャネル規格に準じた音声信号に変換する。例えば、前方の左右および中央、後方の左右、およびサブウーハの各チャネルからなる、いわゆる５．１チャネルのマルチチャネル音声信号に変換する。さらに、無線通信部１２からのワイヤレス音声信号を、マルチチャネル音声信号のうち、制御部１６により指定された任意の１つ以上のチャネル（例えばセンターチャネル）に合成し、合成後の音声信号を記録再生部１５に出力する。また、マルチチャネル音声合成部１４は、記録再生部１５によって記録媒体から読み出された音声信号を復号化する機能も備えている。

記録再生部１５は、マルチチャネル音声合成部１４から出力されたマルチチャネル音声信号を、光ディスクや磁気テープなどの記録媒体に記録する。また、記録した音声信号を再生することも可能となっている。制御部１６は、音声収録装置１０全体を統括的に制御するものであり、例えばユーザからの操作入力などに応じて、マルチチャネル音声合成部１４でのワイヤレス音声信号の合成チャネル割り当てや合成比（０％〜１００％）の制御、記録再生部１５の記録・再生動作制御などを行う。

一方、ワイヤレスマイク２０において、収音処理部２２は、マイクロフォン２１によって収音された音声信号をデジタル信号に変換する。無線通信部２３は、収音処理部２２からの音声信号（ワイヤレス音声信号）をアンテナ２４を通じて無線送信する。

このような音声収録装置１０では、マルチチャネル音声信号を記録媒体に記録できるので、例えば前後左右方向の音場が再現された臨場感の高い音声再生を行うことができる。これに加えて、無線通信部１２により受信したワイヤレス音声信号を、マルチチャネル音声信号の任意のチャネルに合成できるので、再生時にはワイヤレスマイク２０によって収音した音声を明瞭に再生できる。例えば、ワイヤレスマイク２０を移動する人物などの対象物に携帯させるなど近接させて配置し、その対象物の発する音声を収音させることで、音声収録装置１０の周囲の音声が対象物の発する音声より相対的に大きい状況で記録した場合にも、再生時には対象物の発する音声を明瞭に聞くことができるようになる。

また、マルチチャネル音声合成部１４では、ワイヤレスマイク２０からのワイヤレス音声信号をマルチチャネル音声信号の任意のチャネルに、任意の合成比で合成できるようにしてもよい。例えば、ワイヤレス音声信号をセンターチャネルに最も大きく合成し、前方の左右チャネルにそれより小さな同一レベルで合成することで、再生時には、ワイヤレスマイク２０を装着した対象物の発する音声の定位を一層明瞭にすることができる。また、合成するチャネル割り当てや合成比は、例えばユーザの操作入力などに応じて任意に設定できるようにしてもよい。

さらに、対象物が移動した場合には、その移動に応じて各チャネルに対するワイヤレス音声信号の合成比を変化させてもよい。この場合、例えばワイヤレスマイク２０のアンテナ２４として無指向性のものを用い、音声収録装置１０側で受信するアンテナ１３に指向性可変のものを用いることで、電波の到来方向を推定できる。すなわち、対象物と音声収録装置１０との位置関係が変化する場合、無線通信部１２において受信電波強度を基にワイヤレス音声信号の到来方向を推定し、制御部１６に方位情報を適宜に出力することによって、ワイヤレス音声信号を割り当てるべきチャネルが確定され、かつその合成比が適切に決定される。

なお、指向性可変アンテナとしては、例えばアダプティブアレイアンテナやダイバシティ方式のアンテナが使用できる。アダプティブアレイアンテナは複数のアンテナからなり、各アンテナで受信した電波の振幅と位相とを独立に制御することにより、アンテナの指向性を変えるようにしたものである。ここでは、無線通信部１２によってアンテナ１３を制御してその指向性の角度ごとに受信される無線信号の強度を検出し、その検出結果を基に制御部１６が電波の到来方向を推定している。ダイバシティ方式のアンテナでは、それぞれ指向性が重ならないように配置された複数の指向性アンテナが用いられる。

なお、上記構成の音声収録装置１０としては、例えば、磁気テープやＭＤ（Mini Disc、登録商標）などに収音音声を記録する携帯型レコーダや、放送局やコンサート会場などで多数の収音信号の入力を受けて合成し、記録する据え置き型のレコーダなどに適用できる。

また、ワイヤレスマイク２０と音声収録装置１０との間の音声信号の無線通信方式としては、例えばブルートゥース（Bluetooth）や無線ＬＡＮ（Local Area Network）、ＦＭ変調方式、赤外線通信方式などを用いることができる。

［第２の実施の形態］
次に、マルチチャネル音声信号を撮像画像信号とともに記録媒体に記録するビデオカメラに本発明を適用した場合について説明する。

図２は、第２の実施の形態に係るビデオカメラの使用形態の一例を示す図である。
ここでは、被写体となる人物１が上記ワイヤレスマイク２０を装着している。そして、このワイヤレスマイク２０から送信されたワイヤレス音声信号が、撮影者２の持つビデオカメラ３０により受信され、このビデオカメラ３０自体のマイクロフォンで収音されたマルチチャネル音声にワイヤレス音声信号が合成されて記録される。これにより、人物１との距離が離れていたり、その周囲の音声レベルが人物１の音声と比較して大きいといった状況で撮像・収音した画像・音声信号でも、その再生時には人物１の音声を明瞭に聞き取ることができるようになる。

図３は、ビデオカメラ３０の要部構成を示す図である。
図３に示すビデオカメラ３０は、カメラブロック３１、カメラ信号処理部３２、レンズコントロール部３３、ズームコントロール部３４、マルチチャネル収音処理部３５、無線通信部３６、アンテナ３６ａ、マルチチャネル音声合成部３７、記録再生部３８、および制御部３９を具備している。

このビデオカメラ３０において、カメラブロック３１、カメラ信号処理部３２、レンズコントロール部３３、およびズームコントロール部３４は、撮像機能を担うブロックである。カメラブロック３１は、被写体からの入射光を受けるレンズやシャッタ、アイリス機構、撮像素子などを具備する。また、このカメラブロック３１はズーム機能を備えている。

カメラ信号処理部３２は、カメラブロック３１の撮像素子からの出力画像信号に対して、デジタル変換処理や所定の画質補正処理、圧縮符号化処理を施し、記録再生部３８に出力する。また、記録再生部３８により記録媒体から読み出された画像信号を伸張符号化する機能も備えている。

レンズコントロール部３３は、カメラブロック３１の動作を制御するブロックであり、カメラ信号処理部３２から供給された撮像画像信号を基に自動的に焦点を合わせるオートフォーカス機能や、ズームコントロール部３４からの制御信号に基づいてズーム倍率を制御する機能などを備えている。ズームコントロール部３４は、ズームレバーなどの操作によってビデオカメラ３０の操作者が任意のズーム倍率を選択する機能を備えている。

一方、マルチチャネル収音処理部３５、無線通信部３６、およびマルチチャネル音声合成部３７は、収音機能を担うブロックであり、それぞれ図１に示したマルチチャネル収音処理部１１、無線通信部１２、マルチチャネル音声合成部１４に対応する機能を備える。すなわち、マイクロフォン３５ａ〜３５ｄにより収音した収音信号がマルチチャネル収音処理部３５において所定のマルチチャネル規格に準じたマルチチャネル信号（例えば５．１チャネル信号）に変換される。また、ワイヤレスマイク２０からのワイヤレス音声信号はアンテナ３６ａを通じて無線通信部３６に受信され、そのワイヤレス音声信号がマルチチャネル音声合成部３７により、所定のチャネルの音声信号に合成される。

記録再生部３８は、カメラ信号処理部３２からの画像信号とマルチチャネル音声合成部３７からのマルチチャネル音声信号とを多重化して、磁気テープや光ディスクなどの所定の記録媒体に記録する。また、記録した信号を読み出して、カメラ信号処理部３２およびマルチチャネル音声合成部３７において復号化することで、記録信号が再生される。

制御部３９は、ビデオカメラ３０全体を統括的に制御するものであり、例えばユーザからの操作入力などに応じて、マルチチャネル音声合成部３７でのワイヤレス音声信号の合成チャネル割り当てや合成比の制御、記録再生部１５の記録・再生動作制御などを行う。また、後述するように、ワイヤレス音声信号の方位情報と、ズーム倍率制御情報などから推定されるワイヤレスマイク２０までの距離情報とに基づいて、マルチチャネル音声合成部３７の合成比を制御する機能も有している。

次に、ビデオカメラ３０において実行される音声合成制御手順について説明する。
図４は、第２の実施の形態に係るビデオカメラにおける音声合成の手順を示すフローチャートである。

ステップＳ１において、制御部３９は、ワイヤレスマイク２０の方位情報を無線通信部３６から受け取る。
なお、無線通信部３６からの方位情報については、第１の実施の形態で説明した通りである。すなわち、無線通信部３６は、指向性可変のアンテナ３６ａの受信強度を基にワイヤレス音声信号の到来方向を推定し、その推定結果を方位情報として制御部３９に出力する。また、この他に例えば、撮像画像信号を基に画像認識処理により被写体の画面内の位置を検出し、その検出結果を基に方位情報を生成してもよい。この場合例えば、被写体に特定の色を持つ識別体（例えばリボンや腕輪、バッジなど）あるいは発光体などを装着させ、その識別体や発光体の色を認識することで、方位の検出精度を高めることができる。

ステップＳ２において、制御部３９は、音源（すなわちワイヤレスマイク２０）までの距離を推定し、距離推定値を演算する。
ステップＳ３において、制御部３９は、演算した距離推定値から音声合成比情報を生成し、これによりマルチチャネル収音処理部３５で収音された各音声信号に合成する音量が決定される。

ステップＳ４において、制御部３９は、マルチチャネル音声合成部３７に方位情報と音声合成比情報を出力する。マルチチャネル音声合成部３７は、受信した方位情報に基づくチャネル間の合成比情報と音声合成比情報とを基に、マルチチャネル音声信号に無線通信部３６からのワイヤレス音声信号を合成する。

ステップＳ５において、マルチチャネル音声信号の各チャネルに所定の合成比でワイヤレス音声信号を合成した音声信号が記録再生部３８に出力され、映像信号とともに記録媒体に記録される。

次に、音源までの距離を推定して音声合成比情報を生成する手順（図４のステップＳ１〜Ｓ３に対応）について説明する。
図５は、電波強度データによる距離推定手順を示すフローチャートである。

ステップＳ１１において、無線通信部３６は、ワイヤレスマイク２０からの受信電波の電波強度情報を制御部３９に出力する。
ステップＳ１２において、制御部３９は、電波強度の変化に応じて音声合成比を制御する。ここでは、電波強度が強くなればワイヤレス音声信号の合成比を小さくし、反対に電波強度が弱くなればワイヤレス音声信号の合成比を大きくする。これにより、ワイヤレスマイク２０を携帯した音源までの距離にかかわらず、無線送信されたワイヤレス音声信号が適切な音量となるように音声信号を記録できる。

また、レンズのズーム倍率を基に距離を推定することで音声合成比を制御してもよい。図６は、レンズのズーム倍率に応じた音声合成処理の手順を示すフローチャートである。
ステップＳ２１において、ビデオカメラ３０のズームコントロール部３４に対して、撮影者からズーム倍率が指令される。

ステップＳ２２において、レンズコントロール部３３に対してズームコントロール部３４がズーム倍率制御情報を出力する。
ステップＳ２３において、レンズコントロール部３３は、カメラブロック３１のズーム倍率を所定値に制御する。

ステップＳ２４において、レンズコントロール部３３は、制御部３９に対してズーム倍率制御情報を出力する。制御部３９は、受信したズーム倍率制御情報に基づいて、ワイヤレスマイク２０を携帯した音源までの距離を推定し、この距離推定情報に基づいてマルチチャネル音声合成部３７における音声合成比を制御する。ここでは、ズーム倍率が小さく設定されればワイヤレス音声信号の合成比を小さくし、反対にズーム倍率が大きく設定されたときにはワイヤレス音声信号の合成比を大きくする。これにより、ワイヤレスマイク２０を携帯した音源までの距離にかかわらず、無線送信されたワイヤレス音声信号が適切な音量となるように音声信号を記録できる。また、被写体の拡大率が高くなると、その被写体からの音量も大きくなるので、画像と音量とが連動して、臨場感が増す効果も得られる。

なお、制御部３９は、レンズコントロール部３３が出力するズーム倍率制御情報の代わりに、例えば、カメラブロック３１において検出されるズームレンズの位置情報などに基づいて、音源までの距離を推定してもよい。

さらに、レンズの焦点距離データによって距離を推定して、音声合成処理を実行することも可能である。図７は、レンズの焦点距離データによる音声合成処理の手順を示すフローチャートである。

ステップＳ３１において、カメラ信号処理部３２は、カメラブロック３１で映像信号の焦点が合っているかどうかを解析する。
ステップＳ３２において、カメラ信号処理部３２は、焦点の解析結果に応じた焦点距離情報を、レンズコントロール部３３に出力する。

ステップＳ３３において、レンズコントロール部３３は、入力された焦点距離情報に応じてカメラブロック３１を制御して焦点距離を合わせるとともに、制御部３９に対して焦点距離情報を出力する。

ステップＳ３４において、制御部３９は、焦点距離情報に基づいてマルチチャネル音声合成部３７における音声合成比を制御する。ここでは、焦点距離が短く設定されればワイヤレス音声信号の合成比を小さくし、反対に焦点距離が長く設定されたときにはワイヤレス音声信号の合成比を大きくする。これにより、ワイヤレスマイク２０を携帯した音源までの距離にかかわらず、無線送信されたワイヤレス音声信号が適切な音量となるように音声信号を記録できる。

以上のように、本実施の形態のビデオカメラ３０では、ワイヤレスマイク２０を携帯した特定の被写体を撮影して、その映像信号とともに音声信号をマルチチャネルで記録するようにしたので、立体音場再生の際に、被写体の発する音声を明瞭に再生でき、適切な音像定位感が得られるとともに、再生画面と音声との違和感を低減することができる。また、被写体からの距離や方向に応じてワイヤレス音声信号の各チャネルへの合成割り当てや合成比を調整することにより、撮像画像内の被写体の動きと再生音声とを調和させることができ、立体音場を効果的に用いた高品質な映像・音声コンテンツを手軽に作成することが可能となる。

［第３の実施の形態］
次に、マルチチャネル音声信号を撮像画像信号とともに記録媒体に記録するビデオカメラであって、上述した第２の実施の形態とは異なるものについて説明する。この第３の実施の形態に係るビデオカメラでは、基本的な構成は上記の第２の実施の形態と同じであるが、マルチチャネル収音処理部３５において、指向性の異なる複数の音声信号を出力し、マルチチャネル音声合成部３７において、これらの音声信号の出力チャネルへの割り当てまたは合成比を、ズーム倍率に応じて変化させる。さらに、ワイヤレスマイク２０からの音声信号（ワイヤレス音声信号）の出力チャネルへの割り当てまたは合成比も、ズーム倍率に応じて変化させる。これらの動作により、ズーム動作に連動した臨場感の高い音声を記録できるようにする。

図８は、マルチチャネル収音処理部において生成される音声信号の指向性について説明するための図である。
本実施の形態のマルチチャネル収音処理部３５では、図８に示すように、ビデオカメラ３０ａの前方（Ｄ１）、後方（Ｄ２）、左方向（Ｄ３）、右方向（Ｄ４）、左前方（Ｄ５）、右前方（Ｄ６）、左後方（Ｄ７）、および右後方（Ｄ８）の８通りの指向特性で収音された音声信号が出力される。なお、図８では、これらの各指向特性に対応するポーラパターンも示している。

これらの音声信号は、例えば、Ｄ１〜Ｄ８のそれぞれに対応する指向性マイクロフォンを用いて生成することができる。また、これ以外の数の複数の指向性マイクロフォンによる収音信号を合成して、生成することもできる。さらに、以下に示すように、複数の無指向性マイクロフォンによる収音信号を基に生成することもできる。本実施の形態では、例として、図８に示すように、４つの無指向性のマイクロフォン３５ａ〜３５ｄを用いて、８通りの指向特性を持つ音声信号を生成する。

図９は、第３の実施の形態に係るビデオカメラの要部構成を示す図である。
マルチチャネル収音処理部３５は、４つの無指向性のマイクロフォン３５ａ〜３５ｄからの出力信号を受けて、音声合成部３５１〜３５８により、上述したＤ１〜Ｄ８の指向特性を持つ音声信号を、マルチチャネル音声合成部３７に対して出力する。

音声合成部３５１〜３５８は、それぞれ遅延器と減算器とを備え、２つの無指向性マイクロフォンからの音声信号を基に、所定方向に対する単一指向性マイクロフォンの出力を擬似的に生成する。例えば、音声合成部３５１は、前方および後方に設けられたマイクロフォン３５ａおよび３５ｂの出力信号を受け、マイクロフォン３５ｂからマイクロフォン３５ａまでの距離を音波が伝播する時間だけ、遅延器によってマイクロフォン３５ｂの出力を遅延させる。つぎに、マイクロフォン３５ａの出力から遅延器の出力を減算器によって減算する。これにより、音声合成部３５１からは、図８のＤ１に対応するポーラパターンで示すように、前方に指向性を有する１次音圧傾度型の単一指向性マイクロフォンの出力が得られる。

同様に、音声合成部３５２では、マイクロフォン３５ａおよび３５ｂの出力を合成して、後方（Ｄ２）に指向性を有する単一指向性マイクロフォンの出力が得られる。また、音声合成部３５３では、右側および左側に設けられたマイクロフォン３５ｃおよび３５ｄの出力を合成して、左方向（Ｄ３）に指向性を有する単一指向性マイクロフォンの出力が得られる。また、音声合成部３５４では、マイクロフォン３５ｃおよび３５ｄの出力を合成して、右方向（Ｄ４）に指向性を有する単一指向性マイクロフォンの出力が得られる。

また、音声合成部３５５では、マイクロフォン３５ａおよび３５ｄの出力を合成して、左前方（Ｄ５）に指向性を有する単一指向性マイクロフォンの出力が得られる。また、音声合成部３５６では、マイクロフォン３５ａおよび３５ｃの出力を合成して、右前方（Ｄ６）に指向性を有する単一指向性マイクロフォンの出力が得られる。また、音声合成部３５７では、マイクロフォン３５ｂおよび３５ｄの出力を合成して、左後方（Ｄ７）に指向性を有する単一指向性マイクロフォンの出力が得られる。また、音声合成部３５８では、マイクロフォン３５ｂおよび３５ｃの出力を合成して、右後方（Ｄ８）に指向性を有する単一指向性マイクロフォンの出力が得られる。

なお、以上の図９に示したマルチチャネル収音処理部３５の構成は、４つの無指向性マイクロフォンからＤ１〜Ｄ８の８通りの指向特性を持つ音声信号を生成するための一例であり、他の構成で同様な指向特性を持つ音声信号を生成してもよい。

一方、マルチチャネル音声合成部３７は、マルチチャネル収音処理部３５から音声信号と、ワイヤレスマイク２０から受信したワイヤレス音声信号とを、所定のマルチチャネル規格に準じたマルチチャネル信号として合成する。ここでは例として、Ｃチャネル、Ｌチャネル、Ｒチャネル、ＳＬチャネル、およびＳＲチャネルの５つの出力チャネルに対して、入力音声信号を合成する。なお、いわゆる５．１チャネルの信号を得る場合には、サブウーハーチャネル（０．１チャネル）として、例えば、マイクロフォン３５ａ〜３５ｄのうちの所定のものの出力信号、あるいは、各マイクロフォン３５ａ〜３５ｄの出力を同じ割合で合成した信号などを出力すればよい。

マルチチャネル音声合成部３７は、制御部３９の制御の下で、入力音声信号を、所定の出力チャネルに所定のレベルで合成する。本実施の形態では、マルチチャネル収音処理部３５からの８つの音声信号の出力チャネルへの割り当てを、ズーム倍率に応じて変化させる。これとともに、ワイヤレス音声信号の出力チャネルへの割り当ても、ズーム倍率に応じて変化させる。

以下、このようなマルチチャネル音声合成部３７における合成処理制御について、具体的に説明する。ここでは例として、ズーム倍率の制御領域を広角側、望遠側、およびこれらの中間の３つの領域に分割し、これらの領域ごとに、音声合成の状態を変化させるようにする。

まず、図１０は、ズーム倍率が広角側領域にある場合の出力チャネル割り当てを示す図である。
ズーム倍率が広角側領域にある場合、マルチチャネル収音処理部３５で生成された前方（Ｄ１）に指向特性を持つ音声信号がＣチャネルに合成され、左方向（Ｄ３）に指向特性を持つ音声信号がＬチャネルに合成され、右方向（Ｄ４）に指向特性を持つ音声信号がＲチャネルに合成され、後方（Ｄ２）に指向特性を持つ音声信号がＳＬチャネルおよびＳＲチャネルに合成される。

一方、ワイヤレス音声信号は、ワイヤレスマイク２０の方位情報に応じて、最も角度の近い指向特性を持つ音声信号が割り当てられた出力チャネルに合成される。例として、前方（Ｄ１）の角度を基準（±０°）として、左方向を正、右方向を負とすると、左方向（Ｄ３）は＋９０°となる。ここで、＋３０°の位置にワイヤレスマイク２０を携帯した人物１がいる場合、出力チャネルに合成された音声の指向特性のうち、最も近い角度は０°となる。この方向に指向特性を持つ音声信号はＣチャネルに合成されているので、ワイヤレス音声信号もＣチャネルに合成する。

なお、最も角度の近い指向特性を持つ音声信号と同じ出力チャネルを単に選択するだけでなく、隣接する出力チャネルに対して、ワイヤレスマイク２０の方向（角度）に応じた合成比でワイヤレス音声信号を合成してもよい。例えば、図１０において、＋３０°の位置からのワイヤレス音声信号を、ＣチャネルとＬチャネルとに合成し、それらのチャネル間の合成比を、ワイヤレスマイク２０と各出力チャネルに対応する指向特性の方向との関係に応じた割合とする。この例では、Ｃチャネルの合成レベルはＬチャネルより大きくなる。このような制御により、ワイヤレスマイク２０からの音声を、より自然に再生できるようになる。

図１１は、ズーム倍率が中間領域にある場合の出力チャネル割り当てを示す図である。
ズーム倍率が中間領域にある場合、マルチチャネル収音処理部３５で生成された前方（Ｄ１）に指向特性を持つ音声信号がＣチャネルに合成され、左前方向（Ｄ５）に指向特性を持つ音声信号がＬチャネルに合成され、右前方向（Ｄ６）に指向特性を持つ音声信号がＲチャネルに合成され、左後方（Ｄ７）に指向特性を持つ音声信号がＳＬチャネルに合成され、右後方（Ｄ８）に指向特性を持つ音声信号がＳＲチャネルに合成される。

一方、ワイヤレス音声は、広角側領域の場合と同様に、ワイヤレスマイク２０の方位情報に応じて、最も角度の近い指向特性を持つ音声信号が割り当てられた出力チャネルに合成されるが、各出力チャネルに対する指向特性が変化しているので、ワイヤレス音声の合成チャネルも変化することになる。例として、＋３０°の位置にワイヤレスマイク２０が存在する場合、最も近い角度は＋４５°となるＤ５の方向となり、この方向に指向特性を持つ音声信号はＬチャネルに合成されているので、ワイヤレス音声信号もＬチャネルに合成する。

なお、図１０の場合と同様に、ワイヤレス音声信号をＬチャネルのみに合成するのではなく、ＣチャネルとＬチャネルとに、ワイヤレスマイク２０の方位に応じた適切な音量比で合成してもよい。

図１２は、ズーム倍率が望遠側領域にある場合の出力チャネル割り当てを示す図である。
ズーム倍率が望遠側領域にある場合、マルチチャネル収音処理部３５で生成された前方（Ｄ１）に指向特性を持つ音声信号がＣチャネルに合成され、左前方向（Ｄ５）に指向特性を持つ音声信号がＬチャネルに合成され、右前方向（Ｄ６）に指向特性を持つ音声信号がＲチャネルに合成され、左方向（Ｄ３）に指向特性を持つ音声信号がＳＬチャネルに合成され、右方向（Ｄ４）に指向特性を持つ音声信号がＳＲチャネルに合成される。

一方、例えば＋３０°の位置にワイヤレスマイク２０が存在する場合、最も近い角度は＋４５°となるＤ５の方向となり、この方向に指向特性を持つ音声信号はＬチャネルに合成されているので、ワイヤレス音声信号もＬチャネルに合成される。

なお、図１０および図１１の場合と同様に、ワイヤレス音声信号をＬチャネルのみに合成するのではなく、ＣチャネルとＬチャネルとに、ワイヤレスマイク２０の方位に応じた適切な音量比で合成してもよい。

図１３は、ビデオカメラのズーム動作によって変化する撮影範囲を示す図である。この図１３を用いて、上記の音声合成制御の効果について説明する。
図１３に示すように、例えば、ビデオカメラ３０ａの前方（０°）の直線上に、Ｐ１，Ｐ２，Ｐ３の３点を考える。Ｐ１を、ほぼビデオカメラ３０ａの撮影位置とし、Ｐ３を、被写体（ここでは人物１とする）の近傍位置とし、Ｐ２をそれらのほぼ中間位置とする。

まず、マルチチャネル収音処理部３５からの指向特性の異なる音声信号を出力チャネルに合成する場合と考えると、図１０のようにズーム倍率が広角側領域にある場合には、ビデオカメラ３０ａの撮影位置、すなわちＰ１の位置における前後左右の音声が、その方向にほぼ一致する出力チャネルに合成されるので、Ｐ１の位置における音場を生成できる。

また、図１２のようにズーム倍率が望遠側領域にある場合には、Ｐ１より前方の音声のみが出力チャネルに合成される。これにより、被写体に近いＰ３での音場を擬似的に生成することができる。例えば前方（０°）の位置に被写体があり、ズーム倍率を望遠側に設定した場合には、この被写体が画面上に大きく映るので、この被写体の周囲の音場を再現することで、臨場感を高めることができる。

また、図１１のようにズーム倍率が中間領域にある場合には、Ｐ１とＰ３とのほぼ中間にあるＰ２での音場が擬似的に生成される。このように、ズーム倍率に応じて、内蔵マイクロフォンの指向特性を変化させて、出力チャネルに合成することで、画面状態と連動した音場を再現でき、臨場感を高めることができる。

次に、ワイヤレスマイク２０からの音声信号（ワイヤレス音声信号）の合成制御について考える。図１０のようにズーム倍率が広角側領域にある場合には、±０°の位置（Ｐ３付近）にある被写体からのワイヤレス音声信号は、Ｃチャネルに合成される。この状態から、被写体が例えば左側に移動したとすると、＋４５°の位置を超えたときに、ワイヤレス音声信号の合成先はＣチャネルからＬチャネルに移動することになる。一方、図１２のようにズーム倍率が望遠側領域にある場合には、被写体が±０°の位置から左側に移動したとすると、＋２２．５°の位置を超えると、ワイヤレス音声信号の合成先がＣチャネルからＬチャネルに移動する。

すなわち、前方付近にある被写体が左右に同じ速度で移動した場合には、ズーム倍率が望遠側領域とされるほど、ワイヤレス音声信号はＣチャネルからＬ（またはＲ）チャネルに短時間で移動するようになる。従って、このようなマルチチャネル音声を再生した場合には、ズーム倍率が高いほど、被写体の音像は前方から素早く左右に移動することになる。また、被写体位置からの角度が大きい領域（例えば、±９０°〜±１８０°）では、逆に、ズーム倍率が高いほど、被写体の音像はあまり移動しなくなる。

ここで、このような音声の状態と、画面の状態との関連について考える。図１３に示すように、カメラブロック３１による撮影範囲は、ズーム倍率に応じて変化する。ズーム倍率が最も望遠側の撮影範囲は、最も広角側の撮影範囲よりも狭くなり、それらの中間位置では、撮影範囲も中間的な広さとなる。

従って、被写体がＰ３の位置から左方向（または右方向）に一定の速度で移動したとすると、ズーム倍率が広角側領域にある場合には、被写体を長い時間、画面上で捉えることができる。そして、被写体の音像は、前方からゆっくりと左右方向に移動する。一方、ズーム倍率が望遠側領域にある場合には、被写体が同じ速度で移動したとしても、その被写体はより短い時間でフレームアウトする。そして、被写体の音像も、前方から短時間で左右方向に移動する。

このような音声信号の合成制御により、ズーム倍率が広角側領域にある場合には、ビデオカメラ３０ａ付近での被写体の見え方に、その被写体からの音声の聞こえ方をあわせることができ、逆に、ズーム倍率が望遠側領域にある場合には、被写体の近傍での被写体の見え方に、その被写体からの音声の聞こえ方をあわせることができる。すなわち、このようなワイヤレス音声信号の合成制御により、マルチチャネル収音処理部３５からの音声信号の合成制御の場合と同様に、ズーム倍率が広角側領域にある場合には、Ｐ１における被写体からの音声の聞こえ方を再現でき、ズーム倍率が望遠側領域にある場合には、Ｐ３における被写体からの音声の聞こえ方を再現できるようになる。従って、画面状態と連動した効果的な音場を再現でき、マルチチャネル収音処理部３５からの音声信号の合成制御機能と、ズーム機能との相乗効果で、臨場感をさらに高めることができる。

次に、ビデオカメラ３０ａにおいて実行される上記の音声合成制御手順について説明する。
図１４は、第３の実施の形態に係るビデオカメラにおける音声合成の手順を示すフローチャートである。

ステップＳ４１において、制御部３９は、ビデオカメラ３０ａのズーム動作に応じた状態信号として、レンズコントロール部３３からズーム倍率制御情報（またはズームレンズ位置情報などでもよい）を受け取る。

ステップＳ４２において、制御部３９は、マルチチャネル音声合成部３７に対して、マルチチャネル収音処理部３５からの指向特性の異なる音声信号の、出力チャネルに対する合成パターンを設定する。

本実施の形態では、制御部３９は、ズーム倍率制御情報から、現在のズーム倍率が、上述した３つのズーム倍率の制御領域のいずれかであるかを判断し、その制御領域に対応する合成パターンを、例えば図示しないＲＯＭ（Read Only Memoly）などから読み出し、マルチチャネル音声合成部３７に設定する。合成パターンには、例えば、マルチチャネル収音処理部３５からの各音声信号と、出力チャネルとの対応が、ズーム倍率の制御領域ごとに記述されている。

ステップＳ４３において、制御部３９は、無線通信部３６でのワイヤレスマイク２０からの受信電波強度を基に、ワイヤレス音声信号の到来方向を推定する。
ステップＳ４４において、制御部３９は、推定したワイヤレス音声信号の方位情報と、ズーム倍率制御情報とに基づいて、ワイヤレス音声信号を合成する出力チャネルを決定し、マルチチャネル音声合成部３７に設定する。

本実施の形態の場合、例えば、方位情報の数値またはその範囲と、対応する出力チャネルとを、３つのズーム倍率の制御領域ごとにＲＯＭなどに記録しておき、ステップＳ４４で読み出すようにしてもよい。また、方位情報と、現在の出力チャネル上の指向特性の割り当てとから、出力するチャネルやチャネル間合成比を演算により求めてもよい。

以上の処理により、マルチチャネル音声合成部３７では、マルチチャネル収音処理部３５からの音声信号と、ワイヤレス音声信号とが、所定の割合で合成され、臨場感の高い音声信号が記録再生部３８により記録される。

なお、以上の第３の実施の形態では、一例として、ズーム倍率の制御領域を広角側領域、中間領域、および望遠側領域の３領域に区分して、それらの領域ごとに音声信号の合成チャネルを変化させるようにしたが、さらに領域を細かく区分して制御してもよい。あるいは、ズーム倍率に応じて、合成チャネルや合成比を連続的に変化させるようにしてもよい。これらの制御により、より自然で臨場感のある音場を再現することが可能となる。

また、上記のように、ワイヤレス音声信号の合成チャネルを、ズーム倍率に応じて変える制御に加えて、その全体的な合成量もズーム倍率に応じて変化させてもよい。具体的には、図６の場合と同様に、ズーム倍率を高くするほど、ワイヤレス音声信号の合成量を大きくする。ワイヤレス音声信号を複数の出力チャネルに合成する場合には、各出力チャネル間の合成比を変えずに、全体の合成量を変化させる。これにより、ワイヤレスマイク２０で収音された音声をより明瞭に聞き取れるようになるとともに、画面上の被写体が拡大されるほど、その被写体からの音量も大きくなるので、臨場感がさらに高まる。

また、図５あるいは図７の場合と同様に、ワイヤレスマイク２０からの電波強度や、カメラブロック３１での焦点距離などに基づいて、ワイヤレスマイク２０からの距離を推定し、距離が短いほど、ワイヤレス音声信号の合成量を小さくするようにしてもよい。これにより、ワイヤレスマイク２０を携帯した被写体までの距離にかかわらず、そのワイヤレスマイク２０で収音された音声をより明瞭に聞き取れるようになる。また、この場合、ワイヤレスマイク２０がビデオカメラ３０ａに近づくと、ワイヤレス音声信号の合成量が小さくなる代わりに、内蔵マイクロフォンで被写体の発する音声を収音できるので、音場を正確に再現できる効果もある。

さらに、ワイヤレス音声信号の合成チャネルを、ズーム倍率に応じて変えずに、任意のチャネルに固定的に合成するようにして、内蔵マイクロフォンの収音信号に基づく指向特性の異なる複数の音声信号の合成チャネルを、ズーム倍率に応じて変えるようにしてもよい。例えば、ワイヤレスマイク２０を携帯した被写体を常に画面内に捉えて撮像している場合には、ワイヤレス音声信号を例えばＣチャネルに固定的に合成しても、その周囲の音声の臨場感を高めることができる。また、この場合に、ズーム倍率や、電波強度あるいは焦点距離などから推定したワイヤレスマイク２０からの距離に応じて、ワイヤレス音声信号の合成量を変化させるようにしてもよい。

第１の実施の形態に係る音声収録装置とその周辺装置の構成を示す図である。 第２の実施の形態に係るビデオカメラの使用形態の一例を示す図である。 ビデオカメラの要部構成を示す図である。 第２の実施の形態に係るビデオカメラにおける音声合成の手順を示すフローチャートである。 電波強度データによる距離推定手順を示すフローチャートである。 レンズのズーム倍率に応じた音声合成処理の手順を示すフローチャートである。 レンズの焦点距離データによる音声合成処理の手順を示すフローチャートである。 マルチチャネル収音処理部において生成される音声信号の指向性について説明するための図である。 第３の実施の形態に係るビデオカメラの要部構成を示す図である。 ズーム倍率が広角側領域にある場合の出力チャネル割り当てを示す図である。 ズーム倍率が中間領域にある場合の出力チャネル割り当てを示す図である。 ズーム倍率が望遠側領域にある場合の出力チャネル割り当てを示す図である。 ビデオカメラのズーム動作によって変化する撮影範囲を示す図である。 第３の実施の形態に係るビデオカメラにおける音声合成の手順を示すフローチャートである。

符号の説明

１０……音声収録装置、１１……マルチチャネル収音処理部、１１ａ〜１１ｄ……マイクロフォン、１２……無線通信部、１３……アンテナ、１４……マルチチャネル音声合成部、１５……記録再生部、１６……制御部、２０……ワイヤレスマイク、２１……マイクロフォン、２２……収音処理部、２３……無線通信部、２４……アンテナ、３０……ビデオカメラ、３１……カメラブロック、３２……カメラ信号処理部、３３……レンズコントロール部、３４……ズームコントロール部、３５……マルチチャネル収音処理部、３５ａ〜３５ｄ……マイクロフォン、３６……無線通信部、３６ａ……アンテナ、３７……マルチチャネル音声合成部、３８……記録再生部、３９……制御部

Claims (15)

1. 画像を撮像するとともに音声を収音してともに記録媒体に記録する撮像装置において、
   複数チャネルの音声を収音する収音部と、
   外部の収音装置から無線送信された音声信号を受信する無線通信部と、
   前記無線通信部により受信された音声信号を、前記収音部により収音された音声信号のうち、１つ以上の任意のチャネルに合成する音声合成部と、
   を有することを特徴とする撮像装置。
2. 前記音声合成部は、前記無線通信部により受信された音声信号を、前記収音部により収音された音声信号の任意のチャネルに任意の合成比で合成することを特徴とする請求項１記載の撮像装置。
3. 前記外部の収音装置の方向を推定する音源方向推定部をさらに有し、
   前記音声合成部は、前記音源方向推定部により推定された方向に応じて、前記無線通信部により受信された音声信号を合成するチャネルまたはチャネル間の合成比を決定することを特徴とする請求項１記載の撮像装置。
4. 前記無線通信部は指向性可変アンテナにより音声信号を受信し、
   前記音源方向推定部は、前記指向性可変アンテナによる受信信号強度を基に方向を推定することを特徴とする請求項３記載の撮像装置。
5. 前記外部の収音装置までの距離を推定する音源位置推定部をさらに有し、
   前記音声合成部は、前記音源位置推定部により推定された距離に応じて、前記無線通信部により受信された音声信号を任意のチャネルに合成する際の全体の合成レベルを決定することを特徴とする請求項１記載の撮像装置。
6. 前記音源位置推定部は、前記無線通信部による受信信号強度を基に距離を推定することを特徴とする請求項５記載の撮像装置。
7. 被写体からの入射光の像を拡大するズーム機構をさらに有し、
   前記音源位置推定部は、前記ズーム機構のズーム倍率制御値を基に距離を推定することを特徴とする請求項５記載の撮像装置。
8. 被写体からの入射光を撮像面に焦点合わせするフォーカス機構をさらに有し、
   前記音源位置推定部は、前記フォーカス機構の制御値を基に距離を推定することを特徴とする請求項５記載の撮像装置。
9. 被写体からの入射光の像を拡大するズーム機構をさらに有し、
   前記収音部は、複数のマイクロフォンで収音された音声信号を、前記ズーム機構のズーム倍率制御値に応じて、チャネルごとにそれぞれ異なる指向特性の音声信号に変換して出力することを特徴とする請求項１記載の撮像装置。
10. 前記収音部は、前記複数のマイクロフォンで収音された音声信号に基づく指向特性の異なる複数の音声信号を、複数の音声出力チャネルに対して、前記ズーム倍率制御値に応じて異なる合成比で合成することを特徴とする請求項９記載の撮像装置。
11. 前記外部の収音装置の方向を推定する音源方向推定部をさらに有し、
    前記音声合成部は、前記音源方向推定部により推定された方向と、前記ズーム機構のズーム倍率制御値とに応じて、前記無線通信部により受信された音声信号を合成するチャネルまたはチャネル間の合成比を決定することを特徴とする請求項９記載の撮像装置。
12. 前記音声合成部は、前記収音部により指向特性の異なる音声信号が出力されたチャネルのうち、前記音源方向推定部により推定された方向に最も近い指向特性を持つ音声信号が出力されたチャネルに、前記無線通信部により受信された音声信号を合成することを特徴とする請求項１１記載の撮像装置。
13. 前記音声合成部は、前記収音部により指向特性の異なる音声信号が出力されたチャネルのうち、前記音源方向推定部により推定された方向に近い指向特性を持つ音声信号が出力された近接した複数のチャネルに、前記無線通信部により受信された音声信号を、推定された方向に応じたチャネル間の割合で合成することを特徴とする請求項１１記載の撮像装置。
14. 収音信号を記録媒体に記録する音声記録装置において、
    複数チャネルの収音信号の入力を有線により受け付ける音声入力部と、
    外部の収音装置から無線送信された音声信号を受信する無線通信部と、
    前記無線通信部により受信された音声信号を、前記音声入力部に入力された収音信号のうち、１つ以上の任意のチャネルに合成する音声合成部と、
    を有することを特徴とする音声記録装置。
15. 収音信号を記録媒体に記録する音声記録方法において、
    複数チャネルの収音信号の入力を有線により受け付けるとともに、外部の収音装置から無線送信された音声信号を受信し、
    無線により受信した音声信号を、有線により入力された収音信号のうち、１つ以上の任意のチャネルに合成して前記記録媒体に記録する、
    ことを特徴とする音声記録方法。

Images