JP6289121B2 - 音響信号処理装置、動画撮影装置およびそれらの制御方法 - Google Patents

Description

本発明は、サラウンド音響信号の収音のための音響信号処理装置と、該音響信号処理装置を有する動画撮影装置、およびそれらの制御方法に関する。

近年、ＤＶＤ、Ｂｌｕ−ｒａｙ（ＴＭ）ディスクなどのデジタルメディアやネットワーク映像配信、デジタルＴＶ放送などの普及に従って、家庭においてもサラウンド音響を伴う映像コンテンツを容易に入手することが可能となった。それにより、一般家庭においてサラウンド音響信号を再生する環境が広く普及している。このような状況において、カムコーダーやデジタルカメラなどの一般家庭向けの動画撮影装置においても、サラウンド音響の収音、再生が可能なものが市場に登場している。

このような動画撮影装置には、３個以上の複数のマイクロフォンを幾何学的に近接配置し、主に水平面上の全方向からの音を捉えるようにする収音部を筐体の上部に設けたものがある。また、外付けのマイクロフォンアレイを収音に利用できるものもある。これらの収音部で収音された複数チャンネルの音響信号は、適宜音響処理が施されて５．１ｃｈフォーマットなどのサラウンド音響信号に変換される。

このような収音部を利用してサラウンド音響信号を収音すると、撮影者の音声が、全てのマイクユニットで収音されるため、上、もしくは後方から聴こえるような再生音場になる。また、距離が近いために撮影者の音声が大きな音圧で収音されてしまい、場合によってはわずらわしく感じるような再生音場になってしまうことがある。

サラウンド収音機能の有無によらず、一般向けのカムコーダー等では、撮影者とカムコーダーに内蔵されるマイクロフォンの距離が近いことから、撮影者の音声レベルが被写体よりも大きく録音される傾向がある。そのため、このような特性を考慮することによって使用者が意図する音声を録音できるようにするための工夫が従来からなされてきた。

例えば、特許文献１では、収音した音声に対して音声認識を行い、その結果を利用して処理を行うことが開示されている。具体的には、撮影者の声が認識された場合は、音量を下げる、あるいはフィルタリング処理を行う、あるいは、マイクロフォンの指向性を制御するなどして特定の音声の音量が制御される。

また、特許文献２には、サラウンド収音可能なビデオカメラにおいて、撮影モードに応じてサラウンド収音時の指向性、収音レベル、周波数特性、遅延特性などを変化させ、映像に応じたサラウンド音場を収音する構成が開示されている。ここで、撮影モードの一例であるナレーションモードでは、後方の２ｃｈの信号の音量を持ち上げるとともに、後方の指向性を強めることによって撮影者の音声を強めることで、撮影者の音声が主要な音声として収音される。

特開２００９−１２２３７０号公報 特開２００７−００５８４９号公報

しかしながら、特許文献１では、撮影者の音声を認識することが前提となるため、音声認識装置や音声データベースなどの構成要素が増え、処理も複雑で重くなってしまう。また、特許文献１ではマイクアンプのゲインや指向性操作によって撮影者の音声を抑制するものであり、撮影者の音声に対応する音像の位置に関して考慮されていない。そのため、サラウンド収音機能を想定すると、撮影者の音声は後方側になってしまい、サラウンド音場における音像調整は困難である。また、特許文献２では、撮影者の音声を強調する撮影モードを用意しているが、この場合も、撮影者の音声はサラウンド音場において後方に位置し、さらにそれが強調されてしまうため、不自然な音場に感じる場合がある。

本発明は上述した従来技術の課題に鑑みてなされたものであり、収音された音響信号のうちの特定の音響信号（たとえば、撮影者の音声）が任意位置に配置されたサラウンド音響信号を生成することを可能とすることを目的とする。

上記目的を達成するための本発明の一態様による音響信号処理装置は以下の構成を備える。すなわち、
複数のマイクロフォンによる収音に基づく複数チャンネルの音響信号のうち少なくとも一つのチャンネルの音響信号に基づいて特定の音響信号を取得する取得手段と、
前記複数のマイクロフォンによる収音に基づく再生用音響信号の生成に用いられるチャンネルの音響信号に対して、前記特定の音響信号に対応する特定の音を抑制するための抑制処理を行う抑制手段と、
前記特定の音を定位させる位置及び方向の少なくとも何れかを指定するためのユーザによる操作を受け付ける受付手段と、
前記取得手段により取得される前記特定の音響信号と、前記抑制手段により前記抑制処理が行われた音響信号とを用いて、前記特定の音が前記受付手段により受け付けられた前記操作に応じた方向に定位するように前記再生用音響信号を生成する生成手段と、を備える。

本発明によれば、収音された音響信号のうちの特定の音響信号（たとえば、撮影者の音声）が任意位置に配置されたサラウンド音響信号を生成することが可能となる。

第１実施形態の動画撮影装置の外観を示す模式図。 第１実施形態の収音部の構成例を示す模式図。 第１実施形態による動画撮影装置の構成例を示すブロック図。 第１実施形態による音像位置の指定のためのＧＵＩを示す図。 第２実施形態による動画撮影装置の構成例を示すブロック図。 第１実施形態による動画撮影処理を示すフローチャート。 第１実施形態による音声切出処理を示すフローチャート。 第１実施形態による音声キャンセル処理を示すフローチャート。 第１実施形態による音響信号生成処理を示すフローチャート。 音像配置のための音声信号の配分計算を説明する図。 収音モードと撮影者音声のチャンネル配分を登録したテーブルを示す図。 第２実施形態による動画撮影処理を示すフローチャート。 第２実施形態による位置検知処理を示すフローチャート。 第２実施形態による音声切出処理を示すフローチャート。 動画撮影装置の収音モードリストを示す図。 第３実施形態による動画撮影装置の外観の模式図。 第３実施形態による動画撮影装置の構成例を示すブロック図。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
図１は、第１実施形態による動画撮影装置の外観の一例を示す模式図である。図１において、動画撮影装置は、光学系、映像信号や音響信号の処理部、記録部などを内蔵する筐体本体１を有する。筐体本体１の内部の詳細構成は図３を用いて後述する。収音部２は、複数のマクロフォンを有し、複数の収音チャンネルの音響信号を収音する。本実施形態では、収音部２は筐体本体１の上部に設置される。収音部２の詳細な構造は図２を用いて後述する。モニター３は、液晶パネルなどの表示器とタッチパネルなどのタッチセンサ機能とを具備したタッチパネル表示器である。モニター３では、撮影した映像を表示するとともに、表示されるアイコンや図を直接指で触れることにより、各設定指示や操作指示等を行うことが可能である。

図２は、第１実施形態による収音部２の一構成例を示す模式図である。図２では、収音部２を筐体本体１の上方から見たときの平面図を示している。図２に示されるように、収音部２は、複数の無指向性のマイクロフォンユニット１００を有する。本構成例では、収音部２は、前（Ｆ）後（Ｂ）左（Ｌ）右（Ｒ）に向けてひし形に配置された４つのマイクロフォンユニット１００を有し、水平面３６０度の音響信号を４つの収音チャンネルで収音することができる。なお、その他のマイクロフォン配置構成によっても同様な機能を実現することが可能であり、趣旨逸脱することがない限り本発明はその他のマイクロフォン配置構成によっても実施することが可能である。

図３は、第１実施形態による動画撮影装置の筐体本体１の内部構成例を示すブロック図である。収音部２は、上述のように４つのマイクロフォンユニット１００を有しており、それぞれがマイクロフォンアンプ１０１に接続されている。マイクロフォンアンプ１０１は、収音部２の４つのマイクロフォンユニット１００により収音された４つの収音チャンネル（Ｆ、Ｌ，Ｒ，Ｂ）のアナログ音響信号を適宜増幅する。アナログデジタル変換器１０２（以下、ＡＤＣ１０２）は、マイクロフォンアンプ１０１で増幅されたアナログ音響信号をデジタル音響信号（以下、単に音響信号という）に変換して出力する。遅延器１０３は、後述の音声切出器１０４が撮影者音声を切り出す処理を行う時間と同じ時間だけ入力された音響信号を遅延させる。すなわち、遅延器１０３はＢチャンネルの音響信号に遅延処理を施すことで、Ｂチャンネルの音響信号とその他のチャンネル（Ｆ，Ｌ，Ｒ）の音響信号との同期を取る。

音声切出器１０４は、制御器１１２から送信される制御信号に従って、入力された音響信号から、特定の音響信号として撮影者音声データ１０５を切り出して出力する。撮影者音声データ１０５は音声切出器１０４によって切り出された撮影者音声信号であり、構成要素ではないが、説明のため図３において明示している。なお、本実施形態では、一般的な撮影時の使用者の状態を考慮して、撮影者が動画撮影装置の後方に位置することを想定しており、光学系１１３の撮影レンズから最も遠い位置にあるＢチャンネルの音響信号から撮影者音声データを切り出す構成としている。但し、本発明はこのような構成に限られるものではなく、全ての収音チャンネルの信号に基づいて撮影者音声を切り出すことも可能である。そのような構成例は、第２実施形態として後述する。

音声キャンセル器１０６は、ＡＤＣ１０２から入力されるデジタル音響信号に音声切出器１０４から出力される撮影者音声データ１０５の逆位相信号を合成することで、音響信号から撮影者音声（撮影者音声データ１０５に対応する信号）をキャンセルする。音響信号生成器１０７は、撮影者音声がキャンセルされた４チャンネルの音響信号に適宜信号処理を行って５．１ｃｈサラウンド音響信号を生成する。さらに、音響信号生成器１０７は、制御器１１２から送信される収音モードと配置位置情報に従って、撮影者音声データ１０５の音源をサラウンド音場の指定された位置に配置する処理を行う。その結果、撮影者音声データの音源が指定された位置に配置されたサラウンド音響信号が生成され、出力される。音響符号化器１０８は、入力されたサラウンド音響信号を、ＡＡＣやＡＣ−３などの適宜既定のサラウンド音響符号化信号に圧縮符号化する。

混合器１０９（以下、ＭＵＸ１０９）は、音響符号化器１０８から出力された符号化音響信号と映像符号化器１１７から出力された符号化映像信号を適宜既定のストリーム形式に合致するように混合して出力する。動画データ記憶器１１０は、撮影した動画データを順次記憶する。操作器１１１は、撮影開始、一時停止、撮影終了などのユーザーの指示を受け付け、制御器１１２へ送信する。制御器１１２は、操作器１１１やモニター３で受け付けたユーザーの操作指示に従って、筐体本体１に内蔵される各構成要素を適宜動作指示するための制御信号を各構成要素に送信する。

光学系１１３は、撮影する被写体の光を捉え、撮像器１１４へ送る。撮像器１１４は、光学系１１３で捉えた被写体の光をＣＭＯＳ等の受光素子で捉え、受光素子ごとの出力アナログ信号を映像用アナログ−デジタル変換器１１５（以下、映像ＡＤＣ１１５）に送信する。映像ＡＤＣ１１５は、撮像器１１４が出力したアナログ映像信号を画素ごとにデジタル映像信号に変換する。映像信号処理器１１６は、制御器１１２から入力される指示に従って、映像ＡＤＣ１１５から入力されるデジタル映像信号に対して、解像度変換、フレームレート変換、手ぶれ補正処理などの映像信号処理を行う。そして、処理結果を映像符号化器１１７や制御器１１２へ出力する。映像符号化器１１７は、入力されたデジタル映像信号をＭＰＥＧ−４ ＡＶＣなどの既定の映像符号化信号に圧縮符号化し、符号化映像信号として出力する。以上の光学系１１３から映像符号化器１１７により動画像の撮影が行われ、その符号化映像信号と符号化音響信号とがＭＵＸ１０９において混合され、音声つきの動画データが生成される。

以下、第１実施形態の動画撮影装置における、動画撮影装置の音響信号処理及び映像信号処理を図６のフローチャートを参照して説明する。図６は、第１実施形態による動画撮影装置の動画撮影処理全体を示すフローチャートである。

まず、Ｓ１において、制御器１１２は、モニター３に収音モードをリスト表示し、使用者に収音モードを選択させる。収音モードとは、サラウンド音場における撮影者音声の音源の方向を規定するものであり、図１５に、本実施形態における収音モードの一例を示す。本実施形態では、５．１ｃｈサラウンド音場が想定されており、例えば「センターモード」では、センターｃｈから撮影者音声が出力される。使用者による操作器１１１やモニター３への収音モードの選択入力を受け付けると、Ｓ２へ処理が進む。Ｓ２において、制御器１１２は、Ｓ１で使用者により指定されたモードが任意配置モードであるかどうかを判定する。指定されたモードが任意配置モードであった場合はＳ３へ処理が進み、指定されたモードがそれ以外の場合はＳ５へ処理が進む。

任意配置モードが指定された場合、Ｓ３において、制御器１１２は、音像配置位置指定用のＧＵＩをモニター３に表示し、使用者により撮影者音声の音像を配置する位置をタッチによって指定させる。このときモニター３に表示するＧＵＩの例を図４に示す。図４に示すように、本実施形態では、サラウンドスピーカー配置図が描画されたＧＵＩを提示して、ユーザに撮影者音声の位置を指定させる。そのようなＧＵＩが表示されたモニター３において、使用者がサラウンドスピーカー配置図上の配置円内の任意の位置をタッチすると、撮影者音声の配置位置（方向）が配置円上のアイコン「●」によって表示される。その後、使用者がＧＵＩの決定ボタンをタッチすることによって、「●」が表示された配置位置が指示された位置として決定される。指示された位置は、配置方向を示す正面からの角度に変換される。本実施形態では、聴取者の正面を０°とし、正面方向から右回りに真後ろまでを正の角度、左回りに真後ろまでを負の角度で示す。例えば、図４に図示した配置の場合、撮影者音声の配置方向を示す角度は６０°となる。

次に、Ｓ４において、制御器１１２は、Ｓ３で指定された音像の配置位置を示す角度から、サラウンド音響の５ｃｈへの撮影者音声の信号配分を算出する。本実施形態における任意配置モードにおいて、５．１ｃｈサラウンド音場における撮影者音声の音像は、音像を配置する方向の両側に隣接する二つのチャンネルに撮影者音声を配分することによって生成する。これは、音像を配置する方向と、隣接する二つのチャンネルの方向とのなす角に基づいて撮影者音声の信号配分を決定することによって実現できる。この計算の詳細を、図１０を用いて以下説明する。

図１０は、本実施形態における任意の音像配置位置に対する５ｃｈ信号配分を説明する模式図である。図１０のチャンネル配置は、ＩＴＵ−Ｒ ＢＳ．７７５−２によって国際規格化されている５．１ｃｈサラウンドスピーカー標準配置に準じている。ＩＴＵ−Ｒ規格によれば、５．１ｃｈサラウンド音響において、ＬＦＥ（Low Frequency Effect）を除く他の５チャンネルは聴取者位置より等距離、つまり、聴取者位置を中心とする円上に配置される。センタースピーカー（Ｃ）は０°、前部左右スピーカー（ＦＬ，ＦＲ）は±３０°、サラウンド左右スピーカー（ＳＬ，ＳＲ）は±１００°〜１２０°の間に配置すると規定されている。なお、本実施形態では、サラウンド左右チャンネルは±１１０°に配置されるものとする。

図１０において、Ｓ３で指定された配置位置の角度が６０°である場合、図示したように、音像配置位置はＦＲ（右前）チャンネルとＳＲ（サラウンド右）チャンネルの間に位置する。そこで、ＦＲとＳＲに撮影者音声を配分し、音像配置位置に仮想音像ができるように信号を配分する。本実施形態では、この配分を代表的な振幅パンニング法として知られているタンジェント則で計算する。信号が配分される２つのチャンネルの中心線１００１から各チャンネル方向への角度をφ_oとし、中心線１００１と音源配置位置のなす角をφとする。さらに、各隣接チャンネルへの振幅の重みをそれぞれw_FR、w_SRとし、（１）式の関係に従って各チャンネルの振幅重みを定める。
tanφ／tanφo＝（w_SR−w_FR）／（w_SR＋w_FR） …（１）

図１０に示した例の場合、ＦＲとＳＲのなす角は１１０°−３０°＝８０°であるので、φo＝４０°である。また、２つのチャンネルの中心線１００１の角度は７０°であるので、中心線１００１の角度と音源配置位置のなす角は、φ＝６０°−７０°＝−１０°となる。さらに
w_FR＋w_SR＝１ …（２）
とすると、（１）式より、w_FR＝０．６０５、w_SR＝０．３９５と計算される。

以上のようにして制御器１１２によって算出された信号配分は、音響信号生成器１０７に送信され、音響信号生成器１０７内のメモリーに格納されている音声信号配分テーブルの所定領域に保存される。図１１は、音声信号配分テーブルのデータ構成例を示す図である。図１１に示したように、音声信号配分テーブルには、図１０に示した収音モードの各々に応じた撮影者の音声の信号配分が定義されている。Ｓ４において制御器１１２が算出した信号配分は、音声信号配分テーブル中の「任意配置モード」の行に保存される。以上の処理を終えると、Ｓ５へ処理が進む。

Ｓ５において、制御器１１２は、Ｓ１で指定された収音モードを音声切出器１０４と音響信号生成器１０７に送信する。音声切出器１０４と音響信号生成器１０７は、それぞれ受信した収音モードを内部のメモリーに保存する。次に、Ｓ６において、制御器１１２は、撮影開始が指示されたか否かを判定する。この判定は、たとえば、使用者からの撮影開始指示が操作器１１１内部の入力バッファにあるかどうかを確認することにより行われる。撮影開始指示があった場合は、Ｓ７とＳ１１へ処理が進み、映像信号や音響信号の処理が開始する。本実施形態において、Ｓ７からＳ１０までの処理フローで示される音響処理と、Ｓ１１からＳ１２までの処理フローで示される映像処理は実質的に同時に並列で実行される。撮影開始指示がない場合は、撮影開始指示があるまで待ち続ける。

Ｓ７において、音声切出器１０４は、後方（Ｂ）チャンネルで収音された音響信号から、撮影者の音声を切り出す。この処理の詳細は図７のフローチャートの参照により後述する。音声切出器１０４により切り出された撮影者音声データ１０５は各収音チャンネルの音声キャンセル器１０６へ出力される。次に、Ｓ８において、各収音チャンネルの音声キャンセル器１０６は、入力された音響信号から、Ｓ７で切り出された撮影者音声データ１０５に相関する信号成分をキャンセルする処理を行う。この処理により、収音チャンネルごとに撮影者音声がキャンセルされた音響信号が生成される。なお、この処理の詳細は図８のフローチャートの参照により後述する。

Ｓ９において、音響信号生成器１０７は、Ｓ８で撮影者音声がキャンセルされた各音響信号から５．１ｃｈサラウンド音響信号を生成する。さらに、音響信号生成器１０７は、Ｓ７で切り出された撮影者音声データ１０５を、音声信号配分テーブルを参照して内部メモリーに保存されている収音モードに応じた信号配分を取得し、取得した信号配分に応じてチャンネルに配分する。この処理により、サラウンド音場における、収音モードによって指定された音像配置位置に、撮影者の音声が配置される。この処理の詳細については図９のフローチャートを参照して後述する。

Ｓ１０において、音響符号化器１０８は、Ｓ９で生成された５．１ｃｈサラウンド音響信号を、ＡＡＣやＡＣ−３などの適宜既定の圧縮符号化方式に符号化する。なお、この処理は既存の動画撮影装置において一般的に行われており、本実施形態においてもそのような公知の技術を適用することができる。

他方、Ｓ１１において、映像信号処理器１１６は、撮像器１１４から出力される画素ごとのアナログ信号を映像ＡＤＣ１１５がデジタル化することにより得られたデジタル画素信号を処理して映像信号を作成する。映像信号の作成において、映像信号処理器１１６は制御器１１２が出力する制御信号に従って、解像度変換、フレームレート変換、インターレース−プログレッシブ変換、ガンマ補正、手ぶれ補正、映像加工などの様々な映像信号処理を行う。なお、これらの処理は動画撮影装置において一般に行われているものであり、本実施形態においてもそのような公知の技術を適用することができる。

Ｓ１２において、映像符号化器１１７は、映像信号処理器１１６が出力した映像信号処理後のデジタル映像信号を、ＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣなどの適宜既定の符号化方式で符号化する。このような処理は動画撮影装置において一般的に行われており、本実施形態においてもそのような公知の技術を適用することができる。

Ｓ１３において、ＭＵＸ１０９は、Ｓ１０で符号化された音響信号と、Ｓ１２で符号化された映像信号を、たとえばＡＶＣＨＤなどの映像ストリームフォーマットに合致するように混合し、動画データ記憶器１１０に格納する。このような処理は動画撮影装置において一般的に行われており、本実施形態においてもそのような公知の技術を用いることができる。

Ｓ１４において、制御器１１２は、操作器１１１の入力バッファ内に撮影終了指示があるかどうか確認を行う処理である。撮影終了指示がある場合は、制御器１１２は、撮影、収音を終了する制御信号を各構成要素に送信し、動画撮影処理を終了する。撮影終了指示がない場合は、制御器１１２はＳ７、Ｓ１１へ処理を戻し、動画撮影処理を続行する。

次に、Ｓ７における、音声切出器１０４による撮影者音声の切出処理について説明する。図７は、撮影者音声の切出処理の詳細を示すフローチャートである。

まず、Ｓ１０１において、音声切出器１０４は、制御器１１２によって指示された収音モードがナチュラルモードであるかどうかを判定する。収音モードとしてナチュラルモードが指定されている場合は、撮影者音声の音像に関する調整を行わないので、そのまま本処理を終了してリターンする。収音モードがナチュラルモードではない場合は、処理はＳ１０２へ進む。

後方（Ｂ）チャンネルのマイクロフォンユニット１００で捉えられたアナログ音響信号はマイクロフォンアンプ１０１で増幅され、ＡＤＣ１０２でデジタル信号へ変換されてデジタルの音響信号が作成される。Ｓ１０２において、音声切出器１０４は、作成された音響信号の振幅レベルが、予め既定された閾値よりも大きいかどうかを判定する。ここで、既定の閾値は予め音声切出器１０４内部のメモリーに記録されている。一般に、撮影者が動画撮影装置を構えた状態で発声を行うと、その音声の音圧レベル、すなわち振幅レベルがある一定のレベルよりも大きくなる。Ｓ１０２の処理では、後方チャンネル（Ｂチャンネル）で収音された音響信号の振幅レベルがその一定のレベルに達しているかどうかが判定される。音響信号の振幅レベルが閾値に達している場合は、処理はＳ１０３へ進む。他方、音響信号の振幅レベルが閾値に達していない場合は、撮影者の音声信号が存在しないものと判断され、音声切出し処理は何も出力せずに終了する。

Ｓ１０３において、音声切出器１０４は、入力された後方チャンネルのデジタル音響信号に対してＦＦＴを行い、周波数領域信号に変換する。このような処理は音響信号処理において一般的に行われており、本実施形態においてもそのような公知の技術を用いることができる。

Ｓ１０４は、音声切出器１０４において、Ｓ１０３で周波数領域に変換した音響信号のスペクトル形状が、音声のパターンであるかどうかを調査する処理である。これは、例えば、スペクトルの慨形をメル周波数ケプストラム係数で表現し、予め学習した統計モデルと比較して尤度を算出し、この尤度に基づいて音声であるか判定する。このような処理は音声認識の分野で一般的に行われており、本実施形態においてもそのような公知の技術を適用することができる。この調査の結果、音声であると判定された場合は、Ｓ１０５へ進む。音声でないと判定された場合は、撮影者音声切出処理を終了する。

Ｓ１０５は、音声切出器１０４において、周波数領域の音響信号に含まれる音声の周波数帯域を決定し、バンドパスフィルタで該周波数帯の音響信号を撮影者音声データ１０５として抽出する。音声の周波数帯域（音声が含まれている帯域）の決定は、例えば、線スペクトルの時間変化から音声帯域を推定する、もしくは、基本周波数を基準とする調波構造を検出する、などの方法によって行われる。このような処理は音声認識の分野で一般的に行われており、本実施形態においてもそのような公知の技術を適用することができる。次に、Ｓ１０６において、音声切出器１０４は、Ｓ１０５で抽出した撮影者音声データ１０５を、各入力チャンネルの音声キャンセル器１０６に出力する。以上の処理を終えると、撮影者音声切出処理を終了し、リターンする。

次に、音声キャンセル器１０６による、撮影者音声のキャンセル処理を説明する。図８は、Ｓ７における撮影者音声のキャンセル処理を詳細に示すフローチャートである。この処理は、各収音チャンネルの音声キャンセル器１０６において、同時かつ個別に行われる。

まず、Ｓ２０１において、音声切出器１０４は、撮影者音声データ１０５が出力されているかどうかを判定する。音声切出器１０４から出力された撮影者音声データ１０５が存在する場合は、処理はＳ２０２へ進む。撮影者音声データ１０５が存在しない場合は、そのまま撮影者音声のキャンセル処理を終了し、リターンする。

Ｓ２０２において、音声キャンセル器１０６は、撮影者音声データ１０５と収音チャンネルの音響信号との相互相関を計算する。各収音チャンネルの音響信号に撮影者音声が含まれている場合、撮影者音声データ１０５と音響信号との間に強い相互相関信号が検出される。Ｓ２０３において、音声キャンセル器１０６は、Ｓ２０２で計算された相互相関信号から、最も振幅が大きい相関信号を検出し、それに基づいて各入力チャンネル音響信号に撮影者音声が含まれている信号レベルと、切出した撮影者音声との遅延を算出する。

Ｓ２０４において、音声キャンセル器１０６は、撮影者音声の逆位相信号を作成し、Ｓ２０３で算出された信号レベルに合致するようにレベル調整を行い、Ｓ２０３で算出された遅延によって時間調整することにより、撮影者音声キャンセル信号を生成する。Ｓ２０５において、音声キャンセル器１０６は、Ｓ２０４で生成した撮影者音声キャンセル信号を収音チャンネルの音響信号に加算する。この処理によって、最も相関が大きい撮影者音声、つまり、各チャンネルのマイクロフォンユニット１００により直接音として捉えられた撮影者音声のキャンセルが実行される。以上の処理を終えると、撮影者音声キャンセル処理を終了し、リターンする。

上述の撮影者音声のキャンセル処理は収音チャンネルごとに個別に行われるため、各マイクロフォンユニットの配置によって変化する撮影者音声のレベルや遅延の補正を個別に行うことができる。そのため、より確実に、各収音チャンネルの音響信号から撮影者音声をキャンセルすることができる。

次に、音響信号生成器１０７によるサラウンド音響信号の生成処理を説明する。図９は、Ｓ８において音響信号生成器１０７が行うサラウンド音響信号の生成処理の詳細を示すフローチャートである。

まず、Ｓ３０１において、音響信号生成器１０７は、音声キャンセル器１０６から出力された各収音チャンネルの音響信号を、遮断周波数が約１００Ｈｚ前後であるＬＰＦに通して１００Ｈｚ以下の低域成分を抽出する。さらに、収音チャンネルの音響信号の４ｃｈ分の低域信号を、ＬＰＦにより抽出された低域成分に加算することによって、ＬＦＥ信号を作成する。この処理はサラウンド音響処理分野において一般的に行われている処理であり、本実施形態においてもそのような公知の技術を適用することができる。

Ｓ３０２にいおいて、音響信号生成器１０７は、各収音チャンネルの音響信号を既定の割合で一時結合することによって、５ｃｈサラウンド音響信号を合成する。例えば、以下の（３）式のように４ｃｈ音響信号から５ｃｈサラウンド音響信号を合成することができる。
Ｃ＝Ｆ
ＦＬ＝０．７×Ｌ＋０．３×Ｆ
ＦＲ＝０．７×Ｒ＋０．３×Ｆ
ＳＬ＝０．３×Ｌ＋０．７×Ｂ
ＳＲ＝０．３×Ｒ＋０．７×Ｂ …（３）
このようなチャンネルミックスアップ処理はサラウンド音響信号処理の分野において一般的であり、本実施形態においてもそのような公知の技術を適用することができる。以上の処理を終えると、処理はＳ３０３へ進む。

Ｓ３０３において、音響信号生成器１０７は、Ｓ４において制御器１１２から指示された収音モードがナチュラルモードであるかどうかを確認する。前述したように、収音モードは音響信号生成器１０７内部のメモリー上に保存されているので、その値を確認すればよい。収音モードがナチュラルモードである場合は、処理はＳ３０５へ進み、収音モードがナチュラルモードでない場合は、処理はＳ３０４へ進む。

Ｓ３０４において、音響信号生成器１０７は、Ｓ７で切り出した撮影者音声データ１０５を、収音モードに応じた配分に従ってサラウンド音響信号の５ｃｈに配分し、加算する。前述したように、収音モードと、収音モードに応じた撮影者音声のチャンネル配分（図１１の音声信号配分テーブル）は、音響信号生成器１０７内部のメモリーに保存されている。音響信号生成器１０７は、収音モードに対応する撮影者音声のチャンネル配分を音声信号配分テーブルから取得し、撮影者音声の各チャンネルへの音声配分を決定し、各チャンネルの音響信号に加算する。例えば、収音モードが任意配置モードである場合は、ＦＲに６０．５％の振幅レベル、ＳＲに３９．５％の振幅レベルの撮影者音声データ１０５がそれぞれ加算される。

Ｓ３０５において、音響信号生成器１０７は、Ｓ３０２、Ｓ３０４によって生成された５ｃｈ信号に、Ｓ３０１で生成されたＬＦＥ信号を加えたサラウンド音響信号をＭＵＸ１０９に出力する。以上の処理を終えると、サラウンド音響信号生成処理を終了し、リターンする。

以上説明したように、第１実施形態の動画撮影装置によれば、入力音響信号から適切に撮影者の音声を切り出すことができる。さらに、切り出した音声を利用して各入力音響信号チャンネルから撮影者音声をキャンセルし、撮影者音声がないサラウンド音場を整えることができる。その後に、収音モードに応じてサラウンド音場に切り出した撮影者音像を配置して収音するため、使用者が所望する位置に撮影者音像を再現することができる。また、任意配置モードでは、撮影者が指定した任意位置に撮影者音像を配置することができる。よって、面倒な操作を使用者に強いることなく、使用者の所望する位置に撮影者音像を適切に配置して収音することができる。

また、上記実施形態によれば、撮影者の声を分離して、任意の位置に配置することができるため、周囲音や被写体の音声を撮影者の音声が邪魔することがない好ましいサラウンド音響再生を行うことができる。また、複数の収音モードのうちから好みのモードを選択すればよいので、わずらわしい設定をしなくても好みの位置に撮影者の音声を配置することができる。

＜第２実施形態＞
第１実施形態では、撮影者が動画撮影装置に対して後方に位置することを想定して、後方チャンネル（Ｂチャンネル）のマイクロフォンユニット１００から得られた音響信号から撮影者音声データを抽出するように構成した。第２実施形態では、収音部２の複数のマイクロフォンユニットから得られる音響信号に基づいて撮影者の位置を検出することにより、動画撮影装置に対して任意の方向に撮影者が位置する場合にも、各収音モードの実行を可能とする。

図５は、第２実施形態における動画撮影装置の一構成例の構成を示すブロック図である。図５において図３に示した構成要素と同じ機能を持つ構成要素は同じ符号で示している。

重畳器２０１は、撮影者位置データ２０２と各収音チャンネルの音響信号を収音するマイクロフォンとの位置関係に基づいて、筐体形状などによる周波数特性の変化を補正するための補正伝達関数を決定する。重畳器２０１は、決定した補正伝達関数を撮影者音声データ１０５に重畳し、得られた撮影者音声データを音声キャンセル器１０６へ出力する。撮影者位置データ２０２は、位置検出器２０３によって算出される撮影者位置を示す情報である。したがって撮影者位置データ２０２は構成要素ではないが、説明をわかりやすくするために図示してある。位置検出器２０３は、各収音チャンネルの音響信号の振幅レベルや相関などから撮影者の位置を検出する。音声切出器２０４は、全ての収音チャンネルの音響信号に基づいて撮影者の音声を切り出す。

以下、第２実施形態による動画撮影装置の音響信号処理及び映像信号処理について、図１２のフローチャートを参照して説明する。図１２は、第２実施形態による動画撮影装置の動画撮影処理全体を示すフローチャートである。図１２に示されるフローチャートは図６に示されるフローチャートの一部を図５の構成に応じて変更したものである。図１２において、図６と同じ処理を行うステップには図６と同じステップ番号を付してある。なお、第２実施形態において、Ｓ４０１からＳ１０までの音響信号処理とＳ１１からＳ１２までの映像信号処理は同時に並列で実行される。

Ｓ４０１において、位置検出器２０３は、全ての収音チャンネルの音響信号を分析して撮影者の位置を検出し、出力する。この処理の詳細は図１３のフローを用いて後述する。次に、Ｓ４０２において、音声切出器２０４は、Ｓ４０１で検出した撮影者位置データ２０２に基づいて音響チャンネル信号から撮影者音声データ１０５を切り出す。この処理の詳細は図１４のフローを用いて後述する。

Ｓ４０３において、重畳器２０１は、撮影者位置データ２０２に基づいて、各収音チャンネルのマイクロフォン位置に応じた伝達関数補正信号を作成し、これを撮影者音声データ１０５に重畳して補正する。各収音チャンネルにおける、撮影者位置に対する音響信号の補正伝達関数は、重畳器２０１内部のメモリーにテーブルとして予め記憶されている。たとえば、図２の前方向から３０度ごとに区切って、補正伝達関数が登録されており、撮影者位置データ２０２をキーとしてこのテーブルを検索することにより、補正伝達関数が選択される。次に、重畳器２０１は、選択された補正伝達関数を撮影者音声データ１０５に重畳し、音声キャンセル器１０６に出力する。この処理によって、各収音チャンネルの音声キャンセル器１０６に入力される撮影者音声データ１０５には、撮影者位置による影響が考慮された補正が行われることになる。そのため、Ｓ８における影者音声のキャンセル処理において、より精密に音響信号から撮影者音声をキャンセルすることが可能となる。

図１３は、第２実施形態における撮影者音声の位置検知処理（Ｓ４０１）を詳細に示したフローチャートである。このフローチャートにより示される処理は位置検出器２０３によって実行される。

Ｓ５０１において、位置検出器２０３は、内部メモリーに格納されている収音モードがナチュラルモードであるかどうかを確認する。なお、収音モードは図１２のステップＳ５において予め位置検出器２０３の内部メモリーに保存されているものとする。確認の結果、収音モードがナチュラルモードである場合は、そのまま撮影者音声位置検知処理を終了し、リターンする。一方、収音モードがナチュラルモードでない場合は、処理はＳ５０２へ進む。

Ｓ５０２において、位置検出器２０３は、４つの収音チャンネルの音響信号から、信号レベルが高い順に３つのチャンネル信号を選択する。Ｓ５０３において、位置検出器２０３は、Ｓ５０２で選択した３つのチャンネルの入力信号から、２つずつの組み合わせを３組作り、それらの３組それぞれに対して相互相関を計算する。Ｓ５０４において、位置検出器２０３は、Ｓ５０３で計算した３つの相互相関信号おのおのにおいて、最も大きいレベルの相関信号を抽出し、これに基づいて選択した３つのチャンネル間の遅延差を計算する。なお、このような処理は音源探索処理において一般的に行われている処理であり、本実施形態においてもそのような公知の技術を適用することができる。

Ｓ５０５において、位置検出器２０３は、Ｓ５０４で計算した遅延差と、選択した３つのチャンネルの音響信号を収音したマイクロフォンユニットの配置位置から、音源の方向を算出する。このような処理は音源探索処理において一般的に行われており、本実施形態においてもそのような公知の技術を適用することができる。算出された方向情報は、撮影者位置データ２０２として出力される。処理を終えると、撮影者音声の位置検知処理を終了し、リターンする。

図１４は、第２実施形態における撮影者音声の切出処理（Ｓ４０２）の詳細を示すフローチャートである。このフローチャートで示される処理は音声切出器２０４によって実行される。なお、図１４に示されるフローチャートは、第１実施形態で示した撮影者音声の切出処理（図７）の一部を変更したものであり、図１４において図７と同じ処理を行うステップ（Ｓ１０３以降のステップ）には同じステップ番号を付してある。

Ｓ６０１において、音声切出器２０４は、位置検出器２０３から撮影者位置データ２０２が出力されているかどうか、すなわちＳ４０３で撮影者位置データ２０２が出力されたかどうかを確認する。撮影者位置データ２０２が出力されている場合は、処理はＳ６０２へ進む。撮影者位置データ２０２が出力されていない場合は、そのまま音声切出処理を終えてリターンする。

Ｓ６０２において、音声切出器２０４は、撮影者位置データ２０２が示す方向や距離に基づき、撮影者音声を強めるように、４つの収音チャンネルの音響信号を合成する。例えば、撮影者音声の方向に基づいて、その方向に指向性を強めるように４チャンネルの音響信号の振幅レベルが調整される。これに加えて、あるいはこれに代えて、たとえば、撮影者音声の各チャンネルのマイクロフォンユニットからの距離に応じて、４つのチャンネルの音響信号の撮影者音声に関わる遅延が一致するように遅延調整が行われる。以上のような調整を行ってから、４つのチャンネルの音響信号を加算することによって、撮影者音声を強調するように信号を合成できる。なお、このような処理は音源抽出の分野において一般的に行われており、本実施形態においてもそのような公知の技術を適用することができる。

Ｓ６０３において、音声切出器２０４は、Ｓ６０２で合成した音響信号の振幅レベルが、予め定められた振幅レベル閾値よりも大きいかどうかを確認する。振幅レベル閾値は、予め音声切出器２０４の内部メモリーの所定領域に格納されている。合成した音響信号の振幅レベルが閾値よりも大きい場合は、処理はＳ１０３へ進む。それ以外の場合は、撮影者音声が収音されていないとみなし、撮影者音声の切出処理を終了してリターンする。

以上説明したように、第２実施形態においては、動画撮影装置に対して、撮影者が後方に位置せず、任意方向に位置する場合でも、撮影者の方向や距離を自動的に検出し、それに基づいて適切に撮影者音声を切出すことができる。

また、第２実施形態においては、撮影者の方向に応じて伝達関数を補正した撮影者音声に基づいて、撮影者音声キャンセル処理を行うため、より高精度に撮影者音声をキャンセルした理想的なサラウンド音場の下地を生成することができる。また、その上に撮影者音声を使用者の任意配置することによってより理想的なサラウンド音場の再生が実現できる。なお、第１実施形態の構成に補正伝達関数を重畳する構成を付加してもよいことは明らかである。その場合、各収音チャンネルの補正伝達関数は、動画撮影装置の後方に位置する撮影者と各マイクロフォンとの位置関係に基づいて設定された固定の関数となる。
＜第３実施形態＞
上述の第１、第２実施形態例では、撮影者音声は筐体の上部に設けられた収音部２で収音された音響信号から切り出す例を示したが、これに限られるものではない。第３実施形態では、そのような変形の一例として、筐体本体１の後部に撮影者音声を主に収音するための単一指向性マイクロフォンユニットを設け、このマイクロフォンユニットで収音した信号から撮影者音声を切り出す構成を説明する。図１６に、第３実施形態による動画撮影装置の外観の模式図を示す。図１６において、マイクロフォン４は、撮影者音声収音用の単一指向性のマイクロフォンである。また、図１７は、第３実施形態による撮影装置の構成例を示すブロック図である。なお、第３実施形態による動画撮影装置の各処理は第１実施形態と同様であるが、後ろチャンネル（Ｂチャンネル）の音響信号から撮影者音声が切り出されるのではなく、マイクロフォン４により得られた音響信号から撮影者音声が切り出される。さらに、マイクロフォン４により得られた音響信号は、音響信号生成器１０７によるサラウンド音響の生成には用いられない。

＜他の実施形態＞
上記各実施形態において収音部２は４ｃｈマイクロフォン構成としているが、例えば、サラウンド音響における５ｃｈをミキシングせずにそのまま収音できる５ｃｈマイクロフォン構成としても同様に実施することができる。

また、上記各実施形態においては、全ての収音モードにおいて撮影者音声をサラウンド音場に配置しているがこれに価値がれるものではない。たとえば、撮影者音声のキャンセルを行い、サラウンド音場に再配置しない収音モード（撮影者音声キャンセルモード）を設けるようにしてもよい。

また、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (17)

1. 複数のマイクロフォンによる収音に基づく複数チャンネルの音響信号のうち少なくとも一つのチャンネルの音響信号に基づいて特定の音響信号を取得する取得手段と、
   前記複数のマイクロフォンによる収音に基づく再生用音響信号の生成に用いられるチャンネルの音響信号に対して、前記特定の音響信号に対応する特定の音を抑制するための抑制処理を行う抑制手段と、
   前記特定の音を定位させる位置及び方向の少なくとも何れかを指定するためのユーザによる操作を受け付ける受付手段と、
   前記取得手段により取得される前記特定の音響信号と、前記抑制手段により前記抑制処理が行われた音響信号とを用いて、前記特定の音が前記受付手段により受け付けられた前記操作に応じた方向に定位するように前記再生用音響信号を生成する生成手段と、を備えることを特徴とする音響信号処理装置。
2. 前記取得手段は、前記複数チャンネルの音響信号のうちの特定のチャンネルの音響信号の音圧レベルとスペクトル形状に基づいて、前記特定の音響信号を取得することを特徴とする請求項１に記載の音響信号処理装置。
3. 前記特定のチャンネルは前記再生用音響信号の生成に用いられるチャンネルの一つであることを特徴とする請求項２に記載の音響信号処理装置。
4. 前記特定のチャンネルは、前記再生用音響信号の生成に用いられるチャンネルとは別のチャンネルであることを特徴とする請求項２に記載の音響信号処理装置。
5. 前記再生用音響信号の生成に用いられるチャンネルに対応するマイクロフォンは無指向性であり、前記特定のチャンネルに対応するマイクロフォンは単一指向性を有することを特徴とする請求項４に記載の音響信号処理装置。
6. 前記受付手段は、前記特定の音を定位させる所定の位置または方向が定義された複数のモードの一つを選択する前記操作を受け付けることを特徴とする請求項１乃至５のいずれか１項に記載の音響信号処理装置。
7. 前記受付手段は、表示部に表示されたスピーカー配置図上における位置を指定する前記操作を受け付けることを特徴とする請求項１乃至５のいずれか１項に記載の音響信号処理装置。
8. 前記複数のマイクロフォンと、
   前記複数のマイクロフォンによる収音とともに撮影する撮影手段と、
   前記撮影手段による撮影に基づく映像信号と、前記生成手段により生成された前記再生用音響信号とを用いて、音声つきの動画データを生成する手段とを備えることを特徴とする請求項１乃至７のいずれか１項に記載の音響信号処理装置。
9. 複数のマイクロフォンにより収音された複数の収音チャンネルの音響信号の少なくとも一つに基づいて特定の音響信号を取得する取得手段と、
   前記特定の音響信号に対応する信号を、サラウンド音響信号の生成に用いられる収音チャンネルの各々の音響信号から抑制する抑制手段と、
   前記特定の音響信号と、前記抑制手段により前記特定の音響信号に対応する信号が抑制された音響信号とを用いて、前記特定の音響信号の音源がサラウンド音場の指定された方向に配置されるようにサラウンド音響信号を生成する生成手段と、
   前記複数の収音チャンネルの音響信号に基づいて前記特定の音響信号の音源の位置を判定する判定手段と、
   前記判定手段により判定された前記音源の位置の方向の音響信号が強調されるように前記複数の収音チャンネルの音響信号を合成する合成手段と、を備え、
   前記取得手段は、前記合成手段により合成された音響信号から前記特定の音響信号を取得することを特徴とする音響信号処理装置。
10. 前記取得手段は、前記合成された音響信号の音圧レベルとスペクトル形状に基づいて、前記合成された音響信号から前記特定の音響信号を取得することを特徴とする請求項９に記載の音響信号処理装置。
11. 前記抑制手段は、前記サラウンド音響信号の生成に用いられる収音チャンネルのそれぞれに対応するマイクロフォンの位置と前記特定の音響信号の音源の位置との関係に基づいて、収音チャンネルごとに前記特定の音響信号を補正することを特徴とする請求項９または１０に記載の音響信号処理装置。
12. 前記サラウンド音響信号における前記特定の音響信号の音源の位置または方向をユーザーに指定させる指定手段をさらに備え、
    前記生成手段は、前記特定の音響信号の音源がサラウンド音場の前記指定された位置または方向に配置されるようにサラウンド音響信号を生成することを特徴とする請求項９乃至１１のいずれか１項に記載の音響信号処理装置。
13. 動画撮影装置であって、
    撮影手段による撮影期間におけるマイクロフォンによる収音に基づく音響信号を取得する取得手段と、
    前記取得手段により取得される音響信号に基づく再生用音響信号が再生される場合に前記撮影期間における特定の音が何れの方向から聞こえるようにするかを指定するためのユーザ操作を受け付ける受付手段と、
    前記取得手段により取得される音響信号に対して、前記受付手段により受け付けられるユーザ操作に応じた処理を行うことで、前記再生用音響信号を生成する生成手段とを有することを特徴とする動画撮影装置。
14. 前記特定の音は、前記撮影手段による撮影を行う撮影者の声であることを特徴とする請求項１３に記載の動画撮影装置。
15. 複数のマイクロフォンによる収音に基づく複数チャンネルの音響信号のうち少なくとも一つのチャンネルの音響信号に基づいて特定の音響信号を取得する取得工程と、
    前記複数のマイクロフォンによる収音に基づく再生用音響信号の生成に用いられるチャンネルの音響信号に対して、前記特定の音響信号に対応する特定の音を抑制するための抑制処理を行う抑制工程と、
    前記特定の音を定位させる位置及び方向の少なくとも何れかを指定するためのユーザによる操作を受け付ける受付工程と、
    前記取得工程において取得される前記特定の音響信号と、前記抑制工程で前記抑制処理が行われた音響信号とを用いて、前記特定の音が前記受付工程において受け付けられた前記操作に応じた方向に定位するように前記再生用音響信号を生成する生成工程と、を有することを特徴とする音響信号処理方法。
16. 複数のマイクロフォンにより収音された複数の収音チャンネルの音響信号の少なくとも一つに基づいて特定の音響信号を取得する取得工程と、
    前記特定の音響信号に対応する信号を、サラウンド音響信号の生成に用いられる収音チャンネルの各々の音響信号から抑制する抑制工程と、
    前記特定の音響信号と、前記抑制工程で前記特定の音響信号に対応する信号が抑制された音響信号とを用いて、前記特定の音響信号の音源がサラウンド音場の指定された方向に配置されるようにサラウンド音響信号を生成する生成工程と、
    前記複数の収音チャンネルの音響信号に基づいて前記特定の音響信号の音源の位置を判定する判定工程と、
    前記判定工程により判定された前記音源の位置の方向の音響信号が強調されるように前記複数の収音チャンネルの音響信号を合成する合成工程と、を有し、
    前記取得工程は、前記合成工程により合成された音響信号から前記特定の音響信号を取得することを特徴とする音響信号処理方法。
17. コンピュータを、請求項１乃至１２のいずれか１項に記載された音響信号処理装置の各手段として機能させるためのプログラム。

Images