JP4010161B2 - 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 - Google Patents
音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 Download PDFInfo
- Publication number
- JP4010161B2 JP4010161B2 JP2002062386A JP2002062386A JP4010161B2 JP 4010161 B2 JP4010161 B2 JP 4010161B2 JP 2002062386 A JP2002062386 A JP 2002062386A JP 2002062386 A JP2002062386 A JP 2002062386A JP 4010161 B2 JP4010161 B2 JP 4010161B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- image
- sound output
- display position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Stereophonic System (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラムに関する。詳しくは、特定音源からの音を集音手段によって取得して音響信号を生成し、特定音源の方向に対する撮影を行い画像信号を生成し、画像信号の画像の動き検出を行い、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成し、音響出力信号に基づいた音響出力を行う複数の音響出力手段に関する設置情報と表示位置信号に基づいて、複数の音響出力信号を生成して複数の音響出力手段に供給することにより、画像の表示位置の移動に合わせて音像の位置を移動させるものである。
【０００２】
【従来の技術】
従来の音響提示システムでは、例えばステレオマイクロフォンを用いて右側方向の音響と左側方向の音響を集音して、左右チャンネルの音響信号を生成すると共に、再生時には右側に配置されているスピーカを右チャネルの音響信号に基づいて駆動し、左側に配置されているスピーカを左チャネルの音響信号に基づいて駆動することで、モノラルマイクロフォンを用いる場合よりも臨場感を高める方法が行われている。
【０００３】
また、人間の頭蓋骨模型を作り、この模型の左耳と右耳の内部にマイクを設けて、人間の耳から入った音を擬似的に集音すると共に、再生時にはヘッドホンを用いる所謂バイノーラルサウンドも実用化されている。
【０００４】
また、近年では、臨場感をさらに向上させるため、前方のスピーカ以外に補助スピーカを設けて、この補助スピーカから反射音や後方からの音および低周波数領域の音等を再生可能とする方式、所謂５．１ｃｈや６．１ｃｈ方式のサラウンド方式等も実用化されている。
【０００５】
さらに、音響信号に対して信号処理を行うことで再生音場を再現や、３次元音場を再現することが行われている。例えば、無響室で集音した音やコンパクトディスク等に記録された音に、所望の空間でのインパルス応答（音響伝達関数）を畳み込み、所望の空間の特性を再生音場で再現させる。すなわち、所望の空間の音源位置で基準音を出力させると共に視聴位置で集音を行い、音源位置で出力された音と視聴位置で集音された音との関係から所望の空間のインパルス応答を求めることができる。このため、インパルス応答を実現するフィルタを登録しておき、音の再生時には、この登録されたフィルタを用いるものとすれば、所望の空間の特性を再生音場で再現できる。また、種々のフィルタを登録して、選択可能とすれば、種々の再生音場を再現できると共に、三次元音場を再現することもできる。
【０００６】
【発明が解決しようとする課題】
ところで、画像と音響を別々に記録した場合、ビデオカメラの向きに関係なく音響を記録すると、記録された音響信号に基づく再生音は方向性を持たなくなってしまい、臨場感に欠けたものとなってしまう。
【０００７】
また、このように記録された音響を、臨場感を高めて再生するためには、画像を見ながら音像の位置を画像に合わせる操作を人偽的に行わなければならず、簡単に臨場感の高い再生音を得ることができない。
【０００８】
また、ビデオカメラにマイクロフォンを設けて画像と音響を記録した場合、図１９Ａに示すように、所望の被写体ＯＢに合わせてビデオカメラ９０の撮像方向を変更すると、図１９Ｂに示すように、再生画像がフレーム「Ｆa」「Ｆb」「Ｆc」の順に変更されても所望の被写体ＯＢの位置を表示画像の中央に保つことができる。しかし、所望の被写体に対応する音像も位置Ｑmに固定されてしまう。このため、再生時には、表示画像の背景の動きによって被写体の動きを表現できるが、音像の位置は固定されてしまい、臨場感の高い再生音場を得ることができない。
【０００９】
そこで、この発明では、表示画像に対応させて容易に臨場感の高い再生音場を得ることができる音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラムを提供するものである。
【００１０】
【課題を解決するための手段】
この発明に係る音響提示システムは、特定音源からの音を取得して音響信号を生成する集音手段と、特定音源の方向に対する撮影を行い画像信号を生成する撮像手段と、集音手段で生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、音響出力信号に基づいた音響出力を行う複数の音響出力手段と、画像信号の画像の動き検出を行い、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する画像処理手段と、複数の音響出力手段に関する設置情報と表示位置信号に基づき、音響出力信号生成手段における複数の音響出力信号の生成動作を制御する提示制御手段とを有するものである。また、環境音を取得して環境音信号を生成する環境音集音手段と、設置情報と前記環境音信号に基づき、環境音重畳信号を生成する環境音処理手段と、音響出力手段毎に、対応する環境音信号を音響出力信号に加算する信号加算手段とを有するものである。
【００１２】
さらに音響再生装置は、特定音源からの音を取得して生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、特定音源の方向に対する撮影を行うことにより生成された画像信号の画像の動き検出を行い、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する画像処理手段と、音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と表示位置信号に基づき、音響出力信号生成手段における複数の音響出力信号の生成動作を制御する提示制御手段とを有するものである。また、環境音を取得して生成された環境音信号と設置情報に基づいて環境音重畳信号を生成する環境音処理手段と、音響出力手段毎に、対応する音響出力信号を環境音信号に加算する信号加算手段とを有するものである。
【００１３】
次に、この発明に係る音響提示方法は、特定音源からの音を集音手段によって取得して音響信号を生成し、特定音源の方向に対する撮影を行い画像信号を生成し、画像信号の画像の動き検出を行い、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成し、音響出力信号に基づいた音響出力を行う複数の音響出力手段に関する設置情報と表示位置信号に基づいて、複数の音響出力信号を生成して複数の音響出力手段に供給するものである。
【００１５】
さらに音響再生方法は、特定音源の方向に対する撮影を行うことにより生成された画像信号の画像の動き検出を行い、画像信号の表示画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成し、音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、表示位置信号と、特定音源からの音を取得して生成した音響信号に基づいて、複数の音響出力信号を生成するものである。
【００１６】
次に、この発明に係るコンピュータ読み取り可能な記録媒体は、コンピュータに、特定音源の方向に対する撮影を行って生成された画像信号の画像の動き検出を行って、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する手順と、音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、表示位置信号に基づいて、提示調整信号を生成する手順と、特定音源からの音を取得して生成した音響信号と提示調整信号に基づいて、複数の音響出力手段に供給する音響出力信号を生成する手順とを実行させる実行させるプログラムを記録したものである。
【００１７】
また、音響提示プログラムは、コンピュータに、特定音源の方向に対する撮影を行って生成された画像信号の画像の動き検出を行って、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する手順と、音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、表示位置信号に基づいて提示調整信号を生成する手順と、特定音源からの音を取得して生成した音響信号と提示調整信号に基づいて、複数の音響出力手段に供給する音響出力信号を生成する手順とを実行させるものである。
【００１８】
この発明においては、撮像手段によって撮影画像の画像信号が生成されると共に、超指向性マイクロフォン等を用いた集音手段によって、特定音源例えば撮影方向の音を取得して音響信号が生成される。また、特定音源と集音手段の位置関係として撮影方向や被写体までの距離を示す位置情報信号や環境音信号が生成される。この音響信号と画像信号および位置検出信号や環境音信号に基づいて情報信号を生成することで音響取得が行われる。
【００１９】
また情報信号を用いて音響再生を行う場合には、情報信号から音響信号と画像信号および位置検出信号や環境音信号が分離される。この分離された画像信号を用いて動き検出が行われて、例えば所望の被写体の動きに応じて撮影画像の表示位置が移動させると共に、この撮影画像の表示位置を示す表示位置信号が生成される。また、表示位置信号と、音響出力信号に基づいて音響出力を行う複数の音響出力手段の数や設置位置等を示す設置情報等に基づき提示調整信号が生成される。この提示調整信号と音響信号に基づき、複数の音響出力信号が生成されると共に音響出力信号の信号レベルや位相が制御されて、複数の音響出力手段に供給される。
【００２０】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明におけ音響提示システムの全体構成を示している。音響取得装置１０の撮像部１２では、撮影画像の画像信号Ｓvを生成して情報信号生成部１８に供給する。
【００２１】
図２は撮像部１２の構成を示している。撮像レンズ１２１を通して入射された光は、撮像素子部１２２に入射されて、撮像面上に撮影画像が結像される。撮像素子部１２２は固体撮像素子例えばＣＣＤを用いて構成されており、光電変換によって得られた撮影画像に基づく信号を後述する駆動部１３２からの駆動信号ＲＣに基づいて読み出し、撮影画像の三原色撮像信号Ｓvaを生成して前処理部１２３に供給する。
【００２２】
前処理部１２３では、撮像信号Ｓvaからノイズ成分を除去する処理、例えば相関二重サンプリング処理を行い、ノイズ除去された撮像信号ＳvaをＡ／Ｄ変換部１２４に供給する。Ａ／Ｄ変換部１２４では、撮像信号Ｓvaをディジタルの画像信号Ｓvbに変換してフィードバッククランプ部１２５に供給する。フィードバッククランプ部１２５では、ブランキング期間の黒レベル信号と基準信号との誤差を検出してＡ／Ｄ変換部１２４に供給することで、安定した黒レベルで所要の大きさの画像信号Ｓvbを得ることが出来るように、Ａ／Ｄ変換動作を制御する。補正処理部１２６では、画像信号Ｓvbに対してシェーディング補正や撮像素子の欠陥に対する補正処理等を行う。この補正処理部１２６で補正処理が行われた画像信号Ｓvbは、プロセス処理部１２７に供給される。
【００２３】
プロセス処理部１２７では、補正処理後の画像信号Ｓvbに対してγ処理、輪郭補償処理、ニー補正処理等を行う。この信号処理が行われた画像信号Ｓvbは、画像信号Ｓvとして情報信号生成部１８に供給される。また、画像信号Ｓvは、モニタ部１２８に供給されて、このモニタ部１２８に画像信号Ｓvに基づく画像が表示されて、撮影画像の確認が行われる。
【００２４】
撮像制御部１３０には、操作部１３１が接続されており、操作部１３１をユーザが操作すると、ユーザの操作に応じた操作信号ＰＳが操作部１３１から撮像制御部１３０に供給される。撮像制御部１３０では、この操作信号ＰＳに基づいて各種の制御信号ＣＴを生成して各部の動作を制御することにより、撮像部１２をユーザの操作に応じて動作させる。また、撮像素子部１２２での信号読み出しフレーム周期を設定する制御信号ＴＣを生成して駆動部１３２に供給する。この駆動部１３２では、制御信号ＴＣに基づき駆動信号ＲＣを生成して撮像素子部１２２に供給する。
【００２５】
図１の集音部１４は、マイクロフォンを用いて構成されており、撮像部１２の前面や上部等に固定して設けられている。この集音部１４は、特定音源からの音である撮像部１２の撮像方向からの音を集音して例えばディジタルの音響信号Ｓaを生成して情報信号生成部１８に供給する。この集音部１４で用いるマイクロフォンは、狙った音源の音を拾うことができるように超指向性（鋭指向性）マイクロフォンであるガンマイク等を用いる。このように超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を簡単に取り除くことができる。また、相関利用や複数マイクを用いて各マイクの遅延量を補正する等の音源分離手法によって、狙った音源の音を拾うことができる。
【００２６】
位置検出部１６は、特定音源と集音部１４の位置関係、例えば所望の被写体を特定音源として、この所望の被写体を撮影したときの撮像設定情報、すなわち撮像部１２の撮像方向や所望の被写体までの距離を検出して、検出結果を示す位置情報信号Ｓpを生成したのち情報信号生成部１８に供給する。
【００２７】
図３は、撮像部１２の撮像方向と所望の被写体までの距離を検出する位置検出部１６の構成を示している。角度センサ１６１は、回転角を測定できるセンサやジャイロ等を用いて角度を測定するものであり、撮像部１２の撮像方向を検出して角度信号Ｓpaを極座標算出部１６３に供給する。例えば基準位置に対する水平方向の角度（以下「方位角」という）φや、基準位置に対する上下方向の角度（以下「ピッチ角」という）δを示す角度信号Ｓpaを生成して極座標算出部１６３に供給する。測距センサ１６２は、光や超音波等を用いてあるいは撮像部１２における焦点位置に基づいて距離を測定するものであり、所望の被写体までの距離ＬＯを検出して距離信号Ｓpbを極座標算出部１６３に供給する。極座標算出部１６３では、角度信号Ｓpaと距離信号Ｓpbから極座標を算出し、ディジタルの位置情報信号Ｓpとして情報信号生成部１８に供給する。
【００２８】
情報信号生成部１８では、供給された画像信号Ｓvや音響信号Ｓaおよび位置情報信号Ｓpに基づいて情報信号ＷＳを生成して信号記録再生装置２０に供給する。
【００２９】
信号記録再生装置２０は、光や磁気あるいは半導体素子等を利用する記録媒体を用いて構成されており、供給された情報信号ＷＳを記録媒体に記録する。また、記録媒体を再生して得られた情報信号ＲＳは、音響再生装置３０の情報信号分離部３２に供給される。
【００３０】
情報信号分離部３２は、情報信号ＲＳから画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離する。さらに、分離された画像信号Ｓvを画像信号処理部４０に供給すると共に、音響信号Ｓaを音響出力信号生成部５２に供給する。さらに、位置情報信号Ｓpを提示制御部５０に供給する。
【００３１】
画像信号処理部４０は、画像信号Ｓvに基づく画像から動きを検出して、検出した動きに応じて画像の表示位置を移動させた画像出力信号ＳVoutと、表示位置を示す表示位置信号ＰＤを生成する。図４は、画像信号処理部４０の概略構成を示しており、画像信号Ｓvは、画像信号処理部４０のシーンチェンジ検出部４１と動き検出部４２と画像位置移動部４３に供給される。
【００３２】
シーンチェンジ検出部４１は、画像信号Ｓvに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。図５は、シーンチェンジ検出部４１の概略構成を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【００３３】
シーンチェンジ検出部４１の遅延回路４１１は、画像信号Ｓvを１フレーム遅延させて遅延画像信号Ｓvjとして差分平均算出回路４１２に供給する。差分平均算出回路４１２は、画像信号Ｓvと遅延画像信号Ｓvjに基づき、２フレーム間の差分平均値Ｄavを算出して正規化回路４１４に供給する。この差分平均値Ｄavの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄavとして正規化回路４１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、画像信号Ｓvに基づく輝度レベルを「ＹＣ」、遅延画像信号Ｓvjに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）に基づいて算出できる。
【００３４】
【数１】
【００３５】
ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部４１に正規化回路４１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００３６】
輝度平均算出回路４１３は、画像信号Ｓvに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路４１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で画像信号Ｓvに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。
【００３７】
【数２】
【００３８】
正規化回路４１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄav／Ｙav ・・・（３）
この正規化回路４１４で生成された正規化値Ｅは、判定回路４１５に供給される。
【００３９】
判定回路４１５は、予め設定された閾値Ｒfを有しており、正規化値Ｅと閾値Ｒfを比較して、正規化値Ｅが閾値Ｒfよりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｒf以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路４１５は、この判定結果を示すシーンチェンジ検出信号ＣＨを生成して図４の動き検出部４２と画像位置移動部４３に供給する。
【００４０】
このように、正規化回路４１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路４１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００４１】
また、上述のシーンチェンジ検出部４１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。
【００４２】
動き検出部４２は、シーンチェンジ検出部４１からのシーンチェンジ検出信号ＣＨによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図６は、動き検出部４２の構成を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。
【００４３】
動き検出部４２の遅延回路４２１は、画像信号Ｓvを１フレーム遅延させて遅延画像信号Ｓvkとして画像位置切替回路４２２に供給する。画像位置切替回路４２２は、遅延画像信号Ｓvkに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号Ｓvlを順次生成する。この生成された画像信号Ｓvlは、差分演算回路４２３に供給される。また、画像位置切替回路４２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路４２４に供給する。
【００４４】
差分演算回路４２３は、画像信号Ｓvlと画像信号Ｓvとの差分値ＤＭを順次算出して、最小値判定回路４２４に供給する。
最小値判定回路４２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号Ｓvlを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路４２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路４２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の画像位置移動部４３に供給する。
【００４５】
画像位置移動部４３は、シーンチェンジ検出信号ＣＨと動き検出情報ＭＶＤに基づき表示位置を決定する。さらに、決定した表示位置に画像を表示する画像出力信号ＳVoutを生成する。
【００４６】
図７は、画像位置移動部４３の構成を示している。画像位置移動部４３の画像位置決定回路４３１は、シーンチェンジ検出信号ＣＨと動き検出情報ＭＶＤに基づき表示位置を決定して、この表示位置を示す表示位置信号ＰＤを書込読出制御回路４３７と後述する提示制御部５０に供給する。
【００４７】
図８は、画像位置決定回路４３１の構成を示している。動き累積回路４３２は、シーンチェンジ検出信号ＣＨに基づいて連続シーンの期間を判別すると共に、この連続シーンの期間中における動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成して初期位置決定回路４３３と表示範囲判定回路４３４に供給する。
【００４８】
初期位置決定回路４３３は、動き累積値ＭＶＴの振れ幅ＥＷを求めることでシーン毎に表示位置の移動範囲を判別し、この移動範囲が画像表示領域内の移動可能範囲（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離）の中央となるように、連続シーンの最初の表示画像に対する表示位置を決定して、初期位置ＰＰとして表示範囲判定回路４３４と表示位置決定回路４３６に供給する。
【００４９】
表示範囲判定回路４３４は、初期位置ＰＰに連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるか否かを、初期位置ＰＰと動き累積値ＭＶＴに基づいて判別する。この表示範囲判定回路４３４での判別結果を示す判別結果信号ＣＪaは動き補正回路４３５に供給される。
【００５０】
動き補正回路４３５は、判別結果信号ＣＪaで表示画像が画像表示領域に入りきらないことが示されたとき、表示画像が画像表示領域に入りきるように動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとして表示位置決定回路４３６に供給する。また、判別結果信号ＣＪaで表示画像が画像表示領域に入りきることが示されたとき、動き検出情報ＭＶＤの補正を行うことなく表示位置決定回路４３６に供給する。
【００５１】
また、動き累積値ＭＶＴの振れ幅ＷＴを初期位置決定回路４３３から動き補正回路４３５に供給すると共に、画像表示領域内の移動可能範囲を動き補正回路４３５に予め記憶させておくものとし、振れ幅と移動可能範囲を用いて動き検出情報ＭＶＤを補正するための補正係数を設定することもできる。この場合には、表示位置を移動しても表示画像が画像表示領域内となるように動き量が補正されるので、表示位置が移動可能範囲を超えて制限されてしまうことを防止できる。
【００５２】
表示位置決定回路４３６は、初期位置決定回路４３３から供給された初期位置ＰＰを連続シーンの最初の表示位置とする。その後、動き検出情報ＭＶＥに基づき、動き検出情報ＭＶＥで示された動きベクトルの方向とは逆方向に画像を移動させた位置を表示位置として、この表示位置を示す表示位置信号ＰＤを順次出力して、図７の書込読出制御回路４３７に供給する。また、表示位置信号ＰＤを図１に示す提示制御部に供給する。
【００５３】
ここで、表示位置信号ＰＤに基づいて画像の表示位置を切り換える場合、図７に示すように、例えば画像表示領域に対応した記憶領域を有する画像メモリ４３８を設けるものとし、書込読出制御回路４３７は、画像メモリ４３８に画像信号Ｓvを書き込む際の書込位置を、表示位置信号ＰＤに基づいて表示位置に対応させる。このように画像信号Ｓvを書き込むものとすれば、表示領域に対応した画像メモリ４３８から画像信号を読み出すだけで表示位置を容易に移動できる。
【００５４】
書込読出制御回路４３７は、画像メモリ４３８に画像信号を書き込むための書込制御信号ＭＷＣと、画像メモリ４３８に書き込まれている画像信号を読み出すための読出制御信号ＭＲＣを生成して、画像メモリ４３８に供給する。ここで、書込読出制御回路４３７は、上述したように画像位置決定回路４３１で決定された表示位置と対応する画像メモリ４３８の記憶位置に画像信号を記憶させるため、表示位置信号ＰＤに基づいて書込制御信号ＭＷＣを生成する。
【００５５】
画像メモリ４３８は、書込制御信号ＭＷＣに基づき、画像位置決定回路４３１で決定された表示位置に対応する記憶領域に、この表示位置の決定が行われたフレームの画像信号Ｓvを記憶する。なお、画像信号Ｓvが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ４３８は、書込読出制御回路４３７からの読出制御信号ＭＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像出力信号ＳVoutとして画像出力部４５に供給する。画像出力部４５では、供給された画像出力信号ＳVoutに基づいて表示位置を撮影画像の動きに応じて移動させながら画像提示を行う。
【００５６】
図１の提示制御部５０は、設置情報供給部５０１と調整信号生成部５０２を有している。設置情報供給部５０１は、後述する複数の音響出力部６０-1〜６０-nがどのような位置に設けられており、どのようなスピーカが用いられているか等を示す設置情報ＣＳaを保持し、あるいはユーザの操作等によって設置情報ＣＳaを生成して、この設置情報ＣＳaを調整信号生成部５０２に供給する。
【００５７】
調整信号生成部５０２は、設置情報供給部５０１から供給された設置情報ＣＳaと画像信号処理部４０から供給された表示位置信号ＰＤに基づき、あるいは、さらに情報信号分離部３２から供給された位置情報信号Ｓpを用いるものとして、これらの信号に基づいて提示調整信号ＣＰを生成して、音響出力信号生成部５２に供給する。この提示調整信号ＣＰは、各音響出力部６０-1〜６０-nに供給する音響出力信号ＳAout-1〜ＳAout-nの信号レベルや出力タイミングを調整して音像の位置や臨場感を制御するものである。
【００５８】
音響出力信号生成部５２は、音響信号Ｓaに対して提示調整信号ＣＰに基づいた信号レベル調整や出力タイミング調整を行い、音響出力信号ＳAout-1を生成して音響出力部６０-1に供給する。同様に、提示調整信号ＣＰに基づいた信号レベル調整や位相調整を行い、音響出力信号ＳAout-2〜ＳAout-nを生成して音響出力部６０-2〜６０-nに供給する。
音響出力部６０-1〜６０-nは、スピーカを用いて構成されており、供給された音響出力信号ＳAout-1〜ＳAout-nに基づいて音響出力を行う。
【００５９】
次に動作について説明する。図９は表示位置信号を用いた場合の動作を説明するための図である。調整信号生成部５０２は、設置情報ＣＳaと表示位置信号ＰＤで示された表示位置に基づき、音響信号Ｓaに対して式（４），（５）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。なお、式（４），（５）において、「Ｘ，Ｙ」は画像表示領域における画像の移動範囲を示す座標値であり「ｘ，ｙ」は表示位置信号ＰＤで示された表示位置ＪＤを示す座標値である。
【００６０】
例えば、図９Ａに示すように、設置情報ＣＳaによって音響出力部６０-L，６０-Rが、画像表示領域の中央で左右の端部側に設けられているときには、音響出力部６０-Lと音響出力部６０-Rとの音圧比が「（ｘ／Ｘ）：（Ｘ−ｘ）／Ｘ」となるように、音響出力部６０-L，６０-Rに供給する音声出力信号ＳAout-L，ＳAout-Rの信号レベルを調整するための提示調整信号ＣＰを生成する。
【００６１】
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、音圧比が「（ｘ／Ｘ）：（Ｘ−ｘ）／Ｘ」となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Lと音響出力信号ＳAout-Rを生成すると共に、この音響出力信号ＳAout-Lを音響出力部６０-L、音響出力信号ＳAout-Rを音響出力部６０-Rにそれぞれ供給する。
【００６２】
また、図９Ｂに示すように、設置情報ＣＳaによって音響出力部６０-LU，６０-LD，６０-RU，６０-RDが、画像表示領域の４角に設けられていることが示された場合には、左右方向だけでなく上下方向の音響出力部の位置も考慮して、音響出力部６０-LU，６０-LD，６０-RU，６０-RDに供給する音声出力信号ＳAout-LU，ＳAout-LD，ＳAout-RU，ＳAout-RDの信号レベルを調整するための提示調整信号ＣＰを生成する。
【００６３】
このように、表示位置信号ＰＤに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の信号レベルが調整されるので、集音部１４によって撮影方向の音響のみを集音しても、画像の表示位置に対応させて音像を定位させることができる。
【００６４】
また、調整信号生成部５０２は、位置情報信号Ｓpで示された角度情報を用いて提示調整信号ＣＰを生成すると共に、表示位置信号ＰＤに基づいて、提示調整信号ＣＰを補正するものとしても良い。
【００６５】
図１０は角度情報を用いた場合の動作を示している。図１０Ａは、聴取位置ＨＰにおいて、左側に位置する音響出力部６０-Lと右側に位置する音響出力部６０-Rが、センター位置ＭＰに対して角度αを有するように設置されていると設置情報ＣＳaによって示された場合である。ここで、位置情報信号Ｓpに基づく角度情報、すなわち角度信号Ｓpaによって示されたセンター位置ＭＰに対する右方向の方位角φを正の値、左方向の方位角φを負の値としたとき、音響信号Ｓaに対して式（６）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。
【００６６】
ここで、表示画像が画像表示領域から外れて途切れてしまうことが無いよう画像の動き量より表示位置の移動が少なくされると、角度信号Ｓpaに基づいて信号レベルを調整したとき、被写体の位置よりも音像の位置が外側となってしまうおそれがある。このため、調整信号生成部５０２は、提示調整信号ＣＰを生成する際に表示位置信号ＰＤを用いて補正を行う。例えば表示位置が画像表示領域の左側端部に近づいたときには、左側の音圧比が高くなるように音圧比を補正して、音像の位置を画像表示領域の中央に近づける。また、表示位置が左側端部に達したときには、その後角度信号Ｓpaによって方位角φが左方向に増加しても、提示調整信号ＣＰを表示位置が左側端部に達した状態で保持させる。
【００６７】
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、式（６）に応じた音圧比となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Lと音響出力信号ＳAout-Rを生成すると共に、この音響出力信号ＳAout-Lを音響出力部６０-L、音響出力信号ＳAout-Rを音響出力部６０-Rにそれぞれ供給する。
【００６８】
図１０Ｂは、上側に位置する音響出力部６０-Uと下側に位置する音響出力部６０-Dが、センター位置ＭＰに対して角度βを有するように設置されていると設置情報ＣＳaによって示された場合である。ここで、角度信号Ｓpaによって示されたセンター位置ＭＰに対する下方向のピッチ角δを正の値、上方向のピッチ角δを負の値としたときには、音響信号Ｓaに対して式（７）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。
【００６９】
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、式（７）に応じた音圧比となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Uと音響出力信号ＳAout-Dを生成すると共に、この音響出力信号ＳAout-Uを音響出力部６０-U、音響出力信号ＳAout-Dを音響出力部６０-Dにそれぞれ供給する。
【００７０】
このように、位置情報信号Ｓpで示された方位角φやピッチ角δに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の信号レベルが調整されるので、集音部１４によって撮影方向の音響のみを集音しても、音像を正しく定位させることができる。すなわち、撮影方向の音のみを集音しても、音源の移動に合わせて音像を移動させることができる。また、表示画像が画像表示領域から外れてしまうことが無いように表示位置が制御されても、表示画像の位置に合わせて音像を定位させることができる。
【００７１】
次に、距離情報を用いた動作について説明する。図１１は、左側に位置する音響出力部６０-Lと右側に位置する音響出力部６０-Rがセンター位置ＭＰと角度αを有するように設置されており、聴取位置ＨＰと音響出力部６０-L，６０-Rとの間隔が距離ＫＳであることが設置情報ＣＳaによって示された場合である。位置情報信号Ｓpの距離情報すなわち距離信号Ｓpbによって所望の被写体ＯＢまでが距離ＬＯで、角度信号Ｓpaによって示された方位角や表示位置ＪＤに基づいて算出した方位角が方位角φであるとき、所望の被写体ＯＢから音響出力部６０-Lまでの距離ＬSLは式（８）で算出できる。また、所望の被写体ＯＢから音響出力部６０-Rまでの距離ＬSRは式（９）で算出できる。
【００７２】
ＬSL＝√(ＫＳ2＋ＬＯ2−２×ＫＳ×ＬＯ×ｃｏｓ(α＋φ)) ・・・（８）
ＬSR＝√(ＫＳ2＋ＬＯ2−２×ＫＳ×ＬＯ×ｃｏｓ(α−φ)) ・・・（９）
このため、被写体ＯＢから音響出力部６０-Lまでの距離と被写体ＯＢから音響出力部６０-Rまでの距離との距離差ＤLRは、「ＤLR＝ＬSL−ＬSR」となる。すなわち、距離差ＤLRだけ音響出力部６０-Lから出力される音は、音響出力部６０-Rから出力される音に比べて遅れたものとなる。
【００７３】
調整信号生成部５０２は、距離差ＤLRを算出すると共に、この距離差ＤLRを音速Ｖauで除算して遅延時間ＴLRを算出して、この遅延時間ＴLRだけ音響出力信号の出力が時間差を生じるように位相の制御すなわち出力タイミングを制御する提示調整信号ＣＰを生成して、音響出力信号生成部５２に供給する。なお、上述したように信号レベルを調整するための提示調整信号ＣＰを生成して、この提示調整信号ＣＰに対して、遅延時間ＴLRだけ音響出力信号の出力が時間差を生じるように補正を行い、この補正後の信号を提示調整信号ＣＰとして音響出力信号生成部５２に供給しても良い。
【００７４】
音響出力信号生成部５２は、提示調整信号ＣＰに基づいて音響出力信号ＳAout-L，ＳAout-Rの信号レベルを調整するだけでなく、音響出力信号ＳAout-Lを遅延時間ＴLRだけ音響出力信号ＳAout-Rよりも遅延させて音響出力部６０-Lに供給する。
【００７５】
このように、位置情報信号Ｓpで示された距離ＬＯに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の位相を調整することで、集音部１４によって撮影方向の音響のみを集音しても、この集音した音に基づいて臨場感の高い音響提示を行うことが可能となり、聴取者は現実感の高い良好な再生音場を得ることができる。
【００７６】
例えば図１２に示すように、撮影画像を表示する際には表示画像Ｚaよりも広い画像表示領域Ｚbを設け、撮影画像の動き検出を行い被写体の動きに合わせて表示画像の表示位置を表示位置Ｐ1から表示位置Ｐ2に移動させる場合、所望の被写体ＯＢの移動に合わせて音像を位置Ｑ1から位置Ｑ2に移動させることができるので、臨場感の高いと共に移動感のある音響提示を行うことができる。
【００７７】
このように上述の実施の形態によれば、集音部１４によって撮影方向の音響のみを集音しても、音源の移動に合わせて音像を移動させることができると共に、表示画像が画像表示領域から外れてしまうことが無いように表示位置が制御されても、表示画像の位置に合わせて音像を定位させることができる。
【００７８】
さらに、図１３Ａに示す場合に比べて図１３Ｂや図１３Ｃに示すように多くの音響出力部６０を設けるものとして、設置情報ＣＳaと表示位置信号ＰＤに基づいて、表示位置に応じた位置の音響出力部６０を選択して、この選択した音響出力部６０に対して音響出力信号ＳAoutを供給するように提示調整信号ＣＰを生成してもよい。この場合には、表示画像に合わせて音像を容易に設定できる。
【００７９】
ところで、上述の実施の形態では、超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を取り除いている。しかし、自然環境に近い再生音場を作るためには、超指向性マイクロフォンで集音した音だけでなく反射音等の間接音や雑音等も再生することが好ましい。
【００８０】
そこで、第２の実施の形態として、周囲の環境音も提示できる音響提示システムの構成を図１４に示す。なお、図１４において、図１と対応する部分については同一符号を付し、詳細な説明は省略する。環境音集音部１５は、図１５Ａに示す指向特性の無指向性マイクロフォンや図１５Ｂに示す指向特性の前方指向性マイクロフォン等を用いて構成されており、環境音を集音して環境音信号Ｓsaを生成したのち情報信号生成部１８に供給する。ここで、前方指向性マイクロフォンを用いる場合には、前方指向性マイクロフォンを撮影者の周囲に複数設けるものとすれば、環境音をもれなく集音できる。なお、図１５Ｃの指向特性は超指向性マイクロフォンを示している。
【００８１】
情報信号生成部１８は、供給された画像信号Ｓvや音響信号Ｓaと位置情報信号Ｓpおよび環境音信号Ｓsaに基づいて情報信号ＷＳを生成して信号記録再生装置２０に供給する。
【００８２】
情報信号分離部３２は、情報信号ＲＳから画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpおよび環境音信号Ｓsaを分離して、画像信号Ｓvを画像出力部４５、音響信号Ｓaを音響出力信号生成部５２、位置情報信号Ｓpを提示制御部５０、環境音信号Ｓsaを環境音処理部５３に供給する。
【００８３】
環境音処理部５３は、設置情報供給部５３１と環境音信号調整部５３２を有している。設置情報供給部５３１は、いずれの音響出力部６０-1〜６０-nから環境音を出力するか、また環境音を出力する音響出力部では、どのようなスピーカが用いられているか等を示す設置情報ＣＳbを保持し、あるいはユーザの操作等によって設置情報ＣＳbを生成して、設置情報ＣＳbを環境音信号調整部５３２に供給する。なお、音響出力部６０-1〜６０-kとは別個に、環境音出力のための音響出力部を有している場合には、この音響出力部に関する情報も設置情報ＣＳbに含ませる。
【００８４】
環境音信号調整部５３２は、設置情報供給部５３１から供給された設置情報ＣＳbに基づき、環境音信号Ｓsaの信号レベルを使用する音響出力部毎に調整して、各音響出力部から環境音が出力されたとき、環境音の音像が実際の音像位置とは異なった方向に定位されてしまうことを防止する。この環境音信号調整部５３２で生成された音響出力部毎の環境音重畳信号Ｓsbは、信号加算部５４に供給される。
【００８５】
信号加算部５４は、音響出力信号生成部５２から供給された音響出力信号ＳAoutと環境音信号調整部５３２から供給された環境音重畳信号Ｓsbを、対応する音響出力部６０毎に加算して、音響出力信号ＳBoutとして音響出力部６０に供給する。例えば、特定音源からの音と環境音を音響出力部６０-kから出力する場合、音響出力信号ＳAout-kと環境音重畳信号Ｓsb-kを加算して、音響出力信号ＳBout-kを音響出力部６０-kに供給する。なお、特定音源から出力された音を前方に位置する音響出力部から出力し、環境音を後方に位置する音響出力部から出力する場合には、音響出力信号ＳAoutを音響出力信号ＳBoutとして前方に位置する音響出力部に供給すると共に、環境音重畳信号Ｓsbを音響出力信号ＳBoutとして後方に位置する音響出力部に供給する。
【００８６】
このように、第２の実施の形態によれば、集音部１４によって特定音源からの音のみを集音して、音像を正しく定位させることができるだけでなく、周囲の環境音も正しく再生できるので、自然で臨場感の高い音響提示を行うことが可能となり、聴取者は自然でより現実感の高い再生音場を得ることができる。
【００８７】
なお、上述の実施の形態では、情報信号を生成して記録媒体に記録する構成を示したが、信号記録再生装置に変えて信号伝送装置を設けるものとし、この情報信号を伝送する構成としても良い。
【００８８】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１６に示す。コンピュータは、図１６に示すようにＣＰＵ(Central Processing Unit)７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５が接続されている。
【００８９】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部７１１から命令が入力されると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００９０】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の音響提示システムに於ける信号処理をコンピュータで実行させるための音響提示プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて音響出力信号を生成して、信号出力部７１５から出力する。また、記録媒体に音響提示プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、音響プログラムを記録媒体に記録しあるいは記録媒体に記録されている音響プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、音響プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した音響プログラムをコンピュータで実行するものとしても良い。
【００９１】
図１７は、音響提示プログラムの全体構成を示すフローチャートである。
ステップＳＴ１では、音響取得を行うか否かを判別して、音響取得を行う場合にはステップＳＴ２に進み、音響取得を行わない場合にはステップＳＴ６に進む。
【００９２】
ステップＳＴ２では、情報信号の生成を行う。すなわち、信号入力部７１４に入力された角度信号Ｓpaや距離信号Ｓpbに基づいて位置情報信号Ｓpを生成する。また、この位置情報信号Ｓpと、信号入力部７１４に入力された画像信号Ｓvや音響信号Ｓaを例えば多重化して１つの情報信号ＷＳを生成する。
【００９３】
ステップＳＴ３では、生成した情報信号を記録媒体に記録するあるいは外部機器に伝送するように設定されているか否かを判別する。ここで、情報信号の記録や伝送を行うように設定されている場合にはステップＳＴ４に進み、情報信号の記録や伝送を行わないように設定されている場合にはステップＳＴ５に進む。
【００９４】
ステップＳＴ４では、情報信号の記録や伝送を行いステップＳＴ５に進む。ここで、情報信号を記録する場合には、情報信号を記録媒体ドライブ７１２に供給して、記録媒体ドライブ７１２に装着されている記録媒体に記録する。また、情報信号を伝送する場合には、通信部７１３を介して情報信号を出力する。
【００９５】
ステップＳＴ５では、音響取得を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときにはステップＳＴ６に進み、終了操作が行われていないときにはステップＳＴ２に戻り、情報信号の生成を継続する。
ステップＳＴ６では、音響再生を行うか否かを判別して、音響再生を行う場合にはステップＳＴ７に進み、音響再生を行わない場合にはステップＳＴ１に戻る。
【００９６】
ステップＳＴ７では、音響出力信号に基づいて音響出力を行う音響出力部の設置情報ＣＳaを設定する。例えば、入力部７１１を操作して音響出力部６０の設置位置やどのようなスピーカを用いているか等の設置情報ＣＳaを入力する。あるいはハード・ディスク・ドライブ７０４等に予め記憶されている設置情報ＣＳaを読み出す。
【００９７】
ステップＳＴ８では、情報信号の分離処理を行う。すなわち、記録媒体から読み出した情報信号や、通信部７１３で受信した情報信号あるいは音響取得処理で生成された情報信号から、画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離してステップＳＴ９に進む。
【００９８】
ステップＳＴ９は、画像信号Ｓvを用いて動き検出を行う。この動き検出によって検出した動きに応じて画像信号Ｓvに基づく画像の表示位置を移動させて、新たな画像出力信号ＳVoutを生成すると共に画像の表示位置を示す表示位置信号ＰＤを生成してステップＳＴ１０に進む。
【００９９】
ステップＳＴ１０では、表示位置信号ＰＤと設置情報ＣＳaおよび位置情報信号Ｓpに基づき、提示調整信号ＣＰを生成する。
ステップＳＴ１１では、音響信号Ｓaと提示調整信号ＣＰに基づき複数の音響出力信号ＳAout-1〜ＳAout-ｎを生成して信号出力部７１５から出力する。
【０１００】
ステップＳＴ１２では、音響再生を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときにはステップＳＴ１に戻る。また、終了操作が行われていないときにはステップＳＴ９に戻り、画像の表示位置に応じた音響出力信号ＳAout-1〜ＳAout-ｎの生成および出力を継続する。このような処理を行って得られた音響出力信号ＳAoutを音響出力部６０に供給することで、ソフトウェアによっても臨場感の高い音響提示を行える。
【０１０１】
【発明の効果】
この発明によれば、集音手段を用いて特定音源からの音を取得して音響信号が生成されると共に、特定音源方向の撮影を行って生成した画像信号を用いて動き検出が行われて画像の表示位置の移動や表示位置を示す表示位置信号が生成される。この音響信号と表示位置信号、および音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報とに基づいて、複数の音響出力信号が生成されて複数の音響出力手段に供給される。このため、画像の表示位置に対応させて音像を定位させることが簡単にできると共に、特定音源の位置が移動したときには音像の位置も移動されて移動感のある音響提示ができる。
【０１０２】
また、環境音を取得して環境音信号が生成されると共に、複数の音響出力手段の設置情報と環境音信号に基づき、環境音重畳信号が生成されて、この環境音重畳信号が、対応する音響出力信号に加算されるので、より自然で臨場感の高い音響提示を行うことができる。
【０１０３】
さらに、特定音源と集音手段の位置関係から位置情報信号が生成されて、この位置情報信号も用いて複数の音響出力信号が生成されるので、臨場感の高い音響提示を行うことができる。
【図面の簡単な説明】
【図１】音響提示システムの構成を示す図である。
【図２】撮像部の構成を示す図である。
【図３】位置検出部の構成を示す図である。
【図４】画像信号処理部の構成を示す図である。
【図５】シーンチェンジ検出部の構成を示す図である。
【図６】動き検出部の構成を示す図である。
【図７】画像位置移動部の構成を示す図である。
【図８】画像位置決定回路の構成を示す図である。
【図９】表示位置信号を用いた場合の動作を説明するための図である。
【図１０】角度情報を用いた場合の動作を説明するための図である。
【図１１】距離情報を用いた場合の動作を説明するための図である。
【図１２】音像の位置を示す図である。
【図１３】音響出力部の配置を示す図である。
【図１４】第２の実施の形態の構成を示す図である。
【図１５】マイクロフォンの指向特性を示す図である。
【図１６】コンピュータを用いた構成を示す図である。
【図１７】音響提示プログラムを示すフローチャートである。
【図１８】従来の動作を示す図である。
【符号の説明】
１０・・・音響取得装置、１２・・・撮像部、１４・・・集音部、１５・・・環境音集音部、１６・・・位置検出部、１８・・・情報信号生成部、２０・・・信号記録再生装置、３０・・・音響再生装置、３２・・・情報信号分離部、４０・・・画像信号処理部、４１・・・シーンチェンジ検出部、４２・・・動き検出部、４３・・・画像位置移動部、４５・・・画像出力部、５０・・・提示制御部、５２・・・音響出力信号生成部、５３・・・環境音処理部、５４・・・信号加算部、６０・・・音響出力部、９０・・・ビデオカメラ、１６１・・・角度センサ、１６２・・・測距センサ、１６３・・・極座標算出部、５０１・・・設置情報供給部、５０２・・・調整信号生成部、５３１・・・設置情報供給部、５３２・・・環境音信号調整部
【発明の属する技術分野】
この発明は、音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラムに関する。詳しくは、特定音源からの音を集音手段によって取得して音響信号を生成し、特定音源の方向に対する撮影を行い画像信号を生成し、画像信号の画像の動き検出を行い、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成し、音響出力信号に基づいた音響出力を行う複数の音響出力手段に関する設置情報と表示位置信号に基づいて、複数の音響出力信号を生成して複数の音響出力手段に供給することにより、画像の表示位置の移動に合わせて音像の位置を移動させるものである。
【０００２】
【従来の技術】
従来の音響提示システムでは、例えばステレオマイクロフォンを用いて右側方向の音響と左側方向の音響を集音して、左右チャンネルの音響信号を生成すると共に、再生時には右側に配置されているスピーカを右チャネルの音響信号に基づいて駆動し、左側に配置されているスピーカを左チャネルの音響信号に基づいて駆動することで、モノラルマイクロフォンを用いる場合よりも臨場感を高める方法が行われている。
【０００３】
また、人間の頭蓋骨模型を作り、この模型の左耳と右耳の内部にマイクを設けて、人間の耳から入った音を擬似的に集音すると共に、再生時にはヘッドホンを用いる所謂バイノーラルサウンドも実用化されている。
【０００４】
また、近年では、臨場感をさらに向上させるため、前方のスピーカ以外に補助スピーカを設けて、この補助スピーカから反射音や後方からの音および低周波数領域の音等を再生可能とする方式、所謂５．１ｃｈや６．１ｃｈ方式のサラウンド方式等も実用化されている。
【０００５】
さらに、音響信号に対して信号処理を行うことで再生音場を再現や、３次元音場を再現することが行われている。例えば、無響室で集音した音やコンパクトディスク等に記録された音に、所望の空間でのインパルス応答（音響伝達関数）を畳み込み、所望の空間の特性を再生音場で再現させる。すなわち、所望の空間の音源位置で基準音を出力させると共に視聴位置で集音を行い、音源位置で出力された音と視聴位置で集音された音との関係から所望の空間のインパルス応答を求めることができる。このため、インパルス応答を実現するフィルタを登録しておき、音の再生時には、この登録されたフィルタを用いるものとすれば、所望の空間の特性を再生音場で再現できる。また、種々のフィルタを登録して、選択可能とすれば、種々の再生音場を再現できると共に、三次元音場を再現することもできる。
【０００６】
【発明が解決しようとする課題】
ところで、画像と音響を別々に記録した場合、ビデオカメラの向きに関係なく音響を記録すると、記録された音響信号に基づく再生音は方向性を持たなくなってしまい、臨場感に欠けたものとなってしまう。
【０００７】
また、このように記録された音響を、臨場感を高めて再生するためには、画像を見ながら音像の位置を画像に合わせる操作を人偽的に行わなければならず、簡単に臨場感の高い再生音を得ることができない。
【０００８】
また、ビデオカメラにマイクロフォンを設けて画像と音響を記録した場合、図１９Ａに示すように、所望の被写体ＯＢに合わせてビデオカメラ９０の撮像方向を変更すると、図１９Ｂに示すように、再生画像がフレーム「Ｆa」「Ｆb」「Ｆc」の順に変更されても所望の被写体ＯＢの位置を表示画像の中央に保つことができる。しかし、所望の被写体に対応する音像も位置Ｑmに固定されてしまう。このため、再生時には、表示画像の背景の動きによって被写体の動きを表現できるが、音像の位置は固定されてしまい、臨場感の高い再生音場を得ることができない。
【０００９】
そこで、この発明では、表示画像に対応させて容易に臨場感の高い再生音場を得ることができる音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラムを提供するものである。
【００１０】
【課題を解決するための手段】
この発明に係る音響提示システムは、特定音源からの音を取得して音響信号を生成する集音手段と、特定音源の方向に対する撮影を行い画像信号を生成する撮像手段と、集音手段で生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、音響出力信号に基づいた音響出力を行う複数の音響出力手段と、画像信号の画像の動き検出を行い、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する画像処理手段と、複数の音響出力手段に関する設置情報と表示位置信号に基づき、音響出力信号生成手段における複数の音響出力信号の生成動作を制御する提示制御手段とを有するものである。また、環境音を取得して環境音信号を生成する環境音集音手段と、設置情報と前記環境音信号に基づき、環境音重畳信号を生成する環境音処理手段と、音響出力手段毎に、対応する環境音信号を音響出力信号に加算する信号加算手段とを有するものである。
【００１２】
さらに音響再生装置は、特定音源からの音を取得して生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、特定音源の方向に対する撮影を行うことにより生成された画像信号の画像の動き検出を行い、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する画像処理手段と、音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と表示位置信号に基づき、音響出力信号生成手段における複数の音響出力信号の生成動作を制御する提示制御手段とを有するものである。また、環境音を取得して生成された環境音信号と設置情報に基づいて環境音重畳信号を生成する環境音処理手段と、音響出力手段毎に、対応する音響出力信号を環境音信号に加算する信号加算手段とを有するものである。
【００１３】
次に、この発明に係る音響提示方法は、特定音源からの音を集音手段によって取得して音響信号を生成し、特定音源の方向に対する撮影を行い画像信号を生成し、画像信号の画像の動き検出を行い、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成し、音響出力信号に基づいた音響出力を行う複数の音響出力手段に関する設置情報と表示位置信号に基づいて、複数の音響出力信号を生成して複数の音響出力手段に供給するものである。
【００１５】
さらに音響再生方法は、特定音源の方向に対する撮影を行うことにより生成された画像信号の画像の動き検出を行い、画像信号の表示画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成し、音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、表示位置信号と、特定音源からの音を取得して生成した音響信号に基づいて、複数の音響出力信号を生成するものである。
【００１６】
次に、この発明に係るコンピュータ読み取り可能な記録媒体は、コンピュータに、特定音源の方向に対する撮影を行って生成された画像信号の画像の動き検出を行って、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する手順と、音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、表示位置信号に基づいて、提示調整信号を生成する手順と、特定音源からの音を取得して生成した音響信号と提示調整信号に基づいて、複数の音響出力手段に供給する音響出力信号を生成する手順とを実行させる実行させるプログラムを記録したものである。
【００１７】
また、音響提示プログラムは、コンピュータに、特定音源の方向に対する撮影を行って生成された画像信号の画像の動き検出を行って、画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する手順と、音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、表示位置信号に基づいて提示調整信号を生成する手順と、特定音源からの音を取得して生成した音響信号と提示調整信号に基づいて、複数の音響出力手段に供給する音響出力信号を生成する手順とを実行させるものである。
【００１８】
この発明においては、撮像手段によって撮影画像の画像信号が生成されると共に、超指向性マイクロフォン等を用いた集音手段によって、特定音源例えば撮影方向の音を取得して音響信号が生成される。また、特定音源と集音手段の位置関係として撮影方向や被写体までの距離を示す位置情報信号や環境音信号が生成される。この音響信号と画像信号および位置検出信号や環境音信号に基づいて情報信号を生成することで音響取得が行われる。
【００１９】
また情報信号を用いて音響再生を行う場合には、情報信号から音響信号と画像信号および位置検出信号や環境音信号が分離される。この分離された画像信号を用いて動き検出が行われて、例えば所望の被写体の動きに応じて撮影画像の表示位置が移動させると共に、この撮影画像の表示位置を示す表示位置信号が生成される。また、表示位置信号と、音響出力信号に基づいて音響出力を行う複数の音響出力手段の数や設置位置等を示す設置情報等に基づき提示調整信号が生成される。この提示調整信号と音響信号に基づき、複数の音響出力信号が生成されると共に音響出力信号の信号レベルや位相が制御されて、複数の音響出力手段に供給される。
【００２０】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明におけ音響提示システムの全体構成を示している。音響取得装置１０の撮像部１２では、撮影画像の画像信号Ｓvを生成して情報信号生成部１８に供給する。
【００２１】
図２は撮像部１２の構成を示している。撮像レンズ１２１を通して入射された光は、撮像素子部１２２に入射されて、撮像面上に撮影画像が結像される。撮像素子部１２２は固体撮像素子例えばＣＣＤを用いて構成されており、光電変換によって得られた撮影画像に基づく信号を後述する駆動部１３２からの駆動信号ＲＣに基づいて読み出し、撮影画像の三原色撮像信号Ｓvaを生成して前処理部１２３に供給する。
【００２２】
前処理部１２３では、撮像信号Ｓvaからノイズ成分を除去する処理、例えば相関二重サンプリング処理を行い、ノイズ除去された撮像信号ＳvaをＡ／Ｄ変換部１２４に供給する。Ａ／Ｄ変換部１２４では、撮像信号Ｓvaをディジタルの画像信号Ｓvbに変換してフィードバッククランプ部１２５に供給する。フィードバッククランプ部１２５では、ブランキング期間の黒レベル信号と基準信号との誤差を検出してＡ／Ｄ変換部１２４に供給することで、安定した黒レベルで所要の大きさの画像信号Ｓvbを得ることが出来るように、Ａ／Ｄ変換動作を制御する。補正処理部１２６では、画像信号Ｓvbに対してシェーディング補正や撮像素子の欠陥に対する補正処理等を行う。この補正処理部１２６で補正処理が行われた画像信号Ｓvbは、プロセス処理部１２７に供給される。
【００２３】
プロセス処理部１２７では、補正処理後の画像信号Ｓvbに対してγ処理、輪郭補償処理、ニー補正処理等を行う。この信号処理が行われた画像信号Ｓvbは、画像信号Ｓvとして情報信号生成部１８に供給される。また、画像信号Ｓvは、モニタ部１２８に供給されて、このモニタ部１２８に画像信号Ｓvに基づく画像が表示されて、撮影画像の確認が行われる。
【００２４】
撮像制御部１３０には、操作部１３１が接続されており、操作部１３１をユーザが操作すると、ユーザの操作に応じた操作信号ＰＳが操作部１３１から撮像制御部１３０に供給される。撮像制御部１３０では、この操作信号ＰＳに基づいて各種の制御信号ＣＴを生成して各部の動作を制御することにより、撮像部１２をユーザの操作に応じて動作させる。また、撮像素子部１２２での信号読み出しフレーム周期を設定する制御信号ＴＣを生成して駆動部１３２に供給する。この駆動部１３２では、制御信号ＴＣに基づき駆動信号ＲＣを生成して撮像素子部１２２に供給する。
【００２５】
図１の集音部１４は、マイクロフォンを用いて構成されており、撮像部１２の前面や上部等に固定して設けられている。この集音部１４は、特定音源からの音である撮像部１２の撮像方向からの音を集音して例えばディジタルの音響信号Ｓaを生成して情報信号生成部１８に供給する。この集音部１４で用いるマイクロフォンは、狙った音源の音を拾うことができるように超指向性（鋭指向性）マイクロフォンであるガンマイク等を用いる。このように超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を簡単に取り除くことができる。また、相関利用や複数マイクを用いて各マイクの遅延量を補正する等の音源分離手法によって、狙った音源の音を拾うことができる。
【００２６】
位置検出部１６は、特定音源と集音部１４の位置関係、例えば所望の被写体を特定音源として、この所望の被写体を撮影したときの撮像設定情報、すなわち撮像部１２の撮像方向や所望の被写体までの距離を検出して、検出結果を示す位置情報信号Ｓpを生成したのち情報信号生成部１８に供給する。
【００２７】
図３は、撮像部１２の撮像方向と所望の被写体までの距離を検出する位置検出部１６の構成を示している。角度センサ１６１は、回転角を測定できるセンサやジャイロ等を用いて角度を測定するものであり、撮像部１２の撮像方向を検出して角度信号Ｓpaを極座標算出部１６３に供給する。例えば基準位置に対する水平方向の角度（以下「方位角」という）φや、基準位置に対する上下方向の角度（以下「ピッチ角」という）δを示す角度信号Ｓpaを生成して極座標算出部１６３に供給する。測距センサ１６２は、光や超音波等を用いてあるいは撮像部１２における焦点位置に基づいて距離を測定するものであり、所望の被写体までの距離ＬＯを検出して距離信号Ｓpbを極座標算出部１６３に供給する。極座標算出部１６３では、角度信号Ｓpaと距離信号Ｓpbから極座標を算出し、ディジタルの位置情報信号Ｓpとして情報信号生成部１８に供給する。
【００２８】
情報信号生成部１８では、供給された画像信号Ｓvや音響信号Ｓaおよび位置情報信号Ｓpに基づいて情報信号ＷＳを生成して信号記録再生装置２０に供給する。
【００２９】
信号記録再生装置２０は、光や磁気あるいは半導体素子等を利用する記録媒体を用いて構成されており、供給された情報信号ＷＳを記録媒体に記録する。また、記録媒体を再生して得られた情報信号ＲＳは、音響再生装置３０の情報信号分離部３２に供給される。
【００３０】
情報信号分離部３２は、情報信号ＲＳから画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離する。さらに、分離された画像信号Ｓvを画像信号処理部４０に供給すると共に、音響信号Ｓaを音響出力信号生成部５２に供給する。さらに、位置情報信号Ｓpを提示制御部５０に供給する。
【００３１】
画像信号処理部４０は、画像信号Ｓvに基づく画像から動きを検出して、検出した動きに応じて画像の表示位置を移動させた画像出力信号ＳVoutと、表示位置を示す表示位置信号ＰＤを生成する。図４は、画像信号処理部４０の概略構成を示しており、画像信号Ｓvは、画像信号処理部４０のシーンチェンジ検出部４１と動き検出部４２と画像位置移動部４３に供給される。
【００３２】
シーンチェンジ検出部４１は、画像信号Ｓvに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。図５は、シーンチェンジ検出部４１の概略構成を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【００３３】
シーンチェンジ検出部４１の遅延回路４１１は、画像信号Ｓvを１フレーム遅延させて遅延画像信号Ｓvjとして差分平均算出回路４１２に供給する。差分平均算出回路４１２は、画像信号Ｓvと遅延画像信号Ｓvjに基づき、２フレーム間の差分平均値Ｄavを算出して正規化回路４１４に供給する。この差分平均値Ｄavの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄavとして正規化回路４１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、画像信号Ｓvに基づく輝度レベルを「ＹＣ」、遅延画像信号Ｓvjに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）に基づいて算出できる。
【００３４】
【数１】
ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部４１に正規化回路４１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００３６】
輝度平均算出回路４１３は、画像信号Ｓvに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路４１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で画像信号Ｓvに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。
【００３７】
【数２】
正規化回路４１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄav／Ｙav ・・・（３）
この正規化回路４１４で生成された正規化値Ｅは、判定回路４１５に供給される。
【００３９】
判定回路４１５は、予め設定された閾値Ｒfを有しており、正規化値Ｅと閾値Ｒfを比較して、正規化値Ｅが閾値Ｒfよりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｒf以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路４１５は、この判定結果を示すシーンチェンジ検出信号ＣＨを生成して図４の動き検出部４２と画像位置移動部４３に供給する。
【００４０】
このように、正規化回路４１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路４１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００４１】
また、上述のシーンチェンジ検出部４１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。
【００４２】
動き検出部４２は、シーンチェンジ検出部４１からのシーンチェンジ検出信号ＣＨによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図６は、動き検出部４２の構成を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。
【００４３】
動き検出部４２の遅延回路４２１は、画像信号Ｓvを１フレーム遅延させて遅延画像信号Ｓvkとして画像位置切替回路４２２に供給する。画像位置切替回路４２２は、遅延画像信号Ｓvkに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号Ｓvlを順次生成する。この生成された画像信号Ｓvlは、差分演算回路４２３に供給される。また、画像位置切替回路４２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路４２４に供給する。
【００４４】
差分演算回路４２３は、画像信号Ｓvlと画像信号Ｓvとの差分値ＤＭを順次算出して、最小値判定回路４２４に供給する。
最小値判定回路４２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号Ｓvlを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路４２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路４２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の画像位置移動部４３に供給する。
【００４５】
画像位置移動部４３は、シーンチェンジ検出信号ＣＨと動き検出情報ＭＶＤに基づき表示位置を決定する。さらに、決定した表示位置に画像を表示する画像出力信号ＳVoutを生成する。
【００４６】
図７は、画像位置移動部４３の構成を示している。画像位置移動部４３の画像位置決定回路４３１は、シーンチェンジ検出信号ＣＨと動き検出情報ＭＶＤに基づき表示位置を決定して、この表示位置を示す表示位置信号ＰＤを書込読出制御回路４３７と後述する提示制御部５０に供給する。
【００４７】
図８は、画像位置決定回路４３１の構成を示している。動き累積回路４３２は、シーンチェンジ検出信号ＣＨに基づいて連続シーンの期間を判別すると共に、この連続シーンの期間中における動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成して初期位置決定回路４３３と表示範囲判定回路４３４に供給する。
【００４８】
初期位置決定回路４３３は、動き累積値ＭＶＴの振れ幅ＥＷを求めることでシーン毎に表示位置の移動範囲を判別し、この移動範囲が画像表示領域内の移動可能範囲（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離）の中央となるように、連続シーンの最初の表示画像に対する表示位置を決定して、初期位置ＰＰとして表示範囲判定回路４３４と表示位置決定回路４３６に供給する。
【００４９】
表示範囲判定回路４３４は、初期位置ＰＰに連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるか否かを、初期位置ＰＰと動き累積値ＭＶＴに基づいて判別する。この表示範囲判定回路４３４での判別結果を示す判別結果信号ＣＪaは動き補正回路４３５に供給される。
【００５０】
動き補正回路４３５は、判別結果信号ＣＪaで表示画像が画像表示領域に入りきらないことが示されたとき、表示画像が画像表示領域に入りきるように動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとして表示位置決定回路４３６に供給する。また、判別結果信号ＣＪaで表示画像が画像表示領域に入りきることが示されたとき、動き検出情報ＭＶＤの補正を行うことなく表示位置決定回路４３６に供給する。
【００５１】
また、動き累積値ＭＶＴの振れ幅ＷＴを初期位置決定回路４３３から動き補正回路４３５に供給すると共に、画像表示領域内の移動可能範囲を動き補正回路４３５に予め記憶させておくものとし、振れ幅と移動可能範囲を用いて動き検出情報ＭＶＤを補正するための補正係数を設定することもできる。この場合には、表示位置を移動しても表示画像が画像表示領域内となるように動き量が補正されるので、表示位置が移動可能範囲を超えて制限されてしまうことを防止できる。
【００５２】
表示位置決定回路４３６は、初期位置決定回路４３３から供給された初期位置ＰＰを連続シーンの最初の表示位置とする。その後、動き検出情報ＭＶＥに基づき、動き検出情報ＭＶＥで示された動きベクトルの方向とは逆方向に画像を移動させた位置を表示位置として、この表示位置を示す表示位置信号ＰＤを順次出力して、図７の書込読出制御回路４３７に供給する。また、表示位置信号ＰＤを図１に示す提示制御部に供給する。
【００５３】
ここで、表示位置信号ＰＤに基づいて画像の表示位置を切り換える場合、図７に示すように、例えば画像表示領域に対応した記憶領域を有する画像メモリ４３８を設けるものとし、書込読出制御回路４３７は、画像メモリ４３８に画像信号Ｓvを書き込む際の書込位置を、表示位置信号ＰＤに基づいて表示位置に対応させる。このように画像信号Ｓvを書き込むものとすれば、表示領域に対応した画像メモリ４３８から画像信号を読み出すだけで表示位置を容易に移動できる。
【００５４】
書込読出制御回路４３７は、画像メモリ４３８に画像信号を書き込むための書込制御信号ＭＷＣと、画像メモリ４３８に書き込まれている画像信号を読み出すための読出制御信号ＭＲＣを生成して、画像メモリ４３８に供給する。ここで、書込読出制御回路４３７は、上述したように画像位置決定回路４３１で決定された表示位置と対応する画像メモリ４３８の記憶位置に画像信号を記憶させるため、表示位置信号ＰＤに基づいて書込制御信号ＭＷＣを生成する。
【００５５】
画像メモリ４３８は、書込制御信号ＭＷＣに基づき、画像位置決定回路４３１で決定された表示位置に対応する記憶領域に、この表示位置の決定が行われたフレームの画像信号Ｓvを記憶する。なお、画像信号Ｓvが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ４３８は、書込読出制御回路４３７からの読出制御信号ＭＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像出力信号ＳVoutとして画像出力部４５に供給する。画像出力部４５では、供給された画像出力信号ＳVoutに基づいて表示位置を撮影画像の動きに応じて移動させながら画像提示を行う。
【００５６】
図１の提示制御部５０は、設置情報供給部５０１と調整信号生成部５０２を有している。設置情報供給部５０１は、後述する複数の音響出力部６０-1〜６０-nがどのような位置に設けられており、どのようなスピーカが用いられているか等を示す設置情報ＣＳaを保持し、あるいはユーザの操作等によって設置情報ＣＳaを生成して、この設置情報ＣＳaを調整信号生成部５０２に供給する。
【００５７】
調整信号生成部５０２は、設置情報供給部５０１から供給された設置情報ＣＳaと画像信号処理部４０から供給された表示位置信号ＰＤに基づき、あるいは、さらに情報信号分離部３２から供給された位置情報信号Ｓpを用いるものとして、これらの信号に基づいて提示調整信号ＣＰを生成して、音響出力信号生成部５２に供給する。この提示調整信号ＣＰは、各音響出力部６０-1〜６０-nに供給する音響出力信号ＳAout-1〜ＳAout-nの信号レベルや出力タイミングを調整して音像の位置や臨場感を制御するものである。
【００５８】
音響出力信号生成部５２は、音響信号Ｓaに対して提示調整信号ＣＰに基づいた信号レベル調整や出力タイミング調整を行い、音響出力信号ＳAout-1を生成して音響出力部６０-1に供給する。同様に、提示調整信号ＣＰに基づいた信号レベル調整や位相調整を行い、音響出力信号ＳAout-2〜ＳAout-nを生成して音響出力部６０-2〜６０-nに供給する。
音響出力部６０-1〜６０-nは、スピーカを用いて構成されており、供給された音響出力信号ＳAout-1〜ＳAout-nに基づいて音響出力を行う。
【００５９】
次に動作について説明する。図９は表示位置信号を用いた場合の動作を説明するための図である。調整信号生成部５０２は、設置情報ＣＳaと表示位置信号ＰＤで示された表示位置に基づき、音響信号Ｓaに対して式（４），（５）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。なお、式（４），（５）において、「Ｘ，Ｙ」は画像表示領域における画像の移動範囲を示す座標値であり「ｘ，ｙ」は表示位置信号ＰＤで示された表示位置ＪＤを示す座標値である。
【００６０】
【００６１】
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、音圧比が「（ｘ／Ｘ）：（Ｘ−ｘ）／Ｘ」となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Lと音響出力信号ＳAout-Rを生成すると共に、この音響出力信号ＳAout-Lを音響出力部６０-L、音響出力信号ＳAout-Rを音響出力部６０-Rにそれぞれ供給する。
【００６２】
また、図９Ｂに示すように、設置情報ＣＳaによって音響出力部６０-LU，６０-LD，６０-RU，６０-RDが、画像表示領域の４角に設けられていることが示された場合には、左右方向だけでなく上下方向の音響出力部の位置も考慮して、音響出力部６０-LU，６０-LD，６０-RU，６０-RDに供給する音声出力信号ＳAout-LU，ＳAout-LD，ＳAout-RU，ＳAout-RDの信号レベルを調整するための提示調整信号ＣＰを生成する。
【００６３】
このように、表示位置信号ＰＤに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の信号レベルが調整されるので、集音部１４によって撮影方向の音響のみを集音しても、画像の表示位置に対応させて音像を定位させることができる。
【００６４】
また、調整信号生成部５０２は、位置情報信号Ｓpで示された角度情報を用いて提示調整信号ＣＰを生成すると共に、表示位置信号ＰＤに基づいて、提示調整信号ＣＰを補正するものとしても良い。
【００６５】
図１０は角度情報を用いた場合の動作を示している。図１０Ａは、聴取位置ＨＰにおいて、左側に位置する音響出力部６０-Lと右側に位置する音響出力部６０-Rが、センター位置ＭＰに対して角度αを有するように設置されていると設置情報ＣＳaによって示された場合である。ここで、位置情報信号Ｓpに基づく角度情報、すなわち角度信号Ｓpaによって示されたセンター位置ＭＰに対する右方向の方位角φを正の値、左方向の方位角φを負の値としたとき、音響信号Ｓaに対して式（６）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。
ここで、表示画像が画像表示領域から外れて途切れてしまうことが無いよう画像の動き量より表示位置の移動が少なくされると、角度信号Ｓpaに基づいて信号レベルを調整したとき、被写体の位置よりも音像の位置が外側となってしまうおそれがある。このため、調整信号生成部５０２は、提示調整信号ＣＰを生成する際に表示位置信号ＰＤを用いて補正を行う。例えば表示位置が画像表示領域の左側端部に近づいたときには、左側の音圧比が高くなるように音圧比を補正して、音像の位置を画像表示領域の中央に近づける。また、表示位置が左側端部に達したときには、その後角度信号Ｓpaによって方位角φが左方向に増加しても、提示調整信号ＣＰを表示位置が左側端部に達した状態で保持させる。
【００６７】
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、式（６）に応じた音圧比となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Lと音響出力信号ＳAout-Rを生成すると共に、この音響出力信号ＳAout-Lを音響出力部６０-L、音響出力信号ＳAout-Rを音響出力部６０-Rにそれぞれ供給する。
【００６８】
図１０Ｂは、上側に位置する音響出力部６０-Uと下側に位置する音響出力部６０-Dが、センター位置ＭＰに対して角度βを有するように設置されていると設置情報ＣＳaによって示された場合である。ここで、角度信号Ｓpaによって示されたセンター位置ＭＰに対する下方向のピッチ角δを正の値、上方向のピッチ角δを負の値としたときには、音響信号Ｓaに対して式（７）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、式（７）に応じた音圧比となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Uと音響出力信号ＳAout-Dを生成すると共に、この音響出力信号ＳAout-Uを音響出力部６０-U、音響出力信号ＳAout-Dを音響出力部６０-Dにそれぞれ供給する。
【００７０】
このように、位置情報信号Ｓpで示された方位角φやピッチ角δに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の信号レベルが調整されるので、集音部１４によって撮影方向の音響のみを集音しても、音像を正しく定位させることができる。すなわち、撮影方向の音のみを集音しても、音源の移動に合わせて音像を移動させることができる。また、表示画像が画像表示領域から外れてしまうことが無いように表示位置が制御されても、表示画像の位置に合わせて音像を定位させることができる。
【００７１】
次に、距離情報を用いた動作について説明する。図１１は、左側に位置する音響出力部６０-Lと右側に位置する音響出力部６０-Rがセンター位置ＭＰと角度αを有するように設置されており、聴取位置ＨＰと音響出力部６０-L，６０-Rとの間隔が距離ＫＳであることが設置情報ＣＳaによって示された場合である。位置情報信号Ｓpの距離情報すなわち距離信号Ｓpbによって所望の被写体ＯＢまでが距離ＬＯで、角度信号Ｓpaによって示された方位角や表示位置ＪＤに基づいて算出した方位角が方位角φであるとき、所望の被写体ＯＢから音響出力部６０-Lまでの距離ＬSLは式（８）で算出できる。また、所望の被写体ＯＢから音響出力部６０-Rまでの距離ＬSRは式（９）で算出できる。
【００７２】
ＬSL＝√(ＫＳ2＋ＬＯ2−２×ＫＳ×ＬＯ×ｃｏｓ(α＋φ)) ・・・（８）
ＬSR＝√(ＫＳ2＋ＬＯ2−２×ＫＳ×ＬＯ×ｃｏｓ(α−φ)) ・・・（９）
このため、被写体ＯＢから音響出力部６０-Lまでの距離と被写体ＯＢから音響出力部６０-Rまでの距離との距離差ＤLRは、「ＤLR＝ＬSL−ＬSR」となる。すなわち、距離差ＤLRだけ音響出力部６０-Lから出力される音は、音響出力部６０-Rから出力される音に比べて遅れたものとなる。
【００７３】
調整信号生成部５０２は、距離差ＤLRを算出すると共に、この距離差ＤLRを音速Ｖauで除算して遅延時間ＴLRを算出して、この遅延時間ＴLRだけ音響出力信号の出力が時間差を生じるように位相の制御すなわち出力タイミングを制御する提示調整信号ＣＰを生成して、音響出力信号生成部５２に供給する。なお、上述したように信号レベルを調整するための提示調整信号ＣＰを生成して、この提示調整信号ＣＰに対して、遅延時間ＴLRだけ音響出力信号の出力が時間差を生じるように補正を行い、この補正後の信号を提示調整信号ＣＰとして音響出力信号生成部５２に供給しても良い。
【００７４】
音響出力信号生成部５２は、提示調整信号ＣＰに基づいて音響出力信号ＳAout-L，ＳAout-Rの信号レベルを調整するだけでなく、音響出力信号ＳAout-Lを遅延時間ＴLRだけ音響出力信号ＳAout-Rよりも遅延させて音響出力部６０-Lに供給する。
【００７５】
このように、位置情報信号Ｓpで示された距離ＬＯに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の位相を調整することで、集音部１４によって撮影方向の音響のみを集音しても、この集音した音に基づいて臨場感の高い音響提示を行うことが可能となり、聴取者は現実感の高い良好な再生音場を得ることができる。
【００７６】
例えば図１２に示すように、撮影画像を表示する際には表示画像Ｚaよりも広い画像表示領域Ｚbを設け、撮影画像の動き検出を行い被写体の動きに合わせて表示画像の表示位置を表示位置Ｐ1から表示位置Ｐ2に移動させる場合、所望の被写体ＯＢの移動に合わせて音像を位置Ｑ1から位置Ｑ2に移動させることができるので、臨場感の高いと共に移動感のある音響提示を行うことができる。
【００７７】
このように上述の実施の形態によれば、集音部１４によって撮影方向の音響のみを集音しても、音源の移動に合わせて音像を移動させることができると共に、表示画像が画像表示領域から外れてしまうことが無いように表示位置が制御されても、表示画像の位置に合わせて音像を定位させることができる。
【００７８】
さらに、図１３Ａに示す場合に比べて図１３Ｂや図１３Ｃに示すように多くの音響出力部６０を設けるものとして、設置情報ＣＳaと表示位置信号ＰＤに基づいて、表示位置に応じた位置の音響出力部６０を選択して、この選択した音響出力部６０に対して音響出力信号ＳAoutを供給するように提示調整信号ＣＰを生成してもよい。この場合には、表示画像に合わせて音像を容易に設定できる。
【００７９】
ところで、上述の実施の形態では、超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を取り除いている。しかし、自然環境に近い再生音場を作るためには、超指向性マイクロフォンで集音した音だけでなく反射音等の間接音や雑音等も再生することが好ましい。
【００８０】
そこで、第２の実施の形態として、周囲の環境音も提示できる音響提示システムの構成を図１４に示す。なお、図１４において、図１と対応する部分については同一符号を付し、詳細な説明は省略する。環境音集音部１５は、図１５Ａに示す指向特性の無指向性マイクロフォンや図１５Ｂに示す指向特性の前方指向性マイクロフォン等を用いて構成されており、環境音を集音して環境音信号Ｓsaを生成したのち情報信号生成部１８に供給する。ここで、前方指向性マイクロフォンを用いる場合には、前方指向性マイクロフォンを撮影者の周囲に複数設けるものとすれば、環境音をもれなく集音できる。なお、図１５Ｃの指向特性は超指向性マイクロフォンを示している。
【００８１】
情報信号生成部１８は、供給された画像信号Ｓvや音響信号Ｓaと位置情報信号Ｓpおよび環境音信号Ｓsaに基づいて情報信号ＷＳを生成して信号記録再生装置２０に供給する。
【００８２】
情報信号分離部３２は、情報信号ＲＳから画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpおよび環境音信号Ｓsaを分離して、画像信号Ｓvを画像出力部４５、音響信号Ｓaを音響出力信号生成部５２、位置情報信号Ｓpを提示制御部５０、環境音信号Ｓsaを環境音処理部５３に供給する。
【００８３】
環境音処理部５３は、設置情報供給部５３１と環境音信号調整部５３２を有している。設置情報供給部５３１は、いずれの音響出力部６０-1〜６０-nから環境音を出力するか、また環境音を出力する音響出力部では、どのようなスピーカが用いられているか等を示す設置情報ＣＳbを保持し、あるいはユーザの操作等によって設置情報ＣＳbを生成して、設置情報ＣＳbを環境音信号調整部５３２に供給する。なお、音響出力部６０-1〜６０-kとは別個に、環境音出力のための音響出力部を有している場合には、この音響出力部に関する情報も設置情報ＣＳbに含ませる。
【００８４】
環境音信号調整部５３２は、設置情報供給部５３１から供給された設置情報ＣＳbに基づき、環境音信号Ｓsaの信号レベルを使用する音響出力部毎に調整して、各音響出力部から環境音が出力されたとき、環境音の音像が実際の音像位置とは異なった方向に定位されてしまうことを防止する。この環境音信号調整部５３２で生成された音響出力部毎の環境音重畳信号Ｓsbは、信号加算部５４に供給される。
【００８５】
信号加算部５４は、音響出力信号生成部５２から供給された音響出力信号ＳAoutと環境音信号調整部５３２から供給された環境音重畳信号Ｓsbを、対応する音響出力部６０毎に加算して、音響出力信号ＳBoutとして音響出力部６０に供給する。例えば、特定音源からの音と環境音を音響出力部６０-kから出力する場合、音響出力信号ＳAout-kと環境音重畳信号Ｓsb-kを加算して、音響出力信号ＳBout-kを音響出力部６０-kに供給する。なお、特定音源から出力された音を前方に位置する音響出力部から出力し、環境音を後方に位置する音響出力部から出力する場合には、音響出力信号ＳAoutを音響出力信号ＳBoutとして前方に位置する音響出力部に供給すると共に、環境音重畳信号Ｓsbを音響出力信号ＳBoutとして後方に位置する音響出力部に供給する。
【００８６】
このように、第２の実施の形態によれば、集音部１４によって特定音源からの音のみを集音して、音像を正しく定位させることができるだけでなく、周囲の環境音も正しく再生できるので、自然で臨場感の高い音響提示を行うことが可能となり、聴取者は自然でより現実感の高い再生音場を得ることができる。
【００８７】
なお、上述の実施の形態では、情報信号を生成して記録媒体に記録する構成を示したが、信号記録再生装置に変えて信号伝送装置を設けるものとし、この情報信号を伝送する構成としても良い。
【００８８】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１６に示す。コンピュータは、図１６に示すようにＣＰＵ(Central Processing Unit)７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５が接続されている。
【００８９】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部７１１から命令が入力されると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００９０】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の音響提示システムに於ける信号処理をコンピュータで実行させるための音響提示プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて音響出力信号を生成して、信号出力部７１５から出力する。また、記録媒体に音響提示プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、音響プログラムを記録媒体に記録しあるいは記録媒体に記録されている音響プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、音響プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した音響プログラムをコンピュータで実行するものとしても良い。
【００９１】
図１７は、音響提示プログラムの全体構成を示すフローチャートである。
ステップＳＴ１では、音響取得を行うか否かを判別して、音響取得を行う場合にはステップＳＴ２に進み、音響取得を行わない場合にはステップＳＴ６に進む。
【００９２】
ステップＳＴ２では、情報信号の生成を行う。すなわち、信号入力部７１４に入力された角度信号Ｓpaや距離信号Ｓpbに基づいて位置情報信号Ｓpを生成する。また、この位置情報信号Ｓpと、信号入力部７１４に入力された画像信号Ｓvや音響信号Ｓaを例えば多重化して１つの情報信号ＷＳを生成する。
【００９３】
ステップＳＴ３では、生成した情報信号を記録媒体に記録するあるいは外部機器に伝送するように設定されているか否かを判別する。ここで、情報信号の記録や伝送を行うように設定されている場合にはステップＳＴ４に進み、情報信号の記録や伝送を行わないように設定されている場合にはステップＳＴ５に進む。
【００９４】
ステップＳＴ４では、情報信号の記録や伝送を行いステップＳＴ５に進む。ここで、情報信号を記録する場合には、情報信号を記録媒体ドライブ７１２に供給して、記録媒体ドライブ７１２に装着されている記録媒体に記録する。また、情報信号を伝送する場合には、通信部７１３を介して情報信号を出力する。
【００９５】
ステップＳＴ５では、音響取得を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときにはステップＳＴ６に進み、終了操作が行われていないときにはステップＳＴ２に戻り、情報信号の生成を継続する。
ステップＳＴ６では、音響再生を行うか否かを判別して、音響再生を行う場合にはステップＳＴ７に進み、音響再生を行わない場合にはステップＳＴ１に戻る。
【００９６】
ステップＳＴ７では、音響出力信号に基づいて音響出力を行う音響出力部の設置情報ＣＳaを設定する。例えば、入力部７１１を操作して音響出力部６０の設置位置やどのようなスピーカを用いているか等の設置情報ＣＳaを入力する。あるいはハード・ディスク・ドライブ７０４等に予め記憶されている設置情報ＣＳaを読み出す。
【００９７】
ステップＳＴ８では、情報信号の分離処理を行う。すなわち、記録媒体から読み出した情報信号や、通信部７１３で受信した情報信号あるいは音響取得処理で生成された情報信号から、画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離してステップＳＴ９に進む。
【００９８】
ステップＳＴ９は、画像信号Ｓvを用いて動き検出を行う。この動き検出によって検出した動きに応じて画像信号Ｓvに基づく画像の表示位置を移動させて、新たな画像出力信号ＳVoutを生成すると共に画像の表示位置を示す表示位置信号ＰＤを生成してステップＳＴ１０に進む。
【００９９】
ステップＳＴ１０では、表示位置信号ＰＤと設置情報ＣＳaおよび位置情報信号Ｓpに基づき、提示調整信号ＣＰを生成する。
ステップＳＴ１１では、音響信号Ｓaと提示調整信号ＣＰに基づき複数の音響出力信号ＳAout-1〜ＳAout-ｎを生成して信号出力部７１５から出力する。
【０１００】
ステップＳＴ１２では、音響再生を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときにはステップＳＴ１に戻る。また、終了操作が行われていないときにはステップＳＴ９に戻り、画像の表示位置に応じた音響出力信号ＳAout-1〜ＳAout-ｎの生成および出力を継続する。このような処理を行って得られた音響出力信号ＳAoutを音響出力部６０に供給することで、ソフトウェアによっても臨場感の高い音響提示を行える。
【０１０１】
【発明の効果】
この発明によれば、集音手段を用いて特定音源からの音を取得して音響信号が生成されると共に、特定音源方向の撮影を行って生成した画像信号を用いて動き検出が行われて画像の表示位置の移動や表示位置を示す表示位置信号が生成される。この音響信号と表示位置信号、および音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報とに基づいて、複数の音響出力信号が生成されて複数の音響出力手段に供給される。このため、画像の表示位置に対応させて音像を定位させることが簡単にできると共に、特定音源の位置が移動したときには音像の位置も移動されて移動感のある音響提示ができる。
【０１０２】
また、環境音を取得して環境音信号が生成されると共に、複数の音響出力手段の設置情報と環境音信号に基づき、環境音重畳信号が生成されて、この環境音重畳信号が、対応する音響出力信号に加算されるので、より自然で臨場感の高い音響提示を行うことができる。
【０１０３】
さらに、特定音源と集音手段の位置関係から位置情報信号が生成されて、この位置情報信号も用いて複数の音響出力信号が生成されるので、臨場感の高い音響提示を行うことができる。
【図面の簡単な説明】
【図１】音響提示システムの構成を示す図である。
【図２】撮像部の構成を示す図である。
【図３】位置検出部の構成を示す図である。
【図４】画像信号処理部の構成を示す図である。
【図５】シーンチェンジ検出部の構成を示す図である。
【図６】動き検出部の構成を示す図である。
【図７】画像位置移動部の構成を示す図である。
【図８】画像位置決定回路の構成を示す図である。
【図９】表示位置信号を用いた場合の動作を説明するための図である。
【図１０】角度情報を用いた場合の動作を説明するための図である。
【図１１】距離情報を用いた場合の動作を説明するための図である。
【図１２】音像の位置を示す図である。
【図１３】音響出力部の配置を示す図である。
【図１４】第２の実施の形態の構成を示す図である。
【図１５】マイクロフォンの指向特性を示す図である。
【図１６】コンピュータを用いた構成を示す図である。
【図１７】音響提示プログラムを示すフローチャートである。
【図１８】従来の動作を示す図である。
【符号の説明】
１０・・・音響取得装置、１２・・・撮像部、１４・・・集音部、１５・・・環境音集音部、１６・・・位置検出部、１８・・・情報信号生成部、２０・・・信号記録再生装置、３０・・・音響再生装置、３２・・・情報信号分離部、４０・・・画像信号処理部、４１・・・シーンチェンジ検出部、４２・・・動き検出部、４３・・・画像位置移動部、４５・・・画像出力部、５０・・・提示制御部、５２・・・音響出力信号生成部、５３・・・環境音処理部、５４・・・信号加算部、６０・・・音響出力部、９０・・・ビデオカメラ、１６１・・・角度センサ、１６２・・・測距センサ、１６３・・・極座標算出部、５０１・・・設置情報供給部、５０２・・・調整信号生成部、５３１・・・設置情報供給部、５３２・・・環境音信号調整部
Claims (13)
- 特定音源からの音を取得して音響信号を生成する集音手段と、
前記特定音源の方向に対する撮影を行い画像信号を生成する撮像手段と、
前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、
前記音響出力信号に基づいた音響出力を行う複数の音響出力手段と、
前記画像信号の画像の動き検出を行い、前記画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら前記画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する画像処理手段と、
前記複数の音響出力手段に関する設置情報と前記表示位置信号に基づき、前記音響出力信号生成手段における前記複数の音響出力信号の生成動作を制御する提示制御手段とを有する
ことを特徴とする音響提示システム。 - 前記提示制御手段は、前記複数の音響出力信号における信号レベルの割合を制御する
ことを特徴とする請求項１記載の音響提示システム。 - 環境音を取得して環境音信号を生成する環境音集音手段と、
前記設置情報と前記環境音信号に基づき、環境音重畳信号を生成する環境音処理手段と、
前記音響出力手段毎に、対応する前記環境音信号を前記音響出力信号に加算する信号加算手段とを有する
ことを特徴とする請求項１記載の音響提示システム。 - 前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成する位置検出手段を設け、
前記提示制御手段は、前記設置情報と前記表示位置信号と前記位置情報信号に基づき、前記複数の音響出力信号の生成動作を制御する
ことを特徴とする請求項１記載の音響提示システム。 - 前記位置情報信号は、前記特定音源までの距離情報を有することを特徴とする請求項４記載の音響提示システム。
- 前記位置情報信号は、集音方向を示す角度情報を有する
ことを特徴とする請求項４記載の音響提示システム。 - 前記提示制御手段は、前記複数の音響出力信号の位相を制御する
ことを特徴とする請求項５記載の音響提示システム。 - 特定音源からの音を取得して生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、
前記特定音源の方向に対する撮影を行うことにより生成された画像信号の画像の動き検出を行い、前記画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら前記画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する画像処理手段と、
前記音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と前記表示位置信号に基づき、前記音響出力信号生成手段における前記複数の音響出力信号の生成動作を制御する提示制御手段とを有する
ことを特徴とする音響再生装置。 - 環境音を取得して生成された環境音信号と前記設置情報に基づいて環境音重畳信号を生成する環境音処理手段と、
前記音響出力手段毎に、対応する前記音響出力信号を前記環境音信号に加算する信号加算手段とを有する
ことを特徴とする請求項８記載の音響再生装置。 - 特定音源からの音を集音手段によって取得して音響信号を生成し、
前記特定音源の方向に対する撮影を行い画像信号を生成し、
前記画像信号の画像の動き検出を行い、前記画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら前記画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成し、
音響出力信号に基づいた音響出力を行う複数の音響出力手段に関する設置情報と前記表示位置信号に基づいて、複数の前記音響出力信号を生成して前記複数の音響出力手段に供給する
ことを特徴とする音響提示方法。 - 特定音源の方向に対する撮影を行うことにより生成された画像信号の画像の動き検出を行い、前記画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら前記画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成し、
音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、前記表示位置信号と、前記特定音源からの音を取得して生成した音響信号に基づいて、複数の前記音響出力信号を生成する
ことを特徴とする音響再生方法。 - コンピュータに、
特定音源の方向に対する撮影を行って生成された画像信号の画像の動き検出を行って、前記画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら前記画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する手順と、
音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、前記表示位置信号に基づいて、提示調整信号を生成する手順と、
前記特定音源からの音を取得して生成した音響信号と前記提示調整信号に基づいて、前記複数の音響出力手段に供給する音響出力信号を生成する手順とを実行させる実行させるプログラムを記録した
ことを特徴とするコンピュータ読み取り可能な記録媒体。 - コンピュータに、
特定音源の方向に対する撮影を行って生成された画像信号の画像の動き検出を行って、前記画像信号の画像より広い画像表示領域に該検出した動きに応じて表示位置を移動させながら前記画像信号の画像の表示を行う際の該表示位置を示す表示位置信号を生成する手順と、
音響出力信号に基づいて音響出力を行う複数の音響出力手段に関する設置情報と、前記表示位置信号に基づいて提示調整信号を生成する手順と、
前記特定音源からの音を取得して生成した音響信号と前記提示調整信号に基づいて、前記複数の音響出力手段に供給する音響出力信号を生成する手順とを実行させる
ことを特徴とする音響提示プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002062386A JP4010161B2 (ja) | 2002-03-07 | 2002-03-07 | 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002062386A JP4010161B2 (ja) | 2002-03-07 | 2002-03-07 | 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003264900A JP2003264900A (ja) | 2003-09-19 |
| JP2003264900A5 JP2003264900A5 (ja) | 2005-09-02 |
| JP4010161B2 true JP4010161B2 (ja) | 2007-11-21 |
Family
ID=29196188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002062386A Expired - Fee Related JP4010161B2 (ja) | 2002-03-07 | 2002-03-07 | 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4010161B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8755543B2 (en) | 2010-03-23 | 2014-06-17 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| US10158958B2 (en) | 2010-03-23 | 2018-12-18 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| US10200804B2 (en) | 2015-02-25 | 2019-02-05 | Dolby Laboratories Licensing Corporation | Video content assisted audio object extraction |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333211A (ja) | 2004-05-18 | 2005-12-02 | Sony Corp | 音響収録方法、音響収録再生方法、音響収録装置および音響再生装置 |
| JP4629388B2 (ja) * | 2004-08-27 | 2011-02-09 | ソニー株式会社 | 音響生成方法、音響生成装置、音響再生方法及び音響再生装置 |
| JP4796304B2 (ja) * | 2005-01-24 | 2011-10-19 | 甫 羽田野 | 音源位置検出装置 |
| JP5067595B2 (ja) | 2005-10-17 | 2012-11-07 | ソニー株式会社 | 画像表示装置および方法、並びにプログラム |
| JP4940671B2 (ja) | 2006-01-26 | 2012-05-30 | ソニー株式会社 | オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム |
| JP2007251484A (ja) * | 2006-03-15 | 2007-09-27 | Kenwood Corp | 音場補正装置及び方法 |
| JP4692550B2 (ja) * | 2008-01-21 | 2011-06-01 | ソニー株式会社 | 画像処理装置、その処理方法およびプログラム |
| JP2010130403A (ja) * | 2008-11-28 | 2010-06-10 | Sharp Corp | 映像制御装置およびそれを備えた撮像装置、表示装置 |
| JP5565597B2 (ja) * | 2013-04-25 | 2014-08-06 | シャープ株式会社 | テレビ装置、およびスピーカシステム |
| CN113766368B (zh) * | 2021-08-20 | 2022-10-18 | 歌尔科技有限公司 | 音频设备的控制方法及音频设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63221800A (ja) * | 1987-03-11 | 1988-09-14 | Canon Inc | マイクロホン装置 |
| JP2691185B2 (ja) * | 1988-05-25 | 1997-12-17 | 日本電信電話株式会社 | 音像定位制御方式 |
| JP3282202B2 (ja) * | 1991-11-26 | 2002-05-13 | ソニー株式会社 | 収録装置、再生装置、収録方法および再生方法、および、信号処理装置 |
| JP2951188B2 (ja) * | 1994-02-24 | 1999-09-20 | 三洋電機株式会社 | 立体音場形成方法 |
| JPH08181962A (ja) * | 1994-12-22 | 1996-07-12 | Hitachi Ltd | 音像定位方法および音像定位制御装置およびテレビ会議システム |
| JP3606644B2 (ja) * | 1995-06-29 | 2005-01-05 | 富士写真フイルム株式会社 | ディジタル画像データの記録装置および方法ならびに再生装置および方法 |
| EP1035732A1 (en) * | 1998-09-24 | 2000-09-13 | Fourie Inc. | Apparatus and method for presenting sound and image |
| JP2001169309A (ja) * | 1999-12-13 | 2001-06-22 | Mega Chips Corp | 情報記録装置および情報再生装置 |
| JP4779226B2 (ja) * | 2001-04-25 | 2011-09-28 | ソニー株式会社 | ロボット装置、並びに、画像記憶方法及び画像記憶装置、並びに、制御プログラム及び記録媒体 |
-
2002
- 2002-03-07 JP JP2002062386A patent/JP4010161B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8755543B2 (en) | 2010-03-23 | 2014-06-17 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| US9172901B2 (en) | 2010-03-23 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| US9544527B2 (en) | 2010-03-23 | 2017-01-10 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| US10158958B2 (en) | 2010-03-23 | 2018-12-18 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| US10499175B2 (en) | 2010-03-23 | 2019-12-03 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for audio reproduction |
| US10939219B2 (en) | 2010-03-23 | 2021-03-02 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for audio reproduction |
| US11350231B2 (en) | 2010-03-23 | 2022-05-31 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for audio reproduction |
| US12273695B2 (en) | 2010-03-23 | 2025-04-08 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for audio reproduction |
| US10200804B2 (en) | 2015-02-25 | 2019-02-05 | Dolby Laboratories Licensing Corporation | Video content assisted audio object extraction |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003264900A (ja) | 2003-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4010161B2 (ja) | 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 | |
| CN1845582B (zh) | 成像装置、录音装置和录音方法 | |
| JP5801026B2 (ja) | 画像音響処理装置及び撮像装置 | |
| JP6289121B2 (ja) | 音響信号処理装置、動画撮影装置およびそれらの制御方法 | |
| US20090066798A1 (en) | Sound Corrector, Sound Recording Device, Sound Reproducing Device, and Sound Correcting Method | |
| KR20110038313A (ko) | 영상촬영장치 및 그 제어방법 | |
| US20110317023A1 (en) | Electronic device | |
| JP2009094724A (ja) | 撮像装置 | |
| CN111970625B (zh) | 录音方法和装置、终端和存储介质 | |
| JP4692095B2 (ja) | 記録装置、記録方法、再生装置、再生方法、記録方法のプログラムおよび記録方法のプログラムを記録した記録媒体 | |
| US20020071661A1 (en) | Audio and video reproduction apparatus | |
| US10873824B2 (en) | Apparatus, system, and method of processing data, and recording medium | |
| JP4518729B2 (ja) | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム | |
| JP5528856B2 (ja) | 撮影機器 | |
| JP5954987B2 (ja) | 撮影装置及びその処理方法 | |
| US8848927B2 (en) | Recorder that creates stereophonic sound | |
| US10873806B2 (en) | Acoustic processing apparatus, acoustic processing system, acoustic processing method, and storage medium | |
| WO2010061791A1 (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
| JP4131113B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム | |
| JP2004147205A (ja) | 画像音声記録装置 | |
| JP2011114769A (ja) | 撮像装置 | |
| JP2023078689A (ja) | 音情報収録装置、音情報収録再生システム及び音情報収録方法 | |
| CN117859339A (zh) | 媒体设备及其控制方法和装置、目标跟踪方法和装置 | |
| JP2020092381A (ja) | 音声取得装置、音声取得方法及び音声取得プログラム | |
| JP2012119872A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050303 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4010161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |