JP2008160755A - 動画記録再生装置 - Google Patents

Abstract

【課題】
アフレコの入力音声の文字を適切な表示位置に配置する。
【解決手段】
音声方向検出装置４１は、マイク３４〜４０の出力から音声の到来方向を検出する。モニタ方向検出装置２６はＬＣＤモニタ２４の向く方向を検出する。システム制御回路３０は、音声文字のアフレコ時には、モニタ方向検出装置２６の検出結果を参照して、音声方向検出装置４１の検出結果を、モニタ方向を考慮した音声方向に修正する。文字変換装置４６は、入力音声を文字認識して、文字コードに変換する。文字変換装置４６による文字コードは、文字表示装置５２と関連情報付加装置４８に印加される。文字表示装置５２は、文字変換装置５２からの文字コードに従う文章を示す画像信号を生成し、システム制御回路３０からの音声方向に応じた画面位置に重畳されることになるタイミングで、その画像信号を混合器２２に出力する。
【選択図】 図１

Description

本発明は、動画記録再生装置に関する。

液晶表示モニタ（ＬＣＤモニタ）で撮影中の被写体画像を撮影者が確認しながら撮影可能なビデオカメラが、商品化されている。ビデオカメラにはマイクロフォンが内蔵され、映像と音声をリアルタイムに記録することが可能である。

ＬＣＤモニタは、２軸の回転機構を介して筐体に取り付けられており、種々の撮影方向に対して、ＬＣＤモニタを撮影者の方向に向けることができるようになっている。これにより、撮影中の画像をリアルタイムに確認可能できる。

また、ＬＣＤモニタは、撮影後の記録動画像を再生する再生モニタとしても使用される。鑑賞者の方向に表示画面を向けて動画像を再生することで、ユーザは記録動画像を鑑賞できる。

ところで、近年、音声認識技術の発達により、デジタルカメラ等の静止画記録装置として、入力音声を音声認識して文字変換し、液晶ディスプレイに画像と文字を重畳表示し、撮影時の印象や事実を画像と共に文字情報として記録及び出力可能な音声認識機能付きの撮像装置が提案されている（例えば、特許文献１参照）。また、音声の到来方向（音声方向）を検出し、音声方向に応じた表示位置に文字を重畳表示することが提案されている。
特開平１１−０５５６１４号公報

特許文献１に記載の技術は、あくまでもデジタルカメラ等の静止画記録装置において、撮影時の音声を文字化するものである。音声方向の検知については、常に、撮影方向（撮影レンズの向く方向）を正面とする相対的な角度で音声方向を検知している。

単に、撮影方向（撮影レンズの向く方向）を正面とする相対的な角度で音声方向を検知し、検知した音声方向に応じた画面位置に入力音声の文字情報を配置するだけでは、鑑賞者の直感と合わない場合がありうる。

記録済み動画像を再生し、音声を文字としてアフレコする場合、アフレコの話者は、再生画像に対して適切な位置にいるとは限らない。従って、撮影方向に対する相対的な音声方向を検知し、音声方向に応じた画面位置に認識文字を嵌め込む音声処理装置を利用する場合、アフレコされる文字が不適切な画面位置に配置されてしまうことがある。

本発明は、このような不具合を解消する動画記録再生装置を提示することを目的とする。

上記の目的を達成するために、本発明に係る動画記録再生装置は、音声入力手段と、当該音声入力手段による入力音声の到来方向を検出する音声方向検出手段と、当該音声入力手段による入力音声を文字に変換する文字変換装置と、音声到来方向に応じた位置に音声文字を表示する音声文字表示手段と、画像表示手段と、当該画像表示手段の向きを検出するモニタ方向検出手段と、動画記録時には、当該音声方向検出手段の検出結果に従い、当該文字変換装置の出力文字の画面上での表示位置を決定し、動画再生時には、当該モニタ方向検出手段及び当該音声方向検出手段の検出結果に従い、当該文字変換装置の出力文字の画面上での表示位置を決定する制御手段とを具備することを特徴とする。

本発明に係る動画記録再生装置は、記録媒体から動画を再生する動画再生手段と、音声入力手段と、当該音声入力手段による入力音声の到来方向を検出する音声方向検出手段と、当該音声入力手段による入力音声を文字に変換する文字変換装置と、音声到来方向に応じた位置に音声文字を表示する音声文字表示手段と、画像表示手段と、当該画像表示手段の向きを検出するモニタ方向検出手段と、当該モニタ方向検出手段及び当該音声方向検出手段の検出結果に従い、当該文字変換装置の出力文字の画面上での表示位置を決定する制御手段と、当該制御手段により決定される表示位置に当該文字変換装置の出力文字が表示されるように、当該動画再生手段による再生画像に当該当該文字変換装置の出力文字の情報を重畳して当該画像表示手段に供給する混合器と、当該文字変換装置の出力文字の情報と、当該制御手段により決定される表示位置の情報を動画の関連情報として当該記録媒体に記録する記録手段とを具備することを特徴とする。

本発明に係る動画記録再生装置はさらに、当該動画再生手段で再生している動画像の時間情報を検出する手段を具備し、当該記録手段は、当該文字変換装置の出力文字の情報、当該表示位置の情報及び当該時間情報を、当該動画の関連情報として当該記録媒体に記録することを特徴とする。

本発明によれば、動画に音声を文字で重畳したい場合に、記録時と再生（アフレコ）時とで、話者の位置に対応した適切な表示位置に音声文字を配置できる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例である撮像装置１０の概略構成ブロック図を示す。撮像装置１０は、動画と静止画の両方を記録再生可能である。図２は、記録媒体１２の記録フォーマットを示す。記録媒体１２は例えば、記録可能な光ディスクからなる。本実施例では、１つの動画像に対して、１以上の静止画と１以上の音声文字情報を付加することができる。図２は、記録媒体１２上で一体に管理される動画像、静止画及び音声文字情報の構成例を示す。記録媒体１２には、ＭＰＥＧ動画像データを記録する動画音声記録領域７０に対し、ＪＰＥＧ静止画データを記録する静止画記録領域７２と、文字データを記録する文字データ記録領域７４とが付加される。静止画記録領域７２には１以上の静止画を格納できる。文字記録領域７４は、音声文字アフレコで記録される文字化された音声を格納する領域であり、タイムコード領域７６、表示位置領域７８、文字コード領域８０及びリンク情報領域８２から構成される。文字記録領域７４に格納されるデータの詳細は、後述する。

動画像を記録する場合、撮像部６２は、撮影レンズ６０による被写体の光学像を画像信号に変換して、一定レートで画像信号を出力する。マイク６４は、周囲の音声を取り込み、音声信号を出力する。ＭＰＥＧエンコーダ６６は、撮像部６２からの画像信号及びマイク６４からの音声信号をＭＰＥＧ規格に準拠して圧縮符号化する。ディスク記録装置５０は、ＭＰＥＧエンコーダ６６からのＭＰＥＧ圧縮データ（ＭＰＥＧ動画像データ）を記録媒体１２に記録する。記録媒体１２のＭＰＥＧ圧縮データが記録された領域が、図２の動画音声記録領域７０に相当する。

静止画像を記録する場合、撮像部６２は、図示しないレリーズ操作に応じて、撮影レンズ６０による被写体の光学像を１枚の静止画の画像信号に変換する。ＪＰＥＧエンコーダ６８は、撮像部６２からの静止画像信号をＪＰＥＧ方式で圧縮符号化する。ディスク記録装置５０は、ＪＰＥＧエンコーダ６８からのＪＰＥＧ圧縮データ（ＪＰＥＧ静止画データ）を記録媒体１２に記録する。ここで記録される静止画が、動画音声記録領域７０に記録される動画に関連付けられる場合、ＪＰＥＧ圧縮データが図２の静止画記録領域７２に格納される。

図３は、音声文字アフレコ処理中のイメージ図を示す。音声文字アフレコ時には、アフレコ対象の動画が記録媒体１２から再生され、ＬＣＤモニタ２４の画面上に表示されている。ＬＣＤモニタ２４の画面内には、予め取り込んだ話者の静止画像９２，９４が動画に重畳して表示され、後述する方法で取り込まれ認識された文字情報９６，９８が、動画に重畳して表示される。図３に示す例では、アフレコの話者は人物Ａと人物Ｂであり、人物ＡはＬＣＤモニタ２４に向かって左側にいて、人物ＢはＬＣＤモニタ２４に向かって右側にいるものとする。音声文字アフレコモードでは、人物ＡがＬＣＤモニタ２４に表示されている再生動画を鑑賞しながら発声した「よしよし」という音声を示す文字９４が、ＬＣＤモニタ２４の画面の右側に表示され、人物Ｂが発声した「やめてよ」という音声を示す文字９６が、ＬＣＤモニタ２４の画面左側に表示される。

図４は、音声文字アフレコ処理の操作手順のフローを示す。まず、人物Ａの静止画を記録し（Ｓ１）、人物Ｂの静止画を記録する（Ｓ２）。これらの静止画を、アフレコ対象の動画像に対する静止画記録領域７２に格納する。人物Ａの静止画像９２をＬＣＤモニタ２４の画面の左側に表示するように設定する（Ｓ３）。人物Ｂの静止画像９４をＬＣＤモニタ２４の画面の右側に表示するように設定する（Ｓ４）。そして、音声文字アフレコを開始する（Ｓ５）。

図５は、撮像装置１０の、音声文字アフレコのための処理系の概略構成ブロック図を示す。なお、音声再生処理系は、省略してある。

操作装置２８で特定の動画の再生が指示されると、システム制御回路３０は、記録媒体１２の動画音声記録領域７０に記録されたＭＰＥＧ動画像データの再生をディスク再生装置１４に指示する。ディスク再生装置１４は、指定された動画のＭＰＥＧ動画像データを光ディスク１２から読み出す。動画再生装置２０は、ディスク再生装置１４からのＭＰＥＧ動画像データを伸長して動画像信号に変換する。このように再生された動画像信号は、混合器２２を介してＬＣＤモニタ２４に供給され、ＬＣＤモニタ２４の画面上に再生画像が表示される。

操作装置２８で特定の静止画の再生が指示されると、システム制御回路３０は、記録媒体１２の静止画記録領域７２に記録されたＪＰＥＧ静止画データの再生をディスク再生装置１４に指示する。ディスク再生装置１４は、指定された静止画のＪＰＥＧ静止画データを光ディスク１２から読み出す。静止画再生装置１６は、ディスク再生装置１４からのＪＰＥＧ静止画データを伸長して静止画像信号に変換する。サイズ変換装置１８は、静止画再生装置１６により再生されて静止画をＬＣＤモニタ２４の静止画用子画面の画面サイズに合致するサイズに変換し、変換後の静止画像を、動画像と同じレートで繰り返し出力する。サイズ変換装置１８から出力される静止画の画像信号は、混合器２２を介してＬＣＤモニタ２４に供給される。これにより、再生静止画像がＬＣＤモニタ２４の画面上に表示される。

音声入力装置３２は、４ｃｈのマイク３４，３６，３８，４０からなる。マイク３４，３６，３８，４０は、図３に示すように、前後左右に配置される。音声方向検出装置４１が、マイク３４，３６の入力音声の位相差を検出することで、前後方向の音声到来方向を検出し、マイク３８，４０の入力音声の位相差を検出すること、左右方向の音声到来方向を検出する。音声方向検出装置４１は、検出結果をシステム制御回路３０に供給する。前後及び左右の方向を検出することで、３６０度のどの方向からの音声かを決定できる。

位相差検出による音声方向の決定方法を説明する。例えば、図６に示すように、マイク３８，４０の右斜め方向から音声が到来した場合、マイク３８，４０に到来する音声の時間差をΔＴ、マイク３８，４０間距離をｄ、到来方向をθとすると、ΔＴ＝ｄ×sinθが成立する。この関係式から音声到来方向θを決定できる。

図７（Ａ）は、マイク４０の音声入力の様子を示し、図７（Ｂ）はマイク３８の音声入力の様子を示す。横軸は時間を示し、縦軸は周波数を示す。マイク４０では時刻ｔ２に音声群Ａと音声群Ｂが検知され、マイク３６では時刻ｔ１で音声群Ｂが検知され、時刻ｔ２で音声群Ａが検知されている。この場合、音声群Ａの到来方向は、マイク３８，４０の正面方向（マイク３８，４０を結ぶ線に垂直な方向）であり、音声群Ｂの到来方向は、
（ｔ２−ｔ１）＝ｄ×sinθ
で表される右斜め方向θと検知できる。

システム制御回路３０は、音声方向検出装置４１の検出結果に従い、音声到来方向別にマイク３４，３６，３８，４０の出力音声信号から音声を分離するように方向フィルタ４２を制御する。音声抽出装置４４は、方向フィルタ４２の出力音声信号からノイズを除去し、人間の発音部分を抽出する。文字変換装置４６は、音声抽出装置４４で抽出された音声信号を文字認識して、文字コードに変換する。文字変換装置４６による文字コードは、文字表示装置５２と関連情報付加装置４８に印加される。

モニタ方向検出装置２６は、ＬＣＤモニタ２４の向いている方向を検出し、検出結果をシステム制御回路３０に供給する。モニタ方向検出器２６は、例えば、ＬＣＤモニタ２４を回転可能に筐体に取り付ける回転機構の回転軸に装備される回転角検出装置等からなる。

システム制御回路３０は、モニタ方向検出装置２６の検出結果を参照し、音声方向検出装置４１の検出結果を、モニタ方向を考慮した音声方向に修正する。例えば、ＬＣＤモニタ２４を撮像装置１０の側面に外側に向けている場合、アフレコの話者Ａ，Ｂは、モニタ２４の画面を見て話すわけだから、そのままでは、例えば、話者Ａは、撮像装置１０の片側（例えば、右側）の後側に位置し、話者Ｂは、撮像装置１０の同じ側の前側に位置することになる。そのままの音声方向では、話者Ａの音声は、撮像装置１０に対して右後方からの音声、話者Ｂの音声は、撮像装置１０に対して右前方からの音声ということになり、音声方向に応じた画面位置に重畳すると、おかしなことになる。

そこで、本実施例では、システム制御回路３０は、モニタ方向検出装置２６の検出結果を参照して修正した音声方向を、表示位置として関連情報付加装置４８及び文字表示装置５２に供給する。図８を参照して説明した例では、システム制御回路３０は、話者Ａの音声が撮像装置１０の前左方向から到来し、話者Ｂの音声が撮像装置１０の前右方向から到来するように音声方向を修正し、修正した音声方向に応じた表示位置を関連情報付加装置４８及び文字表示装置５２に通知する。

文字表示装置５２は、文字変換装置５２からの文字コードに従う文章を示す画像信号を生成し、システム制御回路３０からの音声方向に応じた表示位置に重畳されることになるタイミングで、その画像信号を混合器２２に出力する。混合器２２は、動画再生装置２０からの動画上に、サイズ変換回路１８からの静止画、及び文字表示装置５２からの文字画像を重畳して、ＬＣＤモニタ２４に供給する。これにより、例えば、図８に示す説明例に対しては、図３に示すように、話者Ａの音声が画面の左側に重畳され、話者Ｂの音声が画面右側に重畳される。

関連情報付加装置４８には、更に、動画再生装置２０から再生される動画に付属するタイムコードが供給され、サイズ変換装置１８から静止画のリンク情報が供給される。関連情報付加装置４８は、動画再生装置２０からのタイムコード、サイズ変換装置１８からのリンク情報、システム制御回路３０からの表示位置、及び文字変換装置４６からの文字コードを、現に再生している動画の関連情報として、ディスク記録装置５０に供給する。サイズ変換装置１８からのリンク情報は、対応する静止画へのリンクを示す情報である。

ディスク記録装置５０は、関連情報付加装置４８からの関連情報を記録媒体１２の文字記録領域７４に図２に示すようなフォーマットで記録する。動画再生装置２０からのタイムコードが、文字記録領域７４の領域７６に格納され、システム制御回路３０からの表示位置の情報が領域７８に格納され、文字変換装置４６からの文字コードが領域８０に格納され、サイズ変換装置１８からのリンク情報が領域８２に格納される。文字記録領域７４のこれらの関連情報は、音声抽出装置４４により抽出される音声の単位で生成され、追加記録される。

このように、音声文字が追加記録された動画を再生すると、文字記録領域７４に記録された文字コード領域８０に記録された文字が、タイムコード領域７６に記録されるタイムコードのタイミングで、表示位置領域７８に記録される表示位置に相当する画面位置で表示される。必要により、リンク情報領域８２に記録されるリンク情報により、話者の静止画も、再生表示される。

記録済みの動画データを再生し、音声文字を追加記録する実施例を説明したが、動画撮影中の入力音声を文字化、動画の関連情報として記録してもよい。この場合、システム制御回路３０は、動画記録時には、音声方向検出装置４１の検出結果に従い、文字変換装置４６の出力文字の画面上での表示位置を決定し、動画再生時（音声文字アフレコ時）には、モニタ方向検出装置２６及び音声方向検出装置４１の検出結果に従い、文字変換装置４６の出力文字の画面上での表示位置を決定する。

図９は、記録モードか再生モードかに応じて、どの方向を正面に設定するかを示すフローチャートである。システム制御回路３０は、図９に示すように、先ず、動作モードが動画再生（アフレコ）モードか動画記録モードかを判定する（Ｓ１０）。動画再生（アフレコ）モードでは（Ｓ１０）、ＬＣＤモニタ２４の表示方向を正面として、音声方向と文字表示領域９２，９４を対応させる（Ｓ１１）。動画記録モードでは（Ｓ１０）、レンズ方向を正面として、音声方向と文字表示領域９２，９４を対応させる（Ｓ１２）。

文字表示領域９２を青色、文字表示領域９４を赤色というように異なる色で表現して、区別しやすくしてもよい。また、長時間無音が続いたら、無音を示唆する「．．．」のような文字列を表示するようにしてもよい。

入力された音声を文字に変換して、記録媒体１２に記録する実施例を説明したが、本発明は、入力音声の文字をリアルタイムでモニタ画面上に重畳表示する場合にも、適用可能である。この場合、関連情報付加装置４８及びディスク記録装置５０は不要である。

本実施例の記録系の概略構成ブロック図である。 記録媒体の記録フォーマットを示す図である。 本実施例の音声文字アフレコ処理のイメージ図である。 本実施例の基本フローである。 撮像装置１０の、音声文字アフレコのための処理系の概略構成ブロック図である。 位相差検出による音声方向の決定方法を説明する図である。 音声入力例を示す模式図である。 音声入力時の話者Ａ，Ｂの配置例を示す模式図である。 本実施例のモード移行例を示すフロー図である。

符号の説明

１０ 撮像装置
１２ 記録媒体
１４ ディスク再生装置
１６ 静止画再生装置
１８ サイズ変換装置
２０ 動画再生装置
２２ 混合器
２４ ＬＣＤモニタ
２６ 方向検出装置
２８ 操作装置
３０ システム制御回路
３２ 音声入力装置
３４，３６，３８，４０ マイク
４１：音声方向検出装置
４２ 方向フィルタ
４４ 音声抽出装置
４６ 文字変換装置
４８ 関連情報付加装置
５０ ディスク記録装置
５２ 文字表示装置
６０ 光学レンズ
６２ 撮像ユニット
６４ マイク
６６ ＭＰＥＧエンコーダ
６８ ＪＰＥＧエンコーダ

Claims (3)

1. 音声入力手段（３２）と、
   当該音声入力手段による入力音声の到来方向を検出する音声方向検出手段（４１）と、
   当該音声入力手段による入力音声を文字に変換する文字変換装置（４６）と、
   音声到来方向に応じた位置に音声文字を表示する音声文字表示手段（５２）と、
   画像表示手段（２４）と、
   当該画像表示手段の向きを検出するモニタ方向検出手段（２６）と、
   動画記録時には、当該音声方向検出手段の検出結果に従い、当該文字変換装置の出力文字の画面上での表示位置を決定し、動画再生時には、当該モニタ方向検出手段及び当該音声方向検出手段の検出結果に従い、当該文字変換装置の出力文字の画面上での表示位置を決定する制御手段（３０）
   とを具備することを特徴とする動画記録再生装置。
2. 記録媒体（１２）から動画を再生する動画再生手段（２０）と、
   音声入力手段（３２）と、
   当該音声入力手段による入力音声の到来方向を検出する音声方向検出手段（４１）と、
   当該音声入力手段による入力音声を文字に変換する文字変換装置（４６）と、
   音声到来方向に応じた位置に音声文字を表示する音声文字表示手段（５２）と、
   画像表示手段（２４）と、
   当該画像表示手段の向きを検出するモニタ方向検出手段（２６）と、
   当該モニタ方向検出手段及び当該音声方向検出手段の検出結果に従い、当該文字変換装置の出力文字の画面上での表示位置を決定する制御手段（３０）と、
   当該制御手段により決定される表示位置に当該文字変換装置の出力文字が表示されるように、当該動画再生手段による再生画像に当該当該文字変換装置の出力文字の情報を重畳して当該画像表示手段に供給する混合器（２２）と、
   当該文字変換装置の出力文字の情報と、当該制御手段により決定される表示位置の情報を動画の関連情報として当該記録媒体（１２）に記録する記録手段（４８，５０）
   とを具備することを特徴とする動画記録再生装置。
3. さらに、当該動画再生手段で再生している動画像の時間情報を検出する手段を具備し、
   当該記録手段は、当該文字変換装置の出力文字の情報、当該表示位置の情報及び当該時間情報を、当該動画の関連情報として当該記録媒体（１２）に記録する
   ことを特徴とする請求項２に記載の動画記録再生装置。

Images