JP2010178124A - 記録装置及び記録方法 - Google Patents

Abstract

【課題】通常再生時に映像がスローモーション再生となる場合において音が有効に再生される記録技術を提供する。
【解決手段】ビデオカメラ１００は、第１のフレームレートより高い第２のフレームレートで取得される動画データを記録媒体１１に記録するとともに、第１のフレームレートの動画データに対応して取得される音データを、第１のフレームレートに対する第２のフレームレートの比に基づいて、所定の話速変換技術を用いて時間軸上で引き延ばして記録媒体１１に記録する記録再生制御部９を備える。
【選択図】図１

Description

本発明は、動画データ及び音データを記録媒体に記録する記録装置及び記録方法に関する。

近年、動画データを記録する技術の進歩により、ハイフレームレートでの撮影及び記録（以下、単に「記録」という）を実現する装置が現れ始めた。例えば、動画データを従来一般的な毎秒６０フレームといったフレームレート（以下、「第１のフレームレート」ともいう）より高い、例えば毎秒３００フレームのフレームレート（以下、「第２のフレームレート」ともいう）で記録媒体に記録するビデオカメラ及びデジタルカメラ等の記録装置が商品化されている。

第２のフレームレートで動画データを高速に撮影しておき、これを第１のフレームレートで再生することにより、例えば水滴の液面への落下や鳥の羽ばたきといった高速の動きを滑らかにスローモーション再生することができる。第２のフレームレートが３００ｆｐｓ、第１のそれが６０ｆｐｓである場合、１／５倍速のスローモーション再生となる。

特開２００８−１５３７９５号公報

しかしながら、こうした記録装置によるスローモーション再生では、一般に音は再生されない。なぜなら、動画を記録するときと再生するときとで時間の長さが変わってしまうため、仮に音を同時に記録しておいても、再生される動画と時間的にうまくマッチしないためである。例えば、毎秒３００フレームで動画データを１秒間記録し、その間音も記録しておくとする。これを毎秒６０フレームで再生すると映像はスローモーション再生になり５秒間再生されるものの、音は１秒間分しか存在せず、動画と音の同時再生には根本的な問題が生じる。このため、スローモーション再生を目的とする動画データの記録においては、音の記録は断念されるのが一般的であり、音のある通常の動画再生に比べると、どうしても臨場感に欠けるという課題があった。

本発明はこうした課題に鑑みてなされたものであり、その目的は、上述のようなスローモーション再生においても音が有効に再生される記録技術を提供することである。本発明の別の目的は動画及び音を再生する側の装置に特別な仕組みがなくとも、通常再生時に映像がスローモーション再生となる場合において音が有効に再生される記録技術を提供することである。

上記課題を解決し上記目的を達成するために、本発明の記録装置は、第１のフレームレートより高い第２のフレームレートで取得される動画データを記録媒体に記録する動画記録制御部と、前記第１のフレームレートの前記動画データに対応して取得される音データを、前記第１のフレームレートに対する前記第２のフレームレートの比に基づいて、所定の話速変換技術を用いて時間軸上で引き延ばして前記記録媒体に記録する音記録制御部とを備える。

本発明の記録方法は、第１のフレームレートより高い第２のフレームレートで取得される動画データを記録媒体に記録する動画記録制御ステップと、前記第１のフレームレートの前記動画データに対応して取得される音データを、前記第１のフレームレートに対する前記第２のフレームレートの比に基づいて、所定の話速変換技術を用いて時間軸上で引き延ばして前記記録媒体に記録する音記録制御ステップとを含む。

本発明により、スローモーション再生においても音が有効に再生される記録技術を提供することができる。また、本発明により、動画及び音を再生する側の装置に特別な仕組みがなくとも、スローモーション再生において音が有効に再生される記録技術を提供することができる。すなわち、再生装置はスローモーション再生機能を持つ必要がなく、そのような再生装置で通常再生される際、動画がスローモーション再生されることはもちろん、本発明により、音も動画にあったスローで再生されて臨場感が現れる。

実施の形態１のビデオカメラの構成を示す機能ブロック図である。 ビデオカメラが動画データ及び音データを記録する動作の各ステップを示すフローチャートである。 ４８ＫＨｚのサンプリングレートで、かつ１６ビットのサンプリングで取得されたＬＰＣＭデータを、５倍に引き延ばす方法を示す図である。 実施の形態３における動画データと音データとを多重してストリームを生成する動作を説明するための図である。 実施の形態４における動画データと音データとを多重してストリームを生成する動作を説明するための図である。 非圧縮音フォーマットの音データと圧縮音フォーマットの音データとの再生時の優先順位を説明するための図である。

以下に、本発明を実施するための形態を図面を参照して説明する。なお、以下の説明では、ビデオカメラを例にとって本発明の記録装置を説明する。

（実施の形態１）
先ず、実施の形態１のビデオカメラ１００の構成を図１を用いて説明する。図１は実施の形態１のビデオカメラ１００の構成を示す機能ブロック図である。

図１に示すように、実施の形態１のビデオカメラ１００は、動画データ及び音データの記録処理を行なう記録装置１０１と、動画データ及び音データの再生処理を行なう再生装置１０２とを有する。

記録装置１０１は、光学部１と、撮像部２と、動画用Ａ／Ｄ変換部３と、データ管理部４と、第１のＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）５と、信号切換部６と、マイクロホン７と、音用Ａ／Ｄ変換部８と、記録再生制御部９と、第２のＲＡＭ１０と、記録媒体１１とを有する。

光学部１は光を集める手段であり、撮像部２は光を電気信号に変換する手段であり、動画用Ａ／Ｄ変換部３はアナログの信号をデジタルの信号に変換する手段である。データ管理部４は動画用Ａ／Ｄ変換部３によって得られたデータを管理する手段であり、第１のＲＡＭ５はデータを保持する手段であり、信号切換部６はデータの行き先を制御する手段である。マイクロホン７は音を収集して電気信号に変換する手段であり、音用Ａ／Ｄ変換部８はアナログの信号をデジタルの信号に変換する手段である。記録再生制御部９はデータの記録及び再生を制御する手段であり、第２のＲＡＭ１０はデータを保持する手段であり、記録媒体１１はデータが記録される手段である。

再生装置１０２は、信号切換部６と、記録再生制御部９と、記録媒体１１と、動画用Ｄ／Ａ変換部１２と、表示部１３と、音用Ｄ／Ａ変換部１４と、スピーカ１５とを有する。

信号切換部６、記録再生制御部９、及び記録媒体１１は、上述した手段であって、記録装置１０１及び再生装置１０２に含まれる。動画用Ｄ／Ａ変換部１２はデジタルの信号をアナログの信号に変換する手段であり、表示部１３は画像を表示する手段である。音用Ｄ／Ａ変換部１４はデジタルの信号をアナログの信号に変換する手段であり、スピーカ１５は音を出力する手段である。

なお、ビデオカメラ１００は、ユーザによって操作され、ユーザの指示を受け付ける操作部１６をも有する。

次に、実施の形態１のビデオカメラ１００の動作を説明する。ビデオカメラ１００の動作は、動画データ及び音データを記録する動作と、記録された動画データ及び音データを再生する動作とを含むので、それらの動作を順に説明する。

先ず、ビデオカメラ１００が動画データを記録する際の動作を図２を用いて説明する。図２は、ビデオカメラ１００が動画データを記録する際の動作の各ステップを示すフローチャートである。

光学部１は画像の元となる光を集めて被写体の光学像を生成し、撮像部２は生成された光学像を電気信号に変換する。動画用Ａ／Ｄ変換部３は、撮像部２によって得られたアナログの信号をデジタルの信号に変換し、それによってデジタルの動画データを生成する（Ｓ１）。

ユーザが通常のフレームレートで、例えば６０ｆｐｓで、動画データを記録させるための操作を操作部１６に対して行なうと、データ管理部４は、動画用Ａ／Ｄ変換部３によって得られた動画データを信号切換部６に出力する。信号切換部６は、データ管理部４からの動画データを記録再生制御部９に出力する。記録再生制御部９は、信号切換部６からの動画データを通常のフレームレートで記録媒体１１に記録する。

ところで、記録対象画像がハイビジョンの画像である場合、記録対象画像のデータは、１９２０画素×１０８０画素の解像度で、かつ６０ｆｐｓのフレームレートで記録媒体１１に記録される。その場合、信号切換部６は、毎秒６０枚の画像のデータを記録再生制御部９に送る。

近年、撮像部２として、解像度は低いものの、６０ｆｐｓの５倍速である３００ｆｐｓのフレームレートで動画データを生成することができるＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）センサが実用化されている。

そのため、通常の５倍のフレームレートで、例えば３００ｆｐｓで、動画データを記録させるための指示をユーザは操作部１６に対して行なうことができる。動画データを３００ｆｐｓのフレームレートで記録再生制御部９により処理させる場合、信号切換部６は６０ｆｐｓの５倍の速度で動画データを記録再生制御部９に送ることになり、その速度に対応する伝送帯域が必要になる。

その伝送帯域を確保することが困難となる場合を考慮して、実施の形態１では、動画データを３００ｆｐｓのフレームレートで記録再生制御部９により処理させる場合、データ管理部４は、動画用Ａ／Ｄ変換部３によって生成された動画データを第１のＲＡＭ５に一時的に蓄積する。その蓄積処理の終了後、データ管理部４は、第１のＲＡＭ５に一時的に蓄積された動画データを信号切換部６を介して記録再生制御部９に送る。記録再生制御部９は、信号切換部６からの動画データを、つまり一時的に蓄積された動画データを記録媒体１１に記録する。

動画データを第１のＲＡＭ５に一時的に蓄積させる場合、３００ｆｐｓで動画を撮影することができる時間は第１のＲＡＭ５の容量により制限される。しかしながら、近年は民生用ビデオカメラでも、画像サイズが７２０画素×４８０画素である動画データを３００ｆｐｓで４秒程度撮影して蓄積することが可能になってきている。３００ｆｐｓは６０ｆｐｓの５倍速であるので、蓄積された動画データを通常の速度である６０ｆｐｓで再生すると、２０秒の動画が再生される。

なお、６０ｆｐｓは第１のフレームレートの一例であり、３００ｆｐｓは第２のフレームレートの一例である。以下では、第２のフレームレートである３００ｆｐｓで動画データを記録媒体１１に記録する場合を説明する。

第２のフレームレートである３００ｆｐｓで動画データを記録媒体１１に記録する場合、データ管理部４は、撮像部２及び動画用Ａ／Ｄ変換部３によって３００ｆｐｓで生成された動画データを、最大４秒間まで第１のＲＡＭ５に一時的に蓄積する（Ｓ２）。その後、データ管理部４は、第１のＲＡＭ５に一時的に蓄積された動画データを信号切換部６を介して６０ｆｐｓで記録再生制御部９に送る。動画データが６０ｆｐｓで記録再生制御部９に送られるので、記録再生制御部９は、第１のＲＡＭ５に一時的に蓄積された動画データを、通常の撮影時と同じ６０ｆｐｓで処理する。

なお、動画データが、画像サイズが７２０画素×４８０画素の画像のデータである場合、データ管理部４は、７２０画素×４８０画素の画像をリサイズし、その後周りに黒枠を付加し、それにより１９２０画素×１０８０画素の画像を生成し、生成した画像に対応する動画データを記録再生制御部９に送る。

７２０画素×４８０画素の画像をリサイズでどれだけ大きくするかは、画質の劣化をどこまで許容するかによって決定される。仮に元の画像を２倍まで大きくすることが許容される場合、リサイズされた画像は１４４０画素×９６０画素の画像となり、記録再生制御部９に送られる動画データの各画像は、１４４０画素×９６０画素の画像の周囲に黒枠が付けられた１９２０画素×１０８０画素の画像となる。

上述したように、３００ｆｐｓの速度で第１のＲＡＭ５に一時的に蓄積された動画データは、一時蓄積処理が終了した後、６０ｆｐｓの速度で記録再生制御部９に送られ、記録再生制御部９内の動画エンコーダによってハイビジョンの画像としてＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＡＶＣＨＤ）フォーマットで圧縮されて、動画ストリームが生成される（Ｓ３）。

記録再生制御部９は、ハイビジョンの画像をＡＶＣＨＤのフォーマットで圧縮することができる動画エンコーダと動画デコーダとを有している。動画デコーダは再生時に動作する。

次に、ビデオカメラ１００が動画データを再生する際の動作を説明する。

記録再生制御部９は、動画データを記録媒体１１から取得して再生し、動画用Ｄ／Ａ変換部１２は、再生されたデジタルの動画データをアナログの動画データに変換し、表示部１３は、動画用Ｄ／Ａ変換部１２によって生成されたアナログの動画データに基づく画像を表示する。

ところで、３００ｆｐｓで撮影された動画像のデータは時間的に６０ｆｐｓの５倍の長さがあるので、エンコードして記録媒体１１に記録するのに撮影時間の５倍かかる。そして、記録されたストリームを通常の速度である６０ｆｐｓで再生すると、１／５倍速のスローモーションの動画が再生される。

次に、ビデオカメラ１００が音を記録する際の動作を図２を用いて説明する。図２は、ビデオカメラ１００が音データを記録する際の動作の各ステップを示すフローチャートでもある。

マイクロホン７は音を収集して電気信号に変換し、音用Ａ／Ｄ変換部８は、アナログの電気信号をデジタルの電気信号に変換し、それによってデジタルの音データを生成する（Ｓ４）。音用Ａ／Ｄ変換部８は、生成された音データを記録再生制御部９に送る。なお、音用Ａ／Ｄ変換部８は、動画が３００ｆｐｓで撮影されている期間中も、動画が通常の記録速度である６０ｆｐｓで記録されている場合と同じ４８ＫＨｚで音をサンプリングする。

動画データが第１のＲＡＭ５に蓄積されている間、記録再生制御部９は、音用Ａ／Ｄ変換部８によって生成された音データを第２のＲＡＭ１０に一時的に蓄積する（Ｓ５）。

記録再生制御部９は、撮像部２及び動画用Ａ／Ｄ変換部３によって３００ｆｐｓで生成された動画データが最大４秒間まで第１のＲＡＭ５に一時的に蓄積された後、音データを第２のＲＡＭ１０から取得して加工し（Ｓ６）、音ストリームを生成する。

次に、記録再生制御部９が行なう音データの加工について説明する。

動画が３００ｆｐｓで４秒間撮影された場合、動画像が６０ｆｐｓで再生されると、再生時間は４秒間の５倍の２０秒間となる。しかし、第２のＲＡＭ１０に蓄積された音データは４秒間の音データである。そこで、記録再生制御部９は、音データを時間軸上で５倍に引き延ばす。ここで、単に１サンプル毎に音データを４回コピーしてデータ量を５倍にしても、音データを時間軸上で５倍に引き延ばしたことにはなるが、それだと再生自に周波数が１／５に低下してしまい、聴感上実用することは難しい。

そこで、記録時にデータ量を時間軸上で５倍に引き延ばしても、再生時に周波数が下がらない処理を行なう。つまり、記録再生制御部９は、６０ｆｐｓの第１のフレームレートの動画データに対応する音データを、第１のフレームレートに対する３００ｆｐｓの第２のフレームレートの比に基づいて、所定の単位毎に複数回繰り返して音データを加工する（Ｓ６）。そして、記録再生制御部９は、加工した音データを音ストリームに変換するエンコードを行ない（Ｓ７）、動画ストリームと音ストリームとをマルチプレクスし（Ｓ８）、マルチプレクスしたストリームを記録媒体１１に記録する（Ｓ９）。

記録再生制御部９は、音データを所定の単位毎に複数回繰り返す場合、音データを所定の単位毎に、第２のフレームレートを第１のフレームレートで除算することによって得られる回数繰り返す。上述した例では、第１のフレームレートが６０ｆｐｓであり、第２のフレームレートが３００ｆｐｓであるので、記録再生制御部９は、音データを所定の単位毎に５回繰り返す。記録再生制御部９が所定の単位の音データを繰り返す処理の詳細は、図３を用いて後述する。

なお、記録再生制御部９は、音データを５倍に引き延ばしても引き延ばさない場合と音程がほとんど変わらない状態にするために、例えば、公知の話速変換技術、又は、音の再生速度変換技術を用いる。

次に、話速変換の実施例の一つとして、音質面では劣るものの、記録再生制御部９での音データの加工処理の負荷が小さくて済む方法を図３を用いて説明する。

図３は、４８ＫＨｚのサンプリングレート、かつ１６ビットのサンプリングでマイクロホン７によって取得されたＬｉｎｅａｒ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ（ＬＰＣＭ）データを、５倍に引き延ばす方法を示す図である。なお、ＬＰＣＭは、音等のアナログ信号をデジタル信号に変換する方法の一つであって、データを圧縮しない方法である、すなわち、ＬＰＣＭデータは非圧縮のデータである。また、図３では、説明の簡略化のため、音データが１チャンネルのみである場合が示されているが、図３に示す方法は、音データがステレオ等の複数のチャンネルのデータである場合でも適用可能である。

図３（Ａ）は、サンプリングレート４８ＫＨｚ、かつ１６ビットのサンプリングでマイクロホン７及び音用Ａ／Ｄ変換部８によって取得されたＬＰＣＭデータを示す。

図３（Ｂ）は、図３（Ａ）のＬＰＣＭのデータの先頭から記録再生制御部９によって取り出される単位データである８００サンプルを示す。

図３（Ｃ）は、記録再生制御部９によって、図３（Ｂ）の８００サンプルがコピーされ、その後、８００サンプルの先頭部分がフェードイン処理され、後尾部分がフェードアウト処理されたデータを示す。

次に、記録再生制御部９が行なうフェードイン処理及びフェードアウト処理を説明する。

先ず、フェードイン処理を説明する。

記録再生制御部９は、フェードイン処理を以下に示す式（１）に基づいて行なう。

Ｏｕｔｐｕｔ＝Ｉｎｐｕｔ×ｘ／ｗ （１）
ここで、Ｏｕｔｐｕｔは結果であり、Ｉｎｐｕｔは元のデータであり、ｘはサンプルの位置であり、ｗはフェードイン処理するサンプル数（この場合は１００）である。なお、フェードイン処理を開始するサンプルの位置ｘは“０”である。

次に、フェードアウト処理を説明する。

記録再生制御部９は、フェードアウト処理を以下に示す式（２）に基づいて行なう。

Ｏｕｔｐｕｔ＝Ｉｎｐｕｔ×（１００×ｘ）／ｗ （２）
ここで、Ｏｕｔｐｕｔは結果であり、Ｉｎｐｕｔは元のデータであり、ｘはサンプルの位置であり、ｗはフェードイン処理するサンプル数（この場合は１００）である。なお、フェードアウト処理を開始するサンプルの位置ｘは“０”である。

図３（Ｄ）は、図３（Ｃ）に示される先頭部分がフェードイン処理され、かつ後尾部分がフェードアウト処理されたデータが、記録再生制御部９によって１００サンプルずつ重ねられながら５回加算される様子を示す。これにより、記録再生制御部９は、元のデータを５倍に引き延ばしたＬＰＣＭデータを生成する。

図３（Ｅ）は、記録再生制御部９によって元のデータが５倍に引き延ばされたＬＰＣＭデータを示す。図３（Ｅ）において楕円で囲まれている部分は、フェードアウト処理されたデータにフェードイン処理されたデータが加算されている部分である。

このようにしないで、図３（Ｂ）に示すデータを単純に５回繰り返して連結すると、結合部の波形が不連続となり、再生時に聴感上インパルスノイズが発生する。フェードイン処理した結果とフェードアウト処理した結果とを加算することで、インパルスノイズの発生を防ぐことができる。

なお、記録再生制御部９は、引き延ばされた単位データと引き延ばされたその次の単位データとを連結する際、連結開始直前の単位データ（図３（Ａ）参照）で７００サンプル進んだ位置から連結処理を開始する。

このようにして、記録再生制御部９は、インパルスノイズの発生を防ぎつつ、ＬＰＣＭデータを引き延ばし、再生時に音程を変えずにゆっくり再生される音データを記録時に生成する。

なお、図３（Ｂ）に示すフェードイン及びフェードアウトの処理の対象となる単位データのサンプル数の選び方で、再生時の音の聞こえ方が大きく変わる。例えば、「おはよう」という音の場合、単位データのサンプル数が少ないと、「おおおおおおおおははははははは・・・」と震えているように聞こえ、単位データのサンプル数が多いと、「おはおはおはおはおはおはようようようようよう」というように聞こえる。単位データのサンプル数は、サンプリングレートに依存するが、サンプリングレートが４８ＫＨｚである場合、単位データのサンプル数は８００サンプル程度が良いようである。

また、音データを時間軸上で引き延ばす音データの加工処理は、図３を用いて説明した例に限定されない。しかしながら、対象の音は人の会話であるとは限定されないので、無音区間を検出しそこを時間的につめる処理を行なうことは不適当である。

次に、ビデオカメラ１００が音データを再生する際の動作を説明する。

記録再生制御部９は、音データを記録媒体１１から取得して、通常のフレームレート（第１のフレームレート）である６０ｆｐｓに対応する通常の速度で再生し、音用Ｄ／Ａ変換部１４は、再生されたデジタルの音データをアナログの音データに変換し、スピーカ１５は、音用Ｄ／Ａ変換部１４によって得られた音データに基づく音を出力する。

上述したように、実施の形態１では、記録再生制御部９は、音データを記録媒体１１に記録する前に音データを引き延ばす加工処理を行なう（図２のＳ６及び図３を参照）。これにより、記録再生制御部９が高速の第２のフレームレートである３００ｆｐｓで記録媒体１１に記録された動画データを通常のフレームレート（第１のフレームレート）である６０ｆｐｓで再生する場合、１／５倍速のなめらかなスローモーションの画像が再生され、それとともに、音程があまり変わっていない、臨場感がある音が再生される。

また、記録再生制御部９は、音データを記録媒体１１に記録する前に音データを引き延ばす加工処理を行なうので、音データを再生するための特別な装置は必要とされない。記録媒体１１に記録されたストリームは、フォーマットとしては通常記録されたものと何ら変わらず、再生装置は通常記録されたストリームと同様に、記録媒体１１に記録されたストリームを再生可能である。更に、スローモーションの動画にあった臨場感がある音がスローで再生される。

（実施の形態２）
実施の形態１では、処理対象の音データは画像の撮影時に記録再生制御部９に一旦送られ、第２のＲＡＭ１０に一時的に蓄積されるが、実施の形態２では、処理対象の音データは画像の撮影時に動画データとともに第１のＲＡＭ５に蓄積される。つまり、処理対象の音データは、実施の形態１では、記録再生制御部９によって処理される前に第２のＲＡＭ１０に一時的に蓄積されるが、実施の形態２では、記録再生制御部９によって処理される前に第１のＲＡＭ５に一時的に蓄積される。その点が実施の形態１と実施の形態２との相違点である。

なお、第１のＲＡＭ５から記録再生制御部９に動画データと音データとが送られる場合、動画データがエンコードされたストリームと、音データがエンコードされたストリームとをマルチプレクスすることができる速度で、動画データ及び音データは、第１のＲＡＭ５から記録再生制御部９に供給される。

（実施の形態３）
実施の形態３では、記録再生制御部９が持つＡＶＣＨＤのエンコーダが、処理対象のデータがｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ（ＳＤ）のデータであれば５倍速でエンコードできる能力を持つ場合について図４を用いて説明する。図４は、実施の形態３における動画データと音データとを多重してストリームを生成する動作を説明するための図である。なお、ハイビジョン（ＨＤ）に対応したエンコーダであれば、ＳＤのデータを５倍速でエンコードするのは十分に実現可能である。また、実施の形態３のエンコーダは、５倍速以下であれば、２倍速の１２０ｆｐｓ又は４倍速の２４０ｆｐｓでデータを処理することができる。

撮像部２は、画像サイズ７２０画素×４８０画素で、３００ｆｐｓの速度で動画データを生成し、生成された動画データは、信号切換部６を通して記録再生制御部９に供給される。記録再生制御部９は、ＳＤの動画データが通常の６０ｆｐｓの５倍速で供給されているとして、処理対象のデータを実時間の５倍速で処理して画像のストリームを生成する。その場合、ＳＤの画像を処理するときの５倍の帯域が必要となるが、ハイビジョンの画像は１９２０画素×１０８０画素の画像であり、ＳＤの画像の６倍のピクセル量を有する。よってハイビジョン信号に対応したエンコーダは、実装にもよるがＳＤの画像を５倍速でエンコードすることは十分可能である。

記録再生制御部９は、実時間の５倍速でＡＶＣＨＤで処理対象のデータをエンコードするので、処理対象のデータのビットレートが４Ｍｂｐｓであっても、エンコードしたデータを記録媒体１１に記録しているときのビットレートは５倍の２０Ｍｂｐｓとなる。記録媒体１１がハードディスクで、記録可能なビットレートが５０Ｍｂｐｓを超える場合、記録されるＳＤのストリームのビットレートがもう少し高くても記録処理に問題は生じない。しかしながら、記録媒体１１がメモリカード等の記録時のビットレートが２５Ｍｂｐｓ〜３０Ｍｂｐｓ程度を越えると記録時に課題を生じる媒体である場合、エンコードしたＳＤのストリームのビットレートは５Ｍｂｐｓ以下に抑えた方がよい。それでも、ＳＤのデータをＡＶＣＨＤでエンコードするなら、５Ｍｂｐｓでも十分高画質な画像が得られるので、問題は生じない。

ここまでは画像の処理について説明した。次に、音の処理について説明する。本発明の目的は、動画データを記録する際、それがスローモーションで再生される際の画像に相応しい、臨場感のある音のデータを記録することである。記録されたＡＶＣＨＤのストリームを通常に再生すると、音が１／５の速度でかつ音程があまり変わらない状態で再生されるように音データを処理する方法を以下に示す。

動画像を５倍速で撮影中に、音はマイクロホン７から音用Ａ／Ｄ変換部８を通して記録再生制御部９に入力される。音データは記録再生制御部９に入力される。記録再生制御部９は、音データを実施の形態１で示した方法で先ず５倍に引き延ばし、ＡＣ３エンコーダにより５倍速でエンコードし、５倍のビットレートでストリームを生成する。

記録再生制御部９は、画像のストリームと音のストリームとのマルチプレクスも５倍速で行なう。これにより、通常に再生すると画像が１／５のスローモーションで再生され、音はそれにあった、臨場感のある状態で再生されるＳＤのＡＶＣＨＤ規格のストリームが生成される。

実施の形態３では、ビデオカメラ１００は、３００ｆｐｓのような高速で撮影しながら、画像及び音のエンコード（圧縮）を行ない、エンコードすることによって得られるストリームを記録媒体１１に記録する。その点が、実施の形態３と実施の形態１及び実施の形態２との根本的な違いである。

実施の形態３のビデオカメラ１００は、実施の形態１及び実施の形態２のビデオカメラ１００に対して次に示す（ｉ）及び（ｉｉ）の長所を有する。

（ｉ）撮影可能時間が第１のＲＡＭ５の制約を受けることがなく、記録媒体１１に空き容量がある限り撮影を続けることができる。

（ｉｉ）実施の形態１及び実施の形態２のビデオカメラ１００は、撮影及び記録に要する時間として「撮影した時間＋その時間のｎ倍の時間（ｎは高速撮影の速度に依存）」を必要とする。仮に３００ｆｐｓで３０秒撮影し、ｎが“５”である場合、実施の形態１及び実施の形態２のビデオカメラ１００は、撮影及び記録に要する時間として「３０秒＋３０秒×５」、すなわち「１８０秒」を必要とする。それに対して実施の形態３のビデオカメラ１００は、実時間（３０秒）で撮影及び記録を行なうことができる。

（実施の形態４）
実施の形態３では、記録再生制御部９は、音データをＡＣ３でエンコードをする。これはＡＶＣＨＤ規格では音データをＡＣ３でエンコードすることが必須になっているためであるが、システムの構成によってはＡＣ３のエンコードを５倍速で行なうことができない場合もある。その場合の代替手段を図５を用いて説明する。図５は、実施の形態４における動画データと音データとを多重してストリームを生成する動作を説明するための図である。

ＡＶＣＨＤ規格では、音データをＬＰＣＭで記録することも許されている。その場合でもＡＣ３の音データは必須であり、記録再生制御部９は、ＡＣ３では無音データを生成し、５倍に引き延ばした音データはＬＰＣＭで記録する。これにより、記録再生制御部９は、ＡＶＣＨＤ規格を満たした状態で、目的の音データを動画像のストリームに付加することができる。

そのストリームを再生する際、再生装置はデフォルトでＡＣ３の音データを選ぶと思われる。その場合、そのままでは再生時は無音であるが、ユーザに再生装置を操作させてＬＰＣＭの音データを選択させると、目的の音が再生される。

ＡＣ３のエンコーダを５倍速で動かすことが困難な場合でも、ＡＣ３の無音のデータを生成してストリームを生成する処理は、ＡＣ３エンコーダの一部を利用して可能となる場合が多いと考えられる。実施の形態４の構成は、実施の形態３の構成を実現することができない場合の代替手段として有効である。

（実施の形態５）
音データは、サンプリング周波数４８ＫＨｚ、量子化ビット数１６ビットで記録されることが多い。これは高い質の音を再生するためであるが、本発明を適用するシステムの構成によっては、処理の負荷が重すぎて対応することができない場合もあり得る。その場合、例えばサンプリング周波数を２４ＫＨｚにすれば、処理するデータの量が半分に減るので、システムが処理することができる可能性が出てくる。

また、演算の精度として量子化ビット数が１６ビットでは処理負荷が重くて対応することはできないが、量子化ビット数を８ビットに落せば処理可能という場合も考えられる。

サンプリング周波数と量子化ビット数との一方又は双方を落とすと音質は悪くなるものの、音データをスローモーションの画像に合わせて加工していること、また、その用途から、通常のサンプリング周波数４８ＫＨｚ、量子化ビット数１６ビットの音に比べて低音質であっても実用可能な範囲内であれば、サンプリング周波数と量子化ビット数との一方又は双方を落としても、商品性を損なわないと思われる。

また、処理対象の音が本来は２ｃｈステレオ音である場合、２ｃｈをミックスしてモノラル音にした後、１ｃｈのモノラル音として処理し、音データとして記録媒体１１に記録される状態では２ｃｈ（ＬとＲとは同じ音）に戻すことによって、負荷の大きい時間軸上で音データを引き延ばす処理の量を半分にすることもできる。これによっても、上述した理由と同様の理由により、商品性を損なわないと思われる。

したがって、記録再生制御部９は、処理対象の音データのサンプリング周波数を遅くすることと、処理対象の音データの量子化ビット数を少なくすることと、音データがステレオ信号である場合の音データをモノラル信号に変換することとの全部又は一部を実行することによって、処理対象の音データの量を小さくしてもよい。これにより、記録再生制御部９の処理負担は軽減される。

（実施の形態６）
実施の形態６では、記録再生制御部９は、ＡＣ３にてダミーの無音を記録し、ＬＰＣＭにて本発明の処理を施した音データを記録する場合、そのストリームをＡＶＣＨＤのディスク（ＤＶＤ）に書き込むとき、再生時に、非圧縮音フォーマットの音データであるＬＰＣＭの音データを、圧縮音フォーマットの音データであるＡＣ３のダミーの無音の音データより優先して再生させるために以下に示す処理を行なう。

すなわち、記録再生制御部９は、非圧縮音フォーマットの音データであるＬＰＣＭの音データの識別番号を、圧縮音フォーマットの音データであるＡＣ３のダミーの無音の音データの識別番号より優先させて記録媒体１１に記録する。

記録再生制御部９は、例えば図６に示すように、非圧縮音フォーマットの音データであるＬＰＣＭの音データの識別番号を“１”とし、圧縮音フォーマットの音データであるＡＣ３のダミーの無音の音データの識別番号を“２”として、優先順位を特定する情報を記録媒体１１に記録する。識別番号が小さい方が優先度は高いと仮定する。この場合、ＡＶＣＨＤ対応のプレイヤ及びレコーダにて音データが再生されるとき、ＬＰＣＭの音データが優先して再生されると期待できる。

つまり、再生装置は、記録媒体に記録されている動画データを再生する動画再生制御部と、記録媒体に記録されている非圧縮音フォーマットの音データであるＬＰＣＭの音データの識別番号と圧縮音フォーマットの音データであるＡＣ３のダミーの無音の音データの識別番号とを比較し、優先度の高い識別番号が付されている音データを再生する音再生制御部とを備えてもよい。

上述した処理は、ＡＶＣＨＤの規格で定められている、Ｐｌａｙ ＬｉｓｔのＳＴＮ ＴａｂｌｅのＡｕｄｉｏストリームのエントリの先頭をＬＰＣＭにし、次のエントリをＤｏｌｂｙ Ｄｉｇｉｔａｌにすると、一般的なプレイヤ及びレコーダは先に見つかった音をデフォルトで再生すると思われるので行なう。

ＡＶＣＨＤの規格にはＡＣ３の音データとＬＰＣＭの音データとのどちらをデフォルトで再生すべきかが明記されていないため、確実ではないものの、上述した処理は、多くの場合、実現可能になると期待できる。なお、そうでない場合はリモコン操作などによってユーザにＬＰＣＭの音データを選ばせれば、目的の音が再生される。例えば、ユーザに、識別番号“１”を選択させる。

つまり、再生装置は、記録媒体に記録されている動画データを再生する動画再生制御部と、記録媒体に記録されている非圧縮音フォーマットの音データであるＬＰＣＭの音データの識別番号と圧縮音フォーマットの音データであるＡＣ３のダミーの無音の音データの識別番号とのうちでユーザによって選択された識別番号が付されている音データを再生する音再生制御部とを備えてもよい。

なお、本発明の記録装置の実施態様の一例は、ビデオカメラ及びデジタルカメラである。

また、上述した実施の形態における記録再生制御部９は、本発明の記録装置の動画記録制御部及び音記録制御部の一例である。

また、動画は、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＭＰＥＧ）等の規格によってエンコードされて記録媒体１１に記録されてもよい。動画をエンコードするための規格はいずれの規格であってもよい。

更に、記録媒体１１は、ビデオカメラ１００に設けられていないリムーバブルの媒体であってもよい。

１００ ビデオカメラ、 １０１ 記録装置、 １０２ 再生装置、 １ 光学部、 ２ 撮像部、 ３ 動画用Ａ／Ｄ変換部、 ４ データ管理部、 ５ 第１のＲＡＭ、６ 信号切換部、 ７ マイクロホン、 ８ 音用Ａ／Ｄ変換部、９ 記録再生制御部、１０ 第２のＲＡＭ、 １１ 記録媒体、 １２ 動画用Ｄ／Ａ変換部、 １３ 表示部、 １４ 音用Ｄ／Ａ変換部、 １５ スピーカ、 １６ 操作部。

Claims (7)

1. 第１のフレームレートより高い第２のフレームレートで取得される動画データを記録媒体に記録する動画記録制御部と、
   前記第１のフレームレートの前記動画データに対応して取得される音データを、前記第１のフレームレートに対する前記第２のフレームレートの比に基づいて、所定の話速変換技術を用いて時間軸上で引き延ばして前記記録媒体に記録する音記録制御部と
   を備える記録装置。
2. 前記音記録制御部は、圧縮音フォーマットで無音データを前記記録媒体に記録し、前記音データを、前記第１のフレームレートに対する前記第２のフレームレートの比に基づいて、所定の話速変換技術を用いて時間軸上で引き延ばし、非圧縮音フォーマットで前記記録媒体に記録する
   請求項１に記載の記録装置。
3. 前記音記録制御部は、前記非圧縮音フォーマットの音データの識別番号を、前記圧縮音フォーマットの音データの識別番号より優先させて前記記録媒体に記録する
   請求項２に記載の記録装置。
4. 前記音記録制御部は、前記音データのサンプリング周波数を低くすることと、前記音データの量子化ビット数を少なくすることと、前記音データがステレオ信号である場合の前記音データをモノラル信号に変換することとの全部又は一部を実行する
   請求項１から３のいずれか１項に記載の記録装置。
5. 第１のフレームレートより高い第２のフレームレートで取得される動画データを記録媒体に記録する動画記録制御ステップと、
   前記第１のフレームレートの前記動画データに対応して取得される音データを、前記第１のフレームレートに対する前記第２のフレームレートの比に基づいて、所定の話速変換技術を用いて時間軸上で引き延ばして前記記録媒体に記録する音記録制御ステップと
   を含む記録方法。
6. 前記音記録制御ステップにおいて、圧縮音フォーマットで無音データを前記記録媒体に記録し、前記音データを、前記第１のフレームレートに対する前記第２のフレームレートの比に基づいて、所定の話速変換技術を用いて時間軸上で引き延ばし、非圧縮音フォーマットで前記記録媒体に記録する
   請求項５に記載の記録方法。
7. 前記音記録制御ステップにおいて、前記非圧縮音フォーマットの音データの識別番号を、前記圧縮音フォーマットの音データの識別番号より優先させて前記記録媒体に記録する
   請求項６に記載の記録方法。

Images