JP2018011098A - 映像処理装置、撮像装置および映像処理プログラム - Google Patents

Abstract

【課題】再生映像の始端付近や終端付近においても良好な防振処理を行う。
【解決手段】映像処理装置は、撮像により生成された映像データと撮像中の振れに関する振れ情報とを記録する処理を行う。該装置は、再生可能を示す再生有効情報と再生不可を示す再生無効情報とを映像データに対して与える付与手段と、映像データ、振れ情報および再生識別情報を含む記録データを生成して記録する処理手段とを有する。処理手段は、記録開始指示に応じて、記録開始前の第１の期間における映像データおよび振れ情報と再生無効情報とを含む第１のデータを生成し、記録開始から記録終了指示に応じた記録終了までの第２の期間における映像データおよび振れ情報と再生有効情報とを含む第２のデータを生成し、記録終了後の第３の期間における映像データおよび振れ情報と再生無効情報とを含む第３のデータを生成し、第１から第３のデータを統合した記録データを生成する。
【選択図】図１

Description

本発明は、再生防振処理を行う映像処理技術に関する。

ビデオカメラ等の撮像装置を用いて映像を記録する際に、手振れ等によるカメラ振れに起因して映像が振れる場合がある。特許文献１には、このような像振れを映像の再生時に補正（低減）するため、映像から取得した振れ情報としての動きベクトル量に応じて映像中の部分領域を切り出して拡大する再生防振処理が開示されている。また、特許文献２には、記録時に角速度センサにより検出した撮像装置の角速度に基づく振れ情報を映像と共に記録し、映像の再生時に該振れ情報を用いて防振処理を行う再生防振処理が開示されている。さらに、特許文献３には、予め記録した振れ情報を先読みし、部分領域の拡大率が緩やかに変化するように決定した振れ補正量で防振処理を行う再生防振処理が開示されている。

特開平７−１４３３８０号公報 特開平１０−４２２３３号公報 特開２０１２−４４４１８号公報

しかしながら、これら特許文献にも開示された従来の再生防振処理では、映像の記録開始よりも前の振れ情報や映像の記録終了よりも後の振れ情報が記録されないため、再生される映像の始端付近や終端付近において良好な防振処理が行われない可能性がある。すなわち、本来補正すべきではない像振れが補正されて再生映像に不自然な変動が生じる可能性がある。

本発明は、再生される映像の始端付近や終端付近においても良好な防振処理が行われるようにした映像処理装置等を提供する。

本発明の一側面としての映像処理装置は、撮像により生成された映像データと撮像中の振れに関する振れ情報とを記録する処理を行う。該映像処理装置は、映像データの再生可否を示す再生識別情報として、再生可能を示す再生有効情報と再生不可を示す再生無効情報とを映像データに対して与える付与手段と、映像データ、振れ情報および再生識別情報を含む記録データを生成して記録する処理手段とを有する。処理手段は、記録開始指示に応じて、記録開始前の第１の期間における映像データおよび振れ情報と再生無効情報とを含む第１のデータを生成し、記録開始から記録終了指示に応じた記録終了までの第２の期間における映像データおよび振れ情報と再生有効情報とを含む第２のデータを生成し、記録終了後の第３の期間における映像データおよび振れ情報と再生無効情報とを含む第３のデータを生成し、第１、第２および第３のデータを統合した記録データを生成することを特徴とする。

また、本発明の他の一側面としての映像処理装置は、撮像により生成されて撮像中の振れに関する振れ情報とともに記録された映像データを、指示された分割位置で分割する処理を行う。該映像処理装置は、映像データの再生可否を示す再生識別情報として、再生可能を示す再生有効情報と再生不可を示す再生無効情報とを前記映像データに対して与える付与手段と、それぞれ分割された映像データおよび振れ情報と再生識別情報とを含む第１の分割データおよび第２の分割データを生成する処理手段とを有する。処理手段は、映像データおよび振れ情報のうち分割位置に先行する第１の期間の部分と再生識別情報とを含む第１のデータを生成し、映像データおよび振れ情報のうち分割位置に後続する第２の期間の部分と再生無効情報とを含む第２のデータを生成し、第１および第２のデータを統合した第１の分割データを生成する。また、処理手段は、分割位置に先行する第３の期間における映像データおよび振れ情報と再生無効情報とを含む第３のデータを生成し、映像データおよび振れ情報のうち分割位置に後続する第４の期間の部分と再生識別情報とを含む第４のデータを生成し、第３および第４のデータを統合した第２の分割データを生成することを特徴とする。

また、本発明の他の一側面としての映像処理装置は、撮像により生成されて撮像中の振れに関する振れ情報とともに記録された映像データが分割されることで生成された第１の映像データおよび第２の映像データを、振れ情報とともに結合する処理を行う。該映像処理装置は、第１および第２の映像データのそれぞれに付与された各映像データの再生可否を示す再生識別情報であって、再生可能を示す再生有効情報と再生不可を示す再生無効情報を取得する取得手段と、第１および第２の映像データ、振れ情報ならびに再生識別情報をそれぞれ結合した結合データを生成する処理手段とを有する。第１の映像データのうち終端側の第１の期間の部分と第２の映像データのうち始端側の期間であって第１の期間に先行する第２の期間の部分のそれぞれに対する再生識別情報が再生無効情報であり、第１の映像データのうち第２の期間に相当する第３の期間の部分と第２の映像データのうち第１の期間に相当する第４の期間の部分のそれぞれに対する再生識別情報が再生有効情報であり、第１の期間の部分、第２の期間の部分、第３の期間の部分および第４の期間の部分のそれぞれに対する振れ情報を第１の振れ情報、第２の振れ情報、第３の振れ情報および第４の振れ情報とする。処理手段は、第１の振れ情報と第４の振れ情報とを比較するとともに、第２の振れ情報と第３の振れ情報とを比較し、第１の振れ情報と第４の振れ情報とが一致し、かつ第２の振れ情報と第３の振れ情報とが一致するときに、第１および第２の映像データと振れ情報と再生識別情報のうち、第１および第２の期間の部分を除いた部分をそれぞれ結合して結合データを生成することを特徴とする。

また、本発明の他の一側面としての映像処理装置は、撮像により生成されて撮像中の振れに関する振れ情報および前記映像データの再生可否を示す再生識別情報として再生可能を示す再生有効情報または再生不可を示す再生無効情報とともに記録された映像データを再生する処理を行う。該映像処理装置は、映像データを構成する複数の単位画像データのそれぞれに対して、その単位画像データより先の所定期間の振れ情報に基づいてその単位画像データを再生する場合の像振れを低減するため防振処理に用いる振れ補正情報を生成する生成手段と、振れ補正情報を用いた防振処理を行った単位画像データを再生する再生手段とを有する。再生手段は、単位画像データに対する再生識別情報が再生無効情報である場合は該単位画像データを再生せず、単位画像データに対する再生識別情報が再生有効情報である場合は該単位画像データを再生することを特徴とする。

なお、上記映像処理装置を備えた撮像装置も、本発明の他の一側面を構成する。また、コンピュータを上記映像処理装置として動作させるコンピュータプログラムとしての映像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、映像の記録開始よりも前の振れ情報や映像の記録終了よりも後の振れ情報を利用することで、再生される映像の始端付近や終端付近においても良好な防振処理を行うことができる。

本発明の実施例１である映像処理装置を備えた撮像装置の構成を示すブロック図。 実施例１における映像記録処理を示すフローチャート。 実施例１における映像記録処理を示す概念図。 本発明の実施例２である映像処理装置の構成を示すブロック図。 実施例２における映像分割処理を示すフローチャート。 実施例２における映像分割処理を示す概念図。 実施例２における映像結合処理を示すフローチャート。 実施例２における映像結合処理を示す概念図。 本発明の実施例３である映像処理装置を備えた映像再生装置の構成を示すブロック図。 実施例３における映像再生処理を示すフローチャート。 実施例３における映像再生処理を示す概念図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である映像処理装置を備えた撮像装置（映像記録装置）１００の構成を示す。レンズユニット１０１は、不図示の被写体からの光を結像させて撮像素子１０２に被写体像を形成する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換（撮像）する。

アナログ信号処理部１０３は、撮像素子１０２から出力された電気信号に所定の処理を行うことでアナログ撮像信号を生成する。アナログ信号処理部１０３は、例えばＣＤＳ（Co-related Double Sampling：相関二重サンプリング）回路およびＡＧＣ（Automatic Gain Control）回路等を含む。

カメラ信号処理部１０４は、Ａ／Ｄ変換器を備え、アナログ信号処理部１０３で生成されたアナログ撮像信号をデジタル映像信号に変換する。記録制御部１０５は、符号化部１０６、メモリ１０７および記録メディア１１６、さらにマイクロコンピュータ１１５内の動きベクトル量取得部１１２およびメタデータ設定部１１４に対してデジタル映像信号および映像データを受け渡しする。記録メディア１１６は、半導体メモリや光ディスク等である。記録制御部１０５による映像信号および映像データの受け渡しは、マイクロコンピュータ（以下、マイコンと略記する）１１５により制御される。

符号化部１０６は、カメラ信号処理部１０４により生成されて記録制御部１０５から受け取ったデジタル映像信号をＭＰＥＧ２形式の映像データに符号化し、記録制御部１０５を介してメモリ１０７に出力する。メモリ１０７は、映像データを一時的に記録する揮発性の記憶媒体である。符号化部１０６により生成された映像データは、数秒分、メモリ１０７にバッファされる。また、後述するメタデータ設定部１１４から出力されるメタデータも同様にメモリ１０７にバッファされる。なお、メタデータは、映像データに付随したデータであって、映像データに関する情報を含むメタ（上位の）データである。

スイッチ操作部１０８は、ユーザが操作する複数のスイッチを備え、そのうち映像の記録開始と記録終了を指示するための記録開始／終了スイッチが操作されると、指示信号をマイコン１１５に入力する。記録開始を指示する指示信号（記録開始指示信号）を受けたマイコン１１５は、後述するように記録制御部１０５に映像データおよびメタデータを生成させ、記録メディア１１６に出力させて記録させる。また、記録終了を指示する指示信号（記録終了指示信号）を受けたマイコン１１５は、後述するように所定期間の映像データおよびメタデータの記録を行った後、映像データおよびメタデータの記録を終了する。記録制御部１０５とマイコン１１５により処理手段が構成される。

マイコン１１５は、前述した動きベクトル量取得部１１２およびメタデータ設定部１１４に加え、再生識別情報設定部１０９、角速度振れ量設定部１１１および動きベクトル設定部１１３を有する。再生識別情報設定部（付与手段）１０９は、上述した記録開始／終了の指示信号に応じて、記録メディア１１６に出力する映像データの再生可否を示す再生識別情報をメタデータ設定部１１４に設定する。角速度センサ１１０は、撮像中の手振れ等によって撮像装置に加わる振れ（以下、カメラ振れという）の角速度を検出する。角速度振れ量設定部１１１は、角速度センサ１１０の出力に基づいて、カメラ振れの振れ量である角速度振れ量を算出してメタデータ設定部１１４に設定する。

動きベクトル量取得部１１２は、メモリ１０７に記憶された映像データから撮像中に発生する動きベクトル量を取得し、動きベクトル量設定部１１３に設定する。動きベクトル量設定部１１３は、動きベクトル量取得部１１２により設定された動きベクトル量をメタデータ設定部１１４に設定する。

メタデータ設定部１１４は、再生識別情報設定部１０９、角速度振れ量設定部１１１および動きベクトル量設定部１１３により設定された再生識別情報、角速度振れ量および動きベクトル量を含むメタデータを、記録制御部１０５を介してメモリ１０７に出力する。以下の説明において、カメラ振れに関する情報である角度速度振れ量および動きベクトル量を、まとめて振れ情報ともいう。

図２のフローチャートには、本実施例においてマイコン１１５が行う映像記録処理の流れを示している。マイコン１１５は、コンピュータプログラムである映像処理プログラムに従って本処理を実行する。本処理はマイコン１１５に含まれるそれぞれの部１０９，１１１〜１１４が行う処理を含むが、まとめてマイコン１１５が行うものとして説明する。

図２のステップＳ２０１において、マイコン１１５は、記録制御部１０５に数秒分の映像データとメタデータをメモリ１０７に出力させる。このとき、マイコン１１５は、メタデータに含まれる再生識別情報を、映像の再生が無効であることを示す再生無効情報に設定する。また、ここにいう数秒とは、少なくとも後述するステップＳ２０２にて決定する所定期間Ｔ１が取り得る時間以上の時間である。なお、数秒分の映像データおよびメタデータは、メモリ１０７の一部をリングバッファとして使用して出力される。すなわち、数秒分の映像データおよびメタデータが蓄積された後は、時系列的に最も古い映像データおよびメタデータを、最新の映像データおよびメタデータで上書きする。

次にステップＳ２０２では、マイコン１１５は、メタデータに含まれる振れ情報（角速度振れ量および動きベクトル量）に基づいて第１の期間である所定期間Ｔ１を設定する。一般にパンニング（水平方向のパンニングと垂直方向のチルティングを含む）時には振れ情報が示す振れの大きさである振れ量が大きくなるため、像振れを補正（低減）するための振れ補正量がその上限値に達してしまうおそれがある。このため、マイコン１１５は、パンニング時は映像における像振れを補正する防振処理を停止するように制御する。但し、パンニングかカメラ振れかの判定を行うために所定期間Ｔ１が充分な時間でない場合には、本来補正すべきではない像振れを補正してしまうおそれがある。このため、マイコン１１５は、所定期間Ｔ１を、振れ量が大きいほど長く（振れ量が小さいほど短く）なるように設定する。このことは、後述する所定期間Ｔ３についても同じである。

次にステップＳ２０３において、マイコン１１５は、映像の記録開始の指示（記録開始指示信号の入力）の有無を判定する。マイコン１１５は、映像の記録開始が指示された場合はステップＳ２０４に進み、指示されない場合はステップＳ２０１に戻る。

ステップＳ２０４では、マイコン１１５は、記録制御部１０５にステップＳ２０１でメモリ１０７に出力された数秒分の映像データとメタデータのうち所定期間Ｔ１分を含む記録開始前データ（第１のデータ）を生成させ、記録メディア１１６に出力させる。このときのメタデータの再生識別情報は、ステップＳ２０１にて設定された再生無効情報のままとする。

次にステップＳ２０５では、記録制御部１０５に、記録開始から後述する記録終了までの映像データとメタデータを含む記録開始後データ（第２のデータ）の生成を開始させ、記録メディア１１６に出力させる。このとき、マイコン１１５は、メタデータの再生識別情報を、映像データが再生可能であることを示す再生有効情報に設定する。

次にステップＳ２０６では、マイコン１１５は、ステップＳ２０２での所定期間Ｔ１の設定と同様に、第３の期間である所定期間Ｔ３を設定する。

次にステップＳ２０７では、マイコン１１５は、映像の記録終了の指示（記録終了指示信号の入力）の有無を判定する。マイコン１１５は、映像の記録終了が指示された場合はステップＳ２０８に進み、記録終了が指示されない場合はステップＳ２０５に戻る。

ステップＳ２０８では、マイコン１１５は、記録制御部１０５に記録開始後データの生成と出力を終了させ、さらに記録終了後の所定期間Ｔ３分の映像データとメタデータを含む記録終了後データ（第３のデータ）を生成させて記録メディア１１６に出力させる。マイコン１１５は、記録終了後データに含まれるメタデータの再生識別情報を、再生不可であることを示す再生無効情報に設定する。

次にステップＳ２０９では、マイコン１１５は、記録制御部１０５に、これまで記録メディア１１６に出力された記録開始前、記録開始後および記録終了後データを統合したメタデータ付き映像データ（記録データ）として記録メディア１１６に記録させる。このようにしてメタデータ付き映像データを生成および記録（保存）したマイコン１１５は、本処理を終了する。

図３には、上述した映像記録処理の内容を示している。まず、図２におけるステップＳ２０３で記録開始指示があると、ステップＳ２０４で説明した所定期間Ｔ１分の記録開始前データ（映像データおよびメタデータ）が記録メディア１１６に出力される。このときのメタデータの再生識別情報は、ステップＳ２０１で設定された再生無効情報である。

続いて、ステップＳ２０５で説明した記録開始から記録終了指示に応じた記録終了までの記録期間（第２の期間）Ｔ２分の記録開始後データ（映像データおよびメタデータ）が記録メディア１１６に出力される。このときのメタデータの再生識別情報は再生有効情報である。

そして、ステップＳ２０７で記録終了指示があると、ステップＳ２０８で説明した所定期間Ｔ３分の記録終了後データ（映像データおよびメタデータ）が記録メディア１１６に出力される。このときのメタデータの再生識別情報は再生無効情報である。最後に、ステップＳ２０９にて記録メディア１１６に出力された記録開始前、記録開始後および記録終了後データがひとまとまりのメタデータ付き映像データとして記録される。

このように本実施例では、映像の記録開始前の角速度振れ量および動きベクトル量を示す振れ情報を含む記録開始前データと、映像の記録終了後の振れ情報を含む記録終了後データとを記録開始後データとともに記録する。このため、記録開始後データに含まれる映像データを再生する際に記録開始前および記録終了後データに含まれる振れ情報を利用することが可能となる。

図４には、本発明の実施例２である映像処理装置４００の構成を示す。映像処理装置４００は、パーソナルコンピュータにより構成されてもよいし、撮像装置や映像再生装置に内蔵されてもよい。

記録メディア４０１には、実施例１で説明した撮像装置１００により記録されたメタデータ付き映像データが記録されている。メタデータは、実施例１で説明したように、振れ情報としての角速度振れ量および動きベクトル量と、再生識別情報としての再生有効情報および再生無効情報とを含む。

記録再生制御部４０２は、復号化部４０３、メモリ４０４、記録メディア４０１、さらにマイクロコンピュータ４０９内のメタデータ読出／設定部４０２に対して映像データおよびメタデータを受け渡しする。記録再生制御部４０２による映像データおよびメタデータの受け渡しは、マイクロコンピュータ（以下、マイコンと略記する）４０９により制御される。記録メディア４０１は、半導体メモリや光ディスク等により構成される。

復号化部４０３は、記録メディア４０１に記録されている映像データを復号化し、復号化されたデジタル映像信号を記録再生制御部４０２を介してメモリ４０４に出力する。メモリ４０４は、デジタル映像信号を一時的に記録する揮発性の記憶媒体である。

スイッチ操作部４０５は、ユーザが操作する複数のスイッチを備え、そのうち映像分割処理を指示するための分割指示スイッチが操作されると、分割指示信号をマイコン４０９に入力する。分割指示信号を受けたマイコン４０９は、記録メディア４０１に記録されている映像データを復号化して、不図示の表示装置に復号化された映像信号を表示させる。表示装置は、映像処理装置４００内に設けられていてもよいし、映像処理装置４００の外部に設けられていてもよい。また、この映像信号の表示は、ユーザに映像の分割位置を指示させるために行う。そして、ユーザによる分割位置の指示に応じて、マイコン４０９は後述する図５の処理を行い、記録再生制御部４０２に、分割されたメタデータ付き映像データを生成させ、記録メディア１１６に記録させる。

また、スイッチ操作部４０５は、上記複数のスイッチのうち映像分割処理により分割された映像の表示を指示するための表示指示スイッチが操作されると、表示指示信号をマイコン４０９に入力する。表示指示信号を受けたマイコン４０９は、記録メディア４０１に記録されている映像データを復号化して、上記表示装置に復号化された映像信号を表示させる。そして、ユーザによる映像結合の指示に応じて、マイコン１１５は後述する図７の処理を行い、記録再生制御部４０２に、結合されたメタデータ付き映像データを記録メディア１１６に記録させる。記録再生制御部４０２とマイコン４０９により処理手段が構成される。

メタデータ読出／設定部（付与手段および取得手段）４０６は、記録メディア４０１に記録されている映像データに対応付けられたメタデータの読み出し（取得）と、記録メディア４０１に記録する映像データに対応付けるメタデータの設定（付与）とを行う。再生識別情報読出／設定部４０７は、メタデータ読出／設定部４０６が読み出したメタデータから再生識別情報を読み出す。また、再生識別情報読出／設定部４０７は、マイコン１１５から通知される映像分割処理および映像結合処理の指示に応じて、再生識別情報をメタデータ読出／設定部４０６に設定する。振れ情報読出／設定部４０８は、メタデータ読出／設定部４０６が読み出したメタデータから振れ情報を読み出す。また、振れ情報をメタデータ読出／設定部４０６に設定する。

図５のフローチャートには、本実施例においてマイコン４０９が行う映像分割処理の流れを示している。マイコン４０９は、コンピュータプログラムである映像処理プログラムに従って本処理を実行する。本処理はマイコン４０９に含まれるそれぞれの部４０６〜４０８が行う処理を含むが、まとめてマイコン４０９が行うものとして説明する。これらのことは、後述する映像結合処理においても同じである。

ステップＳ５０１では、マイコン４０９は、分割指示信号に応じて、記録メディア４０１に記録（保存）されている分割前の映像データを復号化して映像を表示装置に表示させる。この際、映像分割を行う分割位置（時間上の位置）を指示するためのユーザインタフェース（映像分割ＵＩ）も表示する。分割位置は、分割前の映像データのうち、メタデータに含まれる再生識別情報が再生有効情報である再生有効部分において指示可能である。

次にステップＳ５０２では、マイコン４０９は、映像分割ＵＩを通じた分割位置の指示の有無を判定する。マイコン４０９は、分割位置が指示された場合はステップＳ５０３に進み、分割位置が指示されない場合はステップＳ５０１に戻る。

ステップＳ５０３では、マイコン４０９は、分割位置の前後の振れ情報に基づいて、分割位置に後続する所定期間（第２の期間）ＴＤ２を設定する。後のステップＳ５０４およびＳ５０５にて説明するが、分割位置に先行する全期間（第１の期間）をＴＤ１とする。所定期間ＴＤ２は、期間ＴＤ１分の映像データおよびメタデータに後続する映像データおよびメタデータの期間であり、期間ＴＤ１の終端付近において振れ情報を利用するための期間である。

実施例１でも述べたように、パンニング時は振れ量が大きくなって振れ補正量が上限値に達するおそれがあるため、マイコン４０９はパンニング時には防振処理を停止するよう制御する。但し、パンニングかカメラ振れかの判定を行うために所定期間ＴＤ２が充分な時間でない場合には、本来補正すべきではない像振れを補正するおそれがある。このため、マイコン４０９は、所定期間ＴＤ２を振れ量が大きいほど長く（振れ量が小さいほど短く）なるように設定する。

次にステップＳ５０４では、マイコン４０９は、記録再生制御部４０２に、分割位置に先行する全期間ＴＤ１分の映像データおよびメタデータからなる分割位置先行データ（第１のデータ）生成させ、記録メディア４０１に出力させる。このときのメタデータの再生識別情報は、実施例１で説明した記録開始前データに相当する部分（再生無効部分）では再生無効情報であり、記録開始後データに相当する部分（再生有効部分）では再生有効情報である。

次にステップＳ５０５では、マイコン４０９は、記録再生制御部４０２に、分割位置に後続する所定期間ＴＤ２分の映像データおよびメタデータからなる分割位置後続データ（第２のデータ）を生成させ、記録メディア４０１に出力させる。このとき、マイコン４０９は、メタデータの再生識別情報を再生無効情報に設定する。

次にステップＳ５０６では、マイコン４０９は、記録再生制御部４０２に、ステップ５０４およびＳ５０５にて記録メディア１１６に出力された分割位置先行データおよび分割位置後続データを統合した分割後のメタデータ付き映像データ（第１の分割データ）Ａを記録させる。このようにして分割後のメタデータ付き映像データＡを生成および記録（保存）したマイコン４０９は、ステップＳ５０７に進む。

次にステップＳ５０７では、マイコン４０９は、ステップＳ５０３にて設定した所定期間ＴＤ２と同様に、分割位置に先行する所定期間（第３の期間）ＴＤ３を設定する。後のステップＳ５０８およびＳ５０９で説明するが、分割位置に後続する全期間（第４の期間）をＴＤ４とする。所定期間ＴＤ３は、全期間ＴＤ４分の映像データおよびメタデータに先行する映像データおよびメタデータの期間であり、期間ＴＤ４の始端付近において振れ情報を利用するための期間である。

次にステップＳ５０８では、マイコン４０９は、記録再生制御部４０２に、分割位置に先行する所定期間ＴＤ３分の映像データおよびメタデータからなる分割位置先行データ（第３のデータ）を生成させ、記録メディア４０１に出力させる。このとき、マイコン４０９は、メタデータの再生識別情報を再生無効情報に設定する。

次にステップＳ５０９では、マイコン４０９は、記録再生制御部４０２に、分割位置に先行する全期間ＴＤ４分の映像およびメタデータからなる分割位置後続データ（第４のデータ）を生成させ、記録メディア４０１に出力させる。このときのメタデータの再生識別情報は、実施例１で説明した記録開始後データに相当する部分は再生有効情報であり、記録終了後データに相当する部分は再生無効情報である。

次にステップＳ５１０では、マイコン４０９は、記録再生制御部４０２に、ステップ５０８とＳ５０９で記録メディア１１６に出力された分割位置先行および分割位置後続データを統合したメタデータ付き映像データ（第２の分割データ）Ｂを記録させる。このようにして分割後のメタデータ付き映像データＢを生成および記録（保存）したマイコン４０９は、本処理を終了する。

図６には、上述した映像分割処理の内容を示している。まず、図５におけるステップＳ５０１で分割指示信号に応じて分割前のメタデータ付き映像データに対応する映像が表示装置に表示される。ステップＳ５０２で分割位置が指示されると、ステップＳ５０４にて説明した期間ＴＤ１分の分割位置先行データ（映像データおよびメタデータ）が記録メディア４０１に出力される。メタデータの再生識別情報は、記録開始前データに相当する部分の再生無効情報と記録開始後データに相当する部分の再生有効情報である。

続いてステップＳ５０５で説明した所定期間ＴＤ２分の分割位置後続データ（映像データおよびメタデータ）が記録メディア４０１に出力される。メタデータの再生識別情報は、再生無効情報である。そして、記録メディア４０１に出力された期間ＴＤ１分の分割位置先行データと所定期間ＴＤ２分の分割位置後続データとが１つのメタデータ付き映像データＡとして記録メディア４０１に記録される。

次にステップＳ５０８で説明した所定期間ＴＤ３分の分割位置先行データ（映像データおよびメタデータ）が記録メディア４０１に出力される。メタデータの再生識別情報は、再生無効情報である。

続いてステップＳ５０９で説明した期間ＴＤ４分の分割位置後続データ（映像データおよびメタデータ）が記録メディア４０１に出力される。メタデータの再生識別情報は、記録開始後データに相当する部分は再生有効情報であり、記録終了後データに相当する部分は再生無効情報である。最後に、記録メディア４０１に出力された所定期間ＴＤ３分の分割位置先行データと期間ＴＤ４分の分割位置後続データとが１つのメタデータ付き映像データＢとして記録される。

図７のフローチャートには、本実施例においてマイコン４０９が行う映像結合処理の流れを示している。ステップＳ７０１において、マイコン４０９は、表示指示信号に応じて、記録メディア４０１に記録（保存）されている結合前のメタデータ付き映像データＡ，Ｂ（以下、単に映像データＡ，Ｂという）を復号化してそれぞれに対応する映像を表示装置に表示させる。この際、映像結合を指示するためのユーザインタフェース（映像結合ＵＩ）も表示する。

次にステップＳ７０２では、マイコン４０９は、映像結合ＵＩを通じた映像結合の指示の有無を判定する。マイコン４０９は、映像結合が指示された場合はステップＳ７０３に進み、映像結合が指示されない場合はステップＳ７０１に戻る。

ステップＳ７０３では、マイコン４０９は、結合する２つの映像データＡ，Ｂのメタデータに含まれる振れ情報に重複があるか否かを判定する。映像データＡの終端側のうち再生識別情報が再生無効情報である期間（第１の期間）をＴＣ１とし、映像データＢの始端側のうち再生識別情報が再生無効情報である期間（第２の期間）をＴＣ２とする。また、映像データＡの終端側のうち期間ＴＣ１を除いて期間ＴＣ２に相当する期間（第３の期間）をＴＣ３とし、映像データＢの始端側のうち期間ＴＣ２を除いて期間（第４の期間）ＴＣ１に相当する期間をＴＣ４とする。

マイコン４０９は、期間ＴＣ１と期間ＴＣ４の振れ情報（第１の振れ情報と第４の振れ情報）を比較するとともに、期間ＴＣ２と期間ＴＣ３の振れ情報（第２の振れ情報と第３の振れ情報）を比較して、それぞれが一致するか否かを判定する。マイコン４０９は期間ＴＣ１と期間ＴＣ４の振れ情報が一致し、かつ期間ＴＣ２と期間ＴＣ３の振れ情報が一致する場合はステップＳ７０４に進む。一方、期間ＴＣ１と期間ＴＣ４の振れ情報が一致せず、かつ期間ＴＣ２と期間ＴＣ３の振れ情報が一致しない場合はステップＳ７０５に進む。

ステップＳ７０４では、マイコン４０９は、映像データＡ，Ｂのうち、重複する振れ情報を含むメタデータにおける再生識別情報が再生無効情報である方の映像データおよびメタデータ、すなわち期間ＴＣ１と期間ＴＣ２の映像データおよびメタデータを削除する。そして、残った映像データＡに続けて残った映像データＢを結合し、記録再生制御部４０２にその結合後のメタデータ付き映像データ（結合データ）を記録メディア４０１に出力させる。

またステップＳ７０５では、マイコン４０９は、ステップＳ７０４でのデータ削除を行うことなく、映像データＡに続けて映像データＢを結合する。そして、記録再生制御部４０２にその結合後のメタデータ付き映像データを記録メディア４０１に出力させる。本ステップで生成された結合後のメタデータ付き映像データ（結合データ）には、期間ＴＣ１，ＴＣ４の映像データとメタデータが含まれる。

ステップＳ７０６では、マイコン４０９は、記録再生制御部４０２に、結合後のメタデータ付き映像データを記録メディア４０１に記録させる。

図８には、上述した映像結合処理の内容を示している。まず、図７のステップＳ７０１にて表示指示信号に応じて結合前の映像データＡ，Ｂに対応する映像が表示される。映像結合の指示があると、映像データＡ，Ｂ間で期間ＴＣ１とＴＣ４の振れ情報および期間ＴＣ２とＴＣ３の振れ情報がそれぞれ比較される。

期間ＴＣ１とＴＣ４の振れ情報および期間Ｔ２とＴ３の振れ情報がそれぞれ一致する場合（ＣＡＳＥ１）は、ステップＳ７０４で映像データＡの期間ＴＣ１の映像データとメタデータが削除され、映像データＢの期間ＴＣ２の映像データとメタデータが削除される。削除される期間ＴＣ１とＴＣ２のメタデータの再生識別情報は再生無効情報である。そして、残った映像データＡに続けて残った映像データＢが結合され、結合後のメタデータ付き映像データが記録メディア４０１に記録（保存）される。

一方、期間ＴＣ１とＴＣ４の振れ情報および期間ＴＣ２とＴＣ３の振れ情報がそれぞれ一致しない場合（ＣＡＳＥ２）は、ステップＳ７０５でそのままの映像データＡに続けてそのままの映像データＢが結合される。そして、結合後のメタデータ付き映像データが記録メディア４０１に記録（保存）される。

本実施例によれば、映像分割処理により分割された映像データや映像結合処理により結合された映像データを再生する際でも、それら映像データにおける記録開始前データと記録終了後データに含まれる振れ情報を利用することが可能となる。

図９には、本発明の実施例３である映像処理装置９００の構成を示す。映像処理装置９００は、パーソナルコンピュータにより構成されてもよいし、撮像装置や映像再生装置に内蔵されてもよい。

記録メディア９０１には、実施例１で説明した撮像装置１００により生成されたメタデータ付き映像データが記録（保存）されている。この映像データは、実施例１で説明した記録開始前、記録開始後および記録終了後データに含まれる映像データおよびメタデータを含む。メタデータには振れ情報としての角速度振れ量および動きベクトル量と、再生識別情報としての再生有効情報および再生無効情報とが含まれる。

再生制御部９０２は、復号化部９０３、メモリ９０４、記録メディア９０１、画像処理部９１１、さらにマイクロコンピュータ９１０内のメタデータ読出部９０６および振れ補正量決定部９０９に対して映像データおよびメタデータを受け渡しする。再生制御部９０２による映像データおよびメタデータの受け渡しは、マイクロコンピュータ（以下、マイコンと略記する）９１０により制御される。記録メディア９０１は、半導体メモリや光ディスク等により構成される。

復号化部９０３は、記録メディア９０１に記録されている映像データを復号化し、復号化されたデジタル映像信号を再生制御部９０２を介してメモリ９０４に出力する。メモリ９０４は、デジタル映像信号を一時的に保持する揮発性の記憶媒体である。復号化部９０３により復号化された映像データおよびメタデータは、メモリ９０４に数秒分バッファされる。

スイッチ操作部９０５は、ユーザが操作する複数のスイッチを備え、そのうち映像再生の準備を開始させるための再生準備スイッチが操作されると、再生準備指示信号をマイコン９１０に入力する。再生準備指示信号を受けたマイコン９１０は、後述する図１０の処理を行い、画像処理部９１１を通じて記録メディア９０１に記録された映像データに基づく映像を再生する。

メタデータ読出部９０６は、記録メディア９０１に記録されている映像データに対応付けられたメタデータを読み出す。再生識別情報読出部９０７は、メタデータ読出部９０６が読み出したメタデータから再生識別情報を読み出す。振れ情報読出部９０８は、メタデータ読出部９０６が読み出したメタデータから振れ情報を読み出す。

振れ補正量決定部（生成手段）９０９は、振れ情報読出部９０８が読み出した振れ情報に基づいて、映像データのうち像振れを補正するための振れ補正情報としての切り出し範囲の位置とサイズを算出（生成）し、これらを画像処理部９１１に設定する。画像処理部９１１は、振れ補正量決定部７０９により決定された切り出し範囲の位置とサイズに応じて防振処理を行いながら映像データを再生する。具体的には、画像処理部９１１は、映像データを構成する複数の単位画像データ（フィールド画像またはフレーム画像のデータ：以下、単に単位画像という）のそれぞれについて、振れ補正量決定部７０９により決定された切り出し範囲内の部分画像を順次切り出す。そして、画像処理部９１１は、切り出した部分画像のそれぞれに対して電子ズーム処理を行うことで生成した再生用単位画像を表示装置９１２に順次出力する。表示装置９１２は、入力された再生用単位画像を順次表示することにより、映像を再生表示する。画像処理部９１１、再生制御部９０２およびマイコン９１０により再生手段が構成される。

図１０のフローチャートには、本実施例においてマイコン９１０が行う映像再生処理の流れを示している。マイコン９１０は、コンピュータプログラムである映像処理プログラムに従って本処理を実行する。本処理はマイコン９１０に含まれるそれぞれの部９０６〜９０９が行う処理を含むが、まとめてマイコン９１０が行うものとして説明する。なお、以下の説明では、映像データを単に映像という。

ステップＳ１００１において、マイコン９１０は、再生準備指示信号の入力に応じて、表示装置９１２に映像再生処理のためのユーザインタフェース（映像再生ＵＩ）を表示させる。

次にステップＳ１００２では、マイコン９１０は、映像再生ＵＩを通じて再生開始が指示されたか否かを判定する。マイコン９１０は、再生開始が指示された場合はステップＳ１００３に進み、再生開始が指示されない場合はＳ１００１に戻る。

以下の説明では、再生する映像Ｖを構成するＮ個（Ｎ≧１）の単位画像であるフレーム画像Ｆのうちｎ番目（１≦ｎ≦Ｎ）のフレームをＦ（ｎ）と表記し、フレーム画像Ｆ（ｎ）からの切り出し範囲の位置をＰ（ｎ）、サイズをＳ（ｎ）とそれぞれ表記する。また、フレーム画像Ｆ（ｎ）に対応するメタデータの振れ情報をＢ（ｎ）、再生識別情報をＩ（ｎ）と表記する。

ステップＳ１００３では、マイコン９１０は、映像Ｖにおけるフレーム画像Ｆ（ｎ）に対する振れ情報Ｂ（ｎ）から先の所定期間ＴＲ分の振れ情報を取得する。通常、手振れは４〜９Ｈｚの周波数を持つため、所定期間ＴＲは、例えば該周波数の２周期分の約０．５秒が設定される。

次にステップＳ１００４では、マイコン９１０は、パンニングが行われたか否（カメラ振れが発生した）かを判定する。具体的には、マイコン９１０は、ステップＳ１００３にて取得した所定期間ＴＲ分の振れ量（角速度振れ量および動きベクトル量）が、所定の閾値を超えて一方向に増加または減少している場合にパンニングが発生していると判定する。マイコン９１０は、パンニングが行われていないと判定した場合はステップＳ１００５に進み、パンニングが行われていると判定した場合はステップＳ１００６に進む。一般にパンニング時は振れ量が大きくなるため、切り出し範囲の位置がフレーム画像の端である限界に達してしまうおそれがある。このため、マイコン９１０は、パンニングが行われていると判定した場合には防振処理を停止するように制御する。

ステップＳ１００５では、マイコン９１０は、ステップＳ１００３で取得した所定期間ＴＲでの振れ量に基づいて、再生表示される映像Ｖの像振れを補正するようにフレーム画像Ｆ（ｎ）における切り出し範囲の位置Ｐ（ｎ）とサイズＳ（ｎ）を設定する。

一方、ステップＳ１００６では、マイコン９１０は映像の像振れの補正を停止するようにフレーム画像Ｆ（ｎ）における切り出し範囲の位置Ｐ（ｎ）およびサイズＳ（ｎ）を設定する。具体的には、マイコン９１０は、フレーム画像Ｆ（ｎ）における切り出し範囲の位置Ｐ（ｎ）およびサイズＳ（ｎ）を、１つ前のフレーム画像Ｆ（ｎ−１）における切り出し範囲の位置Ｐ（ｎ−１）およびサイズＳ（ｎ−１）と同じとする。なお、ｎ＝１の場合においては、マイコン９１０は、フレーム画像Ｆ（ｎ）の中心部を切り出すように切り出し範囲の位置Ｐ（ｎ）を設定し、ステップＳ１００４での閾値に相当する振れ量に基づいて該切り出し範囲のサイズＳ（ｎ）を設定する。

次にステップＳ１００７では、映像Ｖにおける再生識別情報Ｉ（ｎ）が再生有効情報か否（再生無効情報）かを判定する。マイコン９１０は、再生有効情報である場合はステップＳ１００８に進み、再生無効情報である場合はステップＳ１００９に進む。

ステップＳ１００８では、マイコン９１０は、ステップＳ１００５またはＳ１００６にて設定したフレーム画像Ｆ（ｎ）における切り出し範囲の位置Ｐ（ｎ）およびサイズＳ（ｎ）を画像処理部９１１に設定する。これにより、映像Ｖを表示装置９１２に再生表示する。この後、マイコン９１０はステップＳ１００９に進む。

ステップＳ１００９では、マイコン９１０は、映像Ｖにおける全てのフレーム画像Ｆ（１）〜Ｆ（Ｎ）が再生表示されたか否かを判定する。マイコン９１０は、全てのフレーム画像が再生表示された場合は本処理を終了する。まだ全てのフレーム画像表示されていない場合は、マイコン９１０はステップＳ１００３に進み、次のフレーム画像Ｆ（ｎ＋１）に対する上記処理を行う。

図１１には、上述した映像再生処理の概要を示している。まず、再生開始の指示に応じて、映像Ｖのフレーム画像Ｆ（ｎ）に図１０のステップＳ１００３で説明したように、映像Ｖのフレーム画像Ｆ（ｎ）に対応する振れ情報Ｂ（ｎ）が所定期間ＴＲ分、取得される。

次に、ステップＳ１００４で説明したように、取得された所定期間ＴＲ分の振れ情報を用いてパンニングか否（カメラ振れ）かが判定される。このパンニング判定の結果に基づいて、ステップＳ１００５およびＳ１００６で説明したようにフレーム画像Ｆ（ｎ） についての切り出し範囲の位置Ｐ（ｎ）およびサイズＳ（ｎ）が設定される。

次にステップＳ１００７で説明したように、フレーム画像Ｆ（ｎ）に対応する再生識別情報Ｉ（ｎ）が再生有効情報か否かが判定される。再生有効情報である場合には、ステップＳ１００８で説明したように、フレーム画像Ｆ（ｎ）から切り出し範囲の位置Ｐ（ｎ）およびサイズＳ（ｎ）で部分画像を切り出して電子ズーム処理を行い、再生表示する。

このように本実施例によれば、記録された映像データを再生する際に、その映像データにおける記録開始前データと記録終了後データに含まれる振れ情報を利用して、映像データの始端または終端付近において良好な防振処理（再生防振処理）を行うことができる。

上記各実施例では、映像データに付随するメタデータとして振れ情報や再生識別情報が記録される場合について説明した。しかし、振れ情報や再生識別情報は必ずしもメタデータとして記録される必要はなく、映像データに対応付けられて記録されればどのような形態で記録されてもよい。また、各実施例では、メタデータ付き映像データが記録メディアに記録される又は記録されている場合について説明したが、メタデータ付き映像データがネットワーク上に記録される又は記録されていてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 撮像装置
１１５，４０９，９１０ マイクロコンピュータ
１１０ 角速度センサ
１１２ 動きベクトル量取得部
４００，９００ 映像処理装置

Claims (14)

1. 撮像により生成された映像データと前記撮像中の振れに関する振れ情報とを記録する処理を行う映像処理装置であって、
   前記映像データの再生可否を示す再生識別情報として、再生可能を示す再生有効情報と再生不可を示す再生無効情報とを前記映像データに対して与える付与手段と、
   前記映像データ、前記振れ情報および前記再生識別情報を含む記録データを生成して記録する処理手段とを有し、
   前記処理手段は、
   記録開始指示に応じて、記録開始前の第１の期間における前記映像データおよび前記振れ情報と前記再生無効情報とを含む第１のデータを生成し、
   記録開始から記録終了指示に応じた記録終了までの第２の期間における前記映像データおよび前記振れ情報と前記再生有効情報とを含む第２のデータを生成し、
   記録終了後の第３の期間における前記映像データおよび前記振れ情報と前記再生無効情報とを含む第３のデータを生成し、
   前記第１、第２および第３のデータを統合した前記記録データを生成することを特徴とする映像処理装置。
2. 前記処理手段は、前記第１および第３の期間を、前記振れ情報が示す前記振れが大きいほど長く設定することを特徴とする請求項１に記載の映像処理装置。
3. 撮像により生成されて前記撮像中の振れに関する振れ情報とともに記録された映像データを、指示された分割位置で分割する処理を行う映像処理装置であって、
   前記映像データの再生可否を示す再生識別情報として、再生可能を示す再生有効情報と再生不可を示す再生無効情報とを前記映像データに対して与える付与手段と、
   それぞれ分割された前記映像データおよび前記振れ情報と前記再生識別情報とを含む第１の分割データおよび第２の分割データを生成する処理手段とを有し、
   前記処理手段は、
   前記映像データおよび前記振れ情報のうち前記分割位置に先行する第１の期間の部分と前記再生識別情報とを含む第１のデータを生成し、
   前記映像データおよび前記振れ情報のうち前記分割位置に後続する第２の期間の部分と前記再生無効情報とを含む第２のデータを生成し、
   前記第１および第２のデータを統合した前記第１の分割データを生成し、
   前記分割位置に先行する第３の期間における前記映像データおよび前記振れ情報と前記再生無効情報とを含む第３のデータを生成し、
   前記映像データおよび前記振れ情報のうち前記分割位置に後続する第４の期間の部分と前記再生識別情報とを含む第４のデータを生成し、
   前記第３および第４のデータを統合した前記第２の分割データを生成することを特徴とする映像処理装置。
4. 前記分割位置は、分割前の前記映像データのうち前記再生識別情報が前記再生有効情報である再生有効部分において指示され、
   前記処理手段は、前記第１および前記第４のデータにおける前記再生有効部分に相当する期間の前記再生識別情報を前記再生有効情報とすることを特徴とする請求項３に記載の映像処理装置。
5. 前記分割前の映像データが、前記再生識別情報が前記再生無効情報である再生無効部分を含み、
   前記処理手段は、前記第１および前記第４のデータにおける前記再生無効部分に相当する期間の前記再生識別情報を前記再生無効情報とすることを特徴とする請求項４に記載の映像処理装置。
6. 前記処理手段は、前記第２および第３の期間を、前記振れ情報が示す前記振れが大きいほど長く設定することを特徴とする請求項３から５のいずれか一項に記載の映像処理装置。
7. 撮像により生成されて前記撮像中の振れに関する振れ情報とともに記録された映像データが分割されることで生成された第１の映像データおよび第２の映像データを、前記振れ情報とともに結合する処理を行う映像処理装置であって、
   前記第１および第２の映像データのそれぞれに付与された各映像データの再生可否を示す再生識別情報であって、再生可能を示す再生有効情報と再生不可を示す再生無効情報を取得する取得手段と、
   前記第１および第２の映像データ、前記振れ情報ならびに前記再生識別情報をそれぞれ結合した結合データを生成する処理手段とを有し、
   前記第１の映像データのうち終端側の第１の期間の部分と前記第２の映像データのうち始端側の期間であって前記第１の期間に先行する第２の期間の部分のそれぞれに対する前記再生識別情報が前記再生無効情報であり、前記第１の映像データのうち前記第２の期間に相当する第３の期間の部分と前記第２の映像データのうち前記第１の期間に相当する第４の期間の部分のそれぞれに対する前記再生識別情報が前記再生有効情報であり、
   前記第１の期間の部分、前記第２の期間の部分、前記第３の期間の部分および前記第４の期間の部分のそれぞれに対する前記振れ情報を第１の振れ情報、第２の振れ情報、第３の振れ情報および第４の振れ情報とするとき、
   前記処理手段は、
   前記第１の振れ情報と前記第４の振れ情報とを比較するとともに、前記第２の振れ情報と前記第３の振れ情報とを比較し、
   前記第１の振れ情報と前記第４の振れ情報とが一致し、かつ前記第２の振れ情報と前記第３の振れ情報とが一致するときに、前記第１および第２の映像データと前記振れ情報と前記再生識別情報のうち、前記第１および第２の期間の部分を除いた部分をそれぞれ結合して前記結合データを生成することを特徴とする映像処理装置。
8. 前記処理手段は、前記第１の振れ情報と前記第４の振れ情報とが一致せず、かつ前記第２の振れ情報と前記第３の振れ情報とが一致しないときは、前記第１および第２の映像データと前記振れ情報と前記再生識別情報を、前記第１および第２の期間の部分も含めてそれぞれ結合して前記結合データを生成することを特徴とする請求項７に記載の映像処理装置。
9. 撮像により生成されて前記撮像中の振れに関する振れ情報および前記映像データの再生可否を示す再生識別情報として再生可能を示す再生有効情報または再生不可を示す再生無効情報とともに記録された映像データを再生する処理を行う映像処理装置であって、
   前記映像データを構成する複数の単位画像データのそれぞれに対して、その単位画像データより先の所定期間の前記振れ情報に基づいてその単位画像データを再生する場合の像振れを低減するため防振処理に用いる振れ補正情報を生成する生成手段と、
   前記振れ補正情報を用いた前記防振処理を行った前記単位画像データを再生する再生手段とを有し、
   前記再生手段は、前記単位画像データに対する前記再生識別情報が前記再生無効情報である場合は該単位画像データを再生せず、前記単位画像データに対する前記再生識別情報が前記再生有効情報である場合は該単位画像データを再生することを特徴とする映像処理装置。
10. 請求項１から９のいずれか一項に記載の映像処理装置を備えたことを特徴とする撮像装置。
11. 撮像により生成された映像データと前記撮像中の振れに関する振れ情報とを記録する処理をコンピュータに実行させるコンピュータプログラムであって、
    前記処理は、
    前記映像データの再生可否を示す再生識別情報として、再生可能を示す再生有効情報と再生不可を示す再生無効情報とを前記映像データに対して与える第１の処理と、
    前記映像データ、前記振れ情報および前記再生識別情報を含む記録データを生成して記録する第２の処理とを含み、
    前記第２の処理において、
    記録開始指示に応じて、記録開始前の第１の期間における前記映像データおよび前記振れ情報と前記再生無効情報とを含む第１のデータを生成し、
    記録開始から記録終了指示に応じた記録終了までの第２の期間における前記映像データおよび前記振れ情報と前記再生有効情報とを含む第２のデータを生成し、
    記録終了後の第３の期間における前記映像データおよび前記振れ情報と前記再生無効情報とを含む第３のデータを生成し、
    前記第１、第２および第３のデータを統合した前記記録データを生成することを特徴とする映像処理プログラム。
12. 撮像により生成されて前記撮像中の振れに関する振れ情報とともに記録された映像データを、指示された分割位置で分割する処理をコンピュータに実行させるコンピュータプログラムであって、
    前記処理は、
    前記映像データの再生可否を示す再生識別情報として、再生可能を示す再生有効情報と再生不可を示す再生無効情報とを前記映像データに対して与える第１の処理と、
    それぞれ分割された前記映像データおよび前記振れ情報と前記再生識別情報とを含む第１の分割データおよび第２の分割データを生成する第２の処理とを含み、
    前記第２の処理において、
    前記映像データおよび前記振れ情報のうち前記分割位置に先行する第１の期間の部分と前記再生識別情報とを含む第１のデータを生成し、
    前記映像データおよび前記振れ情報のうち前記分割位置に後続する第２の期間の部分と前記再生無効情報とを含む第２のデータを生成し、
    前記第１および第２のデータを統合した前記第１の分割データを生成し、
    前記分割位置に先行する第３の期間における前記映像データおよび前記振れ情報と前記再生無効情報とを含む第３のデータを生成し、
    前記映像データおよび前記振れ情報のうち前記分割位置に後続する第４の期間の部分と前記再生識別情報とを含む第４のデータを生成し、
    前記第３および第４のデータを統合した前記第２の分割データを生成することを特徴とする映像処理プログラム。
13. 撮像により生成されて前記撮像中の振れに関する振れ情報とともに記録された映像データが分割されることで生成された第１の映像データおよび第２の映像データを、前記振れ情報とともに結合する処理をコンピュータに実行させるコンピュータプログラムであって、
    前記処理は、
    前記第１および第２の映像データのそれぞれに付与された各映像データの再生可否を示す再生識別情報であって、再生可能を示す再生有効情報と再生不可を示す再生無効情報を取得する第１の処理と、
    前記第１および第２の映像データ、前記振れ情報ならびに前記再生識別情報をそれぞれ結合した結合データを生成する第２の処理とを含み、
    前記第１の映像データのうち終端側の第１の期間の部分と前記第２の映像データのうち始端側の期間であって前記第１の期間に先行する第２の期間の部分のそれぞれに対する前記再生識別情報が前記再生無効情報であり、前記第１の映像データのうち前記第２の期間に相当する第３の期間の部分と前記第２の映像データのうち前記第１の期間に相当する第４の期間の部分のそれぞれに対する前記再生識別情報が前記再生有効情報であり、
    前記第１の期間の部分、前記第２の期間の部分、前記第３の期間の部分および前記第４の期間の部分のそれぞれに対する前記振れ情報を第１の振れ情報、第２の振れ情報、第３の振れ情報および第４の振れ情報とするとき、
    前記第２の処理において、
    前記第１の振れ情報と前記第４の振れ情報とを比較するとともに、前記第２の振れ情報と前記第３の振れ情報とを比較し、
    前記第１の振れ情報と前記第４の振れ情報とが一致し、かつ前記第２の振れ情報と前記第３の振れ情報とが一致するときに、前記第１および第２の映像データと前記振れ情報と前記再生識別情報のうち、前記第１および第２の期間の部分を除いた部分をそれぞれ結合して前記結合データを生成することを特徴とする映像処理プログラム。
14. 撮像により生成されて前記撮像中の振れに関する振れ情報および前記映像データの再生可否を示す再生識別情報として再生可能を示す再生有効情報または再生不可を示す再生無効情報とともに記録された映像データを再生する処理をコンピュータに実行させるコンピュータプログラムであって、
    前記処理は、
    前記映像データを構成する複数の単位画像データのそれぞれに対して、その単位画像データより先の所定期間の前記振れ情報に基づいてその単位画像データを再生する場合の像振れを低減するため防振処理に用いる振れ補正情報を生成する第１の処理と、
    前記振れ補正情報を用いた前記防振処理を行った前記単位画像データを再生する第２の処理とを含み、
    前記第２の処理において、前記単位画像データに対する前記再生識別情報が前記再生無効情報である場合は該単位画像データを再生せず、前記単位画像データに対する前記再生識別情報が前記再生有効情報である場合は該単位画像データを再生することを特徴とする映像処理プログラム。