JP2014171110A - 映像再生装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】メモリサイズが増大することなくしかもコストアップすることなく、パンニング成分の除去を行って映像再生の際の映像のぶれを補正する。
【解決手段】マイコン２１０は記録メディア１２１に記録された振れデータに応じて映像データを撮像した際にパンニング操作が行われたか否かを検出し、パンニング操作が検出されると振れデータからパンニング成分を除去してパンニング成分除去データを生成する。画像処理部２２３は映像データを再生する際、パンニング操作が検出されるとパンニング成分除去データに応じて映像データにおける撮像装置の振れを補正する。マイコンはパンニング操作の検出の有無に応じて記録メディアから振れデータを取得する取得周期を変更する。
【選択図】図２

Description

本発明は、映像を再生する映像再生装置、その制御方法、および制御プログラムに関する。

一般に、ビデオカメラなどの撮像装置において映像を記録する際、手ぶれなどに起因する撮像装置のぶれが原因となって記録した映像（記録映像）がぶれることがある。そして、映像再生の際に、記録映像におけるぶれを補正するため、記録映像においてそのぶれを表す動きベクトルを検出して、動きベクトルに基づいて映像における部分領域を選択的に拡大表示するようにした撮像装置が知られている（特許文献１参照）。

一方、撮像の際に、撮像装置のぶれをセンサで検出して、ぶれデータを得て、当該ぶれデータを映像データとともにメモリに記録するようにした撮像装置が知られている。そして、この撮像装置では、映像再生の際にぶれデータを用いて映像のぶれを補正する（特許文献２参照）。

特開平７−１４３３８０号公報 特開平１０−４２２３３号公報

ところで、特許文献１および２に記載の撮像装置においては、撮像の際のパンニング操作又はチルティング操作（以下パンニング操作と総称する）によって発生するぶれも、手ぶれが原因で発生するぶれと同様に映像再生の際に補正することになる。

従って、手ぶれに起因するぶれ（以下手ぶれ成分と呼ぶ）を補正する際には、パンニング操作によるぶれ成分（以下パンニング成分と呼ぶ）を除去する必要がある。

一方、パンニング操作の開始又は終了の際には、系列的にパンニング成分が増減することが知られている。そこで、所定の時間間隔でぶれデータを取得して、パンニング成分の大きさおよび方向に応じてパンニング操作が行われたか否かを検知すれば、パンニング成分の除去を行うことができる。

ところが、ぶれデータからパンニング成分を検出する時間間隔が映像の再生周期より長いと、パンニング成分が除去されない状態で、映像のぶれ補正が行われることになる。

例えば、パンニング操作の開始付近および終了付近では適切にパンニング成分が除去されず、適切に像ぶれ補正を行うことができなくなって、ユーザに違和感を与えてしまう。

一方、パンニング成分を検出する時間間隔を映像の再生周期程度に短くすると、パンニング操作の開始および終了付近のパンニング成分の変化をより精度よく取得することができる。その結果、パンニング成分の除去精度が向上して、適切な像ぶれ補正を行うことができる。

しかしながら、ここでは、パンニング成分の有無を常に判別するので、ぶれデータを読み出す回数および読み出し量が増加してしまう。このため、ぶれデータを格納するメモリサイズの増大、そして、ぶれデータを高速に処理するための処理能力が要求され、映像再生装置自体がコストアップするばかりでなく、消費電力が増大する。

従って、本発明の目的は、メモリサイズが増大することなく、パンニング成分の除去を行って、映像再生の際の映像のぶれを補正することのできる映像再生装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による映像再生装置は、撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置であって、前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出手段と、前記検出手段によって前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去手段と、前記映像データを再生する際、前記検出手段によって前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出手段によって前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正手段と、前記検出手段による前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更手段と、を有することを特徴とする。

本発明による制御方法は、撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置の制御方法であって、前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出ステップと、前記検出ステップで前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去ステップと、前記映像データを再生する際、前記検出ステップで前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出ステップで前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正ステップと、前記検出ステップによる前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置で用いられる制御プログラムであって、前記映像再生装置が備えるコンピュータに、前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出ステップと、前記検出ステップで前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去ステップと、前記映像データを再生する際、前記検出ステップで前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出ステップで前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正ステップと、前記検出ステップによる前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更ステップと、を実行させることを特徴とする。

本発明によれば、メモリサイズが増大することなくしかもコストアップすることなく、パンニング成分の除去を行って、映像再生の際の映像の振れを補正することができる。

本発明の実施の形態による映像再生装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す映像再生装置の構成を説明するためのブロック図である。 図２に示す映像再生装置における再生処理を説明するためのフローチャートである。 パンニング動作（パンニング操作）の際の振れデータおよびパンニング成分の時系列的変化を説明するための図であり、（ａ）は振れデータの時系列的変化の一例を示す図、（ｂ）は（ａ）に示す振れデータに対して手ぶれ成分の除去とパンニング成分を通過させるカットオフ周波数でローパスフィルタを用いてフィルタ処理を行った結果であるデータを示す図、（ｃ）は（ｂ）に示すフィルタ処理後のデータに対して長周期で振れデータを取得する際の取得タイミングの一例を示す図である。 図４（ａ）に示す経過時間における振れデータの状態を示す図である。 図３に示すパンニングの有無判定を説明するためのフローチャートである。 図２に示す映像再生装置におけるパンニング除去の一例を説明するための図であり、（ａ）はフィルタ処理後のパンニングデータを示す図、（ｂ）は長周期でパンニングデータの取得を行った状態を示す図、（ｃ）は（ｂ）に示す取得タイミングにおいて生成されたパンニング除去のためのデータを示す図、（ｄ）は（ｃ）に示すデータを用いてパンニング成分の除去を行った結果を示す図、（ｅ）は短周期でパンニングデータの取得を行った状態を示す図、（ｆ）は（ｅ）に示す取得タイミングにおいて生成されたパンニング除去のためのデータを示す図、（ｇ）は（ｆ）に示すデータを用いてパンニング成分の除去を行った結果を示す図である。

以下、本発明の実施の形態による映像再生装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による映像再生装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、ビデオカメラであり、映像を記録する映像記録装置と映像を再生する映像再生装置２００とを備えている。

図１において、ビデオカメラ（以下単にカメラと呼ぶ）はレンズユニット（レンズ）１０１を備えており、レンズ１０１によって撮像素子１０２に被写体像（光学像）が結像される。撮像素子１０２は、例えば、ＣＣＤ又はＣＭＯＳセンサなどを有しており、被写体像を光電変換して、被写体像に応じた電気信号（アナログ信号）を出力する。

アナログ信号処理部１０３は撮像素子１０２の出力である電気信号に対して所定の処理を施してアナログ撮像信号を生成する。アナログ信号処理部１０３は、例えば、ＣＤＳ（Ｃｏ−ｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路およびＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路を備えている。

カメラ信号処理部１０４はＡ／Ｄ変換器を備えており、アナログ信号処理部１０３の出力であるアナログ撮像信号に応じたデジタルビデオ信号を生成する。符号化部１０５はデジタルビデオ信号を、例えば、ＭＰＥＧ２形式で符号化して、ＭＰＥＧ２の映像ストリームを出力する。

角速度センサ１１１はカメラに加わる振れ（ブレ）の角速度を検出する。振れ（ブレ）データ設定部１１２は角速度センサ１１１の検出出力に基づいて、カメラの振れ量（振れデータ）を算出する。タイムコード設定部１１４は時計１１３から取得した時刻情報に応じて映像記録の際のタイムコードを設定する。メタデータ設定部１１５は、振れデータ、タイムコード、およびカメラに関するカメラ関連データなどをメタデータとして出力する。なお、カメラ関連データに係る構成は、図１には示されていない。

記録再生制御部（ドライブユニットとも呼ぶ）１２１は、符号化部１０５からＭＰＥＧ２の映像ストリーム（映像データ）およびメタデータ設定部１１５からメタデータを受けて、これら映像データおよびメタデータを記録メディア１２２に記録する。

なお、この記録再生制御部１２１は、映像再生の際には、記録メディア１２２から映像データおよびメタデータを読み込んで映像再生を行う。

上述の記録処理によって、記録メディア１２２には、振れデータを含むメタデータが付加された映像データが記録されることになる。

図２は、図１に示す映像再生装置２００の構成を説明するためのブロック図である。

図１に関連して説明したように、記録メディア１２２には、振れデータを含むメタデータが付加された映像データが記録されている。但し、メタデータおよび映像データを記録する際には、カメラ１００が振れデータおよび映像データを取得可能である限り、どのように記録してもく、例えば、メタデータは映像データと別に記録するようにしてもよい。

記録メディア１２２に記録された映像データを再生する際には、記録再生制御部１２１は記録メディア１２２から映像データおよびメタデータを取得する。そして、記録再生制御部１２１は復号化部（復号化ユニット）２２１に映像データおよびメタデータを送る。

復号化部２２１は映像データを復号化して復号化データ（デジタルビデオ信号）を得て、当該デジタルビデオ信号をメタデータととともにメモリ２２２に書き込む。メモリ２２２は、所定の時間（例えば、数秒）の復号化デジタルビデオ信号およびメタデータを記憶する容量を備えている。

メモリ２２２に数秒分のデジタルビデオ信号（およびメタデータ）を記憶しておけば、マイクロコンピュータ（マイコン）２００は後述の表示装置２２４に表示された再生画像に対して時間的に先のデジタルビデオ信号を取得することができる。

画像処理部２２３は、マイコン２１０によって決定された切り出し位置および切り出しサイズに応じてデジタルビデオ信号を再生画像として再生する。例えば、画像処理部２２３は、デジタルビデオ信号が示す映像を構成する複数の単位画像（フィールド画像又はフレーム画像）の各々について所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、画像処理部２２３は、切り出した画像に対して電子ズーム処理を施して、表示画像として表示装置２２４へ出力する。表示装置２２４は、再生画像を順次表示することによって映像の表示を行う。

図示のように、マイコン２１０は、動きベクトル検出部２０１、切り出し位置設定部２０２、メタデータ読み出し部２０３、振れデータ取得部２０４、切り出しサイズ設定部２０５、タイムコード設定部２０６、および読み出しアドレス設定部２０７の機能を有しており、さらに、パンニング成分取得部２０８およびパンニング判定部２０９の機能を有している。

動きベクトル検出部２０１は、メモリ２２２に記憶されたデジタルビデオ信号が示す画像から被写体の動きベクトルを検出する。当該動きベクトルは、後述するように、映像のぶれの指標として用いられる。

切り出し位置設定部２０２は、動きベクトル検出部２０１で検出された動きベクトルに基づいて、映像のぶれを補正するように単位画像の切り出し位置を決定して、当該切り出し位置を画像処理部２２３に設定する。メタデータ読み出し部２０３は、メモリ２２２からメタデータを読み出す（ここでは、メタデータはデジタルビデオ信号に付加されている）。

メタデータ読み出し部２０３は、後述する読み出しアドレス設定部２０７によって設定された読み出しアドレスからメタデータを読み出す。また、メタデータ読み出し部２０３は、１フィールド周期（以下短周期と呼ぶ）および４フィールド周期（以下長周期と呼ぶ）のうち指定された周期でメタデータを読み出す。なお、短周期（第２の周期）は映像データの再生周期と同一の周期であり、長周期は短周期の整数倍であればよい。

振れデータ取得部２０４は、メタデータ読み出し部２０３によって読み出されたメタデータから振れデータを取得する。切り出しサイズ設定部（拡大率設定部）２０５は振れデータに基づいて単位画像の切り出しサイズを決定して画像処理部２２３に設定する。

タイムコード設定部２０６は、現在の再生画像（再生中の単位画像）のタイムコードをメタデータ読み出し部２０３から取得して、当該タイムコードよりも所定の時間後のタイムコード（所定時間後タイムコード）を読み出しアドレス設定部２０７に通知する。

読み出しアドレス設定部２０７は、所定時間後タイムコードに対応する読み出しアドレスをメモリ２２２に設定する。これによって、メタデータ読み出し部２０３は現在の再生画像から所定の時間後に再生される画像（単位画像）のメタデータを取得することができる。

図３は、図２に示す映像再生装置２００における再生処理を説明するためのフローチャートである。なお、図３に示すフローチャートの処理はマイコン２１０によって行われる。

再生処理が開始されると、まず、振れデータ取得部２０４はメタデータ読み出し部２０３を介してメモリ２２２から、デジタルビデオ信号（以下映像データとも呼ぶ）の再生開始点から長周期で、所定期間の振れデータを取得する（ステップＳ３０１：長周期取得）。そして、振れデータ取得部２０４は当該振れデータをパンニング成分取得部２０８に送る。

なお、以下の説明では、パンニング操作又はチルティング操作（以下パンニング操作と総称する）によって発生するぶれをパンニング成分と呼び、手ぶれに起因するぶれを手ぶれ成分と呼ぶ。

パンニング成分取得部２０８は、振れデータから手ぶれ成分を含まない低周波成分を抽出するフィルタリング処理を行って低周波成分をパンニング成分として抽出する（ステップＳ３０２）。続いて、パンニング判定部２０９はパンニング成分、つまり、低周波成分に応じてパンニング発生（つまり、パンニング操作）の有無を判定する（ステップＳ３０３）。なお、パンニング判定部２０９はパンニングが発生していないフレームに係るタイムコードをメタデータ読み出し部２０３に通知する。

パンニングが発生したと判定されると（ステップＳ３０３において、ＹＥＳ）、メタデータ読み出し部２０３はメタデータの取得周期を短周期に変更する。そして、メタデータ読み出し部２０３はパンニング判定部２０９から通知されたタイムコードを振れデータを取得するタイムコードとして、タイムコード設定部２０６に設定する。

振れデータ取得部２０４は、メタデータ読み出し部２０３を介して映像データの再生開始点から短周期で、所定期間分の振れデータを取得する（ステップＳ３０４）。そして、振れデータ取得部２０４は当該振れデータをパンニング成分取得部２０８に送る。

パンニング成分取得部２０８は振れデータから手ぶれ成分を含まない低周波成分を抽出するフィルタリング処理を行って低周波成分をパンニング成分として抽出する（ステップＳ３０５）。そして、パンニング判定部２０９はパンニング成分、つまり、低周波成分に応じてパンニング発生の有無を判定する（ステップＳ３０６）。

パンニングの発生があると判定されると（ステップＳ３０６において、ＹＥＳ）、メタデータ読み出し部２０３は次回のメタデータの取得周期を短周期に変更する（ステップＳ３０７）。そして、メタデータ読み出し部２０３はステップＳ３０４においてパンニング判定部２０９から通知されたタイムコードとメタデータの取得周期とを加算して得たタイムコードを振れデータを取得するタイムコードとしてタイムコード設定部２０６に設定する。

一方、ステップＳ３０３でパンニングの発生がないと判定されると（ステップＳ３０３において、ＮＯ）、メタデータ読み出し部２０３は次回のメタデータの取得周期を長周期に変更する（ステップＳ３０８）。そして、メタデータ読み出し部２０３はステップＳ３０４でパンニング判定部２０９から通知されたタイムコードとメタデータの取得周期とを加算したタイムコードを振れデータを取得するタイムコードとしてタイムコード設定部２０６に設定する。続いて、処理は後述するステップＳ３０９に進む。

なお、ステップＳ３０６において、パンニングの発生がないと判定されると（ステップＳ３０６において、ＮＯ）、メタデータ読み出し部２０３はステップＳ３０８において次回のメタデータの取得周期を長周期に変更する。

ステップＳ３０７又はＳ３０８の処理の後、パンニング成分取得部２０８はメタデータから得られた振れデータから、上述のステップＳ３０２又はＳ３０５で得たパンニング成分を除去したデータである手ぶれ成分（手ぶれ量ともいう）を求める（ステップＳ３０９）。そして、パンニング成分取得部２０８は、当該手ぶれ成分を手ぶれデータとして動きベクトル検出部２０１および切り出しサイズ設定部２０５に設定する。

続いて、切り出しサイズ設定部２０５は手ぶれデータが示す振れの振幅をチェックして、１フレーム当たりの切り出しサイズの変化が所定の範囲に入るように切り出しサイズを決定する。さらに、切り出し位置設定部２０２は、動きベクトル検出部２０１によって検出された動きベクトルの量と振れデータ取得部２０４で求められた手ぶれデータとに基づいて、映像のぶれを補正するように切り出し位置を決定して（つまり、移動して）画像処理部２２３に設定する（ステップＳ３１０）。なお、切り出し位置の決定は、周知の手法を用いて行われる。

次に、画像処理部２２３は単位画像について設定された切り出し位置から、設定された切り出しサイズの画像を切り出す（ステップＳ３１１：像ぶれ補正）。そして、画像処理部２２３は、切り出した画像を表示装置２２４に出力する。なお、ステップＳ３０３又はＳ３０６においてパンニングが発生していると判定された際には、切り出し位置設定部２０２は切り出し位置の移動を停止するようにしてもよい。これによって、パンニング操作中においては像ぶれ補正が停止する。

次に、図２に示すマイコン２１０におけるパンニングの有無判定について説明する。なお、パンニング成分取得部２０８は長周期および短周期で取得した所定回分（例えば、５回分）のパンニング成分をそれぞれを一時メモリ（図示せず）に保存しており、パンニングの有無判定にはこれらパンニング成分が用いられる。

図４は、パンニング動作（パンニング操作）の際の振れデータおよびパンニング成分の時系列的変化を説明するための図である。そして、図４（ａ）は図２に示す振れデータ取得部２０４が取得した振れデータの時系列的変化の一例を示す図であり、図４（ｂ）は図２に示すパンニング成分取得部２０８が図４（ａ）に示す振れデータに対して手ぶれ成分の除去とパンニング成分を通過させるカットオフ周波数でローパスフィルタを用いてフィルタ処理を行ったデータを示す図である。また、図４（ｃ）は図４（ｂ）に示すフィルタ処理後のデータに対して長周期で振れデータを取得する際の取得タイミングの一例を示す図である。

また、図５は、図４（ａ）に示す経過時間ｔ１からｔ４における振れデータの状態を示す図である。

前述のように、振れデータはユーザの手ぶれによる手ぶれ成分とユーザがカメラ１００をパンを操作することによって生じるパンニング成分が合成されている。一般的に、手ぶれ成分は５〜１０Ｈｚ程度であり、パンニング成分は２Ｈｚ以下であり、互いに異なる周波数特性を有している。

図４（ａ）に示す経過時間ｔ１からｔ４においては、図５に示すように、経過時間ｔ１では手ぶれのみが生じている。そして、経過時間ｔ２でパンニング操作が開始され、経過時間ｔ３ではパンニング操作が加速動作途中である。経過時間ｔ４となるとパンニング操作はほぼ一定速度で行われている。つまり、図４（ａ）においては、経過時間ｔ２からｔ４がパンニング発生の過渡状態の期間である。

パンニング成分取得部２０８は図４（ａ）に示す振れデータに対して手ぶれ成分の除去およびパンニング成分を通過させるカットオフ周波数のローパスフィルタ（ＬＰＦ）でフィルタ処理を行う。これによって、図４（ｂ）に示すデータが得られる。

パンニング判定部２０９は、図４（ｂ）に示すフィルタ処理後のデータに応じてパンニングの有無を判定する。ここで、図４（ｃ）に示すように、長周期で振れデータを取得すると、その取得タイミングにおいて４フィールド毎のタイミングでフィルタ処理後のデータが得られることになって、５つのフィルタ処理後のデータがメモリに保持されて、パンニング判定部２０９はこれらフィルタ処理後のデータ（つまり、パンニング成分）に基づいてパンニングの有無判定を行う。

図６は、図３に示すパンニングの有無判定を説明するためのフローチャートである。なお、図４に示すパンニングの有無判定はパンニング判定部２０９で行われる。

パンニング判定処理を開始すると、パンニング判定部２０９は今回パンニング成分取得部２０８から得たパンニング成分の絶対値（以下Ｘｃｕｒという）を求める（ステップＳ４０１）。そして、パンニング判定部２０９は振れデータの取得周期が長周期および短周期のいずれかであるかを判定する（ステップＳ４０２）。

振れデータの取得周期が長周期であると（ステップＳ４０２において、ＹＥＳ）、パンニング判定部２０９はパンニング成分絶対値Ｘｃｕｒと予め設定された第１の閾値Ｘｔｈ１とを比較して、第１の比較結果を得る（ステップＳ４０３）。なお、第１の閾値はパンニングが発生したと判断可能な角変位を示す値である。

続いて、パンニング判定部２０９は次の式（１）に従って、今回の絶対値Ｘｃｕｒと１回前に取得したパンニング成分の絶対値（以下Ｘｐｒｅｖ１という）との差分の絶対値を求めて、これを差分絶対値Ａ１とする。
Ａ１＝｜Ｘｃｕｒ−Ｘｐｒｅｖ１｜ （１）

差分絶対値Ａ１はＸｃｕｒとＸｐｒｅｖ１とを１次関数で補間した際の関数の傾きに比例する値であり、パンニング成分の単位時間当たりの変化を示している。

次に、パンニング判定部２０９は差分絶対値Ａ１と変化閾値Ａｔｈとを比較して、その比較結果（大小結果）を得る（ステップＳ４０４）。変化閾値Ａｔｈはパンニングが発生していると判定可能な長周期当たりの角変位の変化量を示す。

続いて、パンニング判定部２０９は１回前のパンニング成分絶対値Ｘｐｒｅｖ１、２回前のパンニング成分絶対値Ｘｐｒｅｖ２、および３回前のパンニング成分絶対値Ｘｐｒｅｖ３の各々と第１の閾値Ｘｔｈ１との比較を行って、第２〜第４の比較結果を得る。そして、パンニング判定部２０９は上記の第１の比較結果と第２〜第４の比較結果の全てが第１の閾値Ｘｔｈ１以上であることを示しているか否かを判定する（ステップＳ４０５）。

第１〜第４の比較結果のいずれかが第１の閾値Ｘｔｈ１未満であることを示していると（ステップＳ４０５において、ＮＯ）、パンニング判定部２０９は過去５回分のパンニング成分絶対値Ｘｐｒｅｖ１〜Ｘｐｒｅｖ５を用いて次の式（２）〜式（５）に従って差分絶対値Ａ２〜Ａ５を求める。

Ａ２＝｜Ｘｐｒｅｖ１−Ｘｐｒｅｖ２｜ （２）
Ａ３＝｜Ｘｐｒｅｖ２−Ｘｐｒｅｖ３｜ （３）
Ａ４＝｜Ｘｐｒｅｖ３−Ｘｐｒｅｖ４｜ （４）
Ａ５＝｜Ｘｐｒｅｖ４−Ｘｐｒｅｖ５｜ （５）

上記の差分絶対値Ａ２〜Ａ５はパンニング成分絶対値Ｘｐｒｅｖ１〜Ｘｐｒｅｖ５についてそれぞれ１次関数で補間した際の関数の傾きに比例する値となる。そして、パンニング判定部２０９は差分絶対値Ａ２〜Ａ５の全てが変化閾値Ａｔｈより小さいか否かを判定する（ステップＳ４０７）。

差分絶対値（つまり、傾き）Ａ２〜Ａ５の全てが変化閾値Ａｔｈより小さいと（ステップＳ４０７において、ＹＥＳ）、パンニング判定部２０９はパンニング成分の時間変化がほとんどなくその変化量も小さいとしてパンニングが発生していない状態である「パンニング無し」とする（ステップＳ４０９）。

一方、差分絶対値Ａ２〜Ａ５の少なくとも１つが変化閾値Ａｔｈ以上であると（ステップＳ４０７において、ＮＯ）、パンニング判定部２０９は、パンニング成分が存在するが、パンニング成分絶対値が第２の閾値Ｘｔｈ２以上で第１の閾値Ｘｔｈ１未満であり、かつ角変位の時間変化も一定量あるので、パンニングの発生途中であるとする（ステップＳ４１０）。そして、パンニング判定部２０９は、ステップＳ４０９又はＳ４１０の処理に続いて、パンニング判定結果として「パンニング未発生」と判定する（ステップＳ４１１）。

ステップＳ４０５において、第１〜第４の比較結果の全てが第１の閾値Ｘｔｈ１以上であることを示していると（ステップＳ４０５において、ＹＥＳ）、パンニング判定部２０９はパンニングの大きさが継続して一定レベルを超えたとして、上述の差分絶対値Ａ１〜Ａ３を求める。そして、パンニング判定部２０９は差分絶対値Ａ１〜Ａ３の全てが変化閾値Ａｔｈよりも小さいか否かを判定する（ステップＳ４１２）。

差分絶対値Ａ１〜Ａ３のいずれかが変化閾値Ａｔｈ以上であると（ステップＳ４１２において、ＮＯ）、パンニング判定部２０９は未だパンニングの動作開始途中と判定してステップＳ４１０の処理に進む。

一方、差分絶対値Ａ１〜Ａ３の全てが変化閾値Ａｔｈよりも小さいと（ステップＳ４１２において、ＹＥＳ）、パンニング判定部２０９は過去から今回（現在）に亘ってパンニング成分のレベルが大きくその時間変化が少ないとし、パンニングが発生したと判定する。そして、パンニング判定部２０９はパンニング状態を「安定パンニング」とする（ステップＳ４１３）。続いて、パンニング判定部２０９はパンニング判定結果を「パンニング発生中」とする（ステップＳ４１４）。

ステップＳ４０２において、振れデータの取得周期が長周期でないと（ステップＳ４０２において、ＮＯ）、パンニング判定部２０９は短周期において取得した今回のパンニング成分の絶対値と過去５回のパンニング成分の絶対値との移動平均値Ｘａｖｅを求める（ステップＳ４１６）。そして、パンニング判定部２０９は移動平均値Ｘａｖｅが第２の閾値Ｘｔｈ２よりも小さいか否かを判定する（ステップＳ４１７）。

移動平均値Ｘａｖｅが第２の閾値Ｘｔｈ２よりも小さいと（ステップＳ４１７において、ＹＥＳ）、パンニング判定部２０９はパンニング判定結果を「パンニング未発生」とする（ステップＳ４１８）。一方、移動平均値Ｘａｖｅが第２の閾値Ｘｔｈ２以上であると（ステップＳ４１７において、ＮＯ）、パンニング判定部２０９はパンニング判定結果を「パンニング発生中」とする（ステップＳ４１９）。

上述のステップＳ４１１、Ｓ４１４、Ｓ４１８、又はＳ４１９の処理に続いて、パンニング判定部２０９は今回のパンニング成分絶対値Ｘｃｕｒを次回のパンニング判定の際に過去情報として参照するため、当該パン絶対値Ｘｃｕｒを一時メモリ（図示せず）に保存する（ステップＳ４１５）。そして、パンニング判定部２０９は上述の処理で得たパンニング判定結果を前述のステップＳ３０３又はＳ３０６における判定結果として（ステップＳ４２０）、パンニング判定処理を終了する。

このように、上述の映像再生装置では、映像再生の際、映像を構成する複数の単位画像の各々について、単位画像における所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、映像再生装置は映像のぶれを補正するように単位画像の切り出し位置を移動する。

また、カメラ１００の振れに応じてパンニング中であると判定すると、メタデータから振れデータを取得する周期を短くして、パンニングの開始および終了の過渡状態で検出されるパンニング成分の除去を行う。一方、パンニング中でないと判定すると、振れデータを取得する周期を長くして、時間的により先の振れデータを取得するようにして、カメラ１００のパンニングの発生をより早く検出する。

なお、上記の映像再生装置２００では、前述のように、映像データの再生が開始されると、振れデータの取得周期を長周期（第１の周期）に設定し、パンニング操作の始まりが検出されると、取得周期を長周期から短周期（第２の周期）に変更する。また、振れデータの取得周期が短周期である際、パンニング操作が終了したことが検出されると、取得周期を短周期から長周期に変更する。

図７は、図２に示す映像再生装置２００におけるパンニング除去の一例を説明するための図である。そして、図７（ａ）はフィルタ処理後のパンニングデータを示す図であり、図７（ｂ）は長周期でパンニングデータの取得を行った状態を示す図である。また、図７（ｃ）は図７（ｂ）に示す取得タイミングにおいて生成されたパンニング除去のためのデータを示す図であり、図７（ｄ）は図７（ｃ）に示すデータを用いてパンニング成分の除去を行った結果を示す図である。さらに、図７（ｅ）は短周期でパンニングデータの取得を行った状態を示す図であり、図７（ｆ）は図７（ｅ）に示す取得タイミングにおいて生成されたパンニング除去のためのデータを示す図である。また、図７（ｇ）は図７（ｆ）に示すデータを用いてパンニング成分の除去を行った結果を示す図である。

いま、パンニング成分取得部２０８においてフィルタ処理されたパンニングデータが図７（ａ）に示すデータであるとする。ここでは、パンニングデータの取得周期が長周期又は短周期である場合にパンニング成分を除去した後の像ぶれ補正において像ぶれ補正対象となるデータ（手振れデータ）が示されている。なお、図７において、時間ｔ２および時間ｔ４の時間間隔は図５に示すパンニング発生における経過時間である。

図７（ｂ）に示す長周期でパンニングデータの取得を行って、これらパンニングデータに基づいてパンニング成分を除去するためのデータ（除去データ）を生成すると、図７（ｃ）に示すデータが得られる。長周期では、パンニングの時間変化に対して、粗い取得間隔（サンプリング間隔）で除去データが生成されるので、この除去データを用いて図７（ａ）に示すデータからパンニング成分の除去を行うと、図７（ｄ）に示す結果が得られる。

パンニング開始の時間ｔ２からパンニングが安定するまでの時間ｔ４の間のパンニング発生の過渡状態においては、適切にパンニング成分が除去できないことが分かる。図７（ｄ）に示す結果から像ぶれ補正を行うと、除去されずに残ったパンニング成分が手ぶれと誤判定されて、手ぶれが発生してない状態であっても、誤って像ぶれ補正が行われてしまう。

一方、図７（ｅ）に示すように、パンニング成分の除去を目的として短周期であらためて振れデータを取得した場合には、除去データは図７（ｆ）に示すデータとなる。この除去データを用いてパンニング成分の除去を行うと、図７（ｇ）示す結果が得られる。

図７（ｇ）に示す結果は、図７（ｄ）に示す結果と比べて、除去されずに残ったパンニング成分の強度が大きくないので、映像再生の際に像ぶれ補正の誤判定を防止して、抑制したい手ぶれ成分を確実に補正することができる。

なお、上述の実施の形態では、パンニング成分の絶対値、時系列的な差分、および移動平均値に応じてパンニングの発生の有無を判定して、パンニングの際のパンニング成分を振れデータから除去するようにしたが、他の手法を用いてパンニングの検出およびパンニング成分の除去を行うようにしてもよい。さらには、映像再生の際の像ぶれ補正については周知の手法を用いることができる。

このようにして、本発明の実施の形態では、長周期で取得した振れデータに応じてパンニング操作の検出を行い、パンニング操作が検出されると、短周期で振れデータを取得して振れデータからパンニング成分を除去してパンニング成分除去データに応じて映像データを補正するようにしたので、メモリサイズが増大することなくしかもコストアップすることなく、パンニング成分の除去を行って、映像再生の際の映像の振れを補正することができる。

なお、上述の説明から明らかなように、図２に示す例においては、マイコン２１０が検出手段、除去手段、および変更手段として機能し、マイコン２１０および画像処理部２２２が振れ補正手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を映像再生装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを映像再生装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも検出ステップ、除去ステップ、振れ補正ステップ、および変更ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２０１ 動きベクトル検出部
２０２ 切り出し位置設定部
２０３ メタデータ読み出し部
２０４ 振れデータ取得部
２０５ 切り出しサイズ設定部（拡大率設定部）
２０６ タイムコード設定部
２０７ 読み出しアドレス設定部
２０８ パンニング成分取得部
２０９ パンニング判定部
２１０ マイコン

Claims (7)

1. 撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置であって、
   前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出手段と、
   前記検出手段によって前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去手段と、
   前記映像データを再生する際、前記検出手段によって前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出手段によって前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正手段と、
   前記検出手段による前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更手段と、
   を有することを特徴とする映像再生装置。
2. 前記変更手段は、前記検出手段によって前記パンニング操作が検出されると、前記取得周期を所定の第１の周期よりも短い第２の周期に変更することを特徴とする請求項１に記載の映像再生装置。
3. 前記第２の周期は前記映像データを再生する周期である再生周期と同一の周期であり、
   前記第１の周期は前記第２の周期の整数倍であることを特徴とする請求項２に記載の映像再生装置。
4. 前記変更手段は、前記映像データの再生が開始されると、前記取得周期を前記第１の周期に設定し、前記検出手段によってパンニング操作の始まりが検出されると、前記取得周期を前記第１の周期から前記第２の周期に変更することを特徴とする請求項２又は３に記載の映像再生装置。
5. 前記取得周期が前記第２の周期である際、前記検出手段によってパンニング操作が終了したことが検出されると、前記変更手段は前記取得周期を前記第２の周期から前記第１の周期に変更することを特徴とする請求項２〜４のいずれか１項に記載の映像再生装置。
6. 撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置の制御方法であって、
   前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出ステップと、
   前記検出ステップで前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去ステップと、
   前記映像データを再生する際、前記検出ステップで前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出ステップで前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正ステップと、
   前記検出ステップによる前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更ステップと、
   を有することを特徴とする制御方法。
7. 撮像装置によって撮像された映像データが前記撮像装置の振れ量を示す振れデータとともに記録された記録メディアから前記映像データを映像として再生する映像再生装置で用いられる制御プログラムであって、
   前記映像再生装置が備えるコンピュータに、
   前記振れデータに応じて前記映像データを撮像した際にパンニング操作が行われたか否かを検出する検出ステップと、
   前記検出ステップで前記パンニング操作が検出されると、前記振れデータから前記パンニング操作に起因するパンニング成分を除去してパンニング成分除去データを生成する除去ステップと、
   前記映像データを再生する際、前記検出ステップで前記パンニング操作が検出されないときは前記振れデータに応じて前記映像データにおける前記撮像装置の振れを補正し、前記検出ステップで前記パンニング操作が検出されるときは前記パンニング成分除去データに応じて前記映像データにおける前記撮像装置の振れを補正する振れ補正ステップと、
   前記検出ステップによる前記パンニング操作の検出の有無に応じて前記記録メディアから前記振れデータを取得する取得周期を変更する変更ステップと、
   を実行させることを特徴とする制御プログラム。

Images