JP2013118471A - 映像処理装置およびその制御方法 - Google Patents

Abstract

【課題】 手軽にカメラの動きを一致させた映像を得ることを可能となる映像処理装置を提供することを目的とする。
【解決手段】 補正処理の基準となる基準映像と、該補正処理を施す補正対象映像の映像撮影時のそれぞれの映像における該映像を撮影するカメラの相対位置であるカメラ位置の一致度を算出し（Ｓ５１０）、算出結果に応じ、前記基準映像と前記補正対象映像の映像撮影時のカメラ位置が一致するかを判定し（Ｓ５１１）、判定の結果、一致しないと判定された補正対象映像を補正する補正する（Ｓ５１７）。
【選択図】 図５

Description

本発明は、映像を処理する映像処理装置及びその制御方法に関する。

従来から複数の映像（動画像）を合成することは、映像編集において良く行われている。例えばブルーバックで撮影した映像から前景をクロマキーで切出した後、異なる実写映像やＣＧ映像に合成をするなどが行われている。合成後の映像を自然なものとするためには、合成対象となる各映像とそれに対応するカメラとの位置関係が、常時一致していることが必要である。例えば、合成される映像Ａと映像Ｂについて言えば、映像Ａとそれを撮影したカメラとの位置関係と、映像Ｂとそれを撮影したカメラＢとの位置関係が、概ね一致していることが望まれる。以上により、映像Ａと映像Ｂの動き方が自然なものの（一致しているもの）ように見える。

このため、上記位置関係が一致するように、カメラを機械的に制御することが有効である。この方法として、例えば、特許文献１では、２台のカメラを１つのコントローラで同時に制御することにより、同じカメラの動きをさせて撮影することが行われている。

また、実写映像撮影の際にカメラの動き情報を取得した後、カメラの動き情報を基に同じカメラの動きをした映像となるコンピュータグラフィックス（ＣＧ）映像を生成することは、一般的に良く行われている。

特許文献２ではカメラの動きの検出には、既知形状物体の特徴点の映像内位置からカメラの動きを推定している。

特開２００４−２９７２８３号公報 開平１０−１１６３５９号公報

しかしながら特許文献１の場合、カメラ以外に別途、制御用の高価な機材が必要となり、コストや手間がかかってしまう。
また特許文献２の場合、実写映像を撮影する際のカメラの動き情報に基づいてＣＧ映像を生成し、実写映像と合成しているので、実写映像と実写映像の合成は行うことはできない。
上記課題を鑑みて、本発明は、カメラの動きが一致した映像を手軽に得ることを目的としている。

上記の目的を達成するための本発明の一態様による映像処理装置は以下の構成を備える。すなわち、映像処理装置において、補正処理の基準となる基準映像と、該補正処理を施す補正対象映像の映像撮影時のそれぞれの映像における該映像を撮影するカメラの相対位置であるカメラ位置の一致度を算出する算出手段と、前記算出手段による算出結果に応じ、前記基準映像と前記補正対象映像の映像撮影時のカメラ位置が一致するかを判定する判定手段と、前記判定手段による判定の結果、一致しないと判定された補正対象映像を補正する補正手段とを有することを特徴とする映像処理装置を備えることを特徴とする。

本発明によれば、手軽にカメラの動きが一致した映像を得ることができる。

映像処理装置のハードウェア構成図 ビデオカメラの外観の図。 基準映像および補正対象映像のスクリーンショット 映像補正処理の概念図 映像補正処理の詳細を説明するフローチャート 特徴点情報の一例を示した図 フレーム補正処理の詳細を説明するフローチャート 映像処理装置の概略を示したブロック図

［実施形態１］
以下に、図に基づいて実施形態１の説明を行う。図１は、本実施形態を実現する映像処理装置のハードウェアの概略を示したハードウェア構成図である。

撮像部１０１は、ズームレンズ、フォーカスレンズ，ぶれ補正レンズ，絞り，シャッター，光学ローパスフィルタ，ｉＲカットフィルタ，カラーフィルタ，及びＣＭＯＳやＣＣＤなどのセンサなどから構成され、被写体の光量を検知する。

Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、上記デジタル値にデモザイキング処理，ホワイトバランス処理，ガンマ処理などを行い、デジタル画像を生成する。Ｄ／Ａ変換部１０４は、上記デジタル画像に対しアナログ変換を行う。

エンコーダ部１０５は、上記デジタル画像をＪＰＥＧ，ＭＰＥＧ，Ｈ．２６４などのファイルフォーマットに変換する処理を行う。メディアインターフェース１０６は、映像処理装置をＰＣやその他メディア（例えば、ハードディスク，メモリーカード，ＣＦカード，ＳＤカード，ＵＳＢメモリ）につなぐためのインターフェースである。

ＣＰＵ１０７は、各構成の処理全てに関わり、 ＲＯＭ１０８やＲＡＭ１０９に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム，データ，作業領域などをＣＰＵ１０７に提供する。後述するフローチャートの処理もこのＣＰＵ１０７が行う。

撮像系制御部１１０は、フォーカスを合わせる，シャッターを開く，絞りを調節するなどの、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。レンズのズームなどの指示も、操作部１１１を介して行うことができる。

キャラクタージェネレータ１１２は、文字やグラフィックなどを生成する。表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１０やＤ／Ａ変換部１０４から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部１１１の入力として扱うことも可能である。

動き検出部１１４は、公知の３軸の加速度センサや角速度センサなどから構成され、映像処理装置にかかる動きに関する情報（傾き，動きの方向，加速度など）を検出する。

本実施形態では、上記映像処理装置の一形態として、ビデオカメラを例にとって説明する。

図２は、本実施形態における映像処理装置であるビデオカメラの外観を示す図である。

ボタン２０１は、撮影開始・終了を指示するためのボタンである。撮影が行われていない状態でボタン２０１が押下されると、映像の撮影を開始する。撮影が行われている状態でボタン２０１が押下されると、撮影を終了する。

ディスプレイ２０２は、各種情報を表示するためのディスプレイである。図１における表示部１１３に相当する。撮影中の映像に加え、文字やグラフィックなどを表示することができる。

図３に、本実施形態で用いる、映像補正の基準となる基準映像および映像補正の対象となる補正対象映像のスクリーンショットを示す。３０１は基準映像のスクリーンショットである。３０２は補正対象のスクリーンショットである。３０３はカメラの位置を検出するために設置された基準物体である。本実施形態では、基準映像３０１と補正対象映像３０２に同じ基準物体３０３が撮影されている。

基準映像３０１のように基準物体３０３近辺を被写体が移動していた場合、補正対象撮影時に被写体を移動させたい位置に基準物体３０３を設置する。基準映像３０１の被写体を切出し、本実施形態で補正処理を行った補正対象映像３０２合成を行った際、所望の位置を被写体が移動する映像を取得することができる。

尚ここで基準物体として立方体を用いているが、これは一例でありこれに限るものではない。

映し出されている同基準物体３０３の特徴点の位置関係から、基準映像３０１と補正対象映像３０２撮影時のそれぞれの映像における該映像を撮影するカメラの相対位置であるカメラ位置の一致度を算出する。特徴点としては、エッジの交点、輝度の高い点、低い点、色調が特徴的な点などがある。

尚、補正対象撮影時に基準映像のカメラ位置の情報を基に、撮影者にカメラ位置が一致するようにサポートしても良い。例えば、基準映像を透過させてファインダー画面に映す。または、基準物体３０３の特徴点の位置関係からカメラ位置の一致度を算出し、算出したカメラ位置一致度をファインダー画面に表示してもよい。

図４に本実施形態の映像補正処理の概念図を示す。４０１は、フレーム番号である。４０２は基準映像のフレーム画像である。４０３は補正対象映像の補正前のフレーム画像である。４０４は基準映像と補正対象映像のカメラ位置一致度の判定結果を示したものである。４０５は補正対象映像の補正後のフレーム画像である。

本実施形態では、フレーム番号１５８のカメラ位置が不一致と判定された場合、フレーム番号１５８の基準映像のフレーム、およびフレーム番号１５７と１５８の補正対象映像のカメラ位置が一致と判定された近傍のフレームの情報に基づいて補正処理を行う。尚、フレームの情報はフレーム画像およびカメラ位置の情報である。補正処理の詳細については後述する。

図８は、本実施形態の映像処理装置の概略を示したブロック図である。記憶媒体８０１は、データを蓄積するハードディスクなどであり、映像データなどを蓄積する。映像処理装置８０２は、映像の補正対象映像のカメラワークと基準映像のカメラワークとを一致させる映像処理を行う。基準映像選択部８０３は、基準映像を選択する。補正対象映像選択部８０４は補正対象映像を選択する。

検出部８０５は基準映像の特徴点と補正対象映像の特徴点を検出する。判定部８０６は、検出部８０５が検出した特徴点から、カメラ位置の一致度を判定する。判定処理の詳細は後述する。補正部８０７は、判定部８０６の判定結果と、検出部８０５の検出結果に基づき、補正対象映像のカメラ位置を補正することによって補正対象映像を補正する。補正処理の詳細は、後述する。

図示しないが、更に合成部を設け、基準映像と補正対象映像を合成するようにしてもよい。

図５に本実施形態の映像補正処理のフローチャートを示す。映像補正処理を開始すると、ステップＳ５０１で補正の基準となる基準映像を撮像済み映像から選択する。ここではユーザによって指定された映像を選択することとする。ステップＳ５０２で選択された基準映像の先頭フレームの画像を取得し、基準映像現フレーム画像とする。

尚、ここで映像の先頭フレーム画像を取得することにしているが、これは一例でありこれに限るものではない。例えば、ユーザに基準映像の開始位置を選択させ、その位置のフレーム画像を取得しても良い。また、開始の一定時間後のフレーム画像から取得しても良い。

ステップＳ５０３で基準映像現フレーム画像から、映像のカメラ位置を検出するために映している物体の特徴点をユーザに少なくとも３つ選択させ、基準特徴点とする。特徴点としては、エッジの交点や輝度が高い点などが上げられる。尚、ここでユーザに選択させているが、これは一例でありこれに限るものではない。例えば、特徴点が予め指定されているのであれば、パターンマッチングを行い自動的に検出してもよい。

ステップＳ５０４で補正処理を施す映像となる補正対象映像を撮像済み映像から選択する。ここではユーザが指定した映像を選択するものとする。ステップＳ５０５で選択された補正対象映像の先頭フレームの画像を取得し、補正対象映像現フレーム画像とする。補正対象映像現フレーム画像から、ステップＳ５０３で基準特徴点を選択した物体と同じ物体から、Ｓ５０６で各基準特徴点に対応する特徴点をユーザに選択させ、補正対象特徴点とする。

尚、ここでユーザに補正対象特徴点を選択させているが、これは一例でありこれに限るものではない。例えば、Ｓ５０３で選択された基準特徴点の情報を基に、パターンマッチングを行い自動的に検出しても良い。

ステップＳ５０７で基準映像現フレーム画像上での基準特徴点の座標を取得する。ステップＳ５０８で補正対象映像現フレーム画像上での補正対象特徴点の座標を取得する。ステップＳ５０９で、ステップＳ５０７およびステップＳ５０８で取得した基準特徴点および補正対象特徴点の座標を特徴点情報として記録する。

図６に特徴点情報の一例を示す。６０１は、取得した特徴点情報のフレームの時間である。単位はフレーム番号である。６０２は、特徴点を区別するためのＩＤである。６０３および６０４は、補正対象特徴点のｘ座標およびｙ座標である。単位はピクセルである。６０５および６０６は、基準特徴点のｘ座標およびｙ座標である。単位はピクセルである。尚、これは一例でありこれに限るものではない。

引き続き図５に基づき、映像補正処理の説明をする。ステップＳ５１０で特徴点情報から、各対応する特徴点の差分をフレーム毎に求めその合計値をカメラ位置一致度とする。例えば、補正対象特徴点の座標を（ｘ_１ｉ，ｙ_１ｉ）、基準特徴点の座標を（ｘ_２ｉ，ｙ_２ｉ）とする。各対応する特徴点の距離の二乗平均平方根式（１）をカメラ位置一致度とする。

尚、ここで用いたカメラ位置一致度の計算方法は一例でありこれに限るものではない。例えば、特開平９−２３１３７３号公報などに記載されている計算方法を用いて、映像撮影時のカメラの空間上の位置や姿勢を算出してもよい。

ステップＳ５１１で、ステップＳ５１０で算出した算出結果であるカメラ位置一致度に基づき、カメラ位置が一致しているか判定する。尚、ここではカメラ位置一致度が閾値以上の場合はカメラ位置が不一致、閾値未満の場合はカメラ位置が一致と判定するが、これは一例でありこれに限るものではない。

ステップＳ５１１でカメラ位置が一致と判定された場合、ステップＳ５１２で補正対象映像現フレームを補正非対象フレームとする。

ステップＳ５１１でカメラ位置が不一致と判定された場合、ステップＳ５１３で補正対象映像現フレームを補正対象フレームとする。

ステップＳ５１４で基準映像現フレームの次のフレーム画像を取得し、基準映像現フレーム画像とする。ステップＳ５１５で補正対象映像現フレームの次のフレーム画像を取得し、補正対象映像現フレーム画像とする。尚、ステップＳ５１４およびステップＳ５１５で次のフレーム画像を取得しているが、これは一例でありこれに限るものではない。例えば、一定数先のフレーム画像を取得しても良い。

ステップＳ５１６で基準映像または補正対象映像の全てのフレームをチェックしたか判定する。ステップＳ５１６で全てチェックし終わっていないと判定した場合、ステップＳ５０７の処理へ移行する。

ステップＳ５１６で全てチェックし終わったと判定した場合、フレーム補正処理を行う。（Ｓ５１７）フレーム補正処理については後述する。ステップＳ５１８で補正済み映像を記録し、映像補正処理を終了する。

図７に本実施形態のフレーム補正処理のフローチャートを示す。Ｓ７０１で、図５のステップＳ５１３で補正対象となった補正対象フレーム近傍の補正非対象フレームの画像を取得し、補正基フレーム画像とする。ステップＳ７０２で補正対象フレームおよび補正基フレームの特徴点情報を取得する。Ｓ７０３で取得した特徴点情報の補正基フレームの補正対象特徴点座標６０３および６０４およびステップＳ７０２で取得した補正対象フレームの基準特徴点の座標６０５および６０６からアフィン変換処理のパラメタを生成する。

補正基フレームの補正対象特徴点座標を（ｘ_ｉ，ｙ_ｉ）、補正対象フレームの基準特徴点座標を（Ｘ_ｉ，Ｙ_ｉ）とすると、二次元のアフィン変換の式は式（２）となる。

式（２）に補正元フレームの補正対象特徴点座標および補正対象フレームの基準特徴点座標を代入し連立方程式を導き、最小ニ乗法を用いて係数ａ〜ｆを求め、アフィン変換処理のパラメタとする。

ステップＳ７０４で生成したパラメタに基づき補正基フレーム画像にアフィン変換処理を行う。尚、ここで補正処理としてアフィン変換を用いているが、これは一例でありこれに限るものではない。

また本実施形態では、補正対象フレームの近傍のフレーム１枚のみを補正基フレームとしているが、複数枚でもよい。補正基フレームが複数枚の場合は、各補正基フレームのカメラ一致度に基づき透過度を決定し、決定した透過度に基づき各補正基フレームを合成する処理などの補正処理を行う。

また本実施形態では、補正対象映像を撮像済みの映像として処理を行っているが、撮影中の映像としてもよい。

以上説明したように、本発明によれば、手軽にカメラの動きが一致した映像を得ることができる。また、映像を合成しても自然な映像とすることができる。

（他の実施形態）
なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種コンピュータ可読記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がコンピュータプログラムを読み出して実行する処理である。

Claims (9)

1. 補正処理の基準となる基準映像と、該補正処理を施す補正対象映像の映像撮影時のそれぞれの映像における該映像を撮影するカメラの相対位置であるカメラ位置の一致度を算出する算出手段と、
   前記算出手段による算出結果に応じ、前記基準映像と前記補正対象映像の映像撮影時のカメラ位置が一致するかを判定する判定手段と、
   前記判定手段による判定の結果、一致しないと判定された補正対象映像を補正する補正手段と
   を有することを特徴とする映像処理装置。
2. 前記基準映像と補正対象映像それぞれから対応する特徴点を検出する検出手段を更に有し、
   前記算出手段は、前記検出された特徴点に基づいて前記一致度を算出することを特徴とする請求項１に記載の映像処理装置。
3. 前記算出手段は、前記一致度を、前記基準映像及び前記補正対象映像のフレーム毎に算出し、前記判定手段は、前記算出結果に基づいてフレーム毎に判定することを特徴とする請求項１または２に記載の映像処理装置。
4. 前記補正手段は、前記判定手段による判定結果が一致しないと判定された補正対象映像のフレームを、前記前記判定手段による判定結果が一致すると判定されたフレームと置き換えることを特徴とする請求項３に記載の映像処理装置。
5. 前記補正手段は、前記置き換えるフレームは、前記判定手段による判定結果が一致しないと判定された補正対象映像のフレームの近傍のフレームであることを特徴とする請求項４に記載の映像処理装置。
6. 合成手段を更に有し、前記基準映像と、前記補正手段によって補正された補正対象映像を合成することを特徴とする請求項１から５のいずれか１項に記載の映像処理装置。
7. 補正処理の基準となる基準映像と、該補正処理を施す補正対象映像の映像撮影時のそれぞれの映像における該映像を撮影するカメラの相対位置であるカメラ位置の一致度を算出手段が算出する算出工程と、
   前記算出手段による算出結果に応じ、前記基準映像と前記補正対象映像の映像撮影時のカメラ位置が一致するかを判定手段が判定する判定工程と、
   前記判定工程による判定の結果、一致しないと判定された補正対象映像を補正手段が補正する補正工程と
   を有することを特徴とする映像処理装置の制御方法。
8. コンピュータに読み込み込ませることで、請求項７に記載の映像処理装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。

Images