JP2008166974A - 画像ブレ検出方法及び撮像装置並びに画像ブレ検出プログラム - Google Patents

Abstract

【課題】撮像画像の画像ブレの検出を高精度，高速に行う。
【解決手段】撮像領域に例えば市松状に配列形成された第１画素群（Ｇ画素群）および該撮像領域の残りの市松位置に配列形成された第２画素群（Ｒ画素群及びＢ画素群）を有する固体撮像素子２１で被写体画像を撮像するとき第１画素群の露光時間を第２画素群の露光時間より短くし、第１画素群から読み出された画像データ（Ｇ画像フレーム）と第２画素群から読み出された画像データ（ＲＢ画像フレーム）とを比較処理することで被写体画像の動きベクトルを検出する。
【選択図】図４

Description

本発明は、画像ブレの検出精度を向上させることができる画像ブレ検出方法及び撮像装置並びに画像ブレ検出プログラムに関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置で被写体を撮像する場合、撮像装置を持つ手が固定できずに生じる手振れや、シャッタ速度に対して被写体の動きが速いことで生じる被写体ブレが起きる。これらは画像ブレとして撮像画像に現れてしまう。

図６は、画像ブレの検出原理の説明図である。図６（ａ）に示すＮフレーム目の画像１中の所定アドレスで示されるブロック２内の画像を基準画像とすると、図６（ｂ）に示す（Ｎ＋１）フレーム目の画像３中の同一所定アドレスで示されるブロック４によって切り出された比較画像が基準画像と同一であれば、基準画像に対して比較画像はブレていないことになる。

しかし、手振れや被写体ブレが発生していれば、ブロック２内の基準画像とブロック４で切り出された比較画像は一致しない。そこで、画像３中のブロック４を、４ａ，４ｂ，４ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）に１画素づつ或いは数画素づつずらしながら、各ブロック４ａ，４ｂ，４ｃ，…内の夫々の比較画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。

図６（ｂ）に示す例で、ブロック２の基準画像に対し最も相関性の高い比較画像がブロック４ｃで切り出されたとすると、ブロック２の基準画像に対するブロック４ｃの比較画像との差はベクトル「ｋ」となる。このベクトルｋが基準画像の移動ベクトル即ちブレベクトルである。

この移動ベクトルｋが、画面全体の各所で平均的に検出できれば、この移動ベクトルｋは手振れによる移動ベクトルであると判断でき、画像１を表示した次に、画像３を移動ベクトルｋと逆方向に移動させて表示すれば、手振れの無い画像を表示することができる。

また、この移動ベクトルｋが画面の一部でのみ検出できれば、それは基準画像の被写体ブレによる移動ベクトルであると判断でき、その基準画像部分を適切に補正すれば、被写体ブレを抑えた撮像画像データを得ることができる。

尚、移動ベクトルの検出技術に関連する従来技術として、下記特許文献１等がある。

特開昭６１−２０１５８１号公報

図６で説明したように、画像ブレを検出する場合、あるフレームの画像から切り出した基準画像と、次フレーム画像から切り出した多数の比較画像とを比較演算するため、例えば１秒間に３０フレームの画像を撮像する撮像装置では、画像ブレの検出までに、比較演算処理に要する時間を差し引いても最低で〔１／３０〕秒の時間遅れが生じてしまい、検出精度を向上させることができないという問題がある。

本発明の目的は、画像ブレを検出するまでの時間を短縮し画像ブレの検出精度を向上させることができる画像ブレ検出方法及び撮像装置並びに画像ブレ検出プログラムを提供することにある。

本発明の画像ブレ検出方法は、固体撮像素子の撮像領域に二次元アレイ状に配列形成された画素群を所定パターンの繰り返しで配列される第１画素群と残りの第２画素群とに分け被写体画像を撮像するとき前記第１画素群の露光時間を前記第２画素群の露光時間より短くし、前記第１画素群から読み出された画像データと前記第２画素群から読み出された画像データとを比較処理することで被写体画像の動きベクトルを検出することを特徴とする。

本発明の画像ブレ検出方法は、前記第１画素群が前記撮像領域に市松配列された画素群であり、前記第２画素群が残りの市松位置に配列された画素群であることを特徴とする。

本発明の撮像装置は、撮像領域に二次元アレイ状に配列形成された画素群を有する固体撮像素子と、前記画素群を所定パターンの繰り返しで配列される第１画素群と残りの第２画素群とに分け被写体画像を撮像するとき前記第１画素群の露光時間を前記第２画素群の露光時間より短くする撮像素子駆動手段と、前記第１画素群から読み出された画像データと前記第２画素群から読み出された画像データとを比較処理することで被写体画像の動きベクトルを検出する演算処理手段とを備えることを特徴とする。

本発明の撮像装置は、前記第１画素群が前記撮像領域に市松配列された画素群であり、前記第２画素群が残りの市松位置に配列された画素群であることを特徴とする。

本発明の撮像装置の前記演算処理手段は、前記動きベクトルを、１画面内の動きベクトル分布として検出することを特徴とする。

本発明の撮像装置の前記演算処理手段は、前記第１画素群から読み出された画像データに基づき被写体画像の動き予測を行うことを特徴とする。

本発明の画像ブレ検出プログラムは、固体撮像素子の撮像領域に二次元アレイ状に配列形成された画素群を所定パターンの繰り返しで配列される第１画素群と残りの第２画素群とに分け被写体画像を撮像するとき前記第１画素群の露光時間を前記第２画素群の露光時間より短くして得られた撮像画像データを処理する画像ブレ検出プログラムであって、前記第１画素群から読み出された画像データと前記第２画素群から読み出された画像データとを比較処理することで被写体画像の動きベクトルを検出することを特徴とする。

本発明の画像ブレ検出プログラムは、前記第１画素群が前記撮像領域に市松配列された画素群であり、前記第２画素群が残りの市松位置に配列された画素群であることを特徴とする。

本発明によれば、同一フレームの画像データを露光時間の異なる第１画像フレームと第２画像フレームとで構成するため、第１画像フレームと第２画像フレームとを比較演算することで、短い露光時間の差に起因するブレベクトルが算出でき、ブレ補正，ブレ予測，動き予測，動体検出，動体追尾などを高精度，高速に行うことが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルカメラの構成図である。このデジタルカメラは、固体撮像素子２１と、固体撮像素子２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，固体撮像素子２１の駆動制御を行う駆動制御部（タイミングジェネレータを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

図２は、図１に示す固体撮像素子２１の表面模式図である。図示する例の固体撮像素子２１はＣＣＤ（チャージカップルドデバイス）型の固体撮像素子であり、半導体基板上に正方格子状に配列形成された複数のフォトダイオード５１と、各フォトダイオード列の右側に設けられた垂直電荷転送路（ＶＣＣＤ）５２と、各垂直電荷転送路５２の端部に連接して設けられた水平電荷転送路（ＨＣＣＤ）５３と、水平電荷転送路５３の出力端部に設けられたアンプ５４とを備える。

各フォトダイオード５１上に記載した「Ｒ」「Ｇ」「Ｂ」は当該フォトダイオード上に積層したカラーフィルタの色（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）を示しており、所謂ベイヤー配列のカラーフィルタ配列となっている。Ｒフィルタを搭載したフォトダイオード５１を「Ｒ画素」、Ｇフィルタを搭載したフォトダイオード５１を「Ｇ画素」、Ｂフィルタを搭載したフォトダイオードを「Ｂ画素」ということにすると、本実施形態の固体撮像素子２１は、撮像領域にＧ画素が市松配列され、Ｒ画素およびＢ画素が残りの市松位置に配列されることになる。

Ｇ画素５１と右側の垂直電荷転送路５２との間には垂直転送電極膜兼用の読出ゲート（読出電極膜）５５ｇが設けられており、Ｒ画素５１，Ｂ画素５１と右側の垂直電荷転送路５２との間には垂直転送電極膜兼用の読出ゲート（読出電極膜）５５ｒｂが設けられている。垂直電荷転送路５２の垂直転送電極膜の配列構成は、本実施形態では全画素のプログレッシブ読出が可能な周知の構成になっているが、インターレース読出可能な構成でも良い。

本実施形態の固体撮像素子２１では、同一行のＧ画素とＲ画素とは別々の読出パルスによって垂直電荷転送路５２に信号電荷が読み出され、同一行のＧ画素とＢ画素とは別々の読出パルスによって垂直電荷転送路５２に信号電荷が読み出されるが、Ｒ画素とＢ画素とは同じタイミングで垂直電荷転送路５２に信号電荷が読み出される構成になっている。

斯かる構成の固体撮像素子２１を搭載した図１のデジタルカメラで被写体画像を撮像する場合、図１に示すシステム制御部２９は駆動部２４に対して命令を発行し、図３に示す様に、先ず、電子シャッタパルスを固体撮像素子２１に出力させ、不要電荷を基板側に廃棄させる。これにより、電子シャッタが「開」となり、各画素Ｒ，Ｇ，Ｂを露光を開始する。

そして、各画素から信号電荷を垂直電荷転送路５２に読み出す場合、Ｒ画素，Ｂ画素からの信号電荷の読み出しタイミングと、Ｇ画素からの信号電荷の読み出しタイミングとを異ならせる。例えば、露出に応じた決めたシャッタ時間が〔１／６０〕秒であったすると、Ｒ画素，Ｂ画素からの信号電荷の読み出しタイミングを電子シャッタ「開」から〔１／６０〕秒後とし、Ｇ画素からの信号電荷の読み出しタイミングは、それよりも早い時間、例えば、電子シャッタ「開」から〔１／９０〕秒後とする。

これにより、電子シャッタ「開」となった〔１／９０〕秒後にＧ画素の信号電荷が垂直電荷転送路５２に読み出されて保持され、その後の電子シャッタ「開」から〔１／６０〕秒後にＲ画素，Ｂ画素の信号電荷が垂直電荷転送路５２に読み出される。そして、全画素の信号電荷が垂直電荷転送路上に読み出された後、各信号電荷を水平電荷転送路５３の方向に転送し、次に、水平電荷転送路５３に沿って出力アンプ５４まで転送し、出力アンプ５４は、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像画像データとして図１のアナログ信号処理部２２に出力する。動画像の撮影時やスルー画像の表示時には、上記動作を垂直同期信号毎に行うことになる。

アナログ信号処理部２２に取り込まれた撮像画像データは、周知のデジタルカメラの画像処理技術により、例えばＪＰＥＧ画像データとして記録メディア３２に記録され、また、スルー画像データが表示部２８に表示される。

このとき、Ｇ画素の信号電荷量は、Ｒ画素およびＢ画素のシャッタ時間より足らない信号電荷量となっているため、補正した信号電荷量を用いて画像処理を行う。例えば上記例では、Ｇ画素のシャッタ時間〔１／９０〕秒はＲ画素およびＢ画素のシャッタ時間〔１／６０〕秒に比べて〔２／３〕となっているので、実際にＧ画素から読み出された信号電荷量を〔３／２〕倍することで補正し、被写体画像の絵作りを行う。

この絵作りを行うとき、本実施形態のデジタルカメラでは、以下に述べる様に、Ｒ画素およびＢ画素と、Ｇ画素との間の露光時間の差を利用して、画像ブレを検知する。

図４は、図１に示したデジタルカメラで画像ブレを検出する画像ブレ検出処理装置６０の機能構成図である。この画像ブレ検出処理装置６０は、ユーザが図１に示す操作部３３から画像ブレの補正処理を行う旨の指示入力があったとき、システム制御部２９が移動ベクトル（ブレベクトル）検出プログラムを起動することで、システム制御部２９が配下のデジタル信号処理部２６，内部メモリ３０等を用いて構成する。

この画像ブレ検出処理装置６０は、固体撮像素子２１から出力される画像データを間引き処理して縮小画像を生成する間引き処理部６１と、間引き処理された縮小画像データのうちＲ画素およびＢ画素の画像データ（以下、ＲＢ画像フレームという。）とＧ画素の画像データ（以下、Ｇ画像フレームという。）を分離する分離処理部６２と、分離処理部６２で分離されたＲＢ画像を格納する第１メモリ６３及びＧ画像を格納する第２メモリ６４とを備える。

本実施形態の画像ブレ検出処理装置６０は、更に、ＲＢ画像フレームを取り込み動き分布推定処理を行う第１推定処理部６５と、Ｇ画像フレームを取り込み動き分布推定処理および動き予測を行う第２推定処理部６６と、Ｇ画像フレームの後段への出力を第２推定処理部６６の処理結果とにより制御する制御部６７と、第１推定処理部６５の推定結果およびＲＢ画像フレームと第２推定処理部６６の処理結果およびＧ画像フレームとから撮像画像の統合的なブレ分布を推定する画像ブレ分布推定処理部６８と、ブレ分布推定処理部６８の処理結果に基づき出力制御を行う出力制御部６９とを備える。

出力制御部６９は、固体撮像素子２１から内部メモリ３０に取り込まれた撮像画像データを表示や記録のために出力する際に、手振れ補正処理を行ったり、被写体ブレ補正を行う。

図５（ａ）は、移動ベクトル（ブレベクトル）の分布推定処理の説明図である。図示する実施形態では、１画面の撮像画像を４行４列の計１６の部分画面データに分割し、各分割画面♯１〜♯１６毎に、移動ベクトルの算出処理を行う。この算出処理は、基本的には、図６で説明した算出処理と同様であり、分割画面内から基準画像を切り出し、これと相関性の高い比較画像の当該分割画面内における切り出し位置を求め、当該分割画面における移動ベクトルを求める。

これにより、本実施形態では、図５（ｂ）に示す様に、計１６個の部分移動ベクトルＫ１〜Ｋ１６が算出される。図示する例では、Ｋ７だけが他の部分ベクトルＫ１〜Ｋ６，Ｋ８〜Ｋ１６と異なっている。このため、分割画面♯７内に動体が撮影されており、他の部分移動ベクトルＫ１〜Ｋ６，Ｋ８〜Ｋ１６は手振れに起因する移動ベクトルであると推定できる。

そこで、ブレ分布推定処理部６８は、部分移動ベクトルＫ１〜Ｋ６，Ｋ８〜Ｋ１６の平均ベクトルを手振れベクトルとして出力制御部６９に出力する。これにより、出力制御部６９は、Ｎフレーム画像を出力した後、Ｎ＋１フレーム画像を出力するとき、Ｎ＋１フレーム画像をこの手振れベクトルと逆方向に移動させて出力させる。これにより、手振れが抑制された出力データを得ることが可能となる。

ブレ分布推定処理部６８は、手振れベクトルとは別に、図５（ｂ）に示す例では、部分移動ベクトルＫ７を被写体ブレベクトルとして出力制御部６９に出力する。これにより、出力制御部６９は、Ｎフレーム画像を出力した後、Ｎ＋１フレーム画像を出力するに際し、その分割画面♯７の部分画像に対して、シャープネス補正等を施して被写体ブレを抑制する。

この様な手振れベクトル，被写体ブレベクトルを算出する場合、従来は、Ｎフレーム画像と、Ｎ＋１フレーム画像との比較演算で求めたが、本実施形態の場合には、Ｎフレーム画像とＮ＋１フレーム画像の比較演算を行う他に、Ｎフレーム画像中の上記Ｇ画像フレームとＲＢ画像フレームとの比較演算も行うことができ、Ｎフレーム画像中のＧ画像フレームとＮ＋１フレーム画像中のＧ画像フレームとの比較演算も行うことができ、従来に比較してブレベクトルの検出精度が向上する。

例えば、上記の例では言えば、Ｎ−１フレーム画像とＮフレーム画像のＧ画像フレームとから求めた動き予測の結果と、Ｎフレーム画像のＲＢ画像フレームとが合えば、動き予測結果が正しいと判断でき、より精度の高い動き予測やブレベクトルの検出が可能となる。

また、Ｎフレーム画像から切り出した基準画像とＮ＋１フレーム画像から切り出した比較画像とを比較演算する時間を短縮するには、比較画像を切り出す探索範囲を狭くするのが有効であるが、この場合、本実施形態によれば、Ｎフレーム画像のＧ画像フレームとＲＢ画像フレームとから求めた動きにより、相関性の高い比較画像の切り出し位置を狭い範囲に制限でき、それだけ高速，高精度に移動ベクトルの算出が可能となる。

また、本実施形態によれば、静止画像を撮像した場合に、単一フレーム画像中のＧ画像フレームとＲＢ画像フレームとの差を動きベクトルとして検出できるため、静止画像における手振れ補正も精度良く行うことが可能となる。

基準画像と比較画像の相関性は、基準画像と比較画像の１画素１画素の画像データの差分の全画素分（図６で説明したブロック２内の総画素分）の合計で求めることができ、この合計が最も小さい比較画像が基準画像に対して最も相関性が高いとされる。

本実施形態の場合、Ｇ画像フレームとＲＢ画像フレームとを比較するため、そのままの画像データ量で比較すると、差分が大きくなってしまう。そこで、Ｇ画像フレームの画像データから輝度成分を求め、ＲＢ画像フレームの画像データから輝度成分を求める。Ｒ画像フレームやＢ画像フレームの輝度成分は、Ｇ画像フレームの輝度成分より小さいため、Ｇ画像フレームの輝度成分に合うように正規化する。そして、Ｇ画像フレームの輝度成分と、正規化したＲＢ画像フレームの輝度成分との差分を求め、この差分の全画素数の合計から、相関性を求めることで、Ｇ画像フレームとＲＢ画像フレームとの間の相関性を演算することができる。

尚、上述した実施形態では、ブレベクトルの算出処理の高速化を図るために、間引き処理部６１で縮小画像を生成し、縮小画像中のＧ画像フレームとＲＢ画像フレームとの比較演算を行っているが、演算処理装置として高性能なものが使用できメモリ容量に余裕があれば、間引き処理せずに、元画像データ中のＧ画像フレームとＲＢ画像フレームを用いてブレベクトルを算出することも可能である。

また、上述した実施形態は、撮像領域に形成されている画素群を、市松配列されたＧ画素群と、残りの市松位置のＲ画素，Ｂ画素群とに分けた最適実施形態を説明しているが、撮像領域に二次元アレイ状に配列形成された画素群を、任意の所定パターンの繰り返しで配列される第１画素群と、残りの第２画素群とに分けるだけ、例えばカラーフィルタをストライプ状に形成し、Ｇ画素群とＲＢ画素群とに分けても同様に被写体画像の動きベクトルを算出することができる。

更にまた、上述した実施形態では、デジタルカメラ内部での処理として説明したが、固体撮像素子２１から出力される画像データを全て記録しておき、これを外部のパーソナルコンピュータ等に取り込み、パーソナルコンピュータがブレベクトル検出プログラムや電子的手振れ補正プログラムを実行することでも同様に処理が可能である。

本発明に係る画像ブレ検出方法等は、高精度，高速に画像ブレを検出できるため、デジタルカメラ等に適用すると、高品質の画像を撮像でき、有用である。

本発明の一実施形態に係るデジタルカメラのブロック構成図である。 図１に示す固体撮像素子の表面模式図である。 図２に示すＣＣＤ型の固体撮像素子のＲ画素，Ｇ画素，Ｂ画素の駆動タイミングを示す図である。 図１に示すデジタルカメラ内にプログラムによって構成される画像ブレ検出処理装置の機能構成図である。 画像ブレベクトルの分布説明図である。 画像ブレベクトルの算出処理説明図である。

符号の説明

２１ 固体撮像素子
２４ 駆動部
２６ デジタル信号処理部
２９ システム制御部
５１ フォトダイオード（画素）
５２ 垂直電荷転送路
５３ 水平電荷転送路
６０ 画像ブレ検出処理装置
６２ 分離処理部
６３ ＲＢ画像フレーム格納メモリ
６４ Ｇ画像フレーム格納メモリ
６５ ＲＢ画像フレーム動き分布推定処理部
６６ Ｇ画像フレーム動き分布推定処理部
６７ 動き予測部
６８ 画像ブレ分布推定処理部
６９ 出力制御部

Claims (8)

1. 固体撮像素子の撮像領域に二次元アレイ状に配列形成された画素群を所定パターンの繰り返しで配列される第１画素群と残りの第２画素群とに分け被写体画像を撮像するとき前記第１画素群の露光時間を前記第２画素群の露光時間より短くし、前記第１画素群から読み出された画像データと前記第２画素群から読み出された画像データとを比較処理することで被写体画像の動きベクトルを検出することを特徴とする画像ブレ検出方法。
2. 前記第１画素群が前記撮像領域に市松配列された画素群であり、前記第２画素群が残りの市松位置に配列された画素群であることを特徴とする請求項１に記載の画像ブレ検出方法。
3. 撮像領域に二次元アレイ状に配列形成された画素群を有する固体撮像素子と、前記画素群を所定パターンの繰り返しで配列される第１画素群と残りの第２画素群とに分け被写体画像を撮像するとき前記第１画素群の露光時間を前記第２画素群の露光時間より短くする撮像素子駆動手段と、前記第１画素群から読み出された画像データと前記第２画素群から読み出された画像データとを比較処理することで被写体画像の動きベクトルを検出する演算処理手段とを備えることを特徴とする撮像装置。
4. 前記第１画素群が前記撮像領域に市松配列された画素群であり、前記第２画素群が残りの市松位置に配列された画素群であることを特徴とする請求項３に記載の撮像装置。
5. 前記演算処理手段は、前記動きベクトルを、１画面内の動きベクトル分布として検出することを特徴とする請求項３または請求項４に記載の撮像装置。
6. 前記演算処理手段は、前記第１画素群から読み出された画像データに基づき被写体画像の動き予測を行うことを特徴とする請求項３乃至請求項５のいずれかに記載の撮像装置。
7. 固体撮像素子の撮像領域に二次元アレイ状に配列形成された画素群を所定パターンの繰り返しで配列される第１画素群と残りの第２画素群とに分け被写体画像を撮像するとき前記第１画素群の露光時間を前記第２画素群の露光時間より短くして得られた撮像画像データを処理する画像ブレ検出プログラムであって、前記第１画素群から読み出された画像データと前記第２画素群から読み出された画像データとを比較処理することで被写体画像の動きベクトルを検出することを特徴とする画像ブレ検出プログラム。
8. 前記第１画素群が前記撮像領域に市松配列された画素群であり、前記第２画素群が残りの市松位置に配列された画素群であることを特徴とする請求項７に記載の画像ブレ検出方法。

Images