JP2012134664A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】Ｃｏｍｐｏｓｉｔｅ合成による手ぶれ補正の際に、各画像を重ね合わせるときの動き検出範囲を最低限にして、画像処理に対する負荷を可及的に低減させ、画像処理スピードの向上等を図る。
【解決手段】操作者の１回の撮影操作によって複数枚の単位画像を連続的に撮影する自動連写部１と、各単位画像における比較すべき特徴点を抽出・設定する特徴点検出部３と、一の単位画像における特徴点に対応する特徴点を他の単位画像から検出する動き検出部４と、それら特徴点の偏位に基づいて単位画像を移動・変形させ各単位画像間でのずれを低減する画像整合部５と、各単位画像を重ね合わせて合成画像を出力する画像合成部６と、前記特徴点の検出範囲を、単位画像において実質的に振れが認識されない最大限の画素数である手振れ限界画素数に基づいて算出する動き検出範囲演算部７とを設けるようにした。
【選択図】図２

Description

本発明は、静止画を撮影して画像処理するデジタルカメラ等の画像処理装置及び画像処理方法に関し、特にＣｏｍｐｏｓｉｔｅ合成技術を利用して手振れ補正するものに関するものである。

静止画ＥＩＳとも呼ばれるＣｏｍｐｏｓｉｔｅ合成とは、複数の画像の重ね合わせ加算によるノイズ除去技術のことであり、携帯電話のカメラなどでの手振れ補正に使われる。この手振れ補正では、操作者による１回の撮影操作で、短時間に複数枚を自動連写し、この連写で得られた各画像を、手振れによるずれを補正しながら重ね合わせる。そのために、画素ずらしや形状補正等の技術を導入する必要がある。
かかる手振れ補正に係る従来の技術を、図１を参照して説明する。

まず、センサからの連写出力を現像してＳＤＲＡＭ等の内部メモリに保存する。そして、複数の画像の特徴点を検出する。この特徴点をそれぞれを比較し、動き検出を行い、手振れによって画像が動いていたり、傾くことによって歪んでいたりしている部分を判断し、画素ずらしやアフィン変換を行う。この結果を加算合成することにより、Ｃｏｍｐｏｓｉｔｅを行う。
しかしてこのＣｏｍｐｏｓｉｔｅ合成そのものに関しては様々な技術がある。例えば動きベクターの検出方法や画像の対象物認識等の技術である。

一方、動き検出の範囲については、操作者による手振れの限界を適宜定め、そこから最大必要な範囲を決定する発明があるにすぎない。例えば、特許文献１では、焦点距離、画素ピッチ、手振れの最大幅から画像上の最大のぶれ量を求め、その範囲を検索する技術が開示されている。

特開２００６−８６７４１

しかしながら、操作者側からの観点で手ぶれ限界を予測するのは、カメラの構造や持ち方、操作者等によって異なるため、解析が難しい。かといって、動き検出の範囲を従来技術のように余裕をみて適当に設定すると、重ね合わせの際の画像処理に多大な負荷がかかる。そのため、その範囲をできるだけ狭くすることが必要であるが、かかる観点に着目してなされた発明は見あたらない。

本発明は、重ね合わせる前の１枚１枚の画像がぶれていれば、動きベクターがヒットしたとしても意味が無く、逆に言えば、基本は重ね合わせる各画像にぶれによるボケ等がそれぞれないことであって、そのことが動き検出範囲を定める際の大きなパラメータとなることに初めて着目してなされたものである。

そして、その主たる目的は、Ｃｏｍｐｏｓｉｔｅ合成による手ぶれ補正において、各画像を重ね合わせるときの動き検出範囲を最低限にして、画像処理に対する負荷を可及的に低減させ、画像処理スピードの向上等を図ることにある。

すなわち、本発明は、操作者の１回の撮影操作において複数枚の単位画像を連続的に撮影し、各単位画像における比較すべき特徴点を設定し、一の単位画像における特徴点に対応する特徴点を他の単位画像から検出し、それら特徴点の偏位に基づいて単位画像を移動・変形させて各単位画像間でのずれを低減し、各単位画像を重ね合わせて合成画像を出力する画像処理装置又は画像処理方法であって、前記特徴点の検出範囲（以下、動き検出範囲とも言う。）を、前記単位画像において実質的な手振れあるいはそれによるボケが認められない最大ずれ画素数である手振れ限界画素数に基づいて設定する画像処理装置又は画像処理方法である。

より具体的には、動き検出範囲にあたって、単位画像を撮影するときの露光時間と単位画像の撮影間隔とを考慮に入れなければならないことから、動き検出範囲を以下の式で定められる画素数とすればよい。
動き検出範囲(pixel)＝手振れ限界画素(pixel)／露光時間(sec)＊撮影間隔(sec)

このようなものであれば、重ね合わせる前の１枚１枚の単位画像にボケがない、あるいはぶれていないと物理的、客観的に定めることのできる手振れ限界画素数に基づいて、動き検出範囲を定めることができるので、当該動き検出範囲を最低限に設定することができる。

このように本発明によれば、動き検出範囲を最低限に設定することができて画像処理に対する負荷を大幅に低減させることができるので、従来のＣｏｍｐｏｓｉｔｅ合成よりも高速で低消費電力での動作が可能となりレスポンスの大幅な改善が期待できる。

従来のデジタルカメラでのＣｏｍｐｏｓｉｔｅ合成を示す説明図である。 本発明の一実施形態に係るデジタルカメラの全体構成図である。 同実施形態における特徴点を説明するための例示図である。 同実施形態における単位画像の変化を示すための例示図である。 同実施形態におけるＣＭＯＳセンサの露光時間と撮影間隔を説明するためのタイミングチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

本実施形態における画像処理装置であるデジタルスチルカメラ１００の概要を図２を参照して簡単に説明する。なお、このデジタルカメラは、図示しないＣＰＵや内部メモリなどの情報処理機構を有しており、図２中の各部の機能は、ハードウェアに加えて、前記メモリに格納されたプログラムにしたがってＣＰＵ等が動作することによって得られるソフトウェア機能によって実現される。

このデジタルカメラ１００において、操作者がシャッタを押すといった撮影操作を１回行うと、被写体は、レンズを通してＣＣＤやＣＭＯＳ等のエリア受光素子上に結像され、電気信号化される。そして、ＡＤコンバータによってデジタル信号に変換される。

このとき、自動連写部１が、一定間隔で連続に複数枚の撮影を行う。すなわち、連写によって一定間隔でデジタル信号化された画像をＳＤＲＡＭ等の内部メモリに格納する。

現像処理部２は、前記デジタル信号に変換された各単位画像（ベイヤ配列原画像）を受け取り、これら原画像に、ホワイトバランス調整、色補間、ＹＣｂＣｒ画像変換等の処理をそれぞれ施して前記内部メモリに格納する。

特徴点検出部３は、前記現像処理部２から出力された単位画像（ＹＣｂＣｒ画像）の特徴点を抽出・設定し、その情報を前記内部メモリに格納する。具体的には例えば、図３に示すように、単位画像において明暗の差が大きいエッジ部分や色が周囲と異なる色変化部分が特徴点として抽出される。

動き検出部４は、前記特徴点情報に基づき、各単位画像間（より具体的には、隣り合う単位画像間）での対応する特徴点を所定の検出範囲内で検出する。例えば、一の単位画像での特徴点の当該画像での座標位置が（ｘ，ｙ）であったとすると、検出対象となる他の単位画像において、前記座標位置（ｘ，ｙ）を中心に所定の検出範囲、すなわち所定の画素数の範囲で対応する特徴点を検索する。図４に、左側の単位画像を基準に右側の単位画像に対して動き検出を行った例を挙げる。右側の単位画像は左側の単位画像に対して右上に移動し、時計回りに若干回転しているが、前記特徴点の対応をとることで、画像の動きが算出可能となる。

画像整合部５は、それら特徴点の偏位に基づいて単位画像を移動・変形させ、各単位画像間でのずれを低減あるいはなくす。より具体的には、画素ずらし、回転、アフィン変換等による形状変換処理等を行い、複数単位画像内の特徴点の位置を可及的に合致させて、被写体画像が同じになるような処理を施す。そして、その結果を前記内部メモリに保存する。

画像合成部６は、画像整合部５で略重なるように変形された複数の単位画像を加算処理し、出力に対してダイナミックレンジ調整を行う。この結果、ノイズの量の少ない加算合成画像を得ることが出来る。
しかして、本実施形態では、前記動き検出部４での特徴点の検出範囲を決定する動き検出範囲演算部７をさらに設けている。

この動き検出範囲演算部７は、前記特徴点の検出範囲（以下、動き検出範囲とも言う。）を、単位画像において、実質的なボケが認められない最大ずれ範囲を示す手振れ限界画素に基づいて設定するものである。
詳述する。

上述した本実施形態の前提機構あるいは動作は、静止画のＣｏｍｐｏｓｉｔｅ合成乃至静止画ＥＩＳを利用したノイズリダクションと言うことができ、手振れが発生するような条件化で撮影しても手振れの無い画像を得るための技術である。この場合、一枚一枚の撮影単位画像は、手振れによるぶれが無視できるレベルで高速連写されたものであることが条件となる。

ところで、図５は、受光素子であるＣＭＯＳセンサーの露光及び出力タイミングを示したものであるが、携帯電話のカメラ等で使われるＣＭＯＳセンサーは、電気的に受光できる状態のときのみ光電変換が行われるため、図５の露光期間と記された部分だけが露光していることになる。各画素で見た場合、画像の上から下に向けて露光タイミングは異なるが、各画素同じ露光時間で露光していることになる。

しかして、前述のようにこの露光時間中に撮影された画像に、手振れによるボケが無いことが条件であるため、図５の露光時間は手振れに対して十分に短いことが必要となる。逆にこれを超えている場合には後段の加算処理を行っても手振れの改善効果はほとんど得られない。

このため、本実施形態での動き範囲演算部は、（１）露光時間内には手振れ限界以内しか動いていないこと、（２）短時間的には同じ比率で手振れしていること、を前提として、以下のような演算式から動き検出範囲を定めるようにしている。
動き検出範囲(pixel)＝（手振れ限界(pixel)／露光時間(sec)）＊撮影間隔(sec)

この式は、仮に撮影間隔と露光時間とが合致していた場合（実際にはあり得ない）には、動き検出範囲が手ぶれ限界ｐｉｘｅｌに合致することを意味している。また、露光時間が短く、それより撮影間隔が長くなればなるほど、非露光時間の間に次の単位画像が変化していると考えられるから、手ぶれ限界よりも動き検出範囲を大きくして検索領域を広げるということを意味している。

ここで、手ぶれ限界とは、単位画像において、ぶれによる画像のボケが生じない最大の画素数のことであり、これは、物理的・客観的に容易に予め設定しておくことができる。例えば重ね合わせた同一の２枚の単位画像のうちの一方を、１画素ずつずらせていって、ずれによるボケがオペレータに認められる直前のずらした画素数を、手ぶれ限界と設定し、メモリに登録しておけばよい。

このようなものであれば、重ね合わせる前の１枚１枚の単位画像にボケがない、あるいはぶれていないと物理的、客観的に定めることのできる手振れ限界画素数に基づいて、動き検出範囲を定めているので、従来のように余裕をみて動き検出範囲を適宜定めたものとは異なり、当該動き検出範囲を最低限に設定することができる。したがって、画像処理に対する負荷を大幅に低減させることができ、従来のＣｏｍｐｏｓｉｔｅ合成よりも高速で低消費電力での動作が可能となって、レスポンスの大幅な改善が期待できる。

なお、本発明は前記実施形態に限られるものではない。例えば、デジタルスチルカメラのみならず、動画を録画できるデジタルムービーカメラにも、本発明は適用可能であるし、その他、本発明はその趣旨を逸脱しない範囲で種々の変形が可能である。

１００・・・画像処理装置
１・・・自動連写部
３・・・特徴点検出部
４・・・動き検出部
５・・・画像整合部
６・・・画像合成部
７・・・動き検出範囲演算部

Claims (4)

1. 操作者の１回の撮影操作によって、複数枚の単位画像を連続的に撮影する自動連写部と、各単位画像における比較すべき特徴点を抽出・設定する特徴点検出部と、一の単位画像における特徴点に対応する特徴点を他の単位画像から検出する動き検出部と、それら特徴点の偏位に基づいて単位画像を移動・変形させ各単位画像間でのずれを低減する画像整合部と、各単位画像を重ね合わせて合成画像を出力する画像合成部とを具備する画像処理装置であって、
   前記特徴点の検出範囲を、単位画像において実質的に振れが認識されない最大限の画素数である手振れ限界画素数に基づいて算出する動き検出範囲演算部をさらに具備していることを特徴とする画像処理装置。
2. 前記動き検出範囲演算部が、特徴点の検出範囲を以下の式から算出するものである請求項１記載の画像処理装置。
   特徴点検出範囲(pixel)＝手振れ限界画素(pixel)／露光時間(sec)＊撮影間隔(sec)
3. 操作者の１回の撮影操作によって、複数枚の単位画像を連続的に撮影する自動連写ステップと、各単位画像における比較すべき特徴点を抽出・設定する特徴点検出ステップと、一の単位画像における特徴点に対応する特徴点を他の単位画像から検出する動き検出ステップと、それら特徴点の偏位に基づいて単位画像を移動・変形させ、各単位画像間でのずれを低減する画像整合ステップと、各単位画像を重ね合わせて合成画像を出力する画像合成ステップとを有する画像処理方法であって、
   前記特徴点の検出範囲を、単位画像において実質的に振れが認識されない最大限の画素数である手振れ限界画素数に基づいて算出する動き検出範囲ステップをさらに有していることを特徴とする画像処理方法。
4. 前記動き検出範囲演算ステップにおいて、特徴点の検出範囲を以下の式から算出する請求項３記載の画像処理方法。
   特徴点検出範囲(pixel)＝手振れ限界画素(pixel)／露光時間(sec)＊撮影間隔(sec)