JP2017038300A

JP2017038300A - 画像処理装置及び方法

Info

Publication number: JP2017038300A
Application number: JP2015159538A
Authority: JP
Inventors: 佑輔清水; Yusuke Shimizu
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-08-12
Filing date: 2015-08-12
Publication date: 2017-02-16

Abstract

【課題】画像ブレが大きい条件で撮影する場合に、画像ブレを低減してサイズが小さくなった画像と、サイズが維持された画像との両方を出力可能な画像処理装置を提供する。【解決手段】本発明の一実施形態に係る画像処理装置は、撮像部にて撮像された第１の画像から第１の現像画像を生成する画像生成部と、第１の画像の画像ブレがあるか否かを判定する画像ブレ判定部と、画像ブレ判定部により画像ブレがないと判定された場合に第１の現像画像を出力する画像出力部と、を備え、画像ブレ判定部により画像ブレがあると判定された場合には、撮像部は第１の画像と異なる撮像条件で第２の画像を撮像し、画像生成部は第２の画像から第１の現像画像と異なる解像度を持つ第２の現像画像を生成し、画像出力部は第１の現像画像に加えて第２の現像画像を出力する。【選択図】図２

Description

本発明は撮像装置における画像処理装置及び方法に関し、特に画像ブレ制御に関する画像処理装置及び方法に関する。

通常の撮像装置は、撮像時の周辺輝度などから露出制御を行い、適正な露出となるように画像を撮像している。また、撮像した画像において隣接画素同士を画素加算して画像を生成する画素加算処理を行うことにより、低照度環境下の様な光量不足な条件においても、信号を増幅することなく画像の明るさを確保することができる。

一般に、低照度環境下の様な光量不足の条件での撮像時には、露光時間が長くなるため、手ブレや被写体ブレの画像ブレが発生しやすくなる。それに対して、撮像した画像において画素加算処理を行って適正な露出となるように画像を生成することによって、画像ブレの少ない明るさの適正な画像が得られる。しかし、画素加算処理を行うことにより、生成される画像サイズ（解像度）は小さくなる。

特許文献１には、モードを選択的に設定し、モード設定等に応じて、画素加算処理を実行させるか、あるいは画素加算処理を実行させることなく画像信号を出力させるかを決定する技術が提案されている。ユーザは、大きなサイズの画像を得たい場合等に画素加算処理を実行しないモードを選択することができる。

特開２００６−３５２６１０号公報

しかしながら、特許文献１に記載の技術では、ユーザがモードを選択的に設定することによって画素加算処理の実行可否を限定している。また、撮像時の条件に従って、画像ブレを低減した小さいサイズの画像と、画像ブレを低減しないユーザによる指定通りのサイズの画像とのどちらか一方のみが生成されるため、それらは同時に得られない。すなわち、画像ブレを低減するように撮影した場合には小さいサイズの画像しか出力されないため、ユーザが事後的に大きいサイズの画像を得たいと思っても何ら対応ができない。

本発明は、上述の問題に鑑みて行われたものであって、画像ブレが大きい条件で撮影する場合に、画像ブレを低減してサイズが小さくなった画像と、サイズが維持された画像との両方を出力可能な画像処理装置及び方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る画像処理装置は、撮像部にて撮像された第１の画像から第１の現像画像を生成する画像生成部と、前記第１の画像の画像ブレがあるか否かを判定する画像ブレ判定部と、前記画像ブレ判定部により前記画像ブレがないと判定された場合に前記第１の現像画像を出力する画像出力部と、を備え、前記画像ブレ判定部により前記画像ブレがあると判定された場合には、前記撮像部は前記第１の画像と異なる撮像条件で第２の画像を撮像し、前記画像生成部は前記第２の画像から前記第１の現像画像と異なる解像度を持つ第２の現像画像を生成し、前記画像出力部は前記第１の現像画像に加えて前記第２の現像画像を出力する。
本発明の第２の態様に係る画像処理方法は、撮像された第１の画像から第１の現像画像を生成することと、前記第１の画像の画像ブレがあるか否かを判定することと、前記画像ブレがないと判定された場合に、前記第１の現像画像を出力することと、前記画像ブレがあると判定された場合に、前記第１の画像と異なる撮像条件で第２の画像を撮像し、前記第２の画像から前記第１の現像画像と異なる解像度を持つ第２の現像画像を生成し、前記第１の現像画像及び前記第２の現像画像を出力することと、を備える。

本発明によれば、画像ブレが発生しやすい条件での撮影時においても、画像ブレの少ない画像を生成し、ユーザにとって好ましい画像を提供することが可能となる。

本発明の第１の実施形態における画像処理装置のブロック図である。本発明の第１の実施形態における画像処理方法を示すフローチャートを示す図である。

（第１の実施形態）
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。図１は、本実施形態における画像処理装置の１例としてのデジタルカメラ１００のブロック図である。デジタルカメラ１００は、撮影レンズ１０、絞り機能を備える機械式シャッター１２、光学像を電気信号に変換する撮像部としての撮像素子１４、及び撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器１６を備える。

デジタルカメラ１００は、撮像素子１４及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路１８を備え、タイミング発生回路１８はメモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、タイミング発生回路１８が撮像素子１４のリセットタイミングを制御することによって、電子シャッターとして、蓄積時間を制御することが可能である。そのため、タイミング発生回路１８は動画撮影などのシャッターとして機能し得る。

デジタルカメラ１００は、画像処理回路２０を備え、画像処理回路２０はＡ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理回路２０によって画像の切り出し及び変倍処理を行うことで電子ズーム機能が実現される。

また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。これにより、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。さらに、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

さらに、画像処理回路２０は、撮像素子１４により撮像された画像を現像して現像画像を生成する画像生成部として機能する。画像の現像とは、撮像素子１４から読み出されてＡ／Ｄ変換された画像データに対して所定の処理を行い、表示可能な形式の画像データに変換することをいう。現像画像とは、表示可能となった現像後の画像をいう。

さらに、画像処理回路２０は、撮像素子１４により撮像された画像の画像ブレを判定する画像ブレ判定部として機能する。具体的な画像ブレの判定方法については後述する。

デジタルカメラ１００は、メモリ制御回路２２を備え、メモリ制御回路２２はＡ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されるデータは、画像処理回路２０及びメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。デジタルカメラ１００は、ＴＦＴ、ＬＣＤ等から成る画像表示部２８を備え、メモリ３０に書き込まれた表示用の画像はメモリ制御回路２２を介して画像表示部２８により表示される。

さらに、メモリ制御回路２２は、メモリ３０に保存された現像画像を画像表示部２８や記録媒体２００等に出力する画像出力部として機能する。

画像表示部２８を用いて撮像した画像データを逐次表示することによって、電子ファインダ機能を実現することが可能である。本実施形態では、撮像モードで動作しており、かつ撮像準備指示や撮像開始指示が入力されていないスタンバイ時において、デジタルカメラ１００は画像表示部２８を電子ファインダとして機能させている。すなわち、デジタルカメラ１００は所定のレート（例えば３０フレーム／秒）で連続的に撮像し、撮像した画像から表示用画像（以下、ＥＶＦ画像とも呼ぶ）を生成して、画像表示部２８に表示する。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することができる。

デジタルカメラ１００は、撮影した静止画像や動画像を格納するためのメモリ３０を備え、メモリ３０は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合に、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

デジタルカメラ１００は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路３２を備える。圧縮・伸長回路３２はメモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

デジタルカメラ１００は、絞り機能を備える機械式シャッター１２を制御する露光制御部４０を備え、露光制御部４０はフラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

デジタルカメラ１００は、撮像素子１４の読み出し駆動を制御する駆動制御部３８、撮影レンズ１０のフォーカシングを制御する測距制御部４２、撮影レンズ１０のズーミングを制御するズーム制御部４４を備える。デジタルカメラ１００は、フラッシュ４８を備え、フラッシュ４８はＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０及び測距制御部４２は、ＴＴＬ方式を用いて制御されている。画像処理回路２０が撮像した画像データを演算して得られた演算結果に基づき、システム制御回路５０は露光制御部４０、測距制御部４２に対して制御を行う。

デジタルカメラ１００は、画像処理装置としてのデジタルカメラ１００全体を制御するシステム制御回路５０を備える。

デジタルカメラ１００は、システム制御回路５０の各種の動作指示を入力するための操作部６０、６２、６４、６６、７０及び７２を備える。操作部６０、６２、６４、６６、７０及び７２はスイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作部６０、６２、６４、６６、７０及び７２の具体的な説明を行う。モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのダイアルである。

シャッタースイッチ６２は第１のシャッタースイッチＳＷ１を含む。第１のシャッタースイッチＳＷ１はシャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

シャッタースイッチ６４は第２のシャッタースイッチＳＷ２を含む。第２のシャッタースイッチＳＷ２はシャッターボタンの操作完了（全押し）でＯＮとなる。第２のシャッタースイッチＳＷ２がＯＮになると、デジタルカメラ１００は、フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。また、フラッシュ４８はこの露光期間中に発光し、露光期間終了と同時に露光制御部４０がフラッシュ４８を遮光することで、撮像素子１４への露光を終了させる。その後、デジタルカメラ１００は、撮像素子１４から信号を読み出し、Ａ／Ｄ変換器１６及びメモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理を行う。さらに画像処理回路２０やメモリ制御回路２２での演算結果を用いて現像処理を行う。さらに、デジタルカメラ１００は、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮処理を行った後、記録媒体２００に画像データを書き込む記録処理を行う。

表示切替スイッチ６６は、画像表示部２８の表示切替をするためのスイッチである。ユーザが表示切替スイッチ６６を操作して画像表示部２８の表示をＯＦＦにすることにより、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ、ＬＣＤ等から成る画像表示部２８への電流供給を遮断し、省電力を図ることが可能となる。

各種操作部７０は各種ボタン、タッチパネルや回転式ダイアル等を含み、例えばメニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

ズームスイッチ部７２はユーザが撮像画像の倍率変更指示を行うズーム操作部である。このズームスイッチ部７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ部７２の操作をトリガとして、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うことができる。また、ズームスイッチ部７２の操作は、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなり得る。

被写体検出部７４は、画像処理回路２０で生成された画像データから、パターンマッチング等の画像処理技術を用いて人物の顔等の被写体を検出する。画像表示部２８において、被写体検出部７４により検出された被写体（例えば、顔）を囲む被写体（顔）枠等の情報表示要素が重畳されて表示されてもよい。

電源部８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等の任意の電源を含む。インタフェース９０はメモリカードやハードディスク等の記録媒体とのインタフェースであり、コネクタ９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

光学ファインダ１０４は、撮像素子１４による撮像範囲と近い景色をユーザに視認可能とする窓であり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影を行うことが可能である。

通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ１１２は通信部１１０による有線通信のためにデジタルカメラ１００を他の機器と接続するためのコネクタ、或いは通信部１１０による無線通信に用いられるアンテナを含む。

記録媒体２００はメモリカードやハードディスク等の記録媒体を含む。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ１００とのインタフェース２０４、デジタルカメラ１００と接続を行うコネクタ２０６を備えている。

図２は、本実施形態における画像処理方法のフローチャートを示す図である。まず、ステップＳ２０１において、デジタルカメラ１００は、シャッタースイッチ６２、６４が押下されると、第１の画像を撮像する。第１の画像は全画素読み出しによって撮像される。全画素読み出しとは、画素加算を行わずに撮像素子１４から読み出される画素をそのまま利用することをいう。ステップＳ２０２において、デジタルカメラ１００は、第１の画像を現像して、第１の現像画像を生成する。

ステップＳ２０３において、デジタルカメラ１００は、第１の画像を撮像する前に撮像されたＥＶＦ画像から画像の第１のブレ量ＢＬ１を算出して、画像ブレをしているかを判定する。ＥＶＦ画像は、電子ファインダとしての画像表示部２８に表示するために、所定のレートで連続的に撮像される画像である。ＥＶＦ画像は、シャッタースイッチ６２、６４の押下に関係なく、常に生成されてメモリ３０に一時的に保存され、画像表示部２８に表示される。ステップＳ２０３では、第１の画像の撮像直前に生成されたＥＶＦ画像を用いて第１のブレ量ＢＬ１を算出する。ＥＶＦ画像の画像ブレから、第１の画像における画像ブレを予測することができる。

第１のブレ量ＢＬ１の算出方法として、例えばＥＶＦ画像をデジタル演算処理して周波数特性を求め、画像の先鋭度を算出することによって第１のブレ量ＢＬ１を算出する。算出された第１のブレ量ＢＬ１が、画像ブレにおける閾値ＢＬ＿ＴＨより大きい場合には画像がぶれていると判定し、画像ブレにおける閾値ＢＬ＿ＴＨ以下の場合には画像がぶれていないと判定する。閾値ＢＬ＿ＴＨは、求める画像ブレの許容範囲に応じて、任意に定められてよい。

ステップＳ２０３において画像がぶれていないと判定された場合には、ステップＳ２０４において、デジタルカメラ１００は第１の画像から画像の第２のブレ量ＢＬ２を算出して、画像ブレをしているかを判定する。第２のブレ量ＢＬ２の算出方法に関しては、第１のブレ量ＢＬ１の算出方法と同様である。算出された第２のブレ量ＢＬ２が、画像のブレ量における閾値ＢＬ＿ＴＨ２より大きい場合には画像がぶれていると判定し、閾値ＢＬ＿ＴＨ２以下の場合には画像がぶれていないと判定する。閾値ＢＬ＿ＴＨ２は、求める画像ブレの許容範囲に応じて、任意に定められてよい。

ステップＳ２０４において画像がぶれていないと判定された場合には、ステップＳ２０５において、デジタルカメラ１００はステップＳ２０２において生成された第１の現像画像を出力する。

ステップＳ２０３あるいはステップＳ２０４において画像がぶれていると判定された場合には、ステップＳ２０６において、デジタルカメラ１００は、第１の画像の撮像時とは異なる撮像条件で第２の画像を撮像する。具体的には、第２の画像は、画素加算読み出し（例えば垂直２画素及び水平２画素の４画素加算読み出し）によって撮像される。画素加算読み出しとは、撮像素子１４から読み出される画素を所定の規則で互いに加算して利用することをいう。画素加算読み出しを行うことによってノイズを低減でき、感度を向上することができるため、露光時間を短縮して画像ブレを低減できる。一方、画素加算を行うことによって得られる画像の解像度（大きさ）は小さくなる。

ここで、ステップＳ２０３において算出された第１のブレ量ＢＬ１の値に基づき、読み出し条件を変えてもよい。例えば、第１のブレ量ＢＬ１が画像ブレにおける閾値ＢＬ＿ＴＨ３より大きい場合には、画像ブレを低減するために、第２の画像は垂直３画素及び水平３画素の９画素加算読み出しによって撮像されてよい。一方、ＢＬ１が閾値ＢＬ＿ＴＨ３以下の場合には、第２の画像は垂直２画素及び水平２画素の４画素加算読み出しによって撮像されてよい。

また、ステップＳ２０４において算出された第２のブレ量ＢＬ２の値に基づき、読み出し条件を変えてもよい。例えば、第２のブレ量ＢＬ２が画像ブレにおける閾値ＢＬ＿ＴＨ４より大きい場合には、画像ブレを低減するために、第２の画像は垂直３画素及び水平３画素の９画素加算読み出しによって撮像されてよい。一方、第２のブレ量ＢＬ２が閾値ＢＬ＿ＴＨ４以下の場合には、第２の画像は垂直２画素及び水平２画素の４画素加算読み出しによって撮像されてよい。また、第２の画像は、例えば垂直２画素及び水平２画素の４画素平均読み出しによって撮像されてもよい。

すなわち、第１のブレ量ＢＬ１又は第２のブレ量ＢＬ２が所定値よりも大きい場合には画像のブレが大きいため画素加算読み出しの画素加算数を大きくする。一方、第１のブレ量ＢＬ１が所定値以下の場合には画像のブレが小さいため画素加算読み出しの画素加算数を小さくする。このような構成により、ブレ量の大きさに応じて、画像のブレの補償の程度を変更し、画像の解像度を必要以上に小さくすることを抑制することができる。

ステップＳ２０７において、デジタルカメラ１００は、第２の画像を現像して、第２の現像画像を生成する。ステップＳ２０８において、デジタルカメラ１００は、ステップＳ２０２において生成された第１の現像画像とステップＳ２０７において生成された第２の現像画像とを出力する。

なお、本実施形態において、ステップＳ２０３の処理を省略してもよい。すなわち、ステップＳ２０２の後に、ＥＶＦ画像の第１のブレ量ＢＬ１の判定を省略し、ステップＳ２０４に遷移して処理を行う。ステップＳ２０４以降の処理は前述と同様である。

（第２の実施形態）
続いて第２の実施形態について説明する。第２の実施形態では、図２のフローチャートのステップＳ２０６における第２の画像を撮像する方法とステップＳ２０７における第２の現像画像を生成する方法が、第１の実施形態と異なる。

本実施形態では、ステップＳ２０６において、第２の画像は、全画素読み出しにより撮像されるとともに、第１の画像を撮像した時の感度Ｓ１よりも高感度な感度Ｓ２で撮像される。高感度で撮像することで、露光時間を短縮し、画像ブレを低減することが可能となる。

ここで、ステップＳ２０３において算出された第１のブレ量ＢＬ１の値に基づき、感度Ｓ２を変えてもよい。例えば、第１のブレ量ＢＬ１が画像ブレにおける閾値ＢＬ＿ＴＨ３より大きい場合には、デジタルカメラ１００は、例えば感度Ｓ２を感度Ｓ＿Ｈｉに設定して撮像する。一方、第１のブレ量ＢＬ１が閾値ＢＬ＿ＴＨ３以下の場合には、デジタルカメラ１００は、感度Ｓ２を感度Ｓ＿Ｈｉよりも低い感度Ｓ＿Ｌｏｗに設定して撮像する。このような構成により、画像ブレを低減しつつ、ブレ量に適した感度で撮像ができる。

また、ステップＳ２０４において算出された第２のブレ量ＢＬ２の値に基づき、感度Ｓ２を変えてもよい。例えば、第２のブレ量ＢＬ２が画像ブレにおける閾値ＢＬ＿ＴＨ４より大きい場合には、デジタルカメラ１００は、例えば感度Ｓ２を感度Ｓ＿Ｈｉに設定して撮像する。一方、第２のブレ量ＢＬ２が閾値ＢＬ＿ＴＨ４以下の場合には、デジタルカメラ１００は、感度Ｓ２を感度Ｓ＿Ｈｉよりも低い感度Ｓ＿Ｌｏｗに設定して撮像する。このような構成により、画像ブレを低減しつつ、ブレ量に適した感度で撮像ができる。

次に、ステップＳ２０７において、デジタルカメラ１００はステップＳ２０６において撮像された第２の画像から、例えば加算平均して垂直縮小率１／２及び水平縮小率１／２の画像縮小を行うことにより、画像サイズを小さくして第２の現像画像を生成する。加算平均して画像縮小を行うことによりノイズが低減可能となる。

ここで、ステップＳ２０３において算出された第１のブレ量ＢＬ１の値に基づき、画像の縮小率を変えてもよい。例えば、第１のブレ量ＢＬ１が画像ブレにおける閾値ＢＬ＿ＴＨ３より大きい場合には、画像ブレを低減するために、デジタルカメラ１００は、例えば垂直縮小率１／３及び水平縮小率１／３の画像縮小を行い、現像画像を生成する。また、第１のブレ量ＢＬ１が閾値ＢＬ＿ＴＨ３以下の場合には、デジタルカメラ１００は、垂直縮小率１／２及び水平縮小率１／２の画像縮小を行い、現像画像を生成する。このような構成により、画像ブレを低減しつつ、ブレ量に適した画像サイズの画像が得られる。

また、ステップＳ２０４において算出された第２のブレ量ＢＬ２の値に基づき、画像の縮小率を変えてもよい。例えば、第２のブレ量ＢＬ２が画像ブレにおける閾値ＢＬ＿ＴＨ４より大きい場合には、画像ブレを低減するために、デジタルカメラ１００は、例えば垂直縮小率１／３及び水平縮小率１／３の画像縮小を行って現像画像を生成する。また、第２のブレ量ＢＬ２が閾値ＢＬ＿ＴＨ４以下の場合には、デジタルカメラ１００は、垂直縮小率１／２及び水平縮小率１／２の画像縮小を行って現像画像を生成する。このような構成により、画像ブレを低減しつつ、ブレ量に適した画像サイズの画像が得られる。

その他の部分に関しては、第１の実施形態と同様であるため詳細な説明を省略する。本実施形態に係る画像処理装置及び画像処理方法によっても、第１の実施形態と同様の効果を得ることができる。

（第３の実施形態）
続いて第３の実施形態について説明する。第３の実施形態では、ステップＳ２０６における第２の画像を撮像する方法とステップＳ２０７における第２の現像画像を生成する方法が、第１の実施形態及び第２の実施形態と異なる。

ステップＳ２０６において、第２の画像は、全画素読み出しにより、かつ第１の画像を撮像した時の感度Ｓ１と同じ感度で撮像されるとともに、高速なシャッター速度で撮像される。すなわち、例えば第１の画像を撮像した時の第１のシャッター速度（露光時間）ＳＳ１よりも高速な（小さい）第２のシャッター速度ＳＳ２＝ＳＳ１×１／４で撮像される。

ステップＳ２０７において、撮像された第２の画像から、露出が適正となるように例えば垂直２画素及び水平２画素の４画素加算を行い、画像サイズを小さくして第２の現像画像を生成する。上記のように画素加算を行うことで、ノイズが低減され、露出が適正な画像を生成できる。

（第４の実施形態）
続いて第４の実施形態について説明する。第４の実施形態では、ステップＳ２０４におけるＢＬ２の算出方法が第１の実施形態と異なる。

ステップＳ２０４において、第２のブレ量ＢＬ２の算出方法に関しては、ＥＶＦ画像と第１の画像を用いた公知のテンプレートマッチング処理による動きベクトルを用いて第２のブレ量ＢＬ２を算出する方法などを用いてよい。

その他の部分に関しては、第１の実施形態と同様であるため詳細な説明を省略する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims

撮像部にて撮像された第１の画像から第１の現像画像を生成する画像生成部と、
前記第１の画像の画像ブレがあるか否かを判定する画像ブレ判定部と、
前記画像ブレ判定部により前記画像ブレがないと判定された場合に前記第１の現像画像を出力する画像出力部と、
を備え、
前記画像ブレ判定部により前記画像ブレがあると判定された場合には、前記撮像部は前記第１の画像と異なる撮像条件で第２の画像を撮像し、前記画像生成部は前記第２の画像から前記第１の現像画像と異なる解像度を持つ第２の現像画像を生成し、前記画像出力部は前記第１の現像画像に加えて前記第２の現像画像を出力する
ことを特徴とする画像処理装置。
前記撮像部は、前記第１の画像に対しては全画素読み出しを行い、前記第２の画像に対しては画素加算読み出しを行うことを特徴とする請求項１に記載の画像処理装置。
前記撮像部は、前記第１の画像に対しては全画素読み出しを行い、前記第２の画像に対しては画素平均読み出しを行うことを特徴とする請求項１に記載の画像処理装置。
前記撮像部は、前記第１の画像を第１の感度で撮像し、前記第２の画像を前記第１の感度よりも高感度で撮像することを特徴とする請求項１に記載の画像処理装置。
前記画像生成部は、前記第２の画像を画像縮小して現像することを特徴とする請求項４に記載の画像処理装置。
前記撮像部は、前記第１の画像を第１の露光時間で撮像し、前記第２の画像を前記第１の露光時間より短い露光時間で撮像することを特徴とする請求項１に記載の画像処理装置。
前記画像生成部は、前記第２の画像を画素加算して現像することを特徴とする請求項６に記載の画像処理装置。
前記撮像部は、前記第１の画像を撮像する前に第３の画像を撮像するように構成され、
前記画像ブレ判定部は、前記第３の画像から第１のブレ量を算出して前記第１の画像のブレ量を予測することにより、前記画像ブレを判定することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
前記画像ブレ判定部は、前記第１のブレ量が所定値より大きい場合には前記画像ブレがあると判定し、前記第１のブレ量が所定値以下の場合には前記画像ブレがないと判定することを特徴とする請求項８に記載の画像処理装置。
前記画像ブレ判定部は、前記第１の画像から第２のブレ量を算出して前記画像ブレを判定することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
前記画像ブレ判定部は、前記第１の画像から第２のブレ量を算出し、前記第１のブレ量が所定値より大きい場合には前記画像ブレがあると判定し、前記第１のブレ量が所定値以下の場合であって前記第２のブレ量が所定値より大きい場合には前記画像ブレがあると判定し、前記第１のブレ量が所定値以下の場合であって前記第２のブレ量が所定値以下の場合には前記画像ブレがないと判定することを特徴とする請求項８に記載の画像処理装置。
前記撮像部は、前記第１のブレ量に基づき、前記第２の画像の画素加算数を変更して画素加算読み出しを行うことを特徴とする請求項８、９、１１のいずれか１項に記載の画像処理装置。
前記画像生成部は、前記第１のブレ量に基づき、前記第２の現像画像の縮小率を変更して解像度を変更することを特徴とする請求項８、９、１１、１２のいずれか１項に記載の画像処理装置。
前記撮像部は、前記第１のブレ量に基づき、感度を変更して前記第２の画像を撮像することを特徴とする請求項１３に記載の画像処理装置。
前記撮像部は、前記第２のブレ量に基づき、前記第２の画像の画素加算数を変更して画素加算読み出しを行うことを特徴とする請求項１０又は１１に記載の画像処理装置。
前記画像生成部は、前記第２のブレ量に基づき、前記第２の現像画像の縮小率を変更して解像度を変更することを特徴とする請求項１０、１１、１５のいずれか１項に記載の画像処理装置。
撮像された第１の画像から第１の現像画像を生成することと、
前記第１の画像の画像ブレがあるか否かを判定することと、
前記画像ブレがないと判定された場合に、前記第１の現像画像を出力することと、
前記画像ブレがあると判定された場合に、前記第１の画像と異なる撮像条件で第２の画像を撮像し、前記第２の画像から前記第１の現像画像と異なる解像度を持つ第２の現像画像を生成し、前記第１の現像画像及び前記第２の現像画像を出力することと、
を備える画像処理方法。