JP2012129618A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】ジオラマ風の特殊撮影を行う際、ぼかし処理が複雑となることなく、短時間でぼかし処理を行うことができるようにする。
【解決手段】カメラに備えられた画像処理装置は、被写体像を撮像素子１０７に結像した結果得られた画像データを処理して当該画像データの特定部分にぼけ処理を施してぼけ画像データを得る。ＣＰＵ１１１は撮影レンズの焦点距離、撮影レンズと被写体との合焦距離、および撮像素子に入射される光量を制限する絞り値の少なくとも１つをぼかしパラメータとして、当該ぼかしパラメータに応じたぼかし度合いおよびぼかし幅を設定する。画像処理プロセッサ１０９は設定されたぼかし度合いおよびぼかし幅によって特定部分におけるぼけ度合いを変更するとともに、特定部分と特定部分以外の部分との境界部分の範囲を変更してぼけ処理を行う。
【選択図】図１

Description

本発明は、電子スチルカメラなどの撮像装置で用いられる画像処理装置、その制御方法、および制御プログラムに関する。

従来、電子スチルカメラなどの撮像装置において、光軸に対してレンズを傾けることによって、ＣＣＤなどの撮像素子の受光面に対してその結像面を傾けて、被写体像の一部のみを撮像素子の受光面に合焦させることが行われている。

上記の手法を用いると、被写体像の特定の部分にのみピントを合わせて、他の部分を意図的にぼかすことができる。これによって、実際の風景をジオラマのように見ることができる。通常、上記の特定の部分は、画面の水平または垂直方向に均一となる。なお、このような撮影を行う際には、専用のレンズを用いる必要がある。

一方、専用のレンズを用いることなく、通常のレンズを用いて撮影した画像について、画像処理によって画像の上下又は左右にぼかし処理を施すことによっても同様の効果が得られる。

画像処理によってぼかし処理を施す手法として、例えば、ＡＦ（オートフォーカス）評価値に応じて被写体画像について主要被写体部領域と主要被写体部以外の領域とに分離して、主要被写体部以外の領域についてぼかし処理を行うようにしたものがある。ここでは、ズームレンズの位置を変更した場合には、ぼかし処理におけるぼかし量を変更するようにしている。

特開２００９−２１２８９９号公報

ところで、特許文献１に記載の手法では、被写体画像を主要被写体部領域と主要被写体部以外の領域とに分離する必要がある。このため分離に要する処理が複雑になって、処理に要する時間が掛かってしまう。つまり、ぼかし処理が複雑となるばかりでなく、ぼかし処理に時間が掛かってしまうという問題点がある。

さらに、分離処理を実行するために専用の電子部品などが必要になって、結果的に画像処理装置がコストアップとなってしまう。

従って、本発明の目的は、ぼかし処理が複雑となることなく、短時間でぼかし処理を行うことのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

本発明の他の目的は、コストアップすることなくぼかし処理を行うことのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、被写体像を撮像素子に結像した結果得られた画像データを処理して当該画像データの特定部分にぼけ処理を施してぼけ画像データを得る画像処理装置において、撮影レンズの焦点距離、前記撮影レンズと被写体との合焦距離、および前記撮像素子に入射される光量を制限する絞り値の少なくとも１つに応じて前記特定部分のぼかし度合いを設定するとともに、前記特定部分と前記特定部分以外との境界部分を規定するぼかし幅を設定する設定手段と、前記設定手段によって設定されたぼかし度合いおよびぼかし幅によって前記特定部分におけるぼけ度合いを変更するとともに、前記特定部分と前記特定部分以外の部分との境界部分の範囲を変更して、前記ぼけ処理を行う処理制御手段とを有することを特徴とする。

本発明による制御方法は、被写体像を撮像素子に結像した結果得られた画像データを処理して当該画像データの特定部分にぼけ処理を施してぼけ画像データを得る画像処理装置を制御するための制御方法において、撮影レンズの焦点距離、前記撮影レンズと被写体との合焦距離、および前記撮像素子に入射される光量を制限する絞り値の少なくとも１つに応じて前記特定部分のぼかし度合いを設定するとともに、前記特定部分と前記特定部分以外との境界部分を規定するぼかし幅を設定する設定ステップと、前記設定ステップによって設定されたぼかし度合いおよびぼかし幅によって前記特定部分におけるぼけ度合いを変更するとともに、前記特定部分と前記特定部分以外の部分との境界部分の範囲を変更して、前記ぼけ処理を行う処理制御ステップとを有することを特徴とする。

本発明による制御プログラムは、被写体像を撮像素子に結像した結果得られた画像データを処理して当該画像データの特定部分にぼけ処理を施してぼけ画像データを得る画像処理装置を制御するための制御プログラムにおいて、前記画像処理装置に備えられたコンピュータに、撮影レンズの焦点距離、前記撮影レンズと被写体との合焦距離、および前記撮像素子に入射される光量を制限する絞り値の少なくとも１つに応じて前記特定部分のぼかし度合いを設定するとともに、前記特定部分と前記特定部分以外との境界部分を規定するぼかし幅を設定する設定ステップと、前記設定ステップによって設定されたぼかし度合いおよびぼかし幅によって前記特定部分におけるぼけ度合いを変更するとともに、前記特定部分と前記特定部分以外の部分との境界部分の範囲を変更して、前記ぼけ処理を行う処理制御ステップとを実行させることを特徴とする。

本発明によれば、ぼかし処理が複雑となることなく、しかも短時間でぼかし処理を行うことのできるばかりでなく、コスト低減を図ることができるという効果がある。

本発明の実施の形態による画像処理装置が用いられた撮像装置の一例を示すブロック図である。 図１に示すカメラの動作を説明するためのフローチャートである。 図２に示すズーム処理を詳細に説明するためのフローチャートである。 図２に示す本撮影用ＡＦ処理を詳細に説明するためのフローチャートである。 図２に示す本撮影用ＡＥ処理を詳細に説明するためのフローチャートである。 図２に示す本撮影処理を詳細に説明するためのフローチャートである。 図６に示す画像処理を詳細に説明するためのフローチャートである。 図７に示す縮小率／トリミング幅設定処理を詳細に説明するためのフローチャートである。 図１に示すカメラにおけるぼかし処理の効果の一例を示す図であり、（ａ）は焦点距離が長くて、合焦距離が近い場合に絞りが小さいときのぼかし処理の効果を示す図、（ｂ）は（ａ）に対応する画像とぼけ度合いとの関係を示す図、（ｃ）は焦点距離が短く、合焦距離が遠い場合に絞りが大きいときのぼかし処理の効果を示す図、（ｄ）は（ｃ）に対応する画像とぼけ度合いとの関係を示す図である。

以下、本発明の実施の形態による画像処理装置が用いられた撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置が用いられた撮像装置の一例を示すブロック図である。ここでは、撮像装置として電子スチルカメラ（以下、単にカメラと呼ぶ）を例に挙げて説明するが、ビデオカメラなどの撮像装置にも同様にして適用することができる。

図１を参照して、図示のカメラはフォーカスレンズ１０１を有しており、このフォーカスレンズ１０１によって後述する撮像素子に被写体像の焦点が合わせられる。このフォーカスレンズ１０１はフォーカスレンズ駆動モータ１０２によって駆動される。

さらに、カメラはズームレンズ１０３を有し、このズームレンズ１０３によって撮影レンズ（図示せず）の焦点距離が変更される。ズームレンズ１０３はズームレンズ駆動モータ１０４によって駆動される。絞り１０５によって撮像素子に入射する光量が制限され、この絞り１０５は絞り駆動モータ１０６によって駆動される。

撮像素子１０７には被写体像が光学像として結像されて、撮像素子１０７は光学像を電気信号（アナログ画像信号）に変換して出力する。このアナログ画像信号はＡ／Ｄ変換器１０８によってデジタル画像信号に変換されて、画像処理プロセッサ１０９に与えられる。画像処理プロセッサ１０９はデジタル画像信号に対して所定の画像処理を施して、画像データを生成する。そして、画像データはバッファメモリ１１０に一時的に記憶される。

カメラはシステム制御用ＣＰＵ（以下、単にＣＰＵと呼ぶ）１１１を有しており、このＣＰＵ１１１は撮影シーケンスなどを実行してカメラを制御する。ＣＰＵ１１１で実行されるプログラムはプログラムメモリ１１２に記憶されている。ＣＰＵ１１１はプログラムメモリ１１２に記憶されたプログラムに従って処理を行う際、必要な各種データをワークメモリ１１３に書き込み、また各種データをワークメモリ１１３から読み出す。

ＣＰＵ１１１の制御下で画像表示部１１４に画像が表示される。図示のように、ＣＰＵ１１１には、撮影準備スイッチ（ＳＷ１）１１５、撮影処理指示スイッチ（ＳＷ２）１１６、およびズームスイッチ（ＳＷ）１１７が接続されている。

撮影準備スイッチ１１５はオートフォーカス（ＡＦ）および自動露出制御（以下ＡＥという）などの撮影準備を、ＣＰＵ１１１に指示するためのスイッチである。撮影処理指示スイッチ１１６は撮影準備指示スイッチ１１５の操作の後、本露光および記録動作などの撮影処理を、ＣＰＵ１１１に指示するためのスイッチである。また、ズームスイッチ１１７はズーム動作の開始および停止をＣＰＵ１１１に指示するスイッチである。なお、このズームＳＷ１１７はＴｅｌｅ（望遠）およびＷｉｄｅ（広角）のスイッチを有している。

図２は、図１に示すカメラの動作を説明するためのフローチャートである。

図１および図２を参照して、まず、ＣＰＵ１１１は撮影準備スイッチ１１５の状態を監視して、撮影準備スイッチ１１５がオン（ＯＮ）であるか否かについて判定する（ステップＳ２０１）。撮影準備スイッチ１１５がＯＮでないと（ステップＳ２０１において、ＮＯ）、ＣＰＵ１１１は、後述する手順に従ってズームレンズ駆動モータ１０４を制御してズームレンズ１０３を駆動し、撮影レンズの焦点距離を変更する（ズーム処理：ステップＳ２０２）。

続いて、ＣＰＵ１１１は絞り駆動モータ１０６およびシャッタースピードを制御して、画像表示部１１４に表示される画像の明るさが適正になるようにＡＥ動作を行う（ステップ２０３）。そして、ＣＰＵ１１１は光源の色温度に拘わらず画像表示部１１４に表示される画像が適切な色バランスになるようオートホワイトバランス（ＡＷＢ）動作を行う（ステップＳ２０４）。

さらに、ＣＰＵ１１は、画像処理プロセッサ１０９を制御して、撮像素子１０７からの読み出しの結果得られた画像信号に所定の処理を施して、画像として画像表示部１１４に表示する（ステップＳ２０５：ＥＶＦ処理）。そして、ＣＰＵ１１１はステップＳ２０１に戻る。

ステップＳ２０１において、撮影準備スイッチ１１５がＯＮであると（ステップＳ２０１において、ＹＥＳ）、ＣＰＵ１１１は、後述する手順に従ってフォーカスレンズ駆動モータ１０２を制御してフォーカスレンズ１０１を駆動し、本撮影用ＡＦ処理を行う（ステップＳ２０６）。続いて、ＣＰＵ１１１は後述する手順に従って本撮影用ＡＥ処理を行う（ステップＳ２０７）。

ＣＰＵ１１１は、撮影処理指示スイッチ１１６の状態を監視して、撮影指示スイッチ１１６がＯＮであるか否かについて判定する（ステップＳ２０８）。撮影処理指示スイッチ１１６がＯＮでないと（ステップＳ２０８において、ＮＯ）、ＣＰＵ１１１は待機する。

一方、撮影処理指示スイッチ１１６がＯＮであると（ステップＳ２０８において、ＹＥＳ）、ＣＰＵ１１１は、後述する手順に従って本撮影処理を行う（ステップＳ２０９）。そして、ＣＰＵ１１１はステップＳ２０１に戻る。

図３は、図２に示すズーム処理（ステップＳ２０２）を詳細に説明するためのフローチャートである。

図１および図３を参照して、ズーム処理が開始されると、ＣＰＵ１１１は、ズームＳＷ１１７がＯＮであるか否かについて判定する（ステップＳ３０１）。ここで、ズームＳＷ１１７がＯＮであるとは、ＴｅｌｅまたはＷｉｄｅのスイッチのうちいずれか一方がＯＮになっている状態をいう。

ズームＳＷ１１７がＯＮであると（ステップＳ３０１において、ＹＥＳ）、ＣＰＵ１１１はズーム駆動中フラグがＴＲＵＥ（真）であるかどうか否かについて判定する（ステップＳ３０２）。なお、図示しない初期化処理において、ＣＰＵ１１１はズーム駆動中フラグをＦＡＬＳＥ（偽）としてワークメモリ１１３に設定する。

ズーム駆動中フラグがＴＲＵＥでないと（ステップＳ３０２において、ＮＯ）、つまり、ズーム駆動中フラグがＦＡＬＳＥであると、ＣＰＵ１１１はズームＳＷ１１７のうちＴｅｌｅスイッチがＯＮであるか否かについて判定する（ステップＳ３０３）。

そして、ズームＳＷ１１７のＴｅｌｅスイッチがＯＮであると（ステップＳ３０３において、ＹＥＳ）、ＣＰＵ１１１はズームレンズ駆動モータ１０４を制御して、ズームレンズ１０３をＴｅｌｅ方向に向けて駆動する（ステップＳ３０４）その後、ＣＰＵ１１１はズーム駆動中フラグをＴＲＵＥに変更してワークメモリ１１３に記憶して（ステップＳ３０５）、ステップＳ２０３（図２）に戻る。

一方、ズームＳＷ１１７のＴｅｌｅスイッチがＯＮでないと（ステップＳ３０３において、ＮＯ）、ＣＰＵ１１１はズームレンズ駆動モータ１０４を制御して、ズームレンズ１０３をＷｉｄｅ方向に向けて駆動する（ステップＳ３０６）。その後、ＣＰＵ１１１は、ステップＳ３０５に進み、ズーム駆動中フラグをＴＲＵＥに変更してワークメモリ１１３に記憶する。

ステップＳ３０２において、ズーム駆動中フラグがＴＲＵＥであると（ステップＳ３０２において、ＹＥＳ）、ＣＰＵ１１１はズームレンズ１０３がＴｅｌｅ端又はＷｉｄｅ端に到達したか否かについて判定する（ステップＳ３０７）。

ズームレンズ１０３がＴｅｌｅ端又はＷｉｄｅ端に達すると（ステップＳ３０７において、ＹＥＳ）、ＣＰＵ１１１はズームレンズ駆動モータ１０４を制御してズームレンズ１０３を停止する（ステップＳ３０８）。そして、ＣＰＵ１１１は、ズームレンズ１０３の停止によってその焦点距離をワークメモリ１１３に記憶する（ステップＳ３０９）。ここで、ＣＰＵ１１１はレンズ設計データに基づいて、ズームレンズ１０３の可動範囲内における物理的な位置を焦点距離に換算して、当該焦点距離を求める。続いて、ＣＰＵ１１１はズーム駆動中フラグをＦＡＬＳＥとしてワークメモリ１１３に記憶して（ステップＳ３１０）、ステップＳ２０３（図２）に進む。

なお、ステップＳ３０７において、ズームレンズ１０３がＴｅｌｅ端又はＷｉｄｅ端に達していないと（ステップＳ３０７において、ＮＯ）、ＣＰＵ１１１はステップＳ２０３（図２）に進む。

前述のステップＳ３０１において、ズームＳＷ１１７がＯＮでないと（ステップＳ３０１において、ＮＯ）、ＣＰＵ１１１はズーム駆動中フラグがＴＲＵＥであるか否かについて判定する（ステップＳ３１１）。そして、ズーム駆動中フラグがＴＵＲＥであると（ステップＳ３１１において、ＹＥＳ）、ＣＰＵ１１１はステップＳ３０８に進んで、ズームレンズ１０３を停止する。

一方、ズーム駆動中フラグがＴＵＲＥでないと（ステップＳ３１１において、ＮＯ）、ＣＰＵ１１１はステップＳ２０３（図２）に進む。

図４は、図２に示す本撮影用ＡＦ処理（ステップＳ２０６）を詳細に説明するためのフローチャートである。

図１および図４を参照して、本撮影用ＡＦ処理が開始されると、ＣＰＵ１１１はフォーカスレンズ駆動モータ１０２を制御して、フォーカスレンズ１０１を予め定められたスキャン開始位置（駆動開始位置ともいう）に移動する（ステップＳ４０１）。ここで、スキャン開始位置は合焦可能範囲の無限端であるとする。

そして、撮像素子１０７から読み出されたアナログ映像信号（画像信号）がＡ／Ｄ変換器１０８によってデジタル画像信号に変換されて、画像処理プロセッサ１０９に与えられる。画像処理プロセッサ１０９はデジタル画像信号に含まれる輝度信号の高周波成分を抽出して、焦点評価値としてＣＰＵ１１１に与える。ＣＰＵ１１１は焦点評価値をワークメモリ１１３に記憶する（ステップＳ４０２：焦点評価値取得）。

この際、ＣＰＵ１１１は、フォーカスレンズ１０１の現在位置を取得してワークメモリ１１３に記憶する（ステップＳ４０３）。図示の例では、フォーカスレンズ駆動モータ１０２としてステッピングモータが用いられており、ＣＰＵ１１１はフォーカスレンズ１０１を駆動する際、フォーカスレンズ駆動モータに与える駆動パルスをカウントしてフォーカスレンズ１０１の現在位置を得る。この現在位置は、上記の焦点評価値と対応付けてワークメモリ１１３に記憶される。

次に、ＣＰＵ１１１は、フォーカスレンズ１０１の現在位置が所定のスキャン終了位置（駆動終了位置ともいう）であるか否かについて確認する（ステップＳ４０４）。ここでは、スキャン終了位置は合焦可能範囲の至近端とであるとする。

フォーカスレンズ１０１の現在位置がスキャン終了位置でないと（ステップＳ４０４において、ＮＯ）、ＣＰＵ１１１はフォーカスレンズ駆動モータ１０２を制御してフォーカスレンズ１０１をスキャン終了位置に向かって所定の量だけ移動する（ステップＳ４０５）。そして、ＣＰＵ１１１はステップＳ４０２に戻って、当該フォーカスレンズ１０２の位置で再び焦点評価値を取得する。

一方、フォーカスレンズ１０１の現在位置がスキャン終了位置であると（ステップＳ４０４において、ＹＥＳ）、ＣＰＵ１１１は上述のようにして得られた焦点評価値から最大の焦点評価値をピーク値として抽出する（ステップＳ４０６）。

つまり、ＣＰＵ１１１はスキャン開始位置からスキャン終了位置まで、所定の量ずつフォーカスレンズ１０２を駆動して、所定の量フォーカスレンズを移動する毎に焦点評価値を取得する。そして、ＣＰＵ１１１は、このようにして得られた複数の焦点評価値の中から最大の焦点評価値をピーク値とすることになる。

続いて、ＣＰＵ１１１はワークメモリ１１３を検索して、ステップＳ４０３において記憶したフォーカスレンズ１０１の現在位置の中からピーク値に対応する位置を抽出する。そして、ＣＰＵ１１１はピーク値に対応する位置をピーク値のフォーカスレンズ位置（単にピーク位置とも呼ぶ）とする（ステップＳ４０７）。

次に、ＣＰＵ１１１は、レンズ設計データに基づいてピーク位置をカメラ（つまり、撮影レンズ）から被写体までの距離、つまり、合焦距離に換算してワークメモリ１１３に記憶する（ステップＳ４０８）。続いて、ＣＰＵ１１１はフォーカスレンズ駆動モータ１０２を制御してピーク位置にフォーカスレンズ１０１を移動する（ステップＳ４０９）。そして、ＣＰＵ１１１は図２に示すステップＳ２０７に進む。

なお、上記の説明において、ステップＳ４０１〜Ｓ４０５までの処理はスキャンと呼ばれる。

図５は、図２に示す本撮影用ＡＥ処理（ステップＳ２０７）を詳細に説明するためのフローチャートである。

図１および図５を参照して、本撮影用ＡＥ処理が開始されると、ＣＰＵ１１１はシャッタを開いて撮像素子１０７を露光する（ステップＳ５０１）。続いて、ＣＰＵ１１１の制御下で撮像素子１０７からアナログ画像信号が読み出される（ステップＳ５０２：画像データ読出し）。そして、このアナログ画像信号はＡ／Ｄ変換器１０８によってデジタル画像信号に変換されて（ステップＳ５０３）、画像処理プロセッサ１０９に与えられる。

画像処理プロセッサ１０９は、ＣＰＵ１１１の制御下でデジタル画像信号に応じて被写体の輝度を算出して、被写体輝度データを得る（ステップＳ５０４）。この被写体輝度データはＣＰＵ１１１に与えられ、ＣＰＵ１１１は被写体輝度データに応じて絞り１０５のＦ値を決定する（ステップＳ５０５）。そして、ＣＰＵ１１１は、決定した絞りのＦ値が得られるように絞り駆動モータ１０６を制御して、絞り１０５を駆動する。

続いて、ＣＰＵ１１１は、上記のようにして決定した絞りのＦ値をワークメモリ１１３に記憶する（ステップＳ５０６）。さらに、ＣＰＵ１１１は被写体輝度データに応じてシャッタースピードを設定する（ステップＳ５０７）。そして、ＣＰＵ１１１は被写体輝度データに応じて画像信号の輝度レベルを所定の倍率とするためのゲインを設定する（ステップＳ５０８）。その後、ＣＰＵ１１１は、図２に示すステップＳ２０８に進む。

図６は、図２に示す本撮影処理（ステップＳ２０９）を詳細に説明するためのフローチャートである。

図１および図６を参照して、本撮影処理が開始されると、ＣＰＵ１１１は、シャッタを開いて撮像素子１０７を露光する（ステップＳ６０１）。続いて、ＣＰＵ１１１の制御下で撮像素子１０７からアナログ画像信号が読み出され（ステップＳ６０２）、このアナログ画像信号はＡ／Ｄ変換器１０８によってデジタル画像信号に変換される（ステップＳ６０３）。

デジタル画像信号は画像処理プロセッサ１０９に与えられる。画像処理プロセッサ１０９は、ＣＰＵ１１１の制御下で、後述するようにして、デジタル画像信号に対して画像処理を施し、画像データとする（ステップＳ６０４）。

続いて、画像処理プロセッサ１０９は画像データを、例えば、ＪＰＥＧなどのフォーマットに応じて圧縮した後（ステップＳ６０５）、この圧縮画像データを記録媒体（図示せず）に記録する（ステップＳ６０６）。そして、ＣＰＵ１１１は、図２に示すステップＳ２０１に戻る。

図７は、図６に示す画像処理（ステップＳ６０４）を詳細に説明するためのフローチャートである。

図１および図７を参照して、画像処理が開始されると、ＣＰＵ１１１は、後述するようにして、画像データに関する縮小率およびトリミング幅を画像処理プロセッサ１０９に設定する（ステップＳ７０１）。続いて、画像処理プロセッサは、デジタル画像信号をオリジナル画像データとして、そのコピーをバッファメモリ１１０に一時的に記憶する（ステップＳ７０２）。

次に、画像処理プロセッサ１０９は、設定された縮小率に応じてオリジナル画像データを縮小して、縮小画像データとする（ステップＳ７０３）。そして、画像処理プロセッサ１０９は縮小画像データを元のサイズに拡大して、拡大画像データとする（ステップＳ７０４）。この時点において、拡大画像データに係る画像は、縮小前オリジナル画像データに係る画像よりもぼけた画像となる。

続いて、画像処理プロセッサ１０９は、設定されたトリミング幅に応じて拡大処理によって得られた拡大画像データの上下又は左右を残してトリミングする（ステップＳ７０５）。そして、画像処理プロセッサ１０９は、トリミングの結果得られたトリミング画像データとバッファメモリ１１０に記憶したオリジナル画像データのコピーとを合成して、合成画像データとする（ステップＳ７０６）。

この際、画像処理プロセッサ１０９は、トリミング画像データとオリジナル画像データの境目においてなだらかに合成を行って、その境界部を目立たなくする。そして、画像処理プロセッサ１０９は、図６に示すステップＳ６０５に進む。

このようにして、画像データを一旦縮小した後拡大することによってぼけた画像データを得る。さらに、このぼけ画像データの上下又は左右を残してトリミングして、オリジナル画像データに合成することによって上下又は左右のみぼけた画像データを得る。

図８は、図７に示す縮小率／トリミング幅設定処理（ステップＳ７０１）を詳細に説明するためのフローチャートである。

図１および図８を参照して、縮小率／トリミング幅設定処理を開始すると、ＣＰＵ１１１は、図３で説明した焦点距離が所定の焦点距離（第１の所定値）より大きいか否かについて調べる（ステップＳ８０１）。焦点距離が第１の所定値よりも大きいと（ステップＳ８０１において、ＹＥＳ）、ＣＰＵ１１１は縮小率の計算に用いる縮小係数ＲＡ（焦点距離に係る縮小率）を第１の縮小係数（ｒａ１）に設定する（ステップＳ８０２）。そして、ＣＰＵ１１１はトリミング幅の計算に用いるトリミング幅係数ＷＡ（焦点距離に係るトリミング幅）を第１のトリミング幅係数（ｗａ１）に設定する（ステップＳ８０３）。

一方、焦点距離が第１の所定値以下であると（ステップＳ８０１において、ＮＯ）、ＣＰＵ１１１は縮小率の計算に用いる縮小係数ＲＡを第２の縮小係数（ｒａ２）に設定する（ステップＳ８０４）。そして、ＣＰＵ１１１はトリミング幅の計算に用いるトリミング幅係数ＷＡを第２のトリミング幅係数（ｗａ２）に設定する（ステップＳ８０５）。

図示の例では、ｒａ１＜ｒａ２、ｗａ１＜ｗａ２の関係にある。つまり、焦点距離が所定値以下の場合（焦点距離がＷｉｄｅ側にある場合）には、被写界深度が深くなって光学的なぼけが弱まる分、画像処理によるぼかし効果をより強くすることによって補うようにする。同様にして、ぼかし幅も広くする。

続いて、ＣＰＵ１１１は図４で説明した合焦距離が所定の合焦距離（第２の所定値）より大きいか否かについて調べる（ステップＳ８０６）。合焦距離が第２の所定値よりも大きいと（ステップＳ８０６において、ＹＥＳ）、ＣＰＵ１１１は縮小率の計算に用いる縮小係数ＲＢ（合焦距離に係る縮小率）を第３の縮小係数（ｒｂ１）に設定する（ステップＳ８０７）。そして、ＣＰＵ１１１はトリミング幅の計算に用いるトリミング幅係数ＷＢ（合焦距離に係るトリミング幅）を第３のトリミング幅係数（ｗｂ１）に設定する（ステップＳ８０８）。

一方、合焦距離が第２の所定値以下であると（ステップＳ８０６において、ＮＯ）、ＣＰＵ１１１は縮小率の計算に用いる縮小係数ＲＢを第４の縮小係数（ｒｂ２）に設定する（ステップＳ８０９）。そして、ＣＰＵ１１１はトリミング幅の計算に用いるトリミング幅係数ＷＢを第４のトリミング幅係数（ｗｂ２）に設定する（ステップＳ８１０）。

ここでは、ｒｂ１＞ｒｂ２、ｗｂ１＞ｗｂ２という関係にある。つまり、合焦距離が所定値より大きい場合（合焦距離が遠距離側にある場合）には被写界深度が深くなって光学的なぼけが弱まる分、画像処理によるぼかし効果をより強くすることによって補うようにする。同様にして、ぼかし幅も広くする。

続いて、ＣＰＵ１１１は、図５で説明した絞り値が所定の絞り値（第３の所定値）より大きいか否かについて調べる（ステップＳ８１１）。絞り値が第３の所定値より大きいと（ステップＳ８１１において、ＹＥＳ）、ＣＰＵ１１１は縮小率の計算に用いる縮小係数ＲＣ（絞り値に係る縮小率）を第５の縮小係数（ｒｃ１）に設定する（ステップＳ８１２）。そして、ＣＰＵ１１１はトリミング幅の計算に用いるトリミング幅係数ＷＣ（絞り値に係るトリミング幅）を第５のトリミング幅係数（ｗｃ１）に設定する（ステップＳ８１３）。

一方、絞り値が第３の所定値以下であると（ステップＳ８１１において、ＮＯ）、ＣＰＵ１１１は縮小率の計算に用いる縮小係数ＲＣを第６の縮小係数（ｒｃ２）に設定する（ステップＳ８１４）。そして、ＣＰＵ１１１はトリミング幅の計算に用いるトリミング幅係数ＷＣを第６のトリミング幅係数（ｗｃ２）に設定する（ステップＳ８１５）。

ここでは、ｒｃ１＞ｒｃ２、ｗｃ１＞ｗｃ２という関係にある。つまり、絞り値が所定値より大きい場合（より絞っている場合）には、被写界深度が深くなって光学的なぼけが弱まる分、画像処理によるぼかし効果をより強くすることによって補うようにする。同様にして、ぼかし幅も広くする。

次に、ＣＰＵ１１１は下記の式（１）を用いて、画像データの縮小率Ｒを算出する（ステップＳ８１６）。

Ｒ＝ＲＡ×ＲＢ×ＲＣ （１）
このように、ＣＰＵ１１１は、焦点距離、合焦距離、および絞り値の全てを加味した縮小率を求めて、前述したように、画像処理プロセッサ１０９に設定する。そして、画像処理プロセッサ１０９は当該縮小率Ｒに応じて画像データ（オリジナル画像データ）の縮小処理を行う。

続いて、ＣＰＵ１１１は、下記の式（２）を用いて、画像データのトリミング幅Ｗを算出する（ステップＳ８１７）。

Ｗ＝ＷＡ×ＷＢ×ＷＣ （２）
このように、ＣＰＵ１１１は、焦点距離、合焦距離、および絞り値の全てを加味したトリミング幅Ｗを求めて、前述したように、画像処理プロセッサ１０９に設定する。そして、画像処理プロセッサ１０９は当該トリミング幅Ｗに応じて画像データについてトリミング処理を行う。

上述のようにして、縮小率Ｒおよびトリミング幅Ｗが設定された後、処理は図７に示すステップＳ７０２に進む。

図８で説明したようにして、縮小率Ｒおよびトリミング幅Ｗを設定して、画像合成を行うと、焦点距離、合焦距離、および絞り値によって被写界深度が深くなって、光学的なぼけ効果が小さくなる場合にはぼかし処理が強くなる。この結果、ぼかし幅が広くなって、効果的なボケ画像を得ることができる。

また、被写界深度が深い場合にはぼかし処理を弱めて、ぼかし幅も狭くするようにすれば、光学的なぼけを生かした画像を得ることができる。

なお、上述の例では、焦点距離、合焦距離、および絞り値に応じて、画像データの縮小率およびトリミング幅を設定するようにしたが、焦点距離、合焦距離、および絞り値の少なくとも１つをぼかしパラメータとして、このばかしパラメータに応じて、画像データの縮小率およびトリミング幅を設定するようにしても、同様にしてぼかし処理を行うことができる。

図９は図１に示すカメラにおけるぼかし処理の効果の一例を示す図である。そして、図９（ａ）は焦点距離が長くて、合焦距離が近い場合に絞りが小さいとき（つまり、被写界深度が浅い場合）のぼかし処理の効果を示す図である。図９（ｂ）は、図９（ａ）に対応する画像とぼけ度合いとの関係を示す図である。また、図９（ｃ）は焦点距離が短く、合焦距離が遠い場合に絞りが大きいとき（つまり、被写界深度が深い場合）のぼかし処理の効果を示す図である。図９（ｄ）は、図９（ｃ）に対応する画像とぼけ度合いとの関係を示す図である。

図９（ａ）に示す合成画像において、オリジナル画像データに対応する画像部分９０１（特定部分以外の部分）とぼかし処理を行った画像部分９０２（特定部分）とは、その境界部分９０３においてなだらかに合成（混合）される（図９（ｂ）参照）。つまり、特定部分以外の部分と特定部分とを規定する境界部分９０３においては、合成画像はなだらかに合成される。

つまり、図９（ｂ）に示すように、縦軸を画像の垂直方向、横軸をぼけ度合いとした際、その境界部分９０３はなだらかにぼけ度合いが大きくなる（つまり、画像の垂直方向において、順次ぼけ度合いが逓増する）。そして、図示のように、被写界深度が浅い場合には、ぼけ度合いを小さくして、しかもぼかし幅も狭くする。

図９（ｃ）に示す合成画像おいて、オリジナル画像データに対応する画像部分９０４（特定部分以外の部分）とぼかし処理を行った画像部分９０５（特定部分）とは、その境界部分９０６において、図９（ａ）に示す例よりもさらになだらかに合成（混合）される（図９（ｄ）参照）。

つまり、図９（ｄ）に示すように、縦軸を画像の垂直方向、横軸をぼけ度合いとした際、その境界部分９０６は、図９（ｂ）に示す例よりもなだらかにぼけ度合いが大きくなる。そして、図示のように、被写界深度が深い場合には、ぼけ度合いを大きくして、しかもぼかし幅も広くする。

なお、図９に示す例では、画像の垂直方向、つまり、画像の上下方向でぼかし処理を行っているが、画像の水平方向、つまり、画像の左右方向でぼかし処理を行うようにしてもよい。カメラを縦位置に構えて撮影した場合に、画像の左右方向でぼかし処理を行うことが有効である。

また、ＡＦおよびＡＥを用いることなく、手動でピントおよび露出を合わせた場合にも、合焦距離および絞り値に応じて、上述のようにして処理を行うようにしてもよい。さらに、本撮影画像だけでなく、図２のステップＳ２０５で説明した本撮影前のＥＶＦ処理で得られる画像に適用するようにしてもよい。

以上のように、本実施の形態によるカメラによれば、焦点距離、合焦距離、および絞り値の少なくとも１つに応じて、つまり、撮像素子の前段に位置する光学系によるぼけ度合いに応じて画像処理におけるぼかし度合いとぼかし幅を変更するようにしている。この結果、画像に良好なぼかし処理を施すことができる。そして、ぼかし処理を行う際には、主被写体とそれ以外の部分の分離処理が不要であるので、高速にぼかし処理を行うことができるばかりでなく、分離処理を行うための構成が不要となり、コスト低減を図ることができる。

上述の説明から明らかなように、図１において、ＣＰＵ１１１が設定手段として機能し、ＣＰＵ１１１および画像処理プロセッサ１０９が処理制御手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を、画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有する制御プログラムを、画像処理装置が備えるコンピュータに実行させるようにしてもよい。

この際、制御方法及び制御プログラムは、少なくとも設定ステップおよび処理制御ステップを有することになる。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ フォーカスレンズ
１０３ ズームレンズ
１０５ 絞り
１０７ 撮像素子
１０９ 画像処理プロセッサ
１１１ システム制御用ＣＰＵ
１１５ 撮影準備指示スイッチ
１１６ 撮影処理指示スイッチ
１１７ ズームスイッチ

Claims (7)

1. 被写体像を撮像素子に結像した結果得られた画像データを処理して当該画像データの特定部分にぼけ処理を施してぼけ画像データを得る画像処理装置において、
   撮影レンズの焦点距離、前記撮影レンズと被写体との合焦距離、および前記撮像素子に入射される光量を制限する絞り値の少なくとも１つに応じて前記特定部分のぼかし度合いを設定するとともに、前記特定部分と前記特定部分以外との境界部分を規定するぼかし幅を設定する設定手段と、
   前記設定手段によって設定されたぼかし度合いおよびぼかし幅によって前記特定部分におけるぼけ度合いを変更するとともに、前記特定部分と前記特定部分以外の部分との境界部分の範囲を変更して、前記ぼけ処理を行う処理制御手段とを有することを特徴とする画像処理装置。
2. 前記焦点距離をぼかしパラメータとして用いた際、前記処理制御手段は、当該焦点距離が短くなるに伴って前記特定部分におけるぼけ度合いを強くするとともに、前記境界部分の範囲を広くすることを特徴とする請求項１記載の画像処理装置。
3. 前記合焦距離をぼかしパラメータとして用いた際、前記処理制御手段は、前記合焦距離が遠くなるに伴って前記特定部分におけるぼけ度合いを強くするとともに、前記境界部分の範囲を広くすることを特徴とする請求項１記載の画像処理装置。
4. 前記絞り値をぼかしパラメータとして用いた際、前記処理制御手段は、前記絞り値が大きくなるに伴って、前記特定部分におけるぼけ度合いを強くするとともに、前記境界部分の範囲を広くすることを特徴とする請求項１記載の画像処理装置。
5. 前記処理制御手段は、前記特定部分以外の部分から前記特定部分に向う方向において、前記境界部分のぼけ度合いを逓増するようにしたことを特徴とする請求項１〜４いずれか１項記載の画像処理装置。
6. 被写体像を撮像素子に結像した結果得られた画像データを処理して当該画像データの特定部分にぼけ処理を施してぼけ画像データを得る画像処理装置を制御するための制御方法において、
   撮影レンズの焦点距離、前記撮影レンズと被写体との合焦距離、および前記撮像素子に入射される光量を制限する絞り値の少なくとも１つに応じて前記特定部分のぼかし度合いを設定するとともに、前記特定部分と前記特定部分以外との境界部分を規定するぼかし幅を設定する設定ステップと、
   前記設定ステップによって設定されたぼかし度合いおよびぼかし幅によって前記特定部分におけるぼけ度合いを変更するとともに、前記特定部分と前記特定部分以外の部分との境界部分の範囲を変更して、前記ぼけ処理を行う処理制御ステップとを有することを特徴とする制御方法。
7. 被写体像を撮像素子に結像した結果得られた画像データを処理して当該画像データの特定部分にぼけ処理を施してぼけ画像データを得る画像処理装置を制御するための制御プログラムにおいて、
   前記画像処理装置に備えられたコンピュータに、
   撮影レンズの焦点距離、前記撮影レンズと被写体との合焦距離、および前記撮像素子に入射される光量を制限する絞り値の少なくとも１つに応じて前記特定部分のぼかし度合いを設定するとともに、前記特定部分と前記特定部分以外との境界部分を規定するぼかし幅を設定する設定ステップと、
   前記設定ステップによって設定されたぼかし度合いおよびぼかし幅によって前記特定部分におけるぼけ度合いを変更するとともに、前記特定部分と前記特定部分以外の部分との境界部分の範囲を変更して、前記ぼけ処理を行う処理制御ステップとを実行させることを特徴とする制御プログラム。

Images