JP5262417B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。さらに詳述すると、種々の特殊撮影効果を得る際に好適な画像処理装置、画像処理方法および画像処理プログラムに関する。

銀塩カメラでは、撮影レンズの前面に各種のフィルタを装着することにより、さまざまな特殊撮影を行うことができた。例えば、フィルタの真中に穴があき、周辺がすりガラス状になっているフィルタを装着することにより、撮影画面の中心部だけをシャープに写し周辺部をぼかした撮影効果が得られたり、フィルタの中心部以外に同一方向に流れる傷をつけたフィルタを装着することにより、撮影画面の中心部は通常であるが周辺部が同一方向に動感のある撮影効果を得られるものなどがあった。

例えば、ポートレート撮影や花などのマクロ撮影では、意図的に前景や背景をぼかすことによって主要被写体を浮かび上がらせる写真表現が効果的であり、銀塩カメラでこのような写真表現を行う場合、主要被写体にピントを合わせ、被写界深度を浅くした状態で撮影されていた。

一方、デジタルカメラ、特にコンパクトタイプのデジタルカメラにおいて、撮像素子の露光面は、銀塩カメラの露光面に比べて著しく狭いため、銀塩カメラと同じ画角を得ようとすると、銀塩カメラの撮像レンズの焦点距離に比べてデジタルカメラの撮像レンズの焦点距離は短くなる。また、口径の大きな撮影レンズは大型、高価となるため、コンパクトタイプのデジタルカメラでは口径の小さな撮影レンズが用いられていることが多い。被写界深度は、焦点距離が小さく、口径が小さくなると深くなり、あまりぼけなくなるため、デジタルカメラでは被写界深度が銀塩カメラよりも深くなり、銀塩カメラのような絞り効果が得られないという問題がある。

このような問題に対し、画像データを電子的に加工して、背景をぼかす技術が提案されている。例えば、特許文献１には、画像データを主要被写体と背景に分離し、背景のぼけ量に応じて、さらに背景のぼけ量を強調し、自然なぼけの写真表現を得る技術が提案されている。また、例えば、特許文献２には、移動体であるメインの被写体とそれ以外の部分に移動体の動きを強調する画像処理を行う技術が開示されている。

特開２００７−１２４３９８号公報 特開２００６−３３９７８４号公報

しかしながら、特許文献１に記載の技術は、絞り効果についての一定の効果を得ることはできるが、動感のある撮影効果を出すことはできない。また、特許文献２に記載の技術は、移動体の移動方向を強調させるためのいわゆる流し撮りといわれる撮影効果を出すことはできるが、被写体が静止している場合には対応できない。このように、いずれの技術も特定条件下での撮影効果に限られるものであり、種々の特殊撮影効果を選択的に実現可能とするものではない。

そこで本発明は、光学フィルタを用いることで実現していた種々の特殊撮影効果を、光学フィルタやその他の部品を追加することなく実現できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

かかる目的を達成するため、請求項１に記載の画像処理装置は、撮影画像を主要被写体部分とその他の部分に分離する分離手段と、分離手段により分離されたその他の部分を２以上の領域に分割する分割手段と、分割手段により分割された各領域について領域に応じた処理がなされて、領域単位で互いに異なる方向への方向性を有するようにぼかしをかける領域別ぼかし手段、および分割手段により分割された各領域またはその他の部分について予め記憶された画素毎のパラメータテーブルに基づいて、画素単位で所定の方向性を有するようにぼかしをかけるテーブル参照ぼかし手段からなるぼかし手段と、主要被写体部分とぼかし手段によりぼかしをかけられたその他の部分を合成する合成手段と、領域別ぼかし手段とテーブル参照ぼかし手段のいずれによりぼかしをかけるかを選択する選択手段と、を備えるものである。したがって、撮影画像の主要被写体部分を除くその他の部分を、２以上の領域に分割し、方向性を有するぼかし処理をして動感のある特殊撮影効果を出している。また、異なる方向への方向性を有したぼかし処理をして被写体を注目させる特殊撮影効果を出している。また、選択されたモードに応じて種々の特殊撮影効果を出している。また、画素単位で様々な方向性を有するぼかし処理をして複雑な動感のある特殊撮影効果を出している。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、ぼかし手段は、分割手段により分割された領域について、強度の異なる方向性を有するぼかしかけるものである。したがって、同一方向または異なる方向に方向性の強さの異なるぼかし処理をしてさらに動感のある特殊撮影効果を出している。

請求項３に記載の発明は、請求項１に記載の画像処理装置において、ぼかし手段は、分割手段により分割された領域のうち１または２以上の領域に方向性を有しないぼかしをかけるものである。したがって、一部の領域に方向性を有しないぼかしをかけることにより、方向性を有するぼかしをかけた領域のぼかし処理を強調した特殊撮影効果を出している。

請求項４に記載の発明は、請求項１に記載の画像処理装置において、ぼかし手段は、分割手段により分割された領域のうち１または２以上の領域にぼかしをかけないものである。したがって、一部の領域にぼかしをかけないことにより、方向性を有するぼかしをかけた領域のぼかし処理を強調した特殊撮影効果を出している。

請求項５に記載の発明は、請求項１から４までのいずれかに記載の画像処理装置において、分離手段は、主要被写体部分を複数箇所検出し、該複数箇所の主要被写体部分につき、それぞれ主要被写体部分とその他の部分に分離するものである。したがって、主要被写体が複数ある場合においても、それぞれの主要被写体に応じたその他の部分に対して、方向性を有するぼかし処理をして主要被写体それぞれに特殊撮影効果を出している。

また、請求項６に記載の画像処理方法は、撮影画像を主要被写体部分とその他の部分に分離する分離処理と、分離処理により分離されたその他の部分を２以上の領域に分割する分割処理と、分割処理により分割された各領域について領域に応じた処理がなされて、領域単位で互いに異なる方向への方向性を有するようにぼかしをかける領域別ぼかし処理、および分割処理により分割された各領域またはその他の部分について予め記憶された画素毎のパラメータテーブルに基づいて、画素単位で所定の方向性を有するようにぼかしをかけるテーブル参照ぼかし処理からなるぼかし処理と、主要被写体部分とぼかし処理によりぼかしをかけられたその他の部分を合成する合成処理と、領域別ぼかし処理とテーブル参照ぼかし処理のいずれによりぼかしをかけるかを選択する選択処理と、を行うようにしている。したがって、撮影画像の主要被写体部分を除くその他の部分を、２以上の領域に分割し、方向性を有するぼかし処理をして動感のある特殊撮影効果を出している。

また、請求項７に記載の画像処理プログラムは、撮影画像を主要被写体部分とその他の部分に分離する分離処理と、分離処理により分離されたその他の部分を２以上の領域に分割する分割処理と、分割処理により分割された各領域について領域に応じた処理がなされて、領域単位で互いに異なる方向への方向性を有するようにぼかしをかける領域別ぼかし処理、および分割処理により分割された各領域またはその他の部分について予め記憶された画素毎のパラメータテーブルに基づいて、画素単位で所定の方向性を有するようにぼかしをかけるテーブル参照ぼかし処理からなるぼかし処理と、主要被写体部分とぼかし処理によりぼかしをかけられたその他の部分を合成する合成処理と、領域別ぼかし処理とテーブル参照ぼかし処理のいずれによりぼかしをかけるかを選択する選択処理と、をコンピュータに実行させるものである。したがって、撮影画像の主要被写体部分を除くその他の部分を、２以上の領域に分割し、方向性を有するぼかし処理をして動感のある特殊撮影効果を出している。

本発明によれば、光学フィルタの装着により実現されていた種々の特殊撮影効果を、光学フィルタやその他の部品を追加することなく実現できる。

以下、本発明の構成を図１から図１３に示す実施の形態に基づいて詳細に説明する。

１．画像処理装置の構成
画像処理装置の機能ブロック図および画像処理装置に接続する接続機器の一例を図１に示す。画像処理装置には、例えば、撮像装置を適用することができる。本実施形態では、撮像装置の一例としデジタルスチルカメラ装置を例に説明する。

デジタルスチルカメラ装置１（以下、単にデジタルカメラともいう）は、以下に述べるように、システム制御部２、撮像部３、画像処理部４、表示制御部５、ＬＣＤ６、記録メディアインターフェイス７、記録メディア８、ハードキーインターフェイス部９、通信インターフェイス部１０等により構成される。

システム制御部２は、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマ−等により構成され、デジタルカメラ１全体の制御を行う。また、撮像部３は、光学系部品（レンズ及びレンズ駆動モータ等）、ＣＣＤ、ＣＣＤ駆動回路、Ａ／Ｄ変換器等により構成され、撮像を行う。

画像処理部４は、画像の圧縮伸長を行うために設けられた画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等により構成され、撮像部３で得られた画像信号に種々の画像処理を施すと共に、撮像部３のＣＣＤ駆動タイミング、レンズ駆動モータを制御して焦点距離やズーム位置の切り替え、フォーカシング、露出調整等を行う。

また、画像処理部４には、分離処理（後述の主要被写体画像抽出処理（Ｓ８））を行う分離手段４０、分割処理（後述の背景画像分離処理（Ｓ９））を行う分割手段４１、ぼかし処理（後述の背景画像ぼかし処理（Ｓ１０））を行うぼかし手段４２および合成処理（後述する合成処理（Ｓ１１））を行う合成手段４３が構成される。

表示制御部５は、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤ６へ表示するために設けられたＤ／Ａ変換器、オンスクリーンディスプレイコントローラ等により構成され、画像処理部４で処理された画像信号をＬＣＤ６へ表示するための信号処理を行う。

ＬＣＤ６は、画像およびユーザーインターフェイスのためのグラフィック等を表示する表示部（モニタ）である。

記録メディアインターフェイス部７は、メモリカードコントローラ等により構成される記録メディア８とのインターフェイスである。

記録メディア８は、フラッシュメモリ等により構成され、圧縮された画像信号や画像に関する種々の情報を記憶するために設けられたデジタルカメラ１から着脱可能なメディアである。

ハードキーインターフェイス部９は、例えば、電源スイッチ３３、レリーズのためのレリーズボタン１２や、撮影モード設定のための撮影モードダイヤル１３、各種設定のためのメニューボタン２６等のボタンおよびダイヤル（図２参照）や、メインＣＰＵへの主電源制御を行うために設けられたサブＣＰＵ等により構成される。

通信インターフェイス部１０は、ＵＳＢ等を接続してデータ通信を行うために設けられた通信コントローラである。

また、パーソナルコンピュータ（以下、ＰＣともいう）１１は、デジタルカメラ１とＵＳＢ等で接続される接続機器であり、デジタルカメラ１から転送された画像データを再生したり、デジタルカメラ１に対して各種設定を行う。

次に、デジタルカメラ１の外観図の一例を図２に示す。ここで、図２（Ａ）は上面図、（Ｂ）は正面図、（Ｃ）は裏面図を示す。

デジタルカメラ１の上面には、レリーズボタン１２、撮影モードダイヤル１３、および撮影可能枚数など表示するサブＬＣＤ１４が配置されている。

また、デジタルカメラ１の正面には、メモリカードスロットル１５、ストロボ発光部１６、光学ファインダ１７、測距ユニット１８、リモコン受光部１９、鏡胴ユニット２０が配置されている。

また、デジタルカメラ１の背面には、ＡＦＬＥＤ２１、ストロボＬＥＤ２２、ズームスイッチ（テレ）２３、ズームスイッチ（ワイド）２４、セルフタイマ／削除スイッチ２５、メニューボタン２６、上／ストロボスイッチ２７、右スイッチ２８、ディスプレイスイッチ２９、下／ストロボスイッチ３０、左／画像確認スイッチ３１、オーケースイッチ３２、電源スイッチ３３およびＬＣＤモニタ６が配置されている。

２．画像処理装置の基本動作
次に、デジタルカメラ１の基本動作について説明する。

先ず、起動動作について簡単に説明する。ユーザによりデジタルカメラ１の電源スイッチ３３が入れられると、ハードキーインターフェイス部９はシステム制御部２のメインＣＰＵへの電源供給をオンにする。

メインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラムデータをＳＤＲＡＭへ転送する。ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。

起動処理では、オペレーティングシステムの初期化やレンズ鏡胴の繰りだし処理、記録メディアの初期化処理などの処理が実行される。例えば、鏡胴の繰り出し処理は、画像処理部４を介して撮像部３のレンズ駆動モータに所定の間隔毎にパルス信号を与えることにより行う。また、記録メディアの初期化処理は、記録メディアインターフェイス部７を介して記録メディア８への電源とクロックを供給した後、記録メディア８へ初期化コマンドを発行する。当該初期化処理は記録メディア８内で行われ、システム制御部２はその完了を検知するために記録メディア８のステータスを所定の間隔でチェックする。

次いで、撮影動作について簡単に説明する。ユーザは撮影に際し、各種のキースイッチやダイヤル等を操作し、例えば、通常撮影モード、特殊撮影モード（ぼかしモード）等の撮影モードを決定する。ユーザによる操作内容はハードキーインターフェイス部９を通じてシステム制御部２で判別される。

システム制御部２は、操作内容に応じて表示制御部５へガイダンスグラフィックを生成し、ユーザに次操作を促す。また、システム制御部２は、撮影モードが決定されると、当該撮影モードに応じた処理パラメータを画像処理部４へ設定する。即ち、システム制御部２は、ユーザに特殊撮影モードのうちから任意のモードを選択させ、選択された特殊撮影モードに応じて、当該特殊撮影を行うための処理パラメータ等を画像処理部４へ設定する選択手段として機能する。

また、ユーザはズームスイッチ２３，２４を操作し、画角（撮影範囲）を決定する。ここで、ユーザによる操作内容はハードキーインターフェイス部９を通じてシステム制御部２で判別される。システム制御部２は、操作に応じて撮像部３を制御しレンズを駆動する。撮像部３は画像処理部４からの制御に従い、実際の撮影に先だって、被写体画像を撮像し、表示手段の解像度にあわせて加工したスルー画像（モニタリング画像）を表示するための撮像動作を開始する。

撮像されたデータは連続的に画像処理部４へ送られ、画像処理部４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部５へ送る。表示制御部５では、画像データを信号処理してＬＣＤ６へ表示し、ユーザへ撮像状態を提示する。また、レリーズボタンが押されると、その操作はモード設定と同様にハードキーインターフェイス部９を通じてシステム制御部２で判別される。

撮像部３は画像処理部４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部４へ送る。これを受けた画像処理部４は、撮影モードに応じた画像処理、圧縮処理を行う。また、システム制御部２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部７を通じて記録メディア８へ書き込む。

３．画像処理装置の画像処理動作
次に、本発明の画像処理装置が行う特徴的な画像処理動作、本発明の画像処理方法および本発明の画像処理プログラムが実行する処理の詳細について図３に示すフローチャートを用いて説明する。

以下に述べる画像処理は、ユーザにより設定された各種の特殊撮影モードに応じて主要被写体以外の領域（背景領域）のぼかし方を変える処理である。したがって、撮影モードダイヤル１３やメニューボタン２６などによるユーザ操作により、通常撮影モードとは異なる特殊撮影モードが設定されている場合に実行されるものである。以下に、特殊撮影モードとして、主要被写体に向かってズームインした様な効果をもつ「ズームインフィルタモード」が設定された場合を例に説明する。また、図３に示すフローチャートは、モニタリング動作中の処理フローを示している。

システム制御部２は、モニタリング動作が開始されると、設定されている「ズームインフィルタモード」を実現するために、先ず、各種の処理パラメータを初期化する（Ｓ１）。尚、処理パラメータの初期化は処理の終了時に実行するようにしてもよいのはもちろんである。

次に、システム制御部２は、画像処理部４および撮像部３を制御し、ＣＣＤＡＦスキャンを行う（Ｓ２）。より具体的には、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置を合焦位置とする処理を行うものである。

次に、システム制御部２は、各画像の小領域毎の距離または、距離に関連するパラメータを判定する距離判定処理を行う（Ｓ３）。距離判定処理（Ｓ３）について以下に説明する。

図４（Ａ）〜（Ｄ）に画像処理の詳細を説明する図を示す。図４（Ａ）において、１００はモニタリング画像の画角、１０１は１つのＡＦ評価値エリア、１０２はＡＦエリアを示している。

ＡＦ評価値エリア１０１は、画角１００内を均等に分割した小領域（エリア）である。距離判定処理（Ｓ３）では、ＣＣＤＡＦにより領域毎にＡＦ評価値が算出される。具体的には、システム制御部２は、領域毎にＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの駆動位置を判定し、さらに、領域毎に現在のズーム位置からレンズの駆動位置を距離情報に変換するものである。

ここでＡＦ評価値とは、領域内の画像のコントラストの積算値をいい、具体的には、領域内の各画素に対し水平方向のＨＰＦ（ハイパスフィルター）演算を行い、得られた結果を加算して得られるものである。尚、ＨＰＦの係数には、例えば、ｋｉ={−１,−２,６,−２,−１}といった値を用いれば良い。例えば、ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ３は注目画素に乗算される係数、ｋ４は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ５は注目画素の水平方向＋２の座標の画素に乗算される係数である。

このＡＦ評価値の演算を、図５に示すＡＦ評価値エリア１０１内の５画素を抜き出したものを例に挙げて具体的に説明する。

図５において、１００１は注目画素の水平方向−２の座標の画素、１００２は注目画素の水平方向−１の座標の画素、１００３は注目画素、１００４は注目画素の水平方向＋１の座標の画素、１００５は注目画素の水平方向＋２の座標の画素を示している。この場合、ＡＦ評価値は、次式（１）で求められる。
（ＡＦ評価値） ＝ ｋ０×（１００１の画素の値） ＋ ｋ１×（１００２の画素の値） ＋ ｋ２×（１００３の画素の値） ＋ ｋ３×（１００４の画素の値） ＋ ｋ４×（１００５の画素の値） …（１）

さらに、求めたＡＦ評価値から距離情報（レンズから被写体までの距離）を取得するには、ガウスの結像方程式１／ａ＋１／ｂ＝１／ｆに基づいて、次式（２）で求められる。
ａ＝ｂｆ／（ｂ−ｆ） …（２）
但し、ａ：レンズから被写体までの距離
ｂ：レンズから撮像素子間の距離
ｆ：レンズの焦点距離 である。

尚、（２）式におけるレンズの焦点距離ｆは、撮影時のズーム位置により一意に求められる。また、レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの駆動位置から一意に求められる。

以上により、画角１００内のすべてＡＦ評価値エリア１０１毎の距離情報を得ることができる。尚、すべての領域についての距離情報が得られない場合は、例えば、周辺の領域について求めたデータに基づいて補間処理を行ったり、ＡＦ評価値取得時のフィルタを変更し、再スキャンするなどして求めるようにすれば良い。

また図４（Ａ）において、ＡＦエリア１０２はＡＦでフォーカスを合わせるエリアに設定される。システム制御部２は、画面中央部分のＡＦ評価値エリア１０１のうち、最も近距離にあるエリアをＡＦエリア１０２として判定するＡＦエリア判定処理を行う（Ｓ４）。

さらに図４（Ｂ）に示すように、ＡＦエリア１０２とほぼ等距離にあると判断された領域を主要被写体ブロック１０３として判定する主要被写体ブロック判定処理を行う（Ｓ５）。即ち、ＡＦエリア１０２は主要被写体ブロック１０３に含まれる。

次に、システム制御部２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出して記憶する平均輝度算出処理を行う（Ｓ６）。平均輝度算出処理（Ｓ６）の詳細は後述する。

次に、図４（Ｃ）に示すように、システム制御部２は、得られた主要被写体ブロック１０３の情報および撮像した画像を元に主要被写体領域１０４を判定する主要被写体領域判定処理を行う（Ｓ７）。

主要被写体領域判定処理（Ｓ７）は、輪郭抽出を行う画像処理手法により、主要被写体ブロック１０３を含む任意形状の領域の判定を行うものである。尚、輪郭抽出を行う画像処理手法としては公知のものを用いればよく、特に限られるものではない。

また、このとき抽出された主要被写体領域１０４の上下方向(Ｙ軸方向とする)と左右方向（Ｘ軸方向とする）の中心に当たる画素を主要被写体領域１０４の中心画素に設定してその画素座標を記録しておく。画素座標そのものの設定の仕方としては例えば一番左下の画素を（Ｘ，Ｙ）＝（１，１）としてそこから右方向（Ｘ方向）、上方向（Ｙ方向）にカウントアップするように構成すればよい。

次に、画像処理部４は、主要被写体領域１０４の情報を基に、主要被写体画像抽出処理（Ｓ８）以降の処理を順次行う。以下に図４（Ｄ）を参照して詳説する。尚、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。

主要被写体の抽出処理（Ｓ８）では、主要被写体領域１０４に沿って画像を分離することで、主要被写体１０６の抽出を行う。

図４（Ｄ）では、主要被写体１０６が中央に存在する場合を一例として示している。主要被写体の抽出処理（Ｓ８）の結果、撮影画像１０５は主要被写体画像１０７と主要被写体以外の画像領域（背景画像）１０８に分離される。

さらに主要被写体以外の画像領域（背景画像）１０８をさらに主要被写体１０６との位置関係を元に複数の領域に分割する背景画像分離処理を行う（Ｓ９）。尚、画像データは画素単位の集合体であるので、領域に分割するとは、各画素に対する処理をその分割した集合体で行うという意味である。

本実施形態では、撮影画面を中心として図８に示すように４分割している。さらに、分割された背景画像１０８に対し、背景画像ぼかし処理を行う（Ｓ１０）。

例えば、「ズームインフィルタモード」（図８参照）では、主要被写体１０６に対して放射状のぼかし処理を行うので、右上領域には左下方向への方向性を持ったぼかし処理を行い、右下領域には左上方向、左上領域には右下方向、左下領域には右上方向への方向性を持ったぼかし処理を行うことで、主要被写体以外のぼかした背景画像１０９を生成している。

ここで、背景画像ぼかし処理（Ｓ１０）は、方向性を持ったぼかし処理であることを特徴としている。まず、方向性を持ったぼかし処理の詳細について、図７を参照して説明する。

図７は、右下領域に左上への方向性を持ったぼかしを行う処理と右上領域に左下への方向性を持ったぼかしを行う処理の例を示している。尚、図７の各セルは、１画素を示しており、全画面は、３２×３２画素である。

方向性を持ったぼかし処理は、例えば、領域内の各画素に対し、方向性を出したい方向と反対方向の複数個の画素データを加算して平均して、元々の画素と置き換える作業を繰り返すことで、ぼかし処理を行うものである。

即ち、右下領域において左斜め上方向への動きを出すためには、例えば、次式（３）、
（Ａ画素） ＝ （Ａ＋Ｂ＋Ｃ）／３
（Ｂ画素） ＝ （Ｂ＋Ｃ＋Ｄ）／３
（Ｃ画素） ＝ （Ｃ＋Ｄ＋Ｆ）／３ …（３）
のように演算を行えばよい。ここで加算平均する画素数は任意に設定可能であり、特に限られるものではない。尚、残りの画素についても同様に演算を行えばよい。

さらに、例えば、動きの方向性の強さ（強度）、即ち、画像のスピード感を出すためには、次式（４）のように、足し合わせる数を大きくする。その他の画素についても同様に行えばよい。
（Ａ画素） ＝ （Ａ＋Ｂ＋Ｃ＋Ｄ）／４ …（４）

また、端画素の場合は、斜め左上部のいずれかの画素データや周辺のデータなどを用いて、例えば、次式（５）のように、代用する。
（Ｅ画素）、（Ｆ画素） ＝ （Ｄ＋Ｅ＋Ｆ）／３
（Ｅ画素） ＝ （Ｅ画素の左斜下の画素＋Ｆ画素の左斜下の画素＋Ｆ画素の２つ下の画素）/３ …（５）

同様に、右上領域において左斜め下方向への動きを出すためには、例えば、次式（６）、
（Ｌ画素） ＝ （Ｌ＋Ｋ＋Ｊ）／３
（Ｋ画素） ＝ （Ｋ＋Ｊ＋Ｉ）／３ …（６）
のように演算を行えばよい。その他の画素についても同様に行えばよい。

また、動きの方向性の強さ、即ち、画像のスピード感を出すためには、上記式（４）のように足し合わせる数を大きくすればよい。さらに、端画素の場合は、斜め右下部のいずれかの画素データまたは周辺のデータなどを用いて代用すればよい。尚、Ｇ画素は端画素ではないが、例えば、次式（７）、
（Ｇ画素） ＝ （Ｇ＋Ｇの右斜め下（ぼかし処理前）＋さらに右斜め下（ぼかし処理前）／３ …（７）
のように求めても、上記式（５）で示したように、周辺画素で代用してもよい。

尚、上述の例では、右上領域および右下領域について説明したが、左上領域および左下領域についても同様に演算を行えばよい。即ち、左上領域に右下方向への方向性を持たせ、左下領域に右上方向への方向性を持たせることで、主要被写体に向かってズームインした様な特殊撮影効果を得ることができる。

また、右斜め上下、横方向など別方向への方向性を持ったぼかし処理の動きの場合も同様に上述の処理を適用すればよい、また、画素単位で方向を変える場合についても同様に上述の処理適用することができる。

また、例えば、変化をより細かくするために、加算する画素データを中間的なデータに変えて行っても良い。尚、中間的なデータは、例えば、隣接するデータを予め補間して作成しておけばよい。また、例えば、主要被写体に近い部分から、周辺部に行くに従ってぼかしの強さを変化させて、より動感を強調する処理も行ってもよい。

また、上述の例では、３２×３２の画素の画面を例に説明したが、画素数の多い実画像でも同様に処理することができる。ここで、画素数の多い画像データに対し上述の処理を実行する場合は、計算量が膨大となり処理に時間がかかることが考えられる。したがって、この場合、演算量を減らして高速にぼかし処理を行う為に、画像データの縮小処理を行うことで画素数を減らし、当該縮小画像に対して上述の処理を行った上で拡大し、主要被写体部と合成することにより計算量を軽減することが好ましい。しかしながら、縮小処理を行うか否か、またどの程度、縮小処理を行うかどうかは、ハードウェアの性能や処理の待機許容時間、また、主要被写体以外の部分について要求される画質精度等に応じて適宜決定すればよく、特に限られるものではない。

また、上述の例では、画像の分割単位を４分割としたが、分割するか否か、分割単位をどの程度にするかは、任意に設定可能であり、特に限られるものではない。例えば、３２×３２分割のように細かく分割し、それぞれの領域に微妙に方向を変えたぼかしを行うことでより効果的な合成結果を得ることができる。尚、分割単位は、ハードウェア性能、得られる効果と処理時間等とを考慮して適宜判断すればよい。

さらに、その他種々のぼかし処理を用いることが可能である。例えば、所定の方向性を出す為の画素データをあらかじめ作成し、テーブル形式（パラメータテーブル）で保存しておき、主要被写体の中心部と処理したい画素との座標差に応じてテーブルを参照して、読み出した方向性を持ったデータを処理したい画素と置き換えたり、有る程度撮影データも加味するため加算して置き換えたりすることでぼかし処理を行う方法をとってもよい。また、計算用のパラメータのみをテーブル保存しておき、処理する画素と図示しない演算を行うことで、方向性を持ったぼかし処理を行う構成としてもよい。

図６は、図３の背景画像ぼかし処理（Ｓ１０）の処理の詳細を示すフローチャートである。尚、以下の説明において、上述した画像を分割して領域別にぼかし処理を行うことを「領域別判定を行うぼかし処理」といい、また、保存されたテーブルを参照して画素別にぼかし処理を行うことを「テーブル参照を行うぼかし処理」という。

先ず、撮影前に決定された特殊撮影モードによりぼかし処理を領域別に処理（領域別判定を行うぼかし処理）を行うモードであるのか、画素毎に処理（テーブル参照を行うぼかし処理）を行うモードであるのかを判断する（Ｓ１０−１）。

領域別判定を行うぼかし処理では、最初の処理画素を読み出し（Ｓ１０−８）、その画素が所属する領域に応じた処理が行われて（Ｓ１０−９）、次の画素処理に移行し（Ｓ１０−１１）、全処理が終了する（Ｓ１０−１０：Ｙｅｓ）と、処理終了となる。

一方、テーブル参照を行うぼかし処理では、最初の処理画素を読み出し（Ｓ１０−２）、主要被写体分離時に記録した主要被写体の中心画素（Ｓ７参照）と処理しようとする画素の差分座標を求め（Ｓ１０−３）、当該差分座標から、処理式をテーブル参照して決定し（Ｓ１０−４）、それぞれ演算する（Ｓ１０−５）、処理が終わったら次の画素に移行して（Ｓ１０−７）、全画素について処理が終了する（Ｓ１０−６：Ｙｅｓ）と、処理終了となる。尚、前述のように、テーブル参照する内容は、例えば、演算用パラメータでも良いし、置き換えるぼかし済み画素データでも良いし、元々の画素と合成して方向性を出す半処理画素データでもよい。

図８〜図１３に本発明の画像処理装置により実現可能な特殊撮影モードのいくつかの例を示す。尚、図８は、上述したとおり、主要被写体に向かってズームインした様な特殊撮影モード（「ズームインフィルタモード」、領域別判定を行うぼかし処理）を示している。

図９は、主要被写体が静止しているのに流し撮りのように見える特殊撮影モード（領域別判定を行うぼかし処理）の実施例である。本モードでは、主要被写体以外の複数領域（背景画像）１０８のすべてに対し、同一の方向性を持ったぼかし処理を行っている。図９では、４分割した主要被写体以外の領域１０８のすべてに対して右から左の方向性を持ったぼかし処理を行っており、すべての領域に属する一つ一つの画素単位に対して同じ手順にて方向性を持ったぼかし処理を行ったものである。尚、本モードの場合は、必ずしも背景画像１０８を分割する必要はない。

図１０は、主要被写体の右側のみ右方向に流れている様な特殊撮影モード（領域別判定を行うぼかし処理）の実施例である。本モードでは、主要被写体以外の複数領域１０８の一部に対し、同一の方向性を持ったぼかし処理を行っている。図１０では、４分割した主要被写体以外の領域１０８のうち右側の２つの領域に属した画素にのみ右から左の方向性を持ったぼかし処理を行い、左側２つの領域に属した画素には、単純なぼかし処理や、エッジ強調処理を行うか、あるいは何もしない。

このように、本発明は、主要被写体１０６が動いているかどうかには関係なく動感を出すことができ、かつ、その方向性も自由である。即ち、図９に示すような主要被写体１０６があたかも左に動いているかの様な特殊撮影効果や、図１０に示すような撮影画面の右半分と左半分で効果の異なる特殊撮影効果を得ることができる。

図１１は、複数の主要被写体に向かってそれぞれズームイン効果をもたせた特殊撮影モード（領域別判定を行うぼかし処理）の実施例である。図１１は主要被写体１０６が画面中心部に１つ（例えば、近距離の人物）と、左右部分に２つ（例えば、遠距離の人物や植物等）で合計３つ有る場合を示している。

本モードでは、それぞれの３つの主要被写体１０６を分離し、それらの周囲をそれぞれ４分割することで、光学フィルタの装着では行えなかった特殊撮影効果を得ることが可能となる。実施例では、最初に中央の主要被写体１０６ａを分離し、中央の主要被写体１０６ａ以外の部分を４分割している。さらに左右奥のそれぞれの主要被写体１０６ｂ，１０６ｃの周辺部についてもそれぞれ主要被写体１０６ｂ，１０６ｃが充分含まれる範囲をそれぞれの主要被写体１０６ｂ，１０６ｃを中心に４分割して、計１２分割する構成としている。

その後、図１１に示すように、それぞれの領域に属する画素に対してそれぞれ３つの主要被写体１０６に向かうような方向性を持ったぼかし処理をおこない、分割していた３つの主要被写体画像１０７と合成する。この方法により、３つの主要被写体１０６は、はっきり描写されそれぞれの周りが主要被写体１０６に向かって放射状にながれた撮影結果を得ることができる。

本モードによれば、被写体がどこにあっても特殊撮影効果が得られること、被写体位置に応じた位置を自動的に方向性を持たせてぼかすことができること、方向を変化させることができることなど、光学フィルタの装着では実現できない種々の特殊撮影効果を実現することができる。

図１２は、渦巻き状の中心に主要被写体があるような特殊撮影モード（テーブル参照を行うぼかし処理）の実施例である。図１２に示すように、主要被写体１０６との位置関係に応じて方向性を微細に変化させた渦巻き状のぼかし効果を行うことで、渦巻きの中心にある主要被写体１０６に注目を集める効果のある撮影結果を得ることができる。

本モードでは、主要被写体以外の領域１０８をより詳細に分割する必要がある。図１２の実施例では、３２×３２分割で示している。主要被写体１０６との位置関係に応じて微妙に方向性を変える処理を行うため、演算量がかなり多くなる。このため、簡易的に対応する方向決定テーブル（中心画素との座標差＜Ｘ，Ｙ方向の距離＞に応じてぼかし方向を微妙に変化させた画素データ）などを準備しておき、処理する画素とあらかじめ記憶してある主要被写体１０６の特定画素（中心画素）との差分座標に応じて、方向を変化させるテーブルデータを呼び出すなどの方式をとることで、演算量を減らすことができる。

また、この撮影を行う際は主要被写体１０６を中心部に持ってくることを撮影条件として決めておき、画面全体に渡る渦巻き状の方向性を持った画素データを全て準備しておき、主要被写体１０６が分離された段階で、それ以外の領域１０８の画素をすべて渦巻き状の方向性を持った画素データに置き換えたり、主要被写体以外の領域１０８の画素と、渦巻き状の方向性を持った画素データとを加算して置き換えたりしても演算量を減らすことができる。

図１３は、ズームイン効果＋周辺部に行くほど方向性の動きが強くなる特殊撮影モード（テーブル参照を行うぼかし処理）の実施例である。図１３に示した実施例は、図８に示した実施例と同様の処理を行う際に、主要被写体１０６との距離に応じてぼかし量大きさを変更した実施例である。

本モードでは、主要被写体１０６からの距離が離れるにしたがって上述のように方向性を持ったぼかし効果を大きくするように、加算平均を取るときに用いる画素の数を増やしていく処理を行っている。また、上述のように主要被写体１０６の特定画素（中心画素）とぼかし処理をする画素との座標差を元にテーブル参照して、ぼかし処理時に足し合わせて平均を取る画素数を読み出すように構成することにより、演算量を減らすことができる。

本モードによれば、主要被写体１０６から離れるに従って方向性はそのままにして、大きく（スピード感が向上して）ぼかすような処理をおこなうことになるので、図８に示した例よりもさらに特殊撮影効果を高めることができる。

図３のフローチャートの説明に戻る。画像処理部４は、上述の背景画像ぼかし処理（Ｓ１０）により生成された主要被写体以外のぼかした背景画像１０９と主要被写体領域１０７とを合成して合成画像１１０を得る合成処理（Ｓ１１）を行う。

生成した合成画像１１０は、表示制御部５を介してＬＣＤ６へ表示される（Ｓ１２）。以上で１コマのモニタリング画像の処理が完了する。

さらに、平均輝度算出処理（Ｓ１３）を行う。平均輝度算出処理（Ｓ６およびＳ１３）は撮影者がフレーミングを変化させたかどうかをモニタリングする処理であり、主要被写体部分を検出する際に平均輝度を取得しておき（Ｓ６）、合成処理の終了時に再取得して（Ｓ１３）、所定レベル以上の変化があれば、フレーミングが変化したものとして、ＣＣＤＡＦスキャン（Ｓ２）から再度やり直し、変化がない場合は、モニタリングが継続している間、主要被写体領域判定（Ｓ７）〜合成処理（Ｓ１１）までの処理を継続して行うものである。

モニタリングが終了するまでＳ７〜Ｓ１４までの処理を繰り返し実行し（Ｓ１５）、モニタリングの終了により画像処理は終了する。

以上述べてきたように、本発明によれば、簡易な構成で、他に部品の追加をすることなく、各種光学フィルタを交換しながら撮影したかのような、動感があり、また、主要被写体を注目させる効果のある特殊撮影を行うことができる。また、光学フィルタ装着時のように、主要被写体を撮影画面の中心にもってくる必要がなく、撮影時のフレーミングの自由度が高い。また、主要被写体が複数ある場合など、光学フィルタでは実現できなかった撮影効果も得ることができる。また、方向性を持ったぼかし効果を付加するにあたり、被写体が移動している必要もなく、また撮像装置を移動させる必要もない。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

例えば、上述の実施形態では、画像処理装置として撮像装置を例に説明したが、画像処理装置としては、他の種々の装置も適用可能である。例えば、パーソナルコンピュータ１１に上述の構成（画像処理部４等）を備えるようにして、パーソナルコンピュータ１１を画像処理装置として機能させるようにしても良い。

また、上述の実施形態では、背景画像について特殊撮影効果を得られる画像処理方法について説明したが、必要に応じて撮影画像全体や主要被写体部分に対しても、上述の各種処理を行って特殊撮影効果を得るようにしても良いのはもちろんである。

本発明の画像処理装置の機能ブロック図および接続機器の一例である。 デジタルカメラの外観図の一例であって、（Ａ）は上面図、（Ｂ）は背面図、（Ｃ）は正面図である。 画像処理装置が実行する画像処理動作の一例を示すフローチャートである。 画像処理を説明するための図であって、（Ａ）はＡＦ評価値エリアおよびＡＦエリアを、（Ｂ）は主要被写体ブロックを、（Ｃ）は主要被写体領域を、（Ｄ）は分離処理、ぼかし処理および合成処理を説明する図である。 ＡＦ評価値の算出方法を説明するための図である。 背景画像ぼかし処理の詳細を示すフローチャートである。 方向性を持ったぼかし処理を説明するための図である。 主要被写体に向かってズームインした様な特殊撮影モードを説明するための図である。 主要被写体が静止しているのに流し撮りのような特殊撮影モードを説明するための図である。 主要被写体の右側のみ右方向に流れている様な特殊撮影モードを説明するための図である。 複数の主要被写体に向かってそれぞれズームイン効果をもたせた特殊撮影モードを説明するための図である。 渦巻き状の中心に主要被写体があるような特殊撮影モードを説明するための図である。 ズームイン効果＋周辺部に行くほど方向性の動きが強くなる特殊撮影モードを説明するための図である。

符号の説明

１ デジタルスチルカメラ装置
２ システム制御部
３ 撮像部
４ 画像処理部
５ 表示制御部
６ ＬＣＤ
７ 記録メディアインターフェイス部
８ 記録メディア
９ ハードキーインターフェイス部
１０ 通信インターフェイス部
１１ パーソナルコンピュータ
４０ 分離手段
４１ 分割手段
４２ ぼかし手段
４３ 合成手段
１０５ 撮影画像
１０６ 主要被写体
１０７ 主要被写体画像
１０８ 背景画像
１０９ ぼかした背景画像
１１０ 合成画像

Claims (7)

1. 撮影画像を主要被写体部分とその他の部分に分離する分離手段と、
   前記分離手段により分離された前記その他の部分を２以上の領域に分割する分割手段と、
   前記分割手段により分割された各領域について領域に応じた処理がなされて、領域単位で互いに異なる方向への方向性を有するようにぼかしをかける領域別ぼかし手段、および前記分割手段により分割された各領域または前記その他の部分について予め記憶された画素毎のパラメータテーブルに基づいて、画素単位で所定の方向性を有するようにぼかしをかけるテーブル参照ぼかし手段からなるぼかし手段と、
   前記主要被写体部分と前記ぼかし手段によりぼかしをかけられた前記その他の部分を合成する合成手段と、
   前記領域別ぼかし手段と前記テーブル参照ぼかし手段のいずれによりぼかしをかけるかを選択する選択手段と、を備えることを特徴とする画像処理装置。
2. 前記ぼかし手段は、前記分割手段により分割された領域について、強度の異なる方向性を有するぼかしをかけることを特徴とする請求項１に記載の画像処理装置。
3. 前記ぼかし手段は、前記分割手段により分割された領域のうち１または２以上の領域に方向性を有しないぼかしをかけることを特徴とする請求項１に記載の画像処理装置。
4. 前記ぼかし手段は、前記分割手段により分割された領域のうち１または２以上の領域にぼかしをかけないことを特徴とする請求項１に記載の画像処理装置。
5. 前記分離手段は、前記主要被写体部分を複数箇所検出し、該複数箇所の主要被写体部分につき、それぞれ前記主要被写体部分と前記その他の部分に分離することを特徴とする請求項１から４までのいずれかに記載の画像処理装置。
6. 撮影画像を主要被写体部分とその他の部分に分離する分離処理と、
   前記分離処理により分離された前記その他の部分を２以上の領域に分割する分割処理と、
   前記分割処理により分割された各領域について領域に応じた処理がなされて、領域単位で互いに異なる方向への方向性を有するようにぼかしをかける領域別ぼかし処理、および前記分割処理により分割された各領域または前記その他の部分について予め記憶された画素毎のパラメータテーブルに基づいて、画素単位で所定の方向性を有するようにぼかしをかけるテーブル参照ぼかし処理からなるぼかし処理と、
   前記主要被写体部分と前記ぼかし処理によりぼかしをかけられた前記その他の部分を合成する合成処理と、
   前記領域別ぼかし処理と前記テーブル参照ぼかし処理のいずれによりぼかしをかけるかを選択する選択処理と、
   を行うことを特徴とする画像処理方法。
7. 撮影画像を主要被写体部分とその他の部分に分離する分離処理と、
   前記分離処理により分離された前記その他の部分を２以上の領域に分割する分割処理と、
   前記分割処理により分割された各領域について領域に応じた処理がなされて、領域単位で互いに異なる方向への方向性を有するようにぼかしをかける領域別ぼかし処理、および前記分割処理により分割された各領域または前記その他の部分について予め記憶された画素毎のパラメータテーブルに基づいて、画素単位で所定の方向性を有するようにぼかしをかけるテーブル参照ぼかし処理からなるぼかし処理と、
   前記主要被写体部分と前記ぼかし処理によりぼかしをかけられた前記その他の部分を合成する合成処理と、
   前記領域別ぼかし処理と前記テーブル参照ぼかし処理のいずれによりぼかしをかけるかを選択する選択処理と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。