JP2003189171A

JP2003189171A - 画像処理装置及び方法及び制御プログラム及び記録媒体

Info

Publication number: JP2003189171A
Application number: JP2002300410A
Authority: JP
Inventors: Akira Yamazaki; 亮山▲崎▼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-10-12
Filing date: 2002-10-15
Publication date: 2003-07-04

Abstract

(57)【要約】【課題】画像処理によりあたかも大口径のレンズによる
ボケ味をもつ画像を生成するとともに、より高解像な画
像を得ることができる画像方法を提供する。【解決手段】入力された視差を有する複数の画像内の複
数の領域における画像ずれ量を算出し（Ｓ１０１）、算
出された画像ずれ量に応じて複数の領域の画像に対して
少なくとも異なる２つの画像処理（Ｓ１０４，Ｓ１０
５）を切り替えて行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像にボケを付加
しボケ味のある画像を生成する画像処理装置及び方法及
び制御プログラム及び記録媒体に関するものである。

【０００２】

【従来の技術】一般に、カメラやデジタルカメラなどの
画質は撮像レンズの性能によるところが大きいとされて
いるが、一眼レフレックス方式のように高級機と呼ばれ
るカャ奄フ撮影レンズは、口径が大きいため明るい像を
得ることができる。

【０００３】そして、被写体輝度が同じ場合であって
も、絞りとシャッタ速度の組み合わせを種々選択するこ
とにより被写界深度を変えることができ、その結果、主
要被写体以外の被写体のボケ具合を自由に制御できる。
高級機により魅力ある写真が得られるのはこのような理
由によるところが大きい。

【０００４】しかしながら、大口径のレンズを有したカ
メラは、一般に撮像レンズが大型であるためにカメラ全
体が大型・重量化してしまうという欠点がある。これに
対し、レンズシャッタ方式などのカメラは小型・軽量で
あるという利点こそあるが、撮像レンズの口径が小さ
く、被写界深度が大きくなるために、大口径のレンズを
備えたカメラで撮影したようなボケ味のある画像を撮る
ことが困難である。

【０００５】そこで、特開平９−１８１９６６号公報で
は、視差を有する一対の撮像レンズを使って撮像された
画像から画像処理によりボケを付加する方法を開示して
いる。図１９はこの従来例における画像処理方法の概念
を示す図である。

【０００６】まず、視差を有する１対の画像Ａ、Ｂを入
力する。次に、この画像Ａ、Ｂをもとに公知の相関演算
などを用いて画像内における各被写体の画像ずれ量を算
出し、この画像ずれ量を基に各被写体の距離を算出す
る。そして、この距離情報をもとに各被写体のボケを算
出し、このボケを再現するような画像処理を画像Ａまた
は画像Ｂに施す。なお、ボケを算出する際には、操作者
が撮影レンズの焦点距離、Ｆナンバー、ピント位置など
をあらかじめ入力し、距離情報を合わせてボケが算出さ
れる。以上のようにして、口径の小さいレンズで撮影し
た画像から、大口径のレンズによるボケ味を持つ画像を
生成することができる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来例においては、２つの画像Ａ、Ｂは画像ずれ量を算出
するためだけに使用され、ボケを付加する画像処理を経
て生成される画像は画像Ａ、画像Ｂのどちらか一方だけ
である。例えば、デジタルカメラを例に挙げると、画像
Ａもしくは画像Ｂの画素数がそれぞれ６４０×４８０画
素（約３０万画素）だと仮定すると、２つの画像Ａ、Ｂ
を得るためには最低でも６０万画素の撮像素子、もしく
は、３０万画素の撮像素子２つが必要となる。しかしな
がら、ボケを付加され生成される画像は３０万画素であ
る。すなわち、画像処理によりボケを付加した任意の画
素数の画像を得るためには、少なくともその２倍の画素
数が必要となり、コスト、スペース共にかさむわりに高
解像な画像が得られないといった問題があった。

【０００８】さらに、各被写体の画像ずれ量（距離）を
算出する際に、画像のコントラストが低い場合、相関演
算による画像ずれ量は算出不能となる場合が多い。しか
しながら、上記従来例においては、このように算出不能
となった場合の処理動作についても何ら考慮されておら
ず、例えば、本来ボケを付加したくない被写体が算出不
能となった場合、自動的にボケが付加され、出力される
画像は不自然で、且つ意図とも反しており低画質であ
る。

【０００９】従って、本発明は上述した課題に鑑みてな
されたものであり、その目的は、画像処理によりあたか
も大口径のレンズによるボケ味をもつ画像を生成すると
ともに、より高解像な画像を得ることができる画像処理
装置および方法及び制御プログラム及び記録媒体を提供
することである。

【００１０】また、本発明の他の目的は、画像ずれ量が
算出不能な場合にも適切な処理を行い画質を劣化させな
い画像処理装置及び方法及び制御プログラム及び記録媒
体を提供することである。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、入力された視差を有する複数の画像内の複数の領域
における画像ずれ量を算出する画像ずれ量算出手段と、
該画像ずれ量算出手段により算出された前記画像ずれ量
に応じて前記複数の領域の画像に対して少なくとも異な
る２つの画像処理を切り替えて行う画像処理手段とを有
する画像処理装置とするものである。

【００１２】また、本発明は、入力された視差を有する
複数の画像内の複数の領域における画像ずれ量を算出
し、算出された前記画像ずれ量に応じて前記複数の領域
の画像に対して少なくとも異なる２つの画像処理を切り
替えて行う画像処理方法とするものである。

【００１３】また、本発明は、上記の画像処理方法をコ
ンピュータに実行させる制御プログラムとするものであ
る。

【００１４】また、本発明は、上記の制御プログラムを
記録した媒体とするものである。

【００１５】また、本発明は、入力された視差を有する
複数の画像内の複数の領域における画像ずれ量を算出す
る画像ずれ量算出手段と、該画像ずれ量算出手段により
算出された前記画像ずれ量に応じて前記複数の領域の画
像に対してボケを付加する画像処理を行うぼかし画像処
理手段と、前記画像ずれ量が算出不能である領域の画像
に対してはボケを付加する画像処理を禁止する制御手段
とを有する画像処理装置とするものである。

【００１６】また、本発明は、入力された視差を有する
複数の画像内の複数の領域における画像ずれ量を算出
し、算出された前記画像ずれ量に応じて前記複数の領域
の画像に対してボケを付加するぼかし画像処理を行う画
像処理方法であって、前記画像ずれ量が算出不能である
領域の画像に対してはボケを付加する画像処理を禁止す
る画像処理方法とするものである。

【００１７】また、本発明は、上記の画像処理方法をコ
ンピュータに実行させる制御プログラムとするものであ
る。

【００１８】また、本発明は、上記の制御プログラムを
記録した媒体とするものである。

【００１９】また、本発明は、第１の画像と、該第１の
画像に対して視差を有する第２の画像を入力する入力手
段と、前記入力手段により入力された前記第１、第２の
画像の対応する第１の領域と該第１の領域とは異なる第
２の領域に対して異なる画像処理を施して、前記第１の
画像と第２の画像を合成処理する画像処理手段とを有す
る画像処理装置とするものである。

【００２０】また、本発明は、第１の画像と、該第１の
画像に対して視差を有する第２の画像を入力する入力手
段と、前記第１、第２の画像の前記視差による画像のず
れ量に基づいて少なくとも第１の画像に所定のボケを付
加すると共に、前記第１、第２の画像の前記視差による
画像のずれ量が所定検出レベル以下の場合には、前記所
定のボケの付加を行わない画像処理装置とするものであ
る。

【００２１】また、本発明は、第１の画像と、該第１の
画像に対して視差を有する第２の画像を入力すると共
に、前記入力された第１、第２の画像の対応する第１の
領域と該第１の領域とは異なる第２の領域に対して異な
る画像処理を施して、前記第１の画像と第２の画像を合
成処理する画像処理方法とするものである。

【００２２】また、本発明は、第１の画像と、該第１の
画像に対して視差を有する第２の画像を入力し、前記第
１、第２の画像の前記視差による画像のずれ量に基づい
て少なくとも第１の画像に所定のボケを付加すると共
に、前記第１、第２の画像の前記視差による画像のずれ
量が所定検出レベル以下の場合には、前記所定のボケの
付加を行わない画像処理方法とするものである。

【００２３】また、本発明は、上記それぞれの画像処理
方法をコンピュータに実行させるための制御プログラム
とするものである。

【００２４】また、本発明は、上記制御プログラムを記
録した記録媒体とするものである。

【００２５】

【発明の実施の形態】以下、本発明の好適な実施形態に
ついて、添付図面を参照して説明する。

【００２６】（第１の実施形態）図１は本発明の第１の
実施形態の画像処理方法の概念を示す図である。図中、
画像Ｃ、画像Ｄ、画像Ｅ…は視差を有する複数の画像で
ある。

【００２７】まずステップＳ１０１では、これらの複数
の画像を入力し、画像内の複数の領域における画像ずれ
量を公知の相関演算によって算出する。次に、ステップ
Ｓ１０２では、各領域において画像ずれ量が算出不能か
否かを判別する。そして、算出不能でなかった場合はス
テップＳ１０３へ進み、一方、算出不能であった場合は
ステップＳ１０６へ進む。次に、ステップＳ１０３で
は、この画像ずれ量をもとに主被写体と背景の分離を行
い、撮影画面内において主被写体と判別された領域では
ステップＳ１０４へ進み、背景と判別された領域の場合
はステップＳ１０５へ進む。ステップＳ１０４では、ス
テップＳ１０６の画像合成時に画像のずれによる画質の
低下が生じないように画像ずれ量を所定量に戻すずれ補
正画像処理（詳細は後述する）を行う。一方、ステップ
Ｓ１０５では、撮影光学系とは異なるボケを付加するぼ
かし画像処理を行う。そして、最後にステップＳ１０６
で、複数の画像を合成して、より高解像な１枚の画像を
作成する。以上が本実施形態における画像処理方法の大
まかな流れである。なお、図中点線で囲む１０７では、
少なくとも異なる２つの画像処理が行われていると表現
することができる。

【００２８】続いて、上記画像処理方法を実現する具体
例について説明する。

【００２９】図２乃至図４は視差を有する複数の画像を
撮影可能な撮像装置の撮像部を示す図である。これらは
特開２００１−７８２１３号公報に開示される撮像装置
と同じ構成のもので、カラーフィルターの色別に設けら
れた光学系を有し、それぞれの画像を合成することでベ
イヤー配列の単板撮像素子で撮像された画像と同等の画
像を形成することができる。そして、独立の光学系を有
しているためそれぞれの画像は視差を有しており、被写
体の距離によってそれぞれの光学像の位置、すなわち画
像ずれ量は変化する。また、この画像ずれ量はある所定
の距離で、１／２画素となるように設計されており、少
ない画素数で高解像な画像を得られる画素ずらしという
手法を用いている。本実施形態では、この撮像部を用い
た撮像装置より得られる画像に対して画像処理を行う。

【００３０】では、始めに撮像部の詳細な構成について
説明する。

【００３１】図２は視差を有する複数の画像を撮影する
撮像部の側面図である。撮像部２０１は、入射面側から
撮像レンズ２０２、筐体２０３、撮像素子２０４を備え
て構成され、筐体２０３を撮像レンズ２０２と撮像素子
２０４で挟み込むような構造となっている。また、図３
に示されるように撮像レンズ２０２の入射面側には開口
部２０５ａ、２０５ｃを有する絞り２０５とカラーフィ
ルター２０６ａ、２０６ｃが印刷などの手段により形成
されている。

【００３２】図３、図４は撮像レンズ２０２を入射面も
しくは射出面側から見た図で、４つのレンズ部２０２
ａ、２０２ｂ、２０２ｃ、２０２ｄと、４つの開口部２
０５ａＡ２０５ｂ、２０５ｃ、２０５ｄを有している。
そして、その４つの開口部２０５ａ、２０５ｂ、２０５
ｃ、２０５ｄに対応して、４つのカラーフィルター２０
６ａ、２０６ｂ、２０６ｃ、２０６ｄが形成されてい
る。したがって、撮像素子２０４上にも４つの光学像が
形成されることとなる。なお、レンズ部２０２ａ、２０
２ｂ、２０２ｃ、２０２ｄには６７０ｎｍ以降の波長域
について低い透過率を持たせた赤外カットフィルター膜
が形成されている。そして、レンズ部２０２ａと２０２
ｂの間隔、レンズ部２０２ａと２０２ｃの間隔、レンズ
部２０２ｂ，２０２ｃと２０２ｄの間隔はそれぞれ等し
く設定されている。

【００３３】図５は撮像素子２０４を入射面側から見た
図で、４つのレンズ部２０２ａ、２０２ｂ、２０２ｃ、
２０２ｄに対応して４つの撮像領域２０４ａ、２０４
ｂ、２０４ｃ、２０４ｄを有している。なお、撮像素子
２０４は４つの撮像領域２０４ａ、２０４ｂ、２０４
ｃ、２０４ｄ以外の領域においても付加画素として画素
部を有しており、撮像時はこの４つの撮像領域を切出し
て使用する構成となっている。

【００３４】ここで、カラーフィルター２０６ａおよび
２０６ｄは主に緑色を透過する分光透過率特性を有し、
光学フィルター２０６ｂは主に赤色を透過する分光透過
率特性を有し、さらに、光学フィルター２０６ｃは主に
青色を透過する分光透過率特性を有している。すなわ
ち、これらは原色フィルターである。

【００３５】次に画素ずらしの構成、すなわち視差によ
る画像ずれについて説明する。図６は、図２の撮像素子
２０２を入射面から見た図である。図中、点Ｓｏは撮像
素子画素形成部の中心点で、点Ｓａ、Ｓｂ、Ｓｃ、Ｓｄ
は撮像領域２０４ａ、２０４ｂ、２０４ｃ、２０４ｄの
それぞれの中心点を表している。

【００３６】一方、図７は図２に示す撮像部のうち撮影
レンズ２０２と撮像素子２０４の受光面をのみを太線で
表示した光学系の断面図である。図中、中心線Ｌｏは中
心点Ｓｏを通過し撮像素子２０４の受光面に直交する線
で、いまこの中心線Ｌｏ上にあり距離ｄだけ隔てられた
点光源Ｋについて考えてみる。点光源Ｋを発し撮像レン
ズ２０２のレンズ部２０２ａ、２０２ｃを通過する光線
のうち主光線をＬａ、Ｌｃとし撮像素子２０４の受光面
との交点をＫａ、Ｋｃとする。なお、レンズ部２０２
ｂ、２０２ｄについては表示されないが、対称形である
ため同様に考えればよく、説明は省略する。そして、図
６において、点光源Ｋに関する各レンズ部２０２ａ、２
０２ｂ、２０２ｃ、２０２ｄの主光線と撮像素子２０４
の交点がＫａ、Ｋｂ、Ｋｃ、Ｋｄとして示されている。
したがって、距離ｄに位置する被写体を撮影した場合に
撮像素子２０４上に形成される４つの光学像を図６にお
いて２０７ａ、２０７ｂ、２０７ｃ、２０７ｄとする
と、これらの光学像は点Ｋａ、Ｋｂ、Ｋｃ、Ｋｄを中心
にそれぞれ形成されていることとなる。

【００３７】このとき点Ｋａ、Ｋｂ、Ｋｃ、Ｋｄは点Ｓ
ａ、Ｓｂ、Ｓｃ、Ｓｄから中心点Ｓｏに向かって１／４
画素ずれるようように設定されている。すなわち、それ
ぞれの撮像領域２０４ａ、２０４ｂ、２０４ｃ、２０４
ｄは互いに１／２画素ずれた光学像を受光していること
になり、画素ずらしに他ならない。そして、光学像２０
７ａ、２０７ｂ、２０７ｃ、２０７ｄを点Ｓａ、Ｓｂ、
Ｓｃ、Ｓｄが重なるように合成すると、画素ずらしによ
る高解像な画像を得ることができる。さらに、前述した
ようなカラーフィルターを設けることにより、合成され
る画像はカラー画像に最適な公知のベイヤー配列画像と
なる。以上が本実施例における画素ずらしの構成であ
る。

【００３８】ところで、図７に示すように、点光源Ｋ
（被写体）の距離ｄが変化し点光源Ｋｘに移動した場合
を考えると、レンズ部２０２ａ、２０２ｃの主光線は図
中点線のように変化し、主光線と撮像素子２０４の受光
面との交点Ｋａ、Ｋｃも点Ｋｘａ、Ｋｘｃの位置へと移
動する。すなわち、これは被写体の距離によっては光学
像の位置が変化する、すなわち、１／２画素ずらしが成
立する状態における撮像領域２０２ａ、２０２ｃで受光
される光学像に対し、このような場合の光学像はずれが
生じていることを示している。そして、本実施形態では
このずれ具合を画像ずれ量と呼んでいる。例えば、１／
２画素ずらしにおける画像ずれ量の絶対値は０．５［ｐ
ｉｘｅｌ］である。

【００３９】では、次に本実施形態における被写体距離
と視差の関係について説明する。

【００４０】図７において、今説明したように点光源Ｋ
が撮像レンズ２０２側に移動すると点Ｋａ、Ｋｃの間隔
は広がる、すなわち画像ずれ量は大きくなる。一方、点
光源Ｋが撮像レンズ２０２から遠ざかる方向へ移動する
と、点Ｋａ、Ｋｃの間隔は狭まる、すなわち画像ずれ量
は小さくなる。そこで、この距離による画像ずれ量の変
化量と画素ピッチを便宜設定し、撮影画面内の複数の位
置における画像ずれ量を検出することで、容易に被写体
と背景の分離を行うことができる。

【００４１】それでは、本実施形態における画像ずれ量
を実際に計算してみる。図７において、中心線Ｌｏ上の
任意の位置における点光源をＫｘとし、そのときの受光
面からの距離をｄｘとする。また、図のようにａ、ｃ、
ｘａ、ｘｃを定め、レンズ部２０２ａ、２０２ｃの間隔
をｌ、撮像レンズ２０２と撮像素子２０４の受光面間の
距離をｆとする。このとき、”ｘａ＋ｘｃ”が距離ｄに
おける画像ずれ量を基準としたときの距離ｄｘにおける
画像ずれ量を表し、これを算出する。そして、三角形の
相似条件から、以下の式（１）、（２）が成立する。ｄｘ−ｆ：ｌ＝ｆ：ａ＋ｃ＋ｘａ＋ｘｃ（１）ｄ−ｆ：ｌ＝ｆ：ａ＋ｃ（２）

【００４２】いま、撮像レンズ２０２のレンズ部２０２
ａは緑色のカラーフィルター、レンズ部２０２ｃは赤色
のカラーフィルターであるため、波長による視差変化敏
感度の違いはあるが、その違いはごくわずかであるため
無視して考えると、ａとｃ、ｘａとｘｃはそれぞれ等し
い。そこで、ａ、ｃ、ｘａ、ｘｃを次のように定める。ａ＝ｃ＝Ｐ／２，ｘａ＝ｘｃ＝Ｘ／２（３）上記式（３）を式（１）、（２）に代入し、Ｘについて
解くと任意の距離ｄｘにおける画像ずれ量Ｘ（すなわ
ち”ｘａ＋ｘｃ”の値）が算出され、以下の式（４）と
なる。Ｘ＝ｌｆ／（ｄｘ−ｆ）−ｌｆ／（ｄ−ｆ）（４）そして、撮像素子２０４の画素ピッチをＳｐとし、上記
画像ずれ量ＸをＳｐで割ると、画素単位の画像ずれ量を
算出することができる。

【００４３】それでは、上記（４）式をもとに、各パラ
メータの値を設定して画像ずれ量と距離の関係を求めて
みる。以下の式（５）が本実施形態に用いた各パラメー
タの値である。ｆ＝１．４５ｍｍ，Ｓｐ＝３．９μｍｄ＝２３８０ｍｍ，ｌ＝１．４０１２ｍｍ（５）ここで、上記ｄは１／２画素ずらしが成立するときの距
離で、撮像レンズ２０２の画角と想定被写体の大きさか
ら決定した。

【００４４】図８は式（４）、（５）をもとに画像ずれ
量と距離の関係を算出したグラフである。横軸は被写体
までの距離、縦軸はその距離における画像ずれ量を示
し、その単位は画素［ｐｉｘｅｌ］である。そして、曲
線２０８が上記式（４）、（５）より算出された画像ず
れ量を表している。ここでは、距離ｄにおける画像ずれ
量を基準とした相対的な視差量を算出しているので、距
離２３８０［ｍｍ］付近で画像ずれ量は０となっている
が、実際この距離での絶対量としての画像ずれ量は１／
２画素ずらし効果により−０．５画素である。

【００４５】そして、曲線２０８より、０〜１０００ｍ
ｍの範囲では画像ずれ量の変化は大きく、１０００ｍｍ
以降では、画像ずれ量の変化は小さい。そこで、０〜１
０００ｍｍの範囲の点２０９に主被写体があり、１００
０ｍｍ以降の点２１０に背景があると仮定すると、撮影
画面内の複数の画像ずれ量を各々検出し、その差Ｘ１を
判別することができれば、主被写体と背景の分離を容易
に行うことができる。

【００４６】ところで、無限遠距離における画像ずれ量
は式（４）のｄｘを無限大にした場合の値となり、式
（５）のパラーメータを使用して算出すると、−０．２
１９［ｐｉｘｅｌ］となり、この程度の画像ずれ量であ
れば、画素ずらしによる画質の低下もほとんどない。

【００４７】なお、上記画像ずれ量の変化は、レンズ部
２０２ａ、２０２ｃに着目して説明したが、各レンズ部
の間隔は等しく設定されているので、レンズ部２０２ａ
と２０２ｂ、レンズ部２０２ｂと２０２ｄ、レンズ部２
０２ｃと２０２ｄにおいても同様に画像ずれ量は変化す
る。さらには、対角方向のレンズ部２０２ａと２０２
ｄ、２０２ｂと２０２ｃについても敏感度は√２倍にな
るが、画素ピッチも√２倍となるため、画像ずれ量の変
化は図８と同様である。

【００４８】では、次に上記のような撮像部より得られ
る画像を用いた画像処理方法について説明する。図１に
おいて、画像処理のおおまかな流れは説明したので、こ
こでは、より具体的な処理方法について説明する。

【００４９】図９は、前述した撮像部より得られた４枚
の視差画像を示しており、画像２１１ａ、２１１ｂ、２
１１ｃ、２１１ｄが図６に示す撮像素子２０４上の光学
像２０７ａ、２０７ｂ、２０７ｃ、２０７ｄにそれぞれ
対応している。すなわち、画像２１１ａ、２１１ｄが緑
色カラーフィルター、画像２１１ｂが青色カラーフィル
ター、画像２１１ｃが赤色カラーフィルターによる画像
となる。なお、実際の画像は撮像レンズ２０２より天地
左右反転した画像が得られるが、ここでは、説明を理解
しやすくするために正立画像としている。そして、ここ
では緑色カラーフィルターによる一対の画像２１１ａ、
２１１ｄを使用して視差量を算出する。これは、異なる
波長同士で演算を行うより精度が高くなるのはもちろん
のこと、ＲＧＢの中で緑色がもっとも空間解像度が高
く、演算の精度を向上させることができるからである。
また、本実施形態の画像処理においては、加工処理を施
していない非圧縮の生画像データ（撮像素子２０４の量
子化画像信号）を使用する。こうすることで、圧縮され
たカラー画像データから逆算して画像ずれ量を算出する
場合と比較して、画像ずれ量算出の精度を上げることが
できるとともに、処理時間も短縮できる。

【００５０】図１０は図１のフローチャートを詳細に示
したフローチャートである。これらのフローチャートを
用いて詳細な流れを説明する。図中、点線で囲む３１１
は図１の１０７に対応している。したがって、３１１で
は、第１の画像処理３１２（図１のステップＳ１０４に
対応する）と、第２の画像処理３１３（図１のステップ
Ｓ１０５に対応する）の少なくとも異なる２つの画像処
理を行っている。

【００５１】まず、ステップＳ３０１において、撮像部
２０１で撮影された視差を有する４つの画像を入力し、
画像を画素単位の複数の領域に分割する。図１１はこの
領域分割を説明するための図で、図示するように緑色カ
ラーフィルターによる画像２１１ａ、２１１ｄを領域に
分割する。ここで、１つの領域における画素数は、小さ
ければ小さいほど主被写体を分離した際に、背景との境
界線を滑らかにすることができる。しかしながら、あま
り小さすぎると後述する画像ずれ量算出における相関演
算が成立しなくなるため、１つの領域における画素数は
５×５［ｐｉｘｅｌ］以上の矩形状が望ましい。本実施
形態においては、１０×１０［ｐｉｘｅｌ］の正方形状
とした。

【００５２】次に、ステップＳ３０２では、公知の相関
演算を用いて各領域における画像ずれ量を算出する。例
えば、図１１において画像２１１ａの領域２１２ａに着
目すると、この領域２１２ａ対応した画像２１１ｄの領
域２１２ｄの画像データを用いて１つの画像ずれ量が算
出される。ここで、画像２１１ａ、２１２ｂは、図６の
光学像２０７ａ、２０７ｄに対応しており、図４のレン
ズ部２０２ａ、２０２ｄによって形成される。したがっ
て、距離による光学像の移動方向は矢印２１３で示す方
向で、画像ずれ量の変化もこの矢印方向に変化する。そ
して、前述したように各レンズ部の間隔は等しく設定さ
れているので、画像ずれ量の変化が生じる矢印２１３は
ちょうど斜め４５度に傾いていることとなる。この矢印
２１３方向における画像ずれ量を検出するには垂直方向
と水平方向の視差量を算出し、その合成ベクトルから算
出することもできるが、本実施形態では算出演算の負荷
を低減するために、矢印２１３方向の画像ずれ量を相関
演算により直接算出する。

【００５３】次に、ステップＳ３０３では、算出された
全領域における画像ずれ量をもとに画像ずれ量分布を作
成する。ここでは、画像ずれ量を２つに区分する。図８
より主被写体が１０００［ｍｍ］以内に存在すると仮定
すると、そのときの視差量は約０．３［ｐｉｘｅｌ］以
上である。したがって、ここでは画像ずれ量が０．３
［ｐｉｘｅｌ］以上か未満かで判別する。

【００５４】図１２は領域に分割された画像２１１ａ若
しくは２１１ｄにおいて、視覚的に画像ずれ量の分布を
示す図である。この分布図において黒色で塗り潰された
領域が画像ずれ量０．３［ｐｉｘｌｅ］以上を、白色の
領域が画像ずれ量０．３［ｐｉｘｌｅ］未満を示してい
る。この図から画像２１１ａ若しくは２１１ｄにおいて
主被写体のみを分離できていることが分かる。なお、図
中灰色で塗り潰されている領域は画像ずれ量算出エラー
が発生した領域で、背景の空などローコントラストな部
分で生じやすい。

【００５５】次に、ステップＳ３０４では、図１２にお
いて黒色で塗り潰された領域、すなわち主被写体におけ
る代表的な画像ずれ量を１つ算出する。具体的には、黒
色で塗り潰された複数領域の画像ずれ量から平均値を算
出し、この値を主被写体における代表画像ずれ量として
記憶しておく。

【００５６】次に、ステップＳ３０５では、各領域にお
いて画像ずれ量が算出されたか否か、すなわち算出エラ
ーか否かを判別する。そして、算出エラーである領域
（図１２において灰色の領域）の場合、ステップＳ３１
０へ進む。一方、算出エラーでない領域の場合ステップ
Ｓ３０６へ進む。

【００５７】次にステップＳ３０６では、算出エラーが
生じていない領域において、各領域が主被写体であるか
否かを判別する。主被写体であると判別された領域（図
１２において黒色の領域）の場合、ステップＳ３０７以
降のずれ補正画像処理へ進み、主被写体でないと判別さ
れた領域（図１２において白色の領域）、すなわち背景
と判別された領域の場合ステップＳ３０８のぼかしフィ
ルター処理へ進む。

【００５８】ステップＳ３０７、３０９では、主被写体
において画像ずれによる画像合成時の画質低下を低減す
るように画像ずれを所定量に戻すずれ補正画像処理を行
う。

【００５９】まず、ステップＳ３０７では、画像合成時
の色ズレなどの画質低下要因がほぼ無くなるような画像
ずれ戻し量を算出する。先ほど、ステップＳ３０４で主
被写体の代表画像ずれ量を算出したので、この代表画像
ずれ量をＸａｖｇとすると画像ずれ戻し量Ｘｃｍｐは以
下の式（６）によって算出される。Ｘｃｍｐ＝｛Ｘａｖｇ−（−０．５）｝／２（６）ここで、上記（６）式の０．５は画素ずらし時の画像ず
れ量を基準とするためである。また、この画像ずれ戻し
量Ｘｃｍｐは四捨五入して画素単位の整数としておく。
こうすることで、後の処理を容易にすることが可能とな
る。

【００６０】次に、ステップＳ３０９では、ステップＳ
３０８で算出された画像ずれ戻し量をもとに、画像デー
タの置き替えを行う。図１３はこれを説明するための図
で、図６に示す撮像素子２０４のうち中心点Ｓｏと撮像
領域２０４ａの中心点Ｓａ付近を拡大している。いま、
１つの領域２１４に着目して考えてみる。式（６）によ
り画像ずれ戻し量として１．０［ｐｉｘｌｅ］という値
が算出されたとする。主被写体は近距離側に存在するの
で、撮像領域２０４ａ上に形成される光学像は中心点Ｓ
ｏに対して外側に移動している。したがって、領域２１
４より中心点に向かって１画素内側の図中点線で示す領
域における画像データを領域２１４の画像データとして
置き換えれば、画像のずれを戻すことができる。なお、
その他の撮像領域２０４ｂ、２０４ｃ、２０４ｄにおい
ても同様に中心点Ｓｏに向かって１画素内側の画像デー
タと置き換えることで、画像のずれを戻すことができ
る。そして、主被写体と判別された全領域において上記
ずれ戻し処理を施す。

【００６１】このように、ステップＳ３０７で画像戻し
量を画素単位の整数として算出しておけば、ステップＳ
３０９における画像データの置き換えにおいて、領域を
シフトさせるだけでよい。なお、画像戻し量を小数点以
下を含む値で算出し、実際画素が存在しない位置での画
像データを周囲の画像データから補間演算を用いて算出
し、置き換えを行うようにしてもよい。そうすること
で、画素ずらしの効果も最大限に発揮できる。しかしな
がら、本実施形態では、画像ずれ戻し量を整数化した場
合に生じる適正画像ずれ量からの補正残り量の最大値は
０．５［ｐｉｘｅｌ］であり、この程度であれば色ズレ
として画像にほとんど影響がないことと、処理の高速化
を考慮して上記のような構成とした。

【００６２】以上がステップＳ３０７、Ｓ３０９におけ
るずれ補正画像処理である。

【００６３】一方、ステップＳ３０８では、撮影画面中
主被写体以外と判別された領域、すなわち背景部分に対
してぼかしフィルター処理を施す。図１４はぼかしフィ
ルター処理で使用される９×９のフィルターマトッリク
スを示し、このマトリックスを画像の各画素に畳み込む
ことによってボケを付加する。（ａ）で示すマトリック
スは大きいボケ、（ｂ）で示すマトリックスは小さいボ
ケをそれぞれ示している。なお、これらのマトッリクス
は撮像レンズの点像分布関数（ＰｏｉｎｔＳｐｒｅａ
ｄＦｕｎｃｉｔｏｎ）をもとにあらかじめ算出されて
いる。そして、例えば撮像光学系のＦナンバーがＦ５．
６であると仮定すると、（ａ）がＦ２．８相当、（ｂ）
がＦ４．０相当に設定されており、いずれも撮像光学系
で実現できないボケ味を付加できるよう考慮されてい
る。

【００６４】そして、主被写体以外と判別されたの領域
のうちｉ行ｊ列目の画素の画像データをＩ（ｉ，ｊ）と
し、図１４のマトリックスの行方向をｋ、列方向をｌと
し、図中に示すような−４〜４までの行列番号をもちい
てｋ行ｌ列目のマトリックスの値をＦｉｌ（ｋ，ｌ）と
すれば、ボケ付加後の画像データＩ（Ｉ，Ｊ）は以下の
式（７）によって表される。

【００６５】

【数１】

【００６６】このような計算を、図１２において白色で
示す領域の全画素に対して繰り返し行うことにより背景
画像を効果的にぼかすことができる。さらに、画像２１
１ｂフみならず、その他の画像２１１ｂ、２１１ｃ、２
１１ｄにおいても同様な処理を行う。

【００６７】なお、ここではフィルターマトリックスを
２種類用意してあるので、撮影者の好みに応じて切り替
えることができる。また、上記一例では背景に対して１
種類のフィルターでぼかしフィルター処理を行ったが、
図１２の画像ずれ量分布図における背景をその画像ずれ
量に応じて細分化し、その画像ずれ量から推定される距
離に応じた多数のフィルターマトッリクスでぼかしフィ
ルター処理を加えることもできる。そのときには、前記
式（５）の各パラメータを変更し、ある程度はなれた位
置においても距離による画像ずれ量の変化量を大きくし
ておけば、背景を画像ずれ量に応じて容易に細分化する
ことができる。さらには、画像ずれ量に応じて逐一フィ
ルターマトリックスを算出するようにしてもよい。しか
しながら、本実施形態では処理の高速化を考慮して背景
には１種類のぼかしのみを施す構成とした。したがっ
て、ポートレート写真などの主被写体と背景の距離が大
きい画像に対してより効果が発揮できる。

【００６８】最後にステップＳ３１０では、画像２１１
ａ、２１１ｂ、２１１ｃ、２１１ｄを用いて合成画像を
作成する。ここでは、画素ずらしによるベイヤー配列相
当の画像を作成する。図１５は一般的なベイヤー配列に
おけるカラーフィルター配列の一部を示す図で、図中Ｒ
が赤色、Ｇが緑色、Ｂが青色のカラーフィルターをそれ
ぞれ示している。そして、ＲＧＧＢと４画素一組の繰り
返し構造となっている。本実施形態では、画素ずらしに
よるベイヤー配列なので、画像２１１ａを基準に考える
と、画像２１１ａの各画素間に画像２１１ｂ、２１１
ｃ、２１１ｄの画像データを埋め込むことでベイヤー配
列の画像ができる。したがって、画像２１１ａ、２１１
ｂ、２１１ｃ、２１１ｄの画像データを並び替えるだけ
で、ベイヤー配列の合成画像を作成することができる。

【００６９】以上が本実施形態における画像処理方法で
ある。

【００７０】なお、図１０のフローチャートにおいて、
画像ずれ量算出不能である領域においては、何の画像処
理も行わずにステップＳ３１０の画像合成処理へ進ん
だ。しかしながら、このような算出不能である領域は低
コントラストである場合がほとんどで、このような領域
の画像に対しては、特別な処理を行わなくても画質上問
題ない。例えば、主被写体の一部の領域が算出不能であ
ると仮定する。主被写体においては、画像合成時の色ズ
レを防ぐためにずれ補正画像処理を行うわけだが、低コ
ントラストであるためこの処理を行わなくても色ズレは
ほとんど目立たない。また、背景の一部の領域が算出不
能である場合についても、この領域は低コントラストで
あるため、ぼかし処理をする必要がない。なぜならば、
その他の背景にはぼかし画像処理をおこなうわけで、ぼ
かしとは画像を低コントラスト化するということに等し
いからである。逆に、このような算出不能な領域を何ら
かの手段で主被写体と背景に分離した場合、もし分離が
間違うと正反対の画像処理を行うこととなり、画像とし
ての価値もなくなるほど不自然で低画質な画像となって
しまう。

【００７１】以上のような観点から、本実施形態では画
像ずれ量が算出不能である領域については、処理を行わ
ないようにした。こうすることで、処理のアルゴリズム
を簡略化でき、高速化を図ることができる。また、特に
モバイル機器などに搭載されるような画素数が少なく、
単純な撮像光学系で構成され、比較的低解像な撮像部を
備えた機器においては、算出不能により画像処理を行わ
なかった部分と画像処理を行った部分との差異はほとん
ど目立たない。したがって、本実施形態はこのような撮
像部を備えた機器により好適であると言える。なお、公
知のグルーピング化などの処理を用いて、主被写体と背
景を完全に分離し、算出不能領域においても何らかの画
像処理を行うようにしてもよい。

【００７２】以上が第１の実施形態における画像処理方
法である。このように、視差を有する画像をもとに画像
ずれ量を算出し、主被写体にはずれ補正画像処理を行う
ことで高画質な画像を生成し、背景にはぼかし画像処理
を行うことで効果的なボケを付加でき、高画質であると
ともに自然なボケ味のある画像を得ることができる。さ
らには、画像ずれ量が算出不能な領域が画像内にあって
も画質を著しく低下させることもない。

【００７３】（第２の実施形態）第２の実施形態は第１
の実施形態における撮像部と画像処理部を一体的に備え
た画像処理装置に関するものである。なお、第１の実施
形態と同様の符号を付してある部分は、第１の実施形態
と同様である。

【００７４】図１６は本実施形態の画像処理装置の斜視
図で、画像処理装置としてデジタルカメラを用いてい
る。図中、２１５は撮影釦で撮影者がこの釦を押下する
ことにより撮影動作が実行される。２１６は光学ファイ
ンダ、２１７はストロボ、２１８は平行平板ガラスによ
り保護された撮影部で、内部には第１の実施形態で説明
した撮像部２０１が設けられている。なお、撮像部の構
成は第１の実施形態と同様であるため説明は省略する。
また、２１９は各種撮影モードの設定を行う撮影モード
設定部材である。一方、２２０は外部記憶媒体挿入部
で、蓋２２１により開閉自在となっている。そして、こ
の外部記憶媒体挿入部２２０に外部記憶媒体２２２を挿
入することで、撮影された画像が保存可能な構成となっ
ている。

【００７５】図１７は、図１６の画像処理装置における
電気系のブロック図である。画像処理装置は、撮像レン
ズ２０２、撮像素子２０４からなる撮像部を備え、撮像
素子２０４はＴＧ（タイミング発生）部４０２のクロッ
ク信号を受け、Ａ／Ｄ変換部４０１へアナログ画像信号
を送る。また、Ａ／Ｄ変換部４０１ではアナログ画像信
号をデジタル画像信号に変換し、このデジタル画像信号
がデジタル信号処理部４０３に送られる。さらに、デジ
タル信号処理部４０３は、中央制御部４０４、ＩＦ（イ
ンターフェース）部４０５と接続され、ここでは、ＡＥ
（ＡｕｔｏＥｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ
ＷｈｉｔｅＢａｌａｎｃｅ）、ガンマ補正、画像圧縮
などの公知の画像処理が行われる。

【００７６】ＩＦ部４０５は、外部記憶媒体などと接続
可能で、図１６の外部記憶媒体２２２と接続すること
で、撮影された画像データを格納することができる。

【００７７】中央制御部４０４は、各種演算を行うＣＰ
Ｕ（中央演算処理部）４０６、各種動作プログラムが格
納されたＲＯＭ４０７、一時的にデジタル画像信号を保
持するＲＡＭ４０８が設けられている。また、中央制御
部４０４は、ＴＧ部４０２、デジタル信号処理部４０３
の各種制御も行う。さらに、中央制御部４０４には、図
１６の撮影釦２１５、撮影モード設定部材２１９に対応
した、撮影スイッチ４０９、撮影モード設定スイッチ４
１０が接続されている。そして、本実施形態において
は、この撮影モード設定スイッチ４１０を接点４１１に
接続することで、図１４（ａ）のフィルターマトリック
スによる第１の実施形態の画像処理（図１０のフローチ
ャート）が実行され、接点４１２に接続することで図１
４（ｂ）のフィルターマトリックスによる第１の実施形
態の画像処理（図１０のフローチャート）が実行される
ようになっている。ここで、このような処理が実行され
る撮影モードを以後デジタルポートレートモードと呼ぶ
こととする。そして、他の接点に接続されている場合
は、オート撮影、マクロ、夜景などの撮影モードが選
択、実行される。

【００７８】以上がデジタルカメラを例とした第２の実
施形態における画像処理装置の構成である。では、次に
図１８のフローチャートを用いて本実施形態の画像処理
に関する実際の動作について説明する。

【００７９】図１８は本実施形態の画像処理に関するデ
ジタルカメラの動作を示すフローチャートである。この
フローチャートはプログラムとして中央制御部４０４の
ＲＯＭ４０７に格納されている。

【００８０】まず、ステップＳ５０１では、撮像釦２１
５の押下によりデジタル信号処理部４０３においてＡ
Ｅ、ＡＷＢなどの露出演算が実行され、この演算値をも
とにＴＧ部４０２のクロック信号を発生することで、撮
像素子２０４における電荷蓄積が行われ、アナログ画像
信号が読み出される。そして、ステップＳ５０２へ進
む。

【００８１】次に、ステップＳ５０２では、Ａ／Ｄ変換
部４０１においてアナログ画像信号を量子化されたデジ
タル画像信号に変換する。

【００８２】次に、ステップＳ５０３では、撮影モード
設定スイッチ４１０がデジタルポートレートモードに設
定されているか否かを判別する。そして、デジタルポー
トレートモードが選択されている場合、図１４（ａ）若
しくは（ｂ）のうち対応するフィルターマトリックスを
選択し、ステップＳ５０４へ進む。一方、選択されてい
ない場合、ステップＳ５０４を飛び越してステップＳ５
０５へ進む。

【００８３】ステップＳ５０４のデジタルポートレート
画像処理においては、第１の実施形態の図１０における
フローチャートが実行される。すなわち、画像の主被写
体と背景の分離が行われ、主被写体にはずれ補正画像処
理、背景にはぼかし画像処理が行われる。

【００８４】次に、ステップＳ５０５のデジタル信号処
理では、デジタル信号処理部４０３にて色処理、ガンマ
補正など公知の画像処理を行い、画像圧縮処理を経て最
終的に保存する画像を生成する。

【００８５】最後に、ステップＳ５０６の画像データ書
き込みでは、ＩＦ部４０５を介して外部記憶媒体に保存
用の画像を格納する。

【００８６】以上が、デジタルカメラにおける処理動作
である。なお、上記説明において、ステップＳ５０４の
デジタルポートレート画像処理は、ステップＳ５０５の
デジタル信号処理部４０３におけるデジタル信号処理を
おこなう前のデジタル画像信号、すなわちＡ／Ｄ変換直
後の生のデジタル画像信号を用いるようにした。これ
は、第１の実施形態でも説明したように生のデジタル画
像信号を用いた方が高精度に画像ずれ量を検出できるか
らである。なお、上記順序を逆にしてもよい。さらに
は、ステップＳ５０５のデジタル信号処理を施したデジ
タル画像信号から生のデジタル画像信号を逆算して算出
してもよいが、本実施形態においては、画像圧縮処理を
不可逆処理としているため上記のような順序としてい
る。

【００８７】以上のように、第１の実施形態で説明した
画像処理方法をデジタルカメラに適用した例について説
明してきた。

【００８８】なお、本実施形態においては、デジタルポ
ートレート画像処理をデジタルカャ遠熾狽ナ行うように
した。しかし、処理速度を向上させるために、デジタル
ポートレートモードが選択された際にはデジタルカメラ
内部ではこの画像処理を行わず、通常のデジタル画像処
理だけを行い、画像の付加情報としてデジタルポートレ
ートモードが選択されたことを格納しておき、画像をＰ
Ｃなど高速なＣＰＵを持つ機器のアプリケーション上で
画像処理するようにしても良い。しかしながら、本実施
形態では、図１６のデジタルカメラ背面に備えられた液
晶（不図示）で撮影済みの画像を確認するために内部で
処理を行うようにした。

【００８９】なお、本発明はデジタルカメラだけにとら
われず、デジタルビデオカメラ、スキャナーなどその他
の画像処理装置にも応用可能である。

【００９０】また、以上の各実施形態において、ボケを
付加する画像の領域は、複数の画像を合成するようにし
ても、１枚の画像だけを使用するようにしても、本発明
は適用できるものである。

【００９１】（他の実施形態）また、各実施形態の目的
は、前述した実施形態の機能を実現するソフトウェアの
プログラムコードを記録した記憶媒体（または記録媒
体）を、システムあるいは装置に供給し、そのシステム
あるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）
が記憶媒体に格納されたプログラムコードを読み出し実
行することによっても、達成されることは言うまでもな
い。この場合、記憶媒体から読み出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読み出し
たプログラムコードを実行することにより、前述した実
施形態の機能が実現されるだけでなく、そのプログラム
コードの指示に基づき、コンピュータ上で稼働している
オペレーティングシステム（ＯＳ）などが実際の処理の
一部または全部を行い、その処理によって前述した実施
形態の機能が実現される場合も含まれることは言うまで
もない。

【００９２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるＣＰＵなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００９３】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図１及び図１０及び図
１８に示す）フローチャートに対応するプログラムコー
ドが格納されることになる。

【００９４】

【発明の効果】以上説明したように、本発明によれば、
口径の小さい撮像レンズを有する撮像部により撮影され
た複数の視差を有する画像から、大口径の撮像レンズで
撮影したかのようなボケ味を持つ画像を得ることができ
る。

【００９５】また、複数の視差を有する画像に画素ずら
しを適用することで、より高精細な画像を生成できる。

【００９６】さらに、視差が算出不能な領域において
は、特別な画像処理を行わないように構成したので、画
質を損なうこともない。

【図面の簡単な説明】

【図１】本発明の実施形態に係わる画像処理方法の概念
を示す図である。

【図２】視差を有する複数の画像を撮影する撮像部の側
面図である。

【図３】撮像レンズを入射面側から見た図である。

【図４】撮像レンズを射出面側から見た図である。

【図５】撮像素子を入射面側から見た図である。

【図６】撮像素子を入射面側から見た図で、画素ずらし
を説明するための図である。

【図７】撮像部における光学系の断面図で、画像ずれ量
の変化を説明するための図である。

【図８】本発明の実施形態における画像ずれ量と距離の
関係を示すグラフである。

【図９】撮像部より得られた４枚の視差を有する画像を
示す図である。

【図１０】図１をより詳細に示す画像処理方法のフロー
チャートである。

【図１１】撮像部より得られた４枚の視差を有する画像
で、領域分割を説明するための図である。

【図１２】領域に分割された画像において、視覚的に画
像ずれ量の分布を示す図である。

【図１３】撮像素子の中央付近を拡大した部分拡大図
で、画像データの置き換えを説明するための図である。

【図１４】ぼかしフィルター処理で使用される２種類の
フィルターマトリックスを示す図である。

【図１５】ベイヤー配列におけるカラーフィルター配列
の一部を示す図である。

【図１６】第２の実施形態における画像処理装置（デジ
タルカメラ）の斜視図である。

【図１７】画像処理装置（デジタルカメラ）における電
気系のブロック図である。

【図１８】画像処理装置（デジタルカメラ）の動作を示
すフローチャートである。

【図１９】従来例における画像処理の概念を示す図であ
る。

【符号の説明】

２０１撮像部２０２撮像レンズ２０４撮像素子２０５絞り２０６カラーフィルター２０７光学像２１５撮影釦２１９撮影モード選択部材２２２外部記憶媒体

Claims

【特許請求の範囲】

【請求項１】入力された視差を有する複数の画像内の
複数の領域における画像ずれ量を算出する画像ずれ量算
出手段と、該画像ずれ量算出手段により算出された前記
画像ずれ量に応じて前記複数の領域の画像に対して少な
くとも異なる２つの画像処理を切り替えて行う画像処理
手段とを有することを特徴とする画像処理装置。
【請求項２】前記２つの画像処理とは、前記画像ずれ
量が所定量になるように画像を補正する第１の画像処理
と、前記画像のボケ具合とは異なるボケを付加する第２
の画像処理であることを特徴とする請求項１に記載の画
像処理装置。
【請求項３】入力された視差を有する複数の画像内の
複数の領域における画像ずれ量を算出し、算出された前
記画像ずれ量に応じて前記複数の領域の画像に対して少
なくとも異なる２つの画像処理を切り替えて行うことを
特徴とする画像処理方法。
【請求項４】前記２つの画像処理とは、前記画像ずれ
量が所定量になるように画像を補正する第１の画像処理
と、前記画像のボケ具合とは異なるボケを付加する第２
の画像処理であることを特徴とする請求項３に記載の画
像処理方法。
【請求項５】請求項３または４に記載の画像処理方法
をコンピュータに実行させるための制御プログラム。
【請求項６】請求項５に記載の制御プログラムを記録
したことを特徴とする記録媒体。
【請求項７】入力された視差を有する複数の画像内の
複数の領域における画像ずれ量を算出する画像ずれ量算
出手段と、該画像ずれ量算出手段により算出された前記
画像ずれ量に応じて前記複数の領域の画像に対してボケ
を付加する画像処理を行うぼかし画像処理手段と、前記
画像ずれ量が算出不能である領域の画像に対してはボケ
を付加する画像処理を禁止する制御手段とを有すること
を特徴とする画像処理装置。
【請求項８】入力された視差を有する複数の画像内の
複数の領域における画像ずれ量を算出し、算出された前
記画像ずれ量に応じて前記複数の領域の画像に対してボ
ケを付加するぼかし画像処理を行う画像処理方法であっ
て、前記画像ずれ量が算出不能である領域の画像に対し
てはボケを付加する画像処理を禁止することを特徴とす
る画像処理方法。
【請求項９】請求項８に記載の画像処理方法をコンピ
ュータに実行させるための制御プログラム。
【請求項１０】請求項９に記載の制御プログラムを記
録したことを特徴とする記録媒体。
【請求項１１】第１の画像と、該第１の画像に対して
視差を有する第２の画像を入力する入力手段と、前記入
力手段により入力された前記第１、第２の画像の対応す
る第１の領域と該第１の領域とは異なる第２の領域に対
して異なる画像処理を施して、前記第１の画像と第２の
画像を合成処理する画像処理手段とを有することを特徴
とする画像処理装置。
【請求項１２】前記画像処理手段は、前記第１、第２
の画像の前記第１の領域における前記視差による画像の
ずれを補正して前記第１の画像と第２の画像を合成処理
することを特徴とする請求項１１に記載の画像処理装
置。
【請求項１３】前記画像処理手段は、前記第１、第２
の画像を合成処理する際に、前記第２の領域に対して所
定のボケを付加することを特徴とする請求項１１または
１２に記載の画像処理装置。
【請求項１４】前記画像処理手段は、前記第２の領域
における前記第１、第２の画像の前記視差による画像の
ずれ量が所定検出レベル以下の場合には、前記所定のボ
ケの付加を行わないことを特徴とする請求項１３に記載
の画像処理装置。
【請求項１５】前記画像処理手段は、前記第１、第２
の画像の前記視差による画像のずれ量に基づいて前記第
１の領域と前記第２の領域を決定することを特徴とする
請求項１１〜１４のいずれかの請求項に記載の画像処理
装置。
【請求項１６】前記画像処理装置は、撮像装置である
ことを特徴とする請求項１１〜１５のいずれかの請求項
に記載の画像処理装置。
【請求項１７】前記画像処理装置は、カメラであるこ
とを特徴とする請求項１１〜１５のいずれかの請求項に
記載の画像処理装置。
【請求項１８】第１の画像と、該第１の画像に対して
視差を有する第２の画像を入力する入力手段と、前記第
１、第２の画像の前記視差による画像のずれ量に基づい
て少なくとも第１の画像に所定のボケを付加すると共
に、前記第１、第２の画像の前記視差による画像のずれ
量が所定検出レベル以下の場合には、前記所定のボケの
付加を行わないことを特徴とする画像処理装置。
【請求項１９】前記画像処理装置は、撮像装置である
ことを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】前記画像処理装置は、カメラであるこ
とを特徴とする請求項１８に記載の画像処理装置。
【請求項２１】第１の画像と、該第１の画像に対して
視差を有する第２の画像を入力すると共に、前記入力さ
れた第１、第２の画像の対応する第１の領域と該第１の
領域とは異なる第２の領域に対して異なる画像処理を施
して、前記第１の画像と第２の画像を合成処理すること
を特徴とする画像処理方法。
【請求項２２】第１の画像と、該第１の画像に対して
視差を有する第２の画像を入力し、前記第１、第２の画
像の前記視差による画像のずれ量に基づいて少なくとも
第１の画像に所定のボケを付加すると共に、前記第１、
第２の画像の前記視差による画像のずれ量が所定検出レ
ベル以下の場合には、前記所定のボケの付加を行わない
ことを特徴とする画像処理方法。
【請求項２３】請求項２１または２２に記載の画像処
理方法をコンピュータに実行させるための制御プログラ
ム。
【請求項２４】請求項２３に記載の制御プログラムを
記録したことを特徴とする記録媒体。