JP2011211329A - 撮像装置およびその制御方法，ならびに画像処理装置，その制御方法，および画像処理プログラム - Google Patents

Abstract

【課題】撮影者の意図を反映しつつ，色滲みが除去された画像を得ることができるようにする。
【解決手段】同一被写体が２回撮像され，撮影者による設定にしたがう撮影条件の下で得られる画像Ａと，撮影者の設定とは異なる色滲み除去に適した撮影条件の下で得られる画像Ｂが得られる。画像Ａと画像Ｂの位置が合わせられ，画像Ａ中の色滲み領域（ＰＦ領域）が，画像Ｂ中の上記色滲み領域に対応する被置換領域によって置換される。ユーザの意図に沿う色滲み領域が含まれる画像において色滲みは無くなるまたは低減され，色滲みの無いまたは低減された画像を得ることができる。
【選択図】図２

Description

この発明は撮像装置およびその制御方法に関する。また，この発明は，画像処理装置，その制御方法，および画像処理プログラムに関する。

処理対象画像中に含まれる色滲み（偽色，パープルフリンジ）を低減するための処理が提案されている（特許文献１，２，３）。

しかしながら，上記特許文献１〜３では色滲みが除去された画像が得られても，その画像が撮影者の意図とは異なる画像であることがある。

特開２００９−２８４００９号公報 特開２００７−２５８９２３号公報 特開２００９−２６８０３３号公報

この発明は，撮影者の意図を反映しつつ，色滲みが除去された画像を得ることができるようにすることを目的とする。

この発明による撮像装置は，それぞれ異なる撮影条件の下で同一の被写体を複数回撮像し，撮像によって得られる複数の画像データを出力する撮像手段，上記撮像手段から出力される複数の画像データによって表される複数の画像の位置を合わせる位置合わせ手段，上記撮像手段から出力される画像データによって表される画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換する色滲み除去手段を備える。

この発明は上述した撮像装置の制御に適する方法の発明も提供する。この方法は，撮像手段が，それぞれ異なる撮影条件の下で同一の被写体を複数回撮像し，撮像によって得られる複数の画像データを出力し，位置合わせ手段が，上記撮像手段から出力される複数の画像データによって表される複数の画像の位置を合わせし，色滲み領域検出手段が，上記撮像手段から出力される画像データによって表される画像に色滲み領域が含まれるかどうかを検出し，色滲み除去手段が，上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換するものである。

この発明によると，異なる撮影条件の下で複数回の撮像が行われるので，複数の画像のうちのいずれかが撮影装置のユーザの意図に沿うものである場合に，残りの画像は撮影装置のユーザの意図に沿うものでないものになる。撮像手段から出力される画像データによって表される画像に色滲み領域が含まれるかどうかが検出される。複数の画像のうちの色滲み領域が含まれない画像が撮影者（ユーザ）の意図に沿うものであれば，特段色滲み処理する必要性はない。複数の画像のうちの色滲み領域が含まれる画像がユーザの意図に沿うものである場合には，その画像中の色滲み領域が，異なる撮影条件の下で得られた他の画像の中の上記色滲み領域に対応する領域によって置換される。一の画像中に色滲みが含まれているとすると，撮影条件を異ならせることによって得られた他の画像中においては色滲みが無いまたは少ないものが存在しうる。したがって，異なる撮影条件の下で得られた他の画像の中の上記色滲み領域に対応する領域によって置換されると，色滲み領域が含まれる画像において色滲みは無くなるまたは低減される。複数の画像のうち色滲み領域が含まれる画像が撮影者の意図に沿う画像であったとしても，色滲みの無いまたは低減された画像を得ることができる。

一実施態様では，上記撮像装置は，上記撮像手段から出力される複数の画像データを入力し，動き部分を検出する動き検出手段を備え，色滲み除去手段は，上記色滲み領域検出手段によって検出された色滲み領域と上記動き検出手段によって検出された動き部分とが重複している場合に，その重複部分を除いた色滲み領域を置換する。動きを伴う被写体（動体）が存在する場合の誤補正を未然に防止することができる。

他の実施態様では，上記撮像装置は，光学的にズーム処理する光学ズーム手段，上記光学ズーム手段における広角端から望遠端にかけてのそれぞれのズーム位置に対応する滲み量の大きさを表す滲み量データを記憶する滲み量データ記憶手段，上記光学ズーム手段において設定されるズーム位置よりも滲み量が少ないズーム位置が存在するかどうかを，上記滲み量データ記憶手段に記憶されている滲み量データにしたがって判断する判断手段，上記判断手段によって上記光学ズーム手段において設定されているズーム位置よりも滲み量が少ないズーム位置が存在する場合に，そのズーム位置となるように上記光学ズーム手段を制御する光学ズーム制御手段，および上記光学ズーム制御手段によってズーム位置が変えられた後に撮像手段から出力されたズーム後画像データによって表されるズーム後画像を拡大または縮小することによって，上記光学ズーム制御手段によってズーム位置が変えられる前に撮像手段から出力されたズーム前画像データによって表されるズーム前画像と上記ズーム後画像の画角を合わせる画角合わせ手段をさらに備える。

ズーム位置（ズーム量）によって色滲みが生じたり減少することがある。この実施態様では，ズーム位置と滲み量との関係を表す滲み量データが用いられて，より滲みのない画像を得ることができるようにズーム位置が変更された上で撮像が行われる。撮影者によって設定されたズーム位置がたとえ色滲みを発生しやすいズーム位置であったとしても，それよりも色滲みの少ないズーム位置の下での撮像が併せて行われるので，撮影者によって設定されたズーム位置の下での撮像によって得られた画像中に色滲み領域が存在しても，ズーム位置が変更された上で撮像された画像中の上記色滲み領域に対応する領域によって置換することによって，撮影者によって設定されたズーム位置の下での撮像によって得られた画像を，色滲み領域が無いまたは低減されたものとすることができる。

一実施態様では焦点距離の相違によって上記撮影条件は異なるものとされる。焦点距離を相違させる（ピントをずらす）ことによって色滲みが抑制されるからである。

他の実施態様では絞り値の相違によって上記撮影条件は異なるものとされる。絞りを絞る（Ｆ値を大きくする）ことによっても色滲みは抑制されるからである。

好ましくは，上記異なる撮影条件のうちの一つは，撮影者（上記撮像装置の使用者）による設定にしたがう撮影条件であり，残りの撮影条件は上記撮影者による設定と異なる撮影条件である。撮影者による設定にしたがう撮影条件の下で得られた画像中に色滲み領域が存在する場合に，その色滲み領域を，撮影者による設定と異なる撮影条件の下で得られた画像中の上記色滲み領域に対応する領域によって置換することによって，撮影者による設定にしたがう撮影条件の下で得られた画像において色滲み領域を無くすまたは低減することができる。

第２の発明による撮像装置は，撮影者による設定にしたがう第１撮影条件と，色滲みが低減されるように上記第１撮影条件が変更された，上記第１撮影条件とは異なる第２撮影条件の下で，同一の被写体を２回撮像し，撮像によって得られる第１および第２の画像データを出力する撮像手段，上記撮像手段から出力される第１画像データによって表される第１画像と，第２画像データによって表される第２画像の位置を合わせる位置合わせ手段，上記第１画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記第２画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する色滲み除去手段を備える。撮影者による設定にしたがう第１撮影条件の下で得られた第１画像中に色滲み領域が存在する場合に，その色滲み領域を，上記撮像装置の使用者による設定と異なる第２撮影条件の下で得られた第２画像中の上記色滲み領域に対応する領域によって置換することによって，第１画像において色滲み領域を無くすまたは低減することができる。

第３の発明による撮像装置は，撮影者による設定にしたがう第１撮影条件と，色滲みが低減されるように上記第１撮影条件が変更された，上記第１撮影条件とは異なる第２および第３撮影条件の下で，同一の被写体を３回撮像し，撮像によって得られる第１，第２および第３の画像データを出力する撮像手段，上記撮像手段から出力される，第１画像データによって表される第１画像と，第２画像データによって表される第２画像と，第３画像データによって表される第３画像の位置を合わせる位置合わせ手段，上記第１画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，上記第１，第２および第３の画像データを用いて動き部分を検出する動き検出手段，上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記色滲み領域検出手段によって検出された色滲み領域と上記動き検出手段によって検出された動き部分とが重複しているときにはその重複部分を除いて，上記第２または第３画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する色滲み除去手段を備える。動体が存在する場合にその動体部分については色滲み除去しないようにすることによって，誤補正を未然に防ぐことができる。

第４の発明による撮像装置は，光学的にズーム処理する光学ズーム手段，上記光学ズーム手段における広角端から望遠端にかけてのそれぞれのズーム位置に対応する滲み量の大きさを表す滲み量データを記憶する滲み量データ記憶手段，撮影者による設定にしたがうズーム位置よりも滲み量が少ないズーム位置が存在するかどうかを，上記滲み量データ記憶手段に記憶されている滲み量データにしたがって判断する判断手段，上記判断手段によって上記光学ズーム手段において設定されているズーム位置よりも滲み量が少ないズーム位置が存在する場合に，そのズーム位置となるように上記光学ズーム手段を制御する光学ズーム制御手段，撮影者による設定にしたがうズーム位置と，上記光学ズーム制御手段による変更後のズーム位置の下で，同一の被写体を２回撮像し，撮像によって得られる第１および第２の画像データを出力する撮像手段，上記撮像手段から出力される第１画像データによって表される第１画像と，第２画像データによって表される第２画像の画像の位置を合わせる位置合わせ手段，上記第２画像を拡大または縮小することによって，第１画像と上記第２画像の画角を合わせる画角合わせ手段，上記第１画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記第２画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する色滲み除去手段を備える。ユーザによって設定されたズーム位置の下での撮像によって得られた第１画像中に色滲み領域が存在しても，ズーム位置が変更された上で撮像された第２画像中の上記色滲み領域に対応する領域によって置換することによって，第１画像を，色滲み領域が無いまたは低減されたものとすることができる。

この発明による画像処理装置は，それぞれ異なる撮影条件の下で同一の被写体が複数回撮像されることによって得られた複数の画像データの入力を受付ける画像データ入力手段，上記画像データ入力手段によって受付けられた複数の画像データによって表される複数の画像の位置を合わせる位置合わせ手段，上記画像データによって表される画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換する色滲み除去手段を備える。

この発明による画像処理方法は，画像データ入力手段が，それぞれ異なる撮影条件の下で同一の被写体が複数回撮像されることによって得られた複数の画像データの入力を受付け，位置合わせ手段が，上記画像データ入力手段によって受付けられた複数の画像データによって表される複数の画像の位置を合わせ，色滲み領域検出手段が，上記画像データによって表される画像に色滲み領域が含まれるかどうかを検出し，色滲み除去手段が，上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換するものである。

この発明は，コンピュータを上記画像処理装置として機能させるためのプログラムも提供する。

この発明によると，受付けられる複数の画像データによって表される複数の画像のうちの色滲み領域が含まれる画像がユーザの意図に沿うものである場合，その画像中の色滲み領域が，異なる撮影条件の下で得られた他の画像の中の上記色滲み領域に対応する領域によって置換される。ユーザの意図に沿う色滲み領域が含まれる画像において色滲みは無くなるまたは低減され，色滲みの無いまたは低減された画像を得ることができる。

第１実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。 第１実施例の色滲み除去処理の手順を示すフローチャートである。 （Ａ）は色滲み（パーフルフリンジ）が発生している画像を，（Ｂ）は色滲みの無い画像をそれぞれ示す。 第２実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。 第２実施例の色滲み除去処理の手順を示すフローチャートである。 第３実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。 第３実施例の色滲み除去処理の手順を示すフローチャートである。 ズーム位置ごとの色滲み量データを表すグラフである。 第４実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。 第４実施例の色滲み除去処理の手順を示すフローチャートである。

第１実施例
図１は第１実施例のディジタル・スチル・カメラ１の電気的構成を示すブロック図である。

ディジタル・スチル・カメラ１は，撮像ユニット10，演算／処理ユニット20および表示ユニット30を備えている。撮像ユニット10，演算／処理ユニット20および表示ユニット30はデータバスを介して互いに接続されている。データバスにはさらにＶＲＡＭ41，メモリインターフェース（メモリＩ／Ｆ）42，外部メモリ・インターフェース（外部メモリＩ／Ｆ）45，および撮影条件自動変更制御装置47も接続されている。

撮像ユニット10はＣＣＤ11を備え，ＣＣＤ11の前方に，ズームレンズ，撮像レンズ，絞り，赤外線カット・フィルタ，光学的ロウパスフィルタ（ＯＬＰＦ）等を含む光学ユニット12が設けられている。

ディジタル・スチル・カメラ１の電源がオンされ，撮影モードが設定されると，被写体像を表す光線束が光学ユニット12に入射する。光線束は光学ユニット12を介してＣＣＤ11の受光面上に入射する。ＣＣＤ11には多数のフォトダイオード（光電変換素子）がその受光面に二次元的に配置され，かつ受光面上には所定の配列構造（ベイヤー配列，Ｇストライプ配列など）を持って配列された赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタが設けられている。光学ユニット12によって結像された被写体像がＣＣＤ11によって電子的に撮像される。

ＣＣＤ11から出力された被写体像を表すアナログ信号は，アナログ信号処理装置13に入力する。

アナログ信号処理装置13には，相関二重サンプリング回路，信号増幅器などが含まれている。ＣＣＤ11から出力された被写体像を表すアナログ信号に対して，相関二重サンプリング，信号増幅などが行われる。アナログ信号処理装置13から出力されたアナログ映像信号（アナログＲＧＢ信号）はアナログ／ディジタル変換回路（ＡＤＣ）14に入力し，所定の信号処理の後，ディジタル画像データ（デジタルＲＧＢデータ）に変換される。また，必要に応じてＲＧＢデータは輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）に変換される。

ＡＤＣ14から出力されたディジタル画像データに対して，デジタル信号処理装置15において白バランス調整，ガンマ補正，同時化処理（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的ズレを補完して色信号を同時式に変換する処理）などの所定のディジタル信号処理が行われる。ディジタル画像データはデータバスを介してＶＲＡＭ41に一時的に記憶される。ＶＲＡＭ41から読出されたディジタル画像データによって表される被写体像は，画像再生処理装置31において所定の処理が行われた後，エンコーダ32にエンコードされて表示装置33に与えられ，表示画面上に表示される。

メモリＩ／Ｆ７にはＲＡＭ43およびＲＯＭ44が接続されている。ＲＡＭ43には後述する色にじみ除去処理において用いられるデータ等が一時的に記憶される。ＲＯＭ44には，演算／処理ユニット20に含まれるＣＰＵ21が実行する制御プログラム，制御に必要な各種データ，撮影者設定情報等，デジタル・スチル・カメラの動作に関する各種設定情報等が記憶されている。

ズームボタン（図示略）が操作されると，光学ユニット12に含まれるズームレンズがモータ駆動回路16によって駆動され，広角側と望遠側との間でズーム倍率が無段階に切替えられる。

シャッタ・レリーズ・ボタン（図示略）の第一段階の押下があると，モータ駆動回路16によって光学ユニット12の撮像レンズが駆動されて焦点合わせが行われる。ＶＲＡＭ41から読出される画像データに基づいてデジタル信号処理装置15において輝度データが得られる。輝度データの積算値を表すデータがＣＰＵ21に与えられて露出量が算出される。算出された露出量となるように光学ユニット12の絞りの開口がモータ駆動回路16によって制御され，ＣＣＤ11のシャッタ速度が撮像素子駆動回路（図示略）によって制御される。

シャッタ・レリーズ・ボタンの第二段階の押下があると，ディジタル画像データはＲＡＭ43に記憶される。ＲＡＭ43から読出された画像データに対し，所定のディジタル信号処理がデジタル信号処理装置15において行われ，圧縮伸張処理を経てデータ圧縮される。圧縮された画像データが外部メモリＩ／Ｆ45の制御によってメモリカード46に記録される。

再生モードが設定されると，メモリカード46に記録されている圧縮画像データが読み取られる。読取られた圧縮画像データは伸張された後ＶＲＡＭ41に記憶され，その後表示装置33において再生画像が表示される。

撮影条件自動変更制御装置47は，撮影者によって設定される撮影条件（ディジタル・スチル・カメラ１によって自動的に設定される撮影条件（自動ピント合わせ，自動露出など）を含む）を，色滲み低減に着目して異なる撮影条件に自動的に変更するための装置である。撮影条件自動変更制御装置47の詳細は後述する。

演算／処理ユニット20には，上述したＣＰＵ21の他に，画像取得回路22，複数画像位置合わせ処理回路23，色滲み検出処理回路24および色滲み補完処理回路25を含む。これらの回路はＣＰＵ21に接続されている。

演算／処理ユニット20に含まれる各種回路が用いられて，以下に説明する色滲み除去処理が行われる。

図２は，ディジタル・スチル・カメラ１によって行われる第１実施例の色滲み除去処理の手順を示すフローチャートである。

上述したように，シャッタ・レリーズ・ボタンの第二段階の押下があると，ディジタル画像データはＲＡＭ43に記憶される。ＲＡＭ43に記憶された画像データが色滲み除去処理の対象となる。色滲み除去処理はディジタル・スチル・カメラ１に設けられた操作部（図示略）によって色滲み除去モードが選択された状態でシャッタ・レリーズ・ボタンの第二段階の押下があったときに実行してもよいし，被写体が所定の条件に沿うとき，たとえば，高輝度の被写体と低輝度の被写体の両方を含む被写体が撮影されたことがＣＰＵ21によって判断された場合に実行するようにしてもよい。

第１実施例の色滲み除去処理では，シャッタ・レリーズ・ボタンの第二段階の押下があると，２回の撮像（画像データの取得）が行われる。

第１回目の撮像は，撮影者の意図どおりの撮影条件（ピント合わせ，露出調整等）による撮像である。撮影者の意図どおりの撮影条件の下で得られる画像を，以下，「画像Ａ」と呼ぶ。

第２回目の撮像は，撮影者の意図とは異なる色滲み低減に着目した撮影条件の下での撮像である。色滲み（パープルフリンジ）は被写体像における急激な輝度変化部分に発生する。また，撮像レンズの中心部を通過する光よりも周辺部を通過する光によって色滲みは発生する。したがって，色滲み低減に着目した撮影条件においては，光学ユニット12の撮像レンズを焦点合わせ位置とは異なる位置に駆動する（ピント位置をずらす）ことにより画像ぼけを発生させることによって，急激な輝度変化を緩やかな輝度変化にして被写体が撮像される。急激な輝度変化が緩和されるので色滲みが発生しにくくなる。さらに，これに併せて，光学ユニット12に含まれる絞りを絞る（Ｆ値を大きくする）ことも行われる。撮像レンズの中心を通過した光が使用されやすくなり，これによっても色滲みは低減される。また，光学ユニット12の絞りを絞ると被写体深度が深くなるので，上述の画像ぼけを緩和する効果も得られる。これらの撮影者の意図とは異なる色滲み低減に着目した撮影条件が撮影条件自動変更制御装置47によって決定される。撮影条件自動変更制御装置47からの撮影条件変更指示に基づいて，モータ駆動回路16によって光学ユニット12中の撮像レンズのレンズ位置および絞りの絞り値が変更される。

撮影者の意図とは異なる色滲み低減に着目した撮影条件の下で得られる画像を，以下「画像Ｂ」という。

第１実施例の色滲み除去処理では，シャッタ・レリーズ・ボタンの第二段階の押下があると，上述の撮影者の意図どおりの撮影条件のもとで得られる画像Ａと，撮影者の意図とは異なる色滲み低減に着目した撮影条件のもとで得られる画像Ｂの２つの画像が取得される（ステップ61，62）。画像Ａを表す画像データおよび画像Ｂを表す画像データは，いずれもＲＡＭ43に一時的に記憶される。

ＲＡＭ43に一時的に記憶された画像Ａを表す画像データおよび画像Ｂを表す画像データは画像取得回路22によって読出され，ＣＰＵ21を介して複数画像位置合わせ回路23に与えられる。

複数画像位置合わせ回路23では，画像Ａと画像Ｂの位置合わせが行われる（ステップ63）。たとえば，画像Ａ中の特徴点（範囲）に対応する画像Ｂ中の対応点（範囲）が検出され，画像Ａ中の特徴点と画像Ｂ中の対応点とを一致させるパラメータ（回転パラメータ，移動パラメータ，拡大／縮小パラメータ）が算出される。このパラメータを用いて画像Ａと画像Ｂの位置合わせが行われる。

さらに，画像Ａを表す画像データは色滲み検出処理回路24に与えられ，ここで画像Ａ中の色滲みが検出される。色滲み（パープルフリンジ）は，画素ごとにその画素の色（たとえば，ＣｒデータおよびＣｂデータに基づいて判断される色）が紫色または紫色に近い色であるかどうかによって判断してもよい。上述のように色滲みは画像中の急激な輝度変化部分に表れるので，画像Ａ中の輝度エッジを検出し，輝度エッジ部分周辺の画素のみを対象して紫色の画素を見つけるようにしてもよい。

色滲みが検出されると，色滲み領域を特定するデータ（色滲みがあると判断された画素の画像Ａにおける位置データ）が色滲み補完処理回路25に与えられる。

色滲み補完処理回路25は，上記色滲み検出処理回路24から与えられた色滲み領域データにしたがって，画像Ａにおける色滲み領域の画像部分を，画像Ｂにおける対応領域の画像部分に置換する処理を行う（ステップ65）。上述のように，あらかじめ画像Ａと画像Ｂは複数画像位置合わせ処理回路23によって位置合わせされているので，画像Ａにおける色滲み領域の画像部分は，色滲みの無い画像Ｂにおける対応領域の画像部分にほぼ正確に置換される。

図３（Ａ）は画像Ａの一例を示すもので色滲み（パーフルフリンジ）が発生している様子を示している。図３（Ｂ）は画像Ｂを示すもので色滲みの無い画像である。画像Ａ中の色滲み発生領域（ＰＦ発生領域）の画像部分が，画像Ｂにおける上記ＰＦ発生領域に対応する領域（被置換領域）の画像部分によって置き換えられる。これにより，色滲みが除去された画像Ａが生成される。色滲みが除去された画像Ａを表すデータによって表される画像が表示装置33に表示され，圧縮処理を経てメモリカード46に記憶される。撮影者の意図どおりの撮影条件の下で得られた画像であって色滲みのない画像を得ることができる。

第２実施例
図４は，第２実施例のディジタル・スチル・カメラ１Ａの電気的構成を示すブロック図である。第１実施例のディジタル・スチル・カメラ１（図１）とは，演算／処理ユニット20Ａに動体検出処理回路26が加えられている点が異なる。第１実施例で説明したディジタル・スチル・カメラ１中の装置および回路と同一物には同一符号を付し，重複説明を避ける。図５は第２実施例の色滲み除去処理の手順を示すフローチャートである。第１実施例のフローチャート（図２）と同一処理には同一符号を付し，重複説明を避ける。

第２実施例の色滲み除去処理では，シャッタ・レリーズ・ボタンの第二段階の押下があると，３回の撮像（画像データの取得）が行われる。

第１回目の撮像および第３回目の撮像は，上述した撮影者の意図とは異なる色滲み低減に着目した撮影条件の下での撮像である。第１回目の撮像と第３回目の撮像は同一撮影条件の下での撮像であってもよいし，互いに撮像条件を異ならせてもよい。たとえば，第１回目の撮像においては焦点を合焦位置から前方向にずらし，第３回目の撮像では合焦位置から後方向にずらすようにしてもよい。いずれにしても，第１回目および第３回目の撮像は色滲み低減に着目した撮影条件の下での撮像とされる（ステップ62，ステップ71）。第１回目の撮像によって得られる画像を画像Ｂ，第３回目の撮像によって得られる画像を画像Ｃとする。

第２回目の撮像は撮影者の意図どおりの撮影条件（ピント合わせ，露出調整等）による撮像である（ステップ61）。画像Ａが得られる。

画像Ａ，画像Ｂおよび画像Ｃを表す３つの画像データは，複数画像位置合わせ回路23に与えられ，ここで３つの画像ＡＢＣ間で位置合わせが行われる（ステップ72）。

３つの画像ＡＢＣを表す画像データは，次に動体検出処理回路26に与えられる。

動体検出処理回路26では３つの画像ＡＢＣ間の差分が算出され，被写体像内の動体が検出される（ステップ73）。

動体検出処理回路26によって検出された動体が，画像Ａにおける色滲み領域（図３（Ａ）参照）上に存在している場合，その領域を避けて補完（置換）処理（ステップ74）は行われる。被置換領域としては画像Ｂを用いても画像Ｃを用いてもよい。動体が存在する色滲み領域は色滲み領域としての信憑性（確度）が低く，したがって色滲み除去処理を行わないようにするものである。これにより，動きを伴う被写体（動体）が存在する場合の誤補正（色滲み領域とは言えない領域まで置換されてしまうこと）を未然に防止することができる。

第３実施例
図６は第３実施例のディジタル・スチル・カメラ１Ｂの電気的構成を示すブロック図である。図１に示す第１実施例のディジタル・スチル・カメラ１とは，色滲み軽減ズーム位置算出処理回路48およびズーム位置ごとの色滲み量データを記憶した記憶装置51が加えられている点が異なる。第１実施例で説明したディジタル・スチル・カメラ１中の装置および回路と同一物には同一符号を付し，重複説明を避ける。図７は第３実施例の色滲み除去処理の手順を示すフローチャートである。第１実施例のフローチャート（図２）と同一処理には同一符号を付し，重複説明を避ける。

ズームレンズによってはそのズーム位置によって色滲みの発生度合いが変わるものが存在する。ズーム位置にしたがう色滲みは，絞りのように特定の操作をすれば軽減できるといった固定の法則がないので，第３実施例では，記憶装置51（ＲＯＭ44でもよい）に，ズーム位置ごとの色滲み量データがあらかじめ記憶され，記憶装置51に記憶されているズーム位置ごとの色滲み量データが，色滲み除去処理に用いられる。

図８は，記憶装置51に記憶されているズーム位置ごとの色滲み量データ（以下，色滲み量データという）の一例を示している。図８に示す色滲み量データが第３実施例における色滲み除去処理において用いられる。

図７を参照して，シャッタ・レリーズ・ボタンの第二段階の押下があると，撮影意図のズーム位置よりも色滲みの少ないズーム位置が広角側に存在するかどうかが判断される（ステップ81）。

図８を参照して，撮影者によるズーム操作によるズーム位置が符号Ａに示すズーム位置であったとする。符号Ａに示すズーム位置よりも色滲みの少ないズーム位置が広角側に存在するので，この場合，色滲み軽減ズーム位置算出処理回路48によって，撮影者によるズーム操作に基づくズーム位置Ａと，上記記憶装置51に記憶されている色滲み量データとに基づいて，撮影意図のズーム位置Ａよりも色滲みの少ないズーム位置が広角側に存在すると判断される。次の処理に進むことになる（ステップ81でYES ）。撮影者によるズーム操作によるズーム位置が図８の符号Ｂに示すズーム位置であった場合も同様である。

他方，撮影者によるズーム操作によるズーム位置が符号Ｃに示すズーム位置であった場合，符号Ｃに示すズーム位置よりも色滲み量の少ないズーム位置は広角側に存在しない。この場合には，色滲み処理は行われずに処理が終了する（ステップ81でNO）。

撮影意図のズーム位置よりも色滲みの少ないズーム位置が広角側に存在する場合（ステップ81でYES ），撮影者の意図どおりの撮影条件の下で画像Ａが撮像され（ステップ61），その後撮影者の意図とは異なる撮影条件の下で画像Ｂが撮像される（ステップ62）。第３実施例における画像Ｂは，撮影者の意図によるズーム位置よりも広角側のズーム位置であって，撮影者の意図によるズーム位置に対応する滲み量よりも低い滲み量が得られるズーム位置が採用される。採用される広角側の色滲み低減ズーム位置は，色滲み軽減ズーム位置算出処理回路48によって上述の色滲み量データ（図８）が用いられて決定され，これに基づいてモータ駆動回路16によって光学ユニット12中のズームレンズのズーム位置が制御される。

画像Ａを表す画像データおよび画像Ｂを表す画像データは複数画像位置合わせ回路23に与えられ，ここで位置合わせ処理と画角合わせ処理が行われる（ステップ82）。ズーム位置の相違によって画像Ａの画角と画像Ｂの画角が異なるものになっているので，画角合わせ処理では，撮影者の意図とは異なる撮影条件の下で得られた画像Ｂの拡大処理（アフィン変換等）が行われる。

画像Ａから色滲み領域が検出され，位置合わせおよび画角合わせが行われた画像Ａおよび画像Ｂが用いられて，画像Ａの色滲み領域が画像Ｂの被置換領域によって補完（置換）されるのは第１実施例と同様である。

上述した第３実施例において，画像Ｂについて撮影者の意図によるズーム位置よりも広角側のズーム位置を用いて撮像するのは，望遠側にすると，撮影者の意図どおりで撮影される画像Ａの画角よりも色滲み除去処理に用いられる画像Ｂの画角が狭くなってしまい，画像Ａ中の色滲み領域よりも広い範囲が被置換領域によって置換えられるのを防止するためである。もちろん，画像Ｂとして撮影者の意図によるズーム位置よりも望遠側のズーム位置を用いて撮像したものを用いてもよい。

ズーム位置を用いた撮影条件変更に加えて，第１実施例で説明した焦点位置ずらし（ピント位置ずらし）および絞り調整を併せて用いてもよい。

第４実施例
図９は第４実施例のディジタル・スチル・カメラ１Ｃの電気的構成を示すブロック図である。図１０は第４実施例のディジタル・スチル・カメラ１Ｃによって行われる色滲み除去処理の手順を示すフローチャートである。第４実施例のディジタル・スチル・カメラ１Ｃの演算／処理ユニット20Ｂは，上述した第１実施例〜第３実施例で説明した処理回路，すなわち，画像取得回路22，複数画像位置合わせ処理回路23，色滲み検出処理回路24，色滲み補完処理回路25および動体検出処理回路26を含み，かつスルー画動体検出処理回路27をさらに備えている。

第４実施例では，上述した第１実施例〜第３実施例の色滲み除去処理のいずれの処理によって色滲み除去を行うかが判断され，判断された第１実施例〜第３実施例の色滲み除去処理のいずれかによって，色滲み除去処理が実行される。

図１０を参照して，はじめにスルー画像（シャッタ・レリーズ・ボタンの２段階の押下前の撮像によって得られる画像）が用いられて，スルー画動体検出処理回路27によって動体検出処理が行われる（ステップ91）。

動体が検出された状態でシャッタ・レリーズ・ボタンが押下された場合，第２実施例で説明した色滲み除去処理が実行される（ステップ92）。すなわち，３回の撮像が行われ，動体が存在する色滲み領域を除いて補完（置換）処理が行われる（図５）。

動体が検出されない状態でシャッタ・レリーズ・ボタンが押下された場合，第１実施例または第３実施例のいずれかの処理によって色滲み除去処理が行われる。

第３実施例で説明したように，撮影意図のズーム位置よりも色滲みの少ないズーム位置が広角側に存在するかどうかが判断される（ステップ81）。撮影意図のズーム位置よりも色滲みの少ないズーム位置が広角側に存在する場合（ステップ81でYES ），第３実施例の処理，すなわち撮影者の意図によるズーム位置よりも広角側のズーム位置であって，撮影者の意図によるズーム位置に対応する滲み量よりも少ない滲み量が得られるズーム位置の下で画像Ｂが撮像され，この画像Ｂが用いられて色滲み除去処理が行われる（図７）。

他方，撮影意図のズーム位置よりも色滲みの少ないズーム位置が広角側に存在しない場合（ステップ81でNO ）（ズーム位置が最広角位置である場合を含む），第１実施例の処理，すなわち，ピント位置がずらされ，かつ絞りが絞られた状態で画像Ｂが撮像され，この画像Ｂが用いられて色滲み除去処理が行われる（図２）。

第１実施例〜第３実施例で説明した３つの色滲み除去処理のうち，適切な色滲み除去処理が選択される。

上述した第１実施例〜第４実施例において，色滲み低減処理には，演算／処理ユニット20，20Ａ，20Ｃの複数画像位置合わせ処理回路23，色滲み検出処理回路24，色滲み補完処理回路25等のハードウエア回路が用いられているが，これらのハードウエア回路の処理の一部または全部をプログラムによって実行するようにしてもよい。この場合には，これらのハードウエア回路の機能を実行するプログラムがＲＯＭ44に記憶され，それがＣＰＵ21によって実行されることによって色滲み低減処理が行われる。

１，１Ａ,１Ｂ,１Ｃ ディジタル・スチル・カメラ
11 ＣＣＤ
12 光学ユニット
15 デジタル信号処理装置
20 演算／処理ユニット
21 ＣＰＵ
22 画像取得回路
23 複数画像位置合わせ処理回路
24 色滲み検出処理回路
25 色滲み補完回路
26 動体検出処理回路
47 撮影条件自動変更制御装置
48 色滲みズーム位置算出処理回路
51 記憶装置

Claims (16)

1. それぞれ異なる撮影条件の下で同一の被写体を複数回撮像し，撮像によって得られる複数の画像データを出力する撮像手段，
   上記撮像手段から出力される複数の画像データによって表される複数の画像の位置を合わせる位置合わせ手段，
   上記撮像手段から出力される画像データによって表される画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および
   上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換する色滲み除去手段を備える，
   撮像装置。
2. 上記撮像手段から出力される複数の画像データを入力し，動き部分を検出する動き検出手段を備え，
   色滲み除去手段は，上記色滲み領域検出手段によって検出された色滲み領域と上記動き検出手段によって検出された動き部分とが重複している場合に，その重複部分を除いた色滲み領域を置換する，
   請求項１に記載の撮像装置。
3. 光学的にズーム処理する光学ズーム手段，
   上記光学ズーム手段における広角端から望遠端にかけてのそれぞれのズーム位置に対応する滲み量の大きさを表す滲み量データを記憶する滲み量データ記憶手段，
   上記光学ズーム手段において設定されるズーム位置よりも滲み量が少ないズーム位置が存在するかどうかを，上記滲み量データ記憶手段に記憶されている滲み量データにしたがって判断する判断手段，
   上記判断手段によって上記光学ズーム手段において設定されているズーム位置よりも滲み量が少ないズーム位置が存在する場合に，そのズーム位置となるように上記光学ズーム手段を制御する光学ズーム制御手段，および
   上記光学ズーム制御手段によってズーム位置が変えられた後に撮像手段から出力されたズーム後画像データによって表されるズーム後画像を拡大または縮小することによって，上記光学ズーム制御手段によってズーム位置が変えられる前に撮像手段から出力されたズーム前画像データによって表されるズーム前画像と上記ズーム後画像の画角を合わせる画角合わせ手段をさらに備える，
   請求項１または２に記載の撮像装置。
4. 焦点距離の相違によって上記撮影条件が異なる，請求項１に記載の撮像装置。
5. 絞り値の相違によって上記撮影条件が異なる，請求項１に記載の撮像装置。
6. 上記異なる撮影条件のうちの一つは撮影者による設定にしたがう撮影条件であり，残りの撮影条件は撮影者による設定と異なる撮影条件である，
   請求項１に記載の撮像装置。
7. 撮影者による設定にしたがう第１撮影条件と，色滲みが低減されるように上記第１撮影条件が変更された，上記第１撮影条件とは異なる第２撮影条件の下で，同一の被写体を２回撮像し，撮像によって得られる第１および第２の画像データを出力する撮像手段，
   上記撮像手段から出力される第１画像データによって表される第１画像と，第２画像データによって表される第２画像の位置を合わせる位置合わせ手段，
   上記第１画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および
   上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記第２画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する色滲み除去手段を備える，
   撮像装置。
8. 撮影者による設定にしたがう第１撮影条件と，色滲みが低減されるように上記第１撮影条件が変更された，上記第１撮影条件とは異なる第２および第３撮影条件の下で，同一の被写体を３回撮像し，撮像によって得られる第１，第２および第３の画像データを出力する撮像手段，
   上記撮像手段から出力される，第１画像データによって表される第１画像と，第２画像データによって表される第２画像と，第３画像データによって表される第３画像の位置を合わせる位置合わせ手段，
   上記第１画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，
   上記第１，第２および第３の画像データを用いて動き部分を検出する動き検出手段，
   上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記色滲み領域検出手段によって検出された色滲み領域と上記動き検出手段によって検出された動き部分とが重複しているときにはその重複部分を除いて，上記第２または第３画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する色滲み除去手段を備える，
   撮像装置。
9. 光学的にズーム処理する光学ズーム手段，
   上記光学ズーム手段における広角端から望遠端にかけてのそれぞれのズーム位置に対応する滲み量の大きさを表す滲み量データを記憶する滲み量データ記憶手段，
   撮影者による設定にしたがうズーム位置よりも滲み量が少ないズーム位置が存在するかどうかを，上記滲み量データ記憶手段に記憶されている滲み量データにしたがって判断する判断手段，
   上記判断手段によって上記光学ズーム手段において設定されているズーム位置よりも滲み量が少ないズーム位置が存在する場合に，そのズーム位置となるように上記光学ズーム手段を制御する光学ズーム制御手段，
   撮影者による設定にしたがうズーム位置と，上記光学ズーム制御手段による変更後のズーム位置の下で，同一の被写体を２回撮像し，撮像によって得られる第１および第２の画像データを出力する撮像手段，
   上記撮像手段から出力される第１画像データによって表される第１画像と，第２画像データによって表される第２画像の画像の位置を合わせる位置合わせ手段，
   上記第２画像を拡大または縮小することによって，第１画像と上記第２画像の画角を合わせる画角合わせ手段，
   上記第１画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および
   上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記第２画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する色滲み除去手段を備える，
   撮像装置。
10. 撮像手段が，それぞれ異なる撮影条件の下で同一の被写体を複数回撮像し，撮像によって得られる複数の画像データを出力し，
    位置合わせ手段が，上記撮像手段から出力される複数の画像データによって表される複数の画像の位置を合わせ，
    色滲み領域検出手段が，上記撮像手段から出力される画像データによって表される画像に色滲み領域が含まれるかどうかを検出し，
    色滲み除去手段が，上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換する，
    撮像装置の制御方法。
11. 撮像手段が，撮影者による設定にしたがう第１撮影条件と，色滲みが低減されるように上記第１撮影条件が変更された，上記第１撮影条件とは異なる第２撮影条件の下で，同一の被写体を２回撮像し，撮像によって得られる第１および第２の画像データを出力し，
    位置合わせ手段が，上記撮像手段から出力される第１画像データによって表される第１画像と，第２画像データによって表される第２画像の位置を合わせ，
    色滲み領域検出手段が，上記第１画像に色滲み領域が含まれるかどうかを検出し，
    色滲み除去手段が，上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記第２画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する，
    撮像装置の制御方法。
12. 撮像手段が，撮影者による設定にしたがう第１撮影条件と，色滲みが低減されるように上記第１撮影条件が変更された，上記第１撮影条件とは異なる第２および第３撮影条件の下で，同一の被写体を３回撮像し，撮像によって得られる第１，第２および第３の画像データを出力し，
    位置合わせ手段が，上記撮像手段から出力される，第１画像データによって表される第１画像と，第２画像データによって表される第２画像と，第３画像データによって表される第３画像の位置を合わせ，
    色滲み領域検出手段が，上記第１画像に色滲み領域が含まれるかどうかを検出し，
    動き検出手段が，上記第１，第２および第３の画像データを用いて動き部分を検出し，
    色滲み除去手段が，上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記色滲み領域検出手段によって検出された色滲み領域と上記動き検出手段によって検出された動き部分とが重複しているときにはその重複部分を除いて，上記第２または第３画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する，
    撮像装置の制御方法。
13. 光学的にズーム処理する光学ズーム手段を備えた撮像装置の制御方法であって，
    判断手段が，撮影者による設定にしたがうズーム位置よりも滲み量が少ないズーム位置が存在するかどうかを，滲み量データ記憶手段に記憶されている，上記光学ズーム手段における広角端から望遠端にかけてのそれぞれのズーム位置に対応する滲み量の大きさを表す滲み量データを記憶するしたがって判断し，
    光学ズーム制御手段が，上記判断手段によって上記光学ズーム手段において設定されているズーム位置よりも滲み量が少ないズーム位置が存在する場合に，そのズーム位置となるように上記光学ズーム手段を制御し，
    撮像手段が，撮影者による設定にしたがうズーム位置と，上記光学ズーム制御手段による変更後のズーム位置の下で，同一の被写体を２回撮像し，撮像によって得られる第１および第２の画像データを出力し，
    位置合わせ手段が，上記撮像手段から出力される第１画像データによって表される第１画像と，第２画像データによって表される第２画像の画像の位置を合わせ，
    画角合わせ手段が，上記第２画像を拡大または縮小することによって，第１画像と上記第２画像の画角を合わせ，
    色滲み領域検出手段が，上記第１画像に色滲み領域が含まれるかどうかを検出し，
    色滲み除去手段が，上記色滲み領域検出手段によって色滲み領域が検出された場合に，上記第２画像中の上記色滲み領域に対応する領域によって，上記第１画像中の色滲み領域を置換する，
    撮像装置の制御方法。
14. それぞれ異なる撮影条件の下で同一の被写体が複数回撮像されることによって得られた複数の画像データの入力を受付ける画像データ入力手段，
    上記画像データ入力手段によって受付けられた複数の画像データによって表される複数の画像の位置を合わせる位置合わせ手段，
    上記画像データによって表される画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および
    上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換する色滲み除去手段を備える，
    画像処理装置。
15. 画像データ入力手段が，それぞれ異なる撮影条件の下で同一の被写体が複数回撮像されることによって得られた複数の画像データの入力を受付け，
    位置合わせ手段が，上記画像データ入力手段によって受付けられた複数の画像データによって表される複数の画像の位置を合わせ，
    色滲み領域検出手段が，上記画像データによって表される画像に色滲み領域が含まれるかどうかを検出し，
    色滲み除去手段が，上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換する，
    画像処理方法。
16. コンピュータを，
    それぞれ異なる撮影条件の下で同一の被写体が複数回撮像されることによって得られた複数の画像データの入力を受付ける画像データ入力手段，
    上記画像データ入力手段によって受付けられた複数の画像データによって表される複数の画像の位置を合わせる位置合わせ手段，
    上記画像データによって表される画像に色滲み領域が含まれるかどうかを検出する色滲み領域検出手段，および
    上記色滲み領域検出手段によって色滲み領域が検出された画像データ以外の画像データによって表される画像中の上記色滲み領域に対応する領域によって，上記色滲み領域が検出された画像データによって表される画像中の色滲み領域を置換する色滲み除去手段，
    として機能させるプログラム。

Images