JP5681589B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は撮像装置及び画像処理方法に係り、特に色シェーディング補正を行う技術に関する。

従来、この種の色シェーディング補正方法としては、撮影されたシーンの色温度を推定し、それに合わせて赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各原色信号のシェーディング補正量を決定し、各原色信号の強度を補正することが多い。

特許文献１には、撮像された被写体像をシェーディング係数に応じてシェーディング補正するシェーディング補正部と、環境光の色温度を推定する色温度推定部と、推定された色温度に基づいてシェーディング係数を補正するシェーディング係数補正部とを有し、色温度の影響による色の見えの差を補正することにより、高品質な画像を得ることを可能にする画像処理装置が提案されている。また、上記色温度推定部の一部として、環境光を検出する環境光センサが設けられている記載がある。

特許文献２には、第１のカラー撮像素子と、被写界の色分布を検出する第２のカラー撮像素子と、第２のカラー撮像素子が検出した色分布に基づき被写界を照明する照明光の種類を判定する判定手段と、前記第１のカラー撮像素子が生成した画像に施すべき色シェーディング補正の補正量を前記判定手段が判定した照明光の種類に応じて設定する設定手段とを備え、色シェーディング補正の効果を高めることができるカラー撮像装置が提案されている。また、特許文献２には、領域ごとにシェーディング補正量を変えることが記載されている。

特許文献３には、色シェーディングが目立つシーンを認識した後、色シェーディングが起きている部分に対して彩度を押さえることで、色シェーディングを目立たなくする手法が記載されている。

特開２０１０−１４７８００号公報 特開２００９−８８８００号公報 特開２００８−１５３８３４号公報

特許文献１に記載の色温度推定部の一部として環境光センサを設ける記載があるが、この環境光センサはカメラではない。即ち、イメージセンサとは別に環境光を検出するために専用に設けられたものであり、そのため部品点数の増加やコストアップになる。

特許文献２に記載の第２のカラー撮像素子には、ハーフミラーで分離された被写体光が入射するため、第２のカラー撮像素子が検出した色分布に基づいて判定される照明光の種類は、撮影シーンと同じシーンから判定することになる。したがって、色温度推定精度が高くない。また、特許文献２に記載のカラー撮像装置は、携帯電話のカメラサイズには収まらない。

ところで、色シェーディングで気になるのは、ホワイトボード、壁など扁平率が高い物体で、中心と周辺で色合いを容易に比較できるものが存在している場合である。また、色シェーディングは、環境光、物体の分光反射特性、撮影レンズ及び撮像素子等に依存するため、上記のような物体領域に生じる色シェーディングを、特許文献１、２に記載の手法により完全に補正することは難しい。

一方、特許文献３に記載のように、色シェーディングが起きている部分に対して彩度を下げて色シェーディングを目立たなくする手法は、色シェーディング補正とは言えず、また、くすんだ色となる箇所が出てくるという問題がある。

本発明はこのような事情に鑑みてなされたもので、新たなハードウエアの追加なしに環境光の色温度又は光源種の推定精度を上げることができ、これにより色シェーディング補正を良好に行うことができ、また、色シェーディングが目立たやすい箇所の色シェーディングを確実に補正することができる撮像装置及び画像処理方法を提供することを目的とする。

前記目的を達成するために本発明の一の態様は、第１の撮像部と該第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを有する撮像装置において、前記第１の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第１の推定手段と、前記第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第２の推定手段と、前記第１の推定手段により推定した色温度又は光源種から第１の色シェーディング補正量を決定する第１のシェーディング補正量決定手段と、前記第２の推定手段により推定した色温度又は光源種から第２の色シェーディング補正量を決定する第２のシェーディング補正量決定手段と、前記決定した第１の色シェーディング補正量及び第２の色シェーディング補正量に基づいて前記第１の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正手段と、を備えたことを特徴としている。

本発明の一の態様によれば、通常の撮影時に使用される第１の撮像部とこの第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを併用し、前記第１の撮像部から取得したカラー画像又は第２の撮像部から取得したカラー画像に基づいて、それぞれ環境光の色温度又は光源種を推定できるようにしている。これにより、環境光の色温度又は光源種の推定精度を上げることができる。自分撮り用の第２の撮像部は、テレビ電話対応機能を有するカメラ付き携帯電話には予め設けられており、本発明では自分撮り用の第２の撮像部を環境光の色温度又は光源種を推定するためのカラー画像の取得手段として使用している。

ところで、カメラ付き携帯電話で写す場面は、屋内で近くにあるものをローアングルで写すことが多い（自分撮り用の第２の撮像部側に光源がある可能性が高い）。そのため、ローアングル時に上方を向く第２の撮像部を環境光の色温度又は光源種を推定するためのカラー画像の取得手段として使用することが好ましい。

一方、少し離れた被写体を撮る場合は、逆光にならないように撮ることが多い。その結果、光源は上方か撮影者の背面になることが多い。そのため、背面を写せる第２の撮像部を使用することが望ましい。

本発明の他の態様に係る撮像装置において、前記色シェーディング補正手段により前記第１の色シェーディング補正量に基づいて色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析手段を備え、前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記第２の色シェーディング補正量に基づいて色シェーディング補正を行うようにしている。

色シェーディングは、一定の面積以上の平面物体上で目立ちやすく、また、その平面物体の画面中心側の領域と周辺側の領域との色合いを比較することにより容易に検知することができる。そこで、第１の撮像部から取得したカラー画像に基づく通常の色シェーディング補正を行い、その色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出する。この平面物体上で一定値以上の色シェーディング量が検出された場合には、第１の色シェーディング補正量に基づく色シェーディング補正が十分でないと見なし、第２の撮像部から取得したカラー画像に基づく第２の色シェーディング補正量に基づく色シェーディング補正を行うようにしている。

本発明の更に他の態様に係る撮像装置において、前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第２の色シェーディング補正量に基づいてシェーディング補正を行うようにしている。これにより、色シェーディングが目立ちやすい平面物体の領域における色シェーディングを良好に補正することができる。

本発明の更に他の態様に係る撮像装置において、前記色シェーディング補正手段により前記第１の色シェーディング補正量に基づいて色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析手段と、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、該色シェーディング量を低減させる第３の色シェーディング補正量を決定する第３のシェーディング補正量決定手段と、を備え、前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記第３の色シェーディング補正量に基づいて色シェーディング補正を行うようにしている。これにより、平面物体の領域における色シェーディングを補正するための第３の色シェーディング補正量に基づいて色シェーディング補正を行うことができ、平面物体の領域における色シェーディングを良好に補正することができる。

本発明の更に他の態様に係る撮像装置において、前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第３の色シェーディング補正量に基づいてシェーディング補正を行うようにしている。

本発明の更に他の態様は、第１の撮像部と該第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを有する撮像装置において、前記第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第２の推定手段と、前記推定した色温度又は光源種から色シェーディング補正量を決定するシェーディング補正量決定手段と、前記決定した色シェーディング補正量に基づいて前記第１の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正手段と、を備え、前記第２の推定手段は、撮影準備期間中に前記第２の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定することを特徴としている。

本発明の更に他の態様によれば、自分撮り用の第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定し、環境光の色温度又は光源種の推定精度を上げるようにしている。

本発明の更に他の態様に係る撮像装置において、前記第２の推定手段は、撮影準備期間中に前記第２の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定するようにしている。撮影準備期間中に自分撮り用の第２の撮像部が上方を向く場合が考えられ、光源が写り込む可能性が高くなる。そこで、複数のカラー画像のうちの最も輝度の高いカラー画像（光源が写り込んでいる可能性が高いカラー画像）に基づいて環境光の色温度又は光源種を推定することにより、環境光の色温度又は光源種の推定精度を上げることができる。

本発明の更に他の態様に係る撮像装置において、前記第２の推定手段は、前記第２の撮像部から取得したカラー画像から顔領域を抽出し、該顔領域の画像に基づいて環境光の色温度又は光源種を推定するようにしている。自分撮り用の第２の撮像部から取得したカラー画像には、撮影者の顔が大きく写り込んでいる可能性が高く、また、被写体（顔）の色も特定されているため、その顔領域の画像を使用することにより、環境光の色温度又は光源種を精度よく推定することができる。

本発明の更に他の態様は、第１の撮像部と該第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを有する撮像装置における画像処理方法であって、前記第１の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第１の推定工程と、前記第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第２の推定工程と、前記第１の推定工程により推定した色温度又は光源種から第１の色シェーディング補正量を決定する第１のシェーディング補正量決定工程と、前記第２の推定工程により推定した色温度又は光源種から第２の色シェーディング補正量を決定する第２のシェーディング補正量決定工程と、前記決定した第１の色シェーディング補正量及び第２の色シェーディング補正量に基づいて前記第１の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正工程と、を含むことを特徴としている。

本発明の更に他の態様に係る画像処理方法において、前記色シェーディング補正工程は、前記第１の色シェーディング補正量に基づいて前記カラー画像の色シェーディング補正を行い、前記色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析工程を含み、前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されたときのみ、前記第２の色シェーディング補正量に基づいて再度色シェーディング補正を行うようにしている。

本発明の更に他の態様に係る画像処理方法において、前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第２の色シェーディング補正量に基づいてシェーディング補正を行うようにしている。

本発明の更に他の態様に係る画像処理方法において、前記色シェーディング補正工程は、前記第１の色シェーディング補正量に基づいて前記カラー画像の色シェーディング補正を行い、前記色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析工程と、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、該色シェーディング量を低減させる第３の色シェーディング補正量を決定する第３のシェーディング補正量決定工程と、を含み、前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されたときのみ、前記第３の色シェーディング補正量に基づいて色シェーディング補正を行うようにしている。

本発明の更に他の態様に係る画像処理方法において、前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第３の色シェーディング補正量に基づいてシェーディング補正を行うようにしている。

本発明の更に他の態様は、第１の撮像部と該第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを有する撮像装置における画像処理方法であって、前記第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第２の推定工程と、前記推定した色温度又は光源種から色シェーディング補正量を決定するシェーディング補正量決定工程と、前記決定した色シェーディング補正量に基づいて前記第１の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正工程と、を含み、前記第２の推定工程は、撮影準備期間中に前記第２の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定することを特徴としている。

本発明の更に他の態様に係る画像処理方法において、前記第２の推定工程は、撮影準備期間中に前記第２の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定することが好ましい。

本発明の更に他の態様に係る画像処理方法において、前記第２の推定工程は、前記第２の撮像部から取得したカラー画像から顔領域を抽出し、該顔領域の画像に基づいて環境光の色温度又は光源種を推定するようにしている。

本発明によれば、通常撮影時の撮像部（第１の撮像部）の他に、予め装置に設けられている自分撮り用の撮像部（第２の撮像部）から取得したカラー画像に基づいて環境光の色温度又は光源種を推定するようにしたため、新たなハードウエアの追加なしに環境光の色温度又は光源種の推定精度を上げることができ、これにより色シェーディング補正を良好に行うことができる。また、色シェーディングが目立つ一定の面積以上の平面物体を抽出し、この平面物体における色シェーディング量を検出して色シェーディング補正を行うようにしたため、色シェーディングが目立たやすい箇所の色シェーディングを確実に補正することができる。

本発明に係る撮像装置が適用されたカメラ付き携帯電話の側面図 カメラ付き携帯電話に搭載された撮像装置の全体構成を示すブロック図 撮像部の内部構成を示すブロック図 本発明に係る画像処理方法の第１の実施形態の処理の流れを示すフローチャート 色シェーディングを有する平面物体を含む画像の一例を示す図 本発明に係る画像処理方法の第２の実施形態の処理の流れを示すフローチャート

以下、添付図面に従って本発明に係る撮像装置及び画像処理方法の実施の形態について説明する。

［撮像装置］
図１は本発明に係る撮像装置が適用されたカメラ付き携帯電話の側面図である。

このカメラ付き携帯電話には、通常撮影用の撮像部１（第１の撮像部）と、撮像部１とは反対側に設けられた自分撮り用の撮像部２（第２の撮像部）とが設けられている。通常、これらの撮像部１、２は、いずれか一方のみが選択され、撮像部２と同じ側に設けられた表示部３０に撮影画像を表示させることができるようになっている。尚、図１上で、Ａは、撮像部１で撮影された画像を示し、Ｂは、撮像部２で撮影された画像を示している。

図２は上記カメラ付き携帯電話に搭載された撮像装置１０の全体構成を示すブロック図である。

同図に示すように撮像装置１０は、２つの撮像部１、２を備えている。これらの撮像部１、２は、操作部１４での操作によりいずれか一方が選択使用できるようになっている。撮像部１により撮影された画像は、表示部３０に表示させることができるとともに、メモリカード等の外部記録部２８（又は図示しない内部記録部）に記録することができる。また、撮像部２は、自分撮り用のカメラで、Ｗｅｂカメラとして使用することができる。尚、本発明では、撮像部１を選択使用する場合には、後述するように撮像部２も動作させるようにしている。

中央処理装置（ＣＰＵ１２）には、制御バス１６を介して撮像部１、２が接続されるとともに、メインメモリ２０、画像処理部２２、積算部２４、圧縮伸張処理部２６、外部記録部２８、及び表示部３０が接続されており、ＣＰＵ１２は、操作部１４からの操作入力に基づき所定の制御プログラムに従って撮像装置１０全体の動作を統括制御する制御手段として機能する。

また、撮像部１、２、メインメモリ２０、画像処理部２２、積算部２４、圧縮伸張処理部２６、外部記録部２８、及び表示部３０は、それぞれデータバス３８を介して接続されている。

撮像部１、２は、それぞれ撮像モジュールとして構成されており、図３に撮像部１の内部構成を示す。

図３に示すように撮像部１は、主として撮影レンズ４０、絞り４１、ＩＲカットフィルタ４２、光学ローパスフィルタ４３、撮像素子（ＣＭＯＳ又はＣＣＤイメージセンサ）４４、Ａ／Ｄ変換器４５、レンズ駆動部４６、絞り駆動部４７、及び撮像素子駆動部４８から構成されている。

撮影レンズ４０は、フォーカスレンズを含み、レンズ駆動部４６に駆動されて光軸に沿って前後に移動する。ＣＰＵ１２は、レンズ駆動部４６の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行う。

絞り４１は、例えば、アイリス絞りで構成されており、絞り駆動部４７に駆動されて動作する。ＣＰＵ１２は、絞り駆動部４７を介して絞り４１の開口量（絞り値）を制御し、撮像素子４４への入射光量を制御する。

撮像素子４４は、２次元のカラー撮像素子により構成されている。撮像素子４４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列（ベイヤ配列など）でＲＧＢのカラーフィルタが配置されている。撮影レンズ４０、絞り、ＩＲカットフィルタ４２、及び光学ローパスフィルタ４３を介して撮像素子受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従って撮像素子駆動部４８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子４４から順次読み出される。撮像素子４４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

撮像素子４４から読み出された画像信号は、Ａ／Ｄ変換器４５によりデジタル信号に変換された後、データバス３８を介して一旦、メインメモリ２０に格納される。

撮像部２は、撮像部１と同一構成のものを使用してもよいが、一般には撮像部１よりも画素数の小さいカラー撮像素子が使用され、また撮影レンズも焦点調節機能がないものが使用される。これは、撮像部２は自分撮り用に使用されるため、被写体及び撮影距離が固定されているからである。

ＣＰＵ１２は、撮像部１による撮影が選択されている場合には、撮像部１とともに撮像部２を同時に駆動させる。

操作部１４は、シャッタボタン、十字ボタン、決定キー、テンキー等の公知の操作入力手段を含んでいる。シャッタボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。撮影モード時には、シャッタボタンが半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス））が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。

メインメモリ２０は、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、また、撮像部１、２により撮像され取得されたデジタル画像信号を一時保持する記憶手段として使用される。

画像処理部２２は、色シェーディング補正部、ノイズ抑制部、ホワイトバランス処理部、デモザイク処理部、リニア・マトリックス部、ガンマ補正部、輪郭補正部等を含むデジタル信号処理部として機能し、メインメモリ２０に格納されたＲ、Ｇ、Ｂの画像データに対して所定の信号処理を行う。尚、画像処理部２２の詳細な動作については後述する。

積算部２４は、シャッタボタンの半押し時に取り込まれる画像信号に基づいてＡＦ制御に必要な焦点評価値を算出したり、ＡＥ制御に必要な被写体輝度、色シェーディング補正、ホワイトバランス補正に必要なＲＧＢの色信号ごとの積算値を算出する。ＣＰＵ１２は、ＡＦ制御時には積算部２４により算出される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点合わせを行い、ＡＥ制御時には積算部２４により算出された被写体輝度に基づいて適正な露光量を得るための露出設定を行う。即ち、撮影感度、絞り値、シャッタ速度を設定する。

圧縮伸張処理部２６は、ＣＰＵ１２からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮処理が施される。また、圧縮伸張処理部２６は、ＣＰＵ１２からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。

外部記録部２８は、上記圧縮伸張処理部２６により生成されたＪＰＥＧ形式等の画像データを格納した画像ファイルを作成し、メモリカード等の着脱自在な外部記録媒体に記録し、又は外部記録媒体から画像ファイルの読み出しを行う。

表示部３０は、例えば、カラー液晶パネルを備えた表示装置により構成され、カメラ付き携帯電話をカメラとして使用する場合には、画角を確認するための電子ファインダとして使用されるとともに、撮影済み画像を表示するための画像表示部、各種設定用のＧＵＩとして使用される。

［画像処理方法］
＜第１の実施形態＞
図４は本発明に係る画像処理方法の第１の実施形態の処理の流れを示すフローチャートであり、特に撮像部１により撮影された静止画を画像処理する場合に関して示している。

撮像部１、２によりそれぞれ撮影されたカラーフィルタに対応したＲＧＢのモザイク画像は、メインメモリ２０に一時保持される。

図４において、画像処理部２２のシェーディング補正部は、撮像部１により撮影されたモザイク画像をメインメモリ２０から読み出し、モザイク画像に対して色シェーディング補正を行う（ステップＳ１０）。この色シェーディング補正は、モザイク画像のＲ、Ｇ、Ｂ信号がオフセット補正された後に行うことが好ましい。

シェーディング補正部は、モザイク画像から環境光の色温度を算出する。まず、モザイク画像のＲ、Ｇ、Ｂ信号を用いて、１画面が１６×１６に分割された２５６個の分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、分割エリアごとにＲ、Ｇ、Ｂの平均積算値の比、即ち、Ｒ／Ｇ及びＢ／Ｇの比からなる色情報を算出する。そして、２５６個の分割エリアごとの色情報の、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。尚、色温度の替わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよいし（特開２００７−５３４９９参照）、推定した光源種から色温度を推定してもよい。

続いて、シェーディング補正部は、推定した環境光の色温度に基づいて、ＲＧＢごとの色シェーディング補正係数を決定する。例えば、色シェーディング補正量は、画面中心を基準にして上下左右対称のシェーディング補正特性を前提にし、次式に示すように画面中心からの距離ｘを変数とする、多項式で表すことができる。

［数１］
色シェーディング補正量＝ａｘ^６＋ｂｘ^４＋ｃｘ^２＋ｄ
色シェーディング補正係数は、上記［数１］式における係数（ａ，ｂ，ｃ，ｄ）を意味しており、環境光の色温度（又は光源種）に応じた、ＲＧＢごとの色シェーディング補正係数（ａ〜ｄ）が、予め撮像部１に対して用意され、図示しない不揮発性メモリに記憶されている。

シェーディング補正部は、推定した環境光の色温度に対応してＲＧＢごとの色シェーディング補正係数を読み出し、補正対象画素の位置及び色に基づいて色シェーディング補正量を、［数１］式から算出し、この算出した色シェーディング補正量により色シェーディング補正を行う。尚、［数１］式に示す関数から色シェーディング補正量を算出する場合に限らず、予め画面分割した区画ごとに色シェーディング補正量を決定しておき、区画間の画素に関しては補間値を使用してもよい。

モザイク画像の全ての画素に対して色シェーディング補正が行われると、続いてノイズ抑制部によりノイズ低減フィルタをかけることによりノイズを抑制する（ステップＳ１２）。次に、ホワイトバランス処理部によりノイズ抑制された画像に対してホワイトバランス補正を行う（ステップＳ１４）。即ち、予め環境光の色温度に対応して適正なホワイトバランス補正を行うためのＲＧＢごと、又はＲＢごとのＷＢゲインが用意されており、ホワイトバランス処理部は、撮影時の環境光の色温度に基づいて対応するＲＧＢごと、又はＲＢごとのＷＢゲインを読み出し、この読み出したＷＢゲインによりホワイトバランス補正を行う。

次に、色シェーディング量解析部により上記ホワイトバランス処理後の画像の色シェーディング量を解析する（ステップＳ１６）。色シェーディング量の解析は、まず、ホワイトバランス処理後の画像から色シェーディングが目立つ領域（例えば、ホワイトボード、壁などのように扁平率が高い平面物体で、かつ一定の面積以上を有する領域）を抽出する。このような平面物体は、画像を２値化して画像の輪郭線を求め、輪郭線により区分される領域の面積、領域内の輝度差及び色差等に基づいて抽出することができる。

図５は色シェーディングを有する平面物体の領域Ｘを含む画像の一例を示す図である。続いて、抽出した平面物体の領域Ｘの色シェーディング量を求める。平面物体の領域Ｘの色シェーディング量は、平面物体の領域Ｘの内で最も画面中心に近い領域の色比（Ｒ／Ｇ，Ｂ／Ｇ）と、最も画面中心から遠い領域の色比（Ｒ／Ｇ，Ｂ／Ｇ）との比、又は差分から求める。これは、図５に示すように色シェーディングは、画面中心から周辺に向かって色が少しずつ変化するからである。

上記のようにして求めた色シェーディング量が小さいと判断した場合は、ステップＳ１０での色シェーディング補正が適正になされたものと判断し、そのまま通常の画像処理を行う。即ち、ホワイトバランス処理後のモザイク画像を、単板撮像素子のカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換するデモザイク処理（ステップＳ１８）、色補正係数行列によるリニア・マトリックス処理（ステップＳ２０）、所要の階調特性（ガンマカーブ）となるように階調変換するガンマ補正（ステップＳ２２）、及び輪郭強調処理を行う輪郭補正（ステップＳ２４）等の画像処理が行われる。

一方、色シェーディング量が大きいと判断した場合には、ステップＳ３２に遷移させ、色シェーディング補正係数の修正を行わせる。

即ち、自分撮り用の撮像部２が撮影したカラー画像に基づいて光源種を推定し、推定した光源種から色温度を推定する（ステップＳ３０）。ステップＳ３０での光源種の推定方法は、ステップＳ１０での処理で説明した方法に限らず、以下の方法を適用してもよい。

(1) 図１に示すように撮像部２により撮影される画像Ｂには、撮像部１の被写体を照明している光源が写っている可能性が高い。そこで、撮像部２で撮影された画像Ｂ内で輝度が非常に高い領域を光源が写っている領域と考え、その領域の画像のＲＧＢの信号の強度比からその光源が何かを推定する。尚、光源の輝度が高すぎる場合は、拡散板や、減光板を使い光源の輝度を落としても良い。

また、構図を決めてピントを合わせる前の５〜１０秒（撮影準備期間）に撮像部２が光源を撮影する場合が考えられる。そこで、撮像部２により撮影準備期間中に連続的に撮影した画像のうちの最も輝度の高い画像を使用して光源種を推定することが好ましい。

(2) 自分撮り用の撮像部２により撮影される画像Ｂには、撮影者の顔が大きく写り込んでいる。そこで、撮像部２で撮影された画像Ｂから顔領域を抽出し、抽出した顔領域の色から光源種を推定する。

上記のようにして推定した光源種の色温度に基づいて色シェーディング補正係数を決定し、決定した色シェーディング補正係数を、ステップＳ１０での色シェーディング補正量の算出に適用させる（ステップＳ３２）。ステップＳ１０では、前述した［数１］式に基づいて改めて色シェーディング補正量を算出し、算出した色シェーディング補正量により色シェーディング補正を行う。

尚、ステップＳ１０で改めて色シェーディング補正を行う場合に限らず、図４の点線で示すフローラインのようにホワイトバランス処理後の画像に対して色シェーディング補正を行うようにしてもよい。この場合、ステップＳ１０での色シェーディング補正量と、ステップＳ３２で求めた色シェーディング補正係数から算出される色シェーディング補正量との差分だけ色シェーディング補正を施す。

色シェーディング補正は、ステップＳ１０のシェーディング補正部にて色シェーディング補正量（Gain）をＲＧＢの色ごとに変えて行う方法以外に、ホワイトバランス処理を終えた画像に対して、Ｂ画素、Ｒ画素のシェーディング量を変える方法がある。どちらの方法も、画面全体に対して色シェーディング補正を施す方法が一般的であるが、平面領域が近距離と遠距離の２つある場合、色シェーディングの残り方に斑が出ることもある。そこで、色シェーディングが目立つ部位（一定の面積以上の平面物体）のみを抽出し、その部分だけ色シェーディング補正をかけても良い。この方法では、複数の光源種がある場合にも使用可能である。

色シェーディング補正が加えられた画像は、色シェーディング量の解析部で閾値以下になるか、これまでの処理の中で最も色シェーディングが少なくなったと判断されると、その後、通常の画像処理が施され出力される。

また、図５に示したように平面物体の領域Ｘの色シェーディング補正する場合、その領域Ｘの中心に近い部分の色に周辺部の色が合うように色シェーディング補正量を決定する。具体的には、平面物体の領域Ｘの中心部の色比（Ｒ／Ｇ，Ｂ／Ｇ）に周辺部の色比（Ｒ／Ｇ，Ｂ／Ｇ）が一致するようにＲ、Ｂ画素に対する色シェーディング補正量をそれぞれ求め、求めた色シェーディング補正量をＲ、Ｂ画素にかけて平面物体の領域が均一の色になるように色シェーディング補正を行う。この場合、前記求めた色シェーディング補正量を画面全体のＲ、Ｂ画素にかけてもよいし、抽出した平面物体の領域のＲ、Ｂ画素のみにかけてもよい。

尚、色のグラデーションがある平面物体と区別するために、中心部と周辺部の色シェーディング量は、0.975〜1.025程度とする。色のグラデーションがある平面物体を色シェーディング補正により補正しないようにするためである。

＜第２の実施形態＞
図６は本発明に係る画像処理方法の第２の実施形態の処理の流れを示すフローチャートであり、特に撮像部１により撮影された静止画を画像処理する場合に関して示している。尚、図４に示した第１実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図６にステップＳ１０’におけるシェーディング補正部は、撮像部１により撮影されたモザイク画像をメインメモリ２０から読み出すとともに、ステップＳ３２により算出された色シェーディング補正係数を取得する。そして、モザイク画像に対して前記色シェーディング補正係数に対応して算出した色シェーディング補正量により色シェーディング補正を行う。

色シェーディング補正後のモザイク画像は、その後、ステップＳ１２〜ステップＳ２４により画像処理が施されて出力される。

尚、第１の実施形態と同様にホワイトバランス処理後の画像から色シェーディングが目立つ平面物体の領域を抽出し、この抽出した平面物体の領域が均一の色になるように色シェーディング補正を行うようにしてもよい。また、ホワイトバランス処理時に、自分撮り用の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定し、その推定結果を使用してもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１、２…撮像部、１０…撮像装置、１２…中央処理部（ＣＰＵ）、１４…操作部、２０…メインメモリ、２２…画像処理部、２４…積算部、３０…表示部

Claims (16)

1. 第１の撮像部と該第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを有する撮像装置において、
   前記第１の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第１の推定手段と、
   前記第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第２の推定手段と、
   前記第１の推定手段により推定した色温度又は光源種から第１の色シェーディング補正量を決定する第１のシェーディング補正量決定手段と、
   前記第２の推定手段により推定した色温度又は光源種から第２の色シェーディング補正量を決定する第２のシェーディング補正量決定手段と、
   前記決定した第１の色シェーディング補正量及び第２の色シェーディング補正量に基づいて前記第１の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正手段と、
   を備えたことを特徴とする撮像装置。
2. 前記色シェーディング補正手段により前記第１の色シェーディング補正量に基づいて色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析手段を備え、
   前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記第２の色シェーディング補正量に基づいて色シェーディング補正を行う請求項１に記載の撮像装置。
3. 前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第２の色シェーディング補正量に基づいてシェーディング補正を行う請求項２に記載の撮像装置。
4. 前記色シェーディング補正手段により前記第１の色シェーディング補正量に基づいて色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析手段と、
   前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、該色シェーディング量を低減させる第３の色シェーディング補正量を決定する第３のシェーディング補正量決定手段と、を備え、
   前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記第３の色シェーディング補正量に基づいて色シェーディング補正を行う請求項１から３のいずれか１項に記載の撮像装置。
5. 前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第３の色シェーディング補正量に基づいてシェーディング補正を行う請求項４に記載の撮像装置。
6. 第１の撮像部と該第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを有する撮像装置において、
   前記第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第２の推定手段と、
   前記推定した色温度又は光源種から色シェーディング補正量を決定するシェーディング補正量決定手段と、
   前記決定した色シェーディング補正量に基づいて前記第１の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正手段と、を備え、
   前記第２の推定手段は、撮影準備期間中に前記第２の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定する撮像装置。
7. 前記第２の推定手段は、撮影準備期間中に前記第２の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定する請求項１から５のいずれか１項に記載の撮像装置。
8. 前記第２の推定手段は、前記第２の撮像部から取得したカラー画像から顔領域を抽出し、該顔領域の画像に基づいて環境光の色温度又は光源種を推定する請求項１から６のいずれか１項に記載の撮像装置。
9. 第１の撮像部と該第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを有する撮像装置における画像処理方法であって、
   前記第１の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第１の推定工程と、
   前記第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第２の推定工程と、
   前記第１の推定工程により推定した色温度又は光源種から第１の色シェーディング補正量を決定する第１のシェーディング補正量決定工程と、
   前記第２の推定工程により推定した色温度又は光源種から第２の色シェーディング補正量を決定する第２のシェーディング補正量決定工程と、
   前記決定した第１の色シェーディング補正量及び第２の色シェーディング補正量に基づいて前記第１の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正工程と、
   を含むことを特徴とする画像処理方法。
10. 前記色シェーディング補正工程は、前記第１の色シェーディング補正量に基づいて前記カラー画像の色シェーディング補正を行い、
    前記色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析工程を含み、
    前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されたときのみ、前記第２の色シェーディング補正量に基づいて再度色シェーディング補正を行う請求項９に記載の画像処理方法。
11. 前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第２の色シェーディング補正量に基づいてシェーディング補正を行う請求項１０に記載の画像処理方法。
12. 前記色シェーディング補正工程は、前記第１の色シェーディング補正量に基づいて前記カラー画像の色シェーディング補正を行い、
    前記色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析工程と、
    前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、該色シェーディング量を低減させる第３の色シェーディング補正量を決定する第３のシェーディング補正量決定工程と、を含み、
    前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されたときのみ、前記第３の色シェーディング補正量に基づいて色シェーディング補正を行う請求項９から１１のいずれか１項に記載の画像処理方法。
13. 前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第３の色シェーディング補正量に基づいてシェーディング補正を行う請求項１２に記載の画像処理方法。
14. 第１の撮像部と該第１の撮像部とは反対側に設けられた自分撮り用の第２の撮像部とを有する撮像装置における画像処理方法であって、
    前記第２の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第２の推定工程と、
    前記推定した色温度又は光源種から色シェーディング補正量を決定するシェーディング補正量決定工程と、
    前記決定した色シェーディング補正量に基づいて前記第１の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正工程と、を含み、
    前記第２の推定工程は、撮影準備期間中に前記第２の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定する画像処理方法。
15. 前記第２の推定工程は、撮影準備期間中に前記第２の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定する請求項９から１３のいずれか１項に記載の画像処理方法。
16. 前記第２の推定工程は、前記第２の撮像部から取得したカラー画像から顔領域を抽出し、該顔領域の画像に基づいて環境光の色温度又は光源種を推定する請求項９から１４のいずれか１項に記載の画像処理方法。