JP2002112108A

JP2002112108A - 画像処理装置

Info

Publication number: JP2002112108A
Application number: JP2000304094A
Authority: JP
Inventors: Akira Suzuki; 明鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-10-03
Filing date: 2000-10-03
Publication date: 2002-04-12

Abstract

(57)【要約】【課題】ダイナミックレンジが広いと共にノイズが少
なく鮮明な画像を得ることのできる画像処理装置を提供
する。【解決手段】被写体を撮像して撮像信号を生成する撮
像部５を含む画像処理装置１０であって、撮像信号の鮮
鋭度を強調する鮮鋭度強調部８と、撮像信号に基づい
て、複数の撮像における露光比を検出する露光比検出部
７と、鮮鋭度強調部８により鮮鋭度が強調された複数の
撮像信号を、露光比に応じて合成する合成部９とを備え
たことを特徴とする画像処理装置１０を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＣＤ等の固体撮
像素子を用いたビデオカメラやデジタルスチルカメラ等
を構成する画像処理装置に関するものである。

【０００２】

【従来の技術】従来、ＣＣＤ等の固体撮像素子を用いた
信頼性の高い画像撮像装置が安価で普及し、近年におい
ては銀塩写真を撮影する装置に代替するものとして注目
されている。しかしながら、ＣＣＤ等の固体撮像素子は
銀塩フィルム等に比べると入射光に対するダイナミック
レンジが狭いため、撮影画角内に明るい被写体と暗い被
写体が混在する場合には、明るい被写体が白とびした
り、暗い被写体がつぶれたりしてしまうことがある。

【０００３】このように、固体撮像素子を用いた装置に
おいては、ダイナミックレンジの広さに関し、銀塩写真
を撮影する装置には及ばない状況となっている。ここ
で、特開平１−９３９６７号公報や特開平７−１３１７
９９号公報には、シャッタや絞り等を用いて異なる露光
量で被写体を複数回撮影し、該撮影により得られた複数
の画像を用いて合成画像を生成することにより、ダイナ
ミックレンジを拡大する方法が開示されている。

【０００４】また、特開平５−６４０７０号公報には、
ビームスプリッタを用いて異なる露光量の画像を合成す
る方法も開示されている。そして、特開平１１−１５５
１０８号公報には、三板式カメラにおける応用例が開示
されている。

【０００５】これらは、複数の異なる露光量で撮像した
画像を合成することにより広ダイナミックレンジの画像
を作成する技術であり、具体的には、撮像手段を用いて
標準となる露光量で撮像した標準撮像画像と、これに対
し１／Ｋ（Ｋは任意の自然数）の露光量で撮像した非標
準撮像画像とを得た後、該非標準撮像画像に露光量比Ｋ
をゲインとして乗じることによって、正規化された非標
準撮像画像を作成するものである。

【０００６】そして、該技術においては、標準撮像画像
の中で撮像信号が飽和している部分を該正規化された非
標準撮像画像の同一部分で置換することにより、広ダイ
ナミックレンジ画像を作成する。これにより、標準とな
る露光量で撮像した標準撮像画像で飽和するような輝度
部分でも、置換された正規化非標準撮像画像の情報によ
り該画像を再現することができるので、単独の撮像に比
してより広いダイナミックレンジを実現できる。

【０００７】以上のような例は、原理的には複数の撮像
画像を合成する方法であるが、実際的には種々の問題が
生じる。すなわち、個々の画像を撮像する際における適
切な露光量あるいは露光比を求めることが困難であるた
め、該複数の画像をきれいに合成することができない場
合がある。また、得られた合成画像において、目立った
ノイズを生じること等の問題がある。

【０００８】このような問題に対し、特開平７−１３１
７０８号公報には、非標準撮像画像を正規化するための
露光量比Ｋを、標準撮像画像と非標準撮像画像から算出
して非標準撮像画像に乗ずる技術が開示されている。な
お、該技術においては、上記Ｋの値を正確に求めるた
め、低レベル（ノイズレベル）と高レベル（飽和レベ
ル）の間の非飽和レベルを有する撮像信号を用いること
としている。

【０００９】また、特開平１１−１９１８６０号公報に
は、飽和している部分を正規化された非標準撮像画像で
単に置換するのではなく、光量レベルに応じた重み付け
関数を用いて標準撮像画像と正規化された非標準撮像画
像とを加重平均することで、標準撮像画像と正規化され
た非標準撮像画像の切り替わり部分を、見た目において
滑らかにする方法が開示されている。

【００１０】そして、この方法では撮像信号のレベルに
応じて、標準撮像画像と正規化非標準撮像画像との混合
比（合成比）を調整することにより、暗部では標準撮像
画像を用い、中間部では内分する比で合成される画像を
作成し、明部では正規化非標準撮像画像を用いる。

【００１１】ところで一般に、複数の撮像画像から広ダ
イナミックレンジ画像を作成する目的は、広い撮像輝度
レンジにおいてノイズが少ない画像を生成することにあ
る。このとき、単に広い輝度レンジの被写体を飽和させ
ずに撮像するのであれば、低い露光量で撮像すればよい
とも考えられるが、低い露光量では信号レベルも小さく
なるため、暗部ではＳ／Ｎ比が低下するという問題があ
る。

【００１２】一方、特開平１１−１５５０９８号公報に
は、標準撮像画像と非標準撮像画像の混合比に基づいて
合成画像におけるアパーチャゲインとコアリングレベル
を調整する方法が開示されている。すなわち、この方法
では、少ない露光量で撮影された非標準撮像画像は標準
撮像画像に比べてノイズが多く含まれると仮定して、非
標準撮像画像と標準撮像画像におけるコアリングレベル
を設定し、非標準撮像画像と標準撮像画像の混合比に基
づいて該コアリングレベルを変更することによって、ノ
イズレベルを強調することなく鮮鋭度を強調する。

【００１３】また一般的には、露光量が大きい程信号レ
ベルは大きくなるが、ノイズの絶対レベルも露光量が大
きいほど大きくなるため、該信号とノイズの比であるＳ
／Ｎ比は露光量が大きくなっても改善されない。

【００１４】ここで、撮像素子に生じるノイズはランダ
ムノイズと固定パターンノイズに分けられ、ランダムノ
イズは暗時ノイズと光ショットノイズとに分類される。
そして、上記暗時ノイズは露光量に依らないが、光ショ
ットノイズは露光量の平方根に比例して大きくなる。

【００１５】また、固定パターンノイズは暗電流むらと
感度むらに分けられ、暗電流むらは露光量によらない
が、感度むらは露光量に比例して大きくなる。また、撮
像素子から得られた撮像信号を増幅するアンプなどに生
じるアンプ雑音の絶対値は、一般的に撮像信号が大きい
程大きなものとなるが、撮像信号を量子化する際におけ
る量子化ノイズは撮像信号の大きさによらない。

【００１６】つまり、一般的に、撮像素子に含まれる各
画素における撮像情報のノイズの絶対量は、撮像信号の
レベルが大きいほど大きくなるが、一方において撮像信
号のレベルによらないノイズも存在するので、Ｓ／Ｎ比
は撮像信号のレベルが大きい程大きくなる。

【００１７】また、複数枚の画像を構成する撮像信号に
基づいて広ダイナミックレンジ画像を作成する場合、標
準の露光量により撮像した画像とそれより少ない露光量
で撮像された画像とでは、標準露光量により撮像された
画像の方がノイズの絶対量は大きくなるが、ノイズの増
加量よりも撮像信号の増加量の方が大きくなるため、Ｓ
／Ｎ比は標準露光量により得られた画像の方が大きくな
る。

【００１８】なお一般に、画像のノイズにより人の目に
感じられる劣化は、ノイズの絶対量よりむしろＳ／Ｎ比
で決まり、Ｓ／Ｎ比が大きい程ノイズは目立たない。そ
して、撮像光学系に起因する画像のボケや、撮像素子の
受光面積に起因するコントラストの劣化を補正するた
め、一般的な撮像装置においてはアパーチャ補正という
画像の鮮鋭度を強調する画像処理が行われている。とこ
ろが、該鮮鋭度を強調するときには、同時にノイズも強
調してしまうという問題がある。

【００１９】このため、撮像情報の変化がノイズレベル
に近い場合は鮮鋭度を強調せず、画像の中で撮像情報の
変化がない平坦な部分のノイズを目立たせないようコア
リング処理と呼ばれる処理が同時に実行される。

【００２０】そして、広ダイナミックレンジ画像を作成
する撮像装置において該コアリング処理を実行する場合
には、適切にノイズレベルを把握してコアリングレベル
を決定する必要があるが、上記特開平１１−１５５０９
８号公報には、コアリングレベルを変更する構成は開示
されているものの、適切に設定する方法については言及
されていない。

【００２１】

【発明が解決しようとする課題】本発明は、ダイナミッ
クレンジが広いと共にノイズが少なく鮮明な画像を得る
ことのできる画像処理装置を提供することを目的とす
る。

【００２２】

【課題を解決するための手段】上記の目的は、被写体を
撮像して撮像信号を生成する撮像手段を含む画像処理装
置であって、撮像信号の鮮鋭度を強調する鮮鋭度強調手
段と、撮像信号に基づいて、複数の撮像における露光比
を検出する露光比検出手段と、鮮鋭度強調手段により鮮
鋭度が強調された複数の撮像信号を、露光比に応じて合
成する画像合成手段とを備えたことを特徴とする画像処
理装置を提供することにより達成される。

【００２３】このような手段によれば、複数の撮像信号
における露光比によらず、適切な合成画像を得ることが
できる。

【００２４】また、鮮鋭度強調手段は、撮像信号の大き
さに応じたノイズレベルに基づいて、撮像信号の鮮鋭度
を強調するものとすれば、不必要なノイズの増幅を回避
することができる。

【００２５】また、本発明の目的は、被写体を撮像して
撮像信号を生成する撮像手段を含む画像処理装置であっ
て、撮像信号に基づいて、複数の撮像における露光比を
検出する露光比検出手段と、複数の撮像信号を露光比に
応じて合成して合成画像を生成する画像合成手段と、合
成画像に基づいて複数の撮像信号間の混合比を検出し、
検出された混合比に応じて合成画像の鮮鋭度を強調する
鮮鋭度強調手段とを備えたことを特徴とする画像処理装
置を提供することにより達成される。

【００２６】このような手段によれば、合成画像におけ
る混合比により鮮鋭度を強調するため、容易かつ適切に
合成画像の鮮鋭度を強調することができる。

【００２７】また、鮮鋭度強調手段は、合成画像及び露
光比に応じたノイズレベルに基づいて合成画像の鮮鋭度
を強調するものとすれば、ノイズを増幅させることなく
合成画像の鮮鋭度を強調することができる。

【００２８】また、撮像手段が被写体を所定の露光量下
で複数回撮像することにより得られた複数の撮像信号を
画素毎に平均して平均撮像信号を生成する平均化手段を
さらに備え、画像合成手段は、異なる露光量下で撮像さ
れた撮像信号に基づいて平均化手段により生成された複
数の平均撮像信号を合成することとすれば、ランダムに
発生するノイズを抑制することができる。

【００２９】また、所定の露光量下において撮像手段が
被写体を撮像する回数を、露光比に応じて決定する撮像
回数決定手段をさらに備えることとすれば、ランダムに
発生するノイズの影響を抑制した画像を効率的に得るこ
とができる。

【００３０】

【発明の実施の形態】以下において、本発明の実施の形
態を図面を参照して詳しく説明する。なお、図中同一符
号は同一又は相当部分を示す。

【００３１】異なる露光量で複数回撮像したり複数の撮
像素子を用いることにより得られた撮像信号に基づい
て、広ダイナミックレンジ画像を作成する方法はこれま
でもいろいろと提案されてきているが、いずれの方法も
合成画像に含まれるノイズ成分の変化に言及していな
い。

【００３２】そこで、露光量に対するノイズ成分の変化
に注目し、該ノイズ成分に応じて鮮鋭度を強調する方法
を採用することで、該ノイズの目立たない広ダイナミッ
クレンジ画像を作成することができる。

【００３３】以下においては、基本的に異なる露光量で
撮像することにより得られた複数の撮像信号に基づい
て、広ダイナミックレンジ画像を作成する場合について
述べる。まず、ある露光量で撮像した第一の撮像信号
と、第一の撮像信号の撮像時に対し１／Ｋ（Ｋは自然
数）の露光量で撮像した第二の撮像信号を得る。

【００３４】次に、上記第二の撮像信号をＫ倍し正規化
する。これにより、図１１に示されるように、第一の撮
像信号を示すグラフＧ１の非飽和部分と、正規化した第
二の撮像信号を示すグラフＧ３の非飽和部分は、図上に
おいて直線的に重なる。ここで、該二つの撮像信号から
広ダイナミックレンジ画像を作成する場合について考え
る。

【００３５】第一の撮像信号と第二の撮像信号が重なっ
ている図１１の点Ｐａにおいては、第一の撮像信号にお
けるノイズ成分の無い純粋な信号レベルをＳaとする
と、第二の撮像信号のレベルはＳa／Ｋとなる。しかし
ながら、実際はノイズ成分が存在するので第一の撮像信
号Ｖａ１の大きさは該ノイズ成分をＮ１とすると（Ｓa
＋Ｎ1）となり、第二の撮像信号Ｖａ２の大きさは該ノ
イズ成分をＮ２とすると（Ｓa／Ｋ＋Ｎ２）となる。

【００３６】次に、第二の撮像信号をＫ倍して正規化す
ることにより、点Ｐａにおいて正規化された第二の撮像
信号Ｖaｎ２の大きさは（Ｓa＋Ｋ×Ｎ２）となる。つま
り、第一の撮像信号におけるノイズの大きさはＮ１とな
るのに対し、正規化された第二の撮像信号におけるノイ
ズの大きさは（Ｋ×Ｎ２）となる。

【００３７】従って、撮像に伴うノイズの量が撮像素子
への入射光量に対し変動しないとするとき、第二の撮像
信号におけるノイズの量は第一の撮像信号に比してＫ倍
になる。

【００３８】しかしながら、一般的にノイズの絶対量は
入射光量に対して増加する傾向がある。そして、入射光
量Ｉに対するノイズの関数をＮ（Ｉ）とすると、図１１
に示された点Ｐａにおける第一の撮像信号のノイズ量は
Ｎ（Ｉa）、正規化された第二の撮像信号のノイズ量は
Ｋ×Ｎ（Ｉa／Ｋ）となる。

【００３９】一方、入射光量に対しノイズ量が小さいと
きは、入射光量と生成される撮像信号（出力信号Ｖ）と
は比例する。

【００４０】以上より、出力信号Ｖに対するノイズ量の
関数をＮ（Ｖ）とすると、図１１に示された点Ｐａにお
ける第一の撮像信号のノイズ量はＮ（Ｖa）、正規化さ
れた第二の撮像信号のノイズ量はＫ×Ｎ（Ｖa／Ｋ）と
なる。

【００４１】つまり、出力信号Ｖに対するノイズ量の関
数Ｎ（Ｖ）が得られると、出力信号Ｖの大きさに応じて
ノイズ量を推定できる。ここで、上記のようにノイズは
時間的に変化しない固定パターンノイズとランダムノイ
ズにわけられるが、ランダムノイズは一義的には決まら
ないので、ノイズ量を表す関数として統計的な分布を用
いるか、変動範囲を決定する。以上より、出力信号に応
じたノイズ量の特性を測定することによって、出力信号
に依る最大ノイズ量を推定することができる。

【００４２】つまり、第一の撮像信号におけるノイズ量
に対しては関数Ｎ（Ｖ）からコアリングレベルを決定
し、正規化された第二の撮像信号におけるノイズ量に対
してはＫ×Ｎ（Ｖ／Ｋ）よりコアリングレベルを決定す
ることができる。そして、推定される最大ノイズ量を基
に鮮鋭度強調時のコアリングレベルを決定することによ
り、撮像信号の変化が少ない平坦部分のノイズを強調す
ることなく鮮鋭度を強調できる。

【００４３】よって、本発明はノイズレベルを予測して
最適なコアリングレベルを設定することにより、適切に
鮮鋭度を強調して良好な広ダイナミックレンジ画像を得
るものである。以下において、本発明の実施の形態に係
る画像処理装置をより具体的に説明する。［実施の形態１］図１は、本発明の実施の形態１に係る
画像処理装置の構成を示すブロック図である。図１に示
されるように、本実施の形態１に係る画像処理装置１０
は、撮像部５と平均化部６、露光比検出部７、鮮鋭度強
調部８、合成部９、及びスイッチング部ＳＷとを備え
る。

【００４４】ここで、スイッチング部ＳＷは撮像部５に
接続され、平均化部６と露光比検出部７及び鮮鋭度強調
部８は、スイッチング部ＳＷに接続される。また、合成
部９は露光比検出部７及び鮮鋭度強調部８に接続され
る。

【００４５】そして、上記のような構成を有する画像処
理装置１０は、例えば図２に示される回路構成により実
現することができる。すなわち、画像処理装置１０は撮
像部５を構成するレンズ１１及び撮像素子３と、順に直
列接続される増幅器（ＡＧＣ）１２、サンプルホールド
回路（ＣＤＳ）１３、Ａ／Ｄ変換器１４及び画像処理Ｃ
ＰＵ１５と、画像処理ＣＰＵ１５に接続されたランダム
アクセスメモリ（ＲＡＭ）１６及びカードＲＡＭ１７に
より構成することができる。

【００４６】図３は、図１に示された撮像部５の構成を
示す図である。図３に示されるように、撮像部５はレン
ズ１とデバイダ（被写体像分割器）２、及び二つの撮像
素子３，４を含む。

【００４７】このような構成を有する撮像部５において
は、撮影光学系をなすレンズ１１を介して入射された光
がデバイダ２により二つの経路に分割され、二つの撮像
素子３，４にそれぞれ被写体像が形成される。

【００４８】一方、図１に示された撮像部５は、図４に
示されるようにレンズ１と撮像素子３から構成すること
もできる。そしてこの場合には、撮像素子３は、図５
（ａ）に示された露光タイミング信号におけるパルスＳ
１，Ｓ２のエッジ（時刻Ｔ１，Ｔ２）に応じて複数回露
光動作を行い、図５（ｂ）に示されるように、時刻Ｔ１
及び時刻Ｔ２においてそれぞれ撮像信号ＶＳ１，ＶＳ２
を生成する。

【００４９】次に、上記撮像部５による撮像方法につい
て述べる。図６に示されるように、一般的なＣＣＤなど
の固体撮像素子を用いた場合には、撮像信号の出力レベ
ルはある範囲内では入射光量に応じたものとされるが、
入射光量がある値を超えると出力レベルが飽和して非直
線的な特性を示す。そして、このような非直線的な特性
を示す信号レベルを飽和レベル、それ以外の直線的な特
性を示すレベルを非飽和レベルと呼ぶ。

【００５０】ここで、一般的な撮像装置においては、該
出力レベルが非飽和レベルの範囲内となるように、絞り
やシャッタ等を用いて入射光量を制限する必要がある。
すなわち例えば、図７（ａ）に示されるように、撮像対
象とされる被写体からの入射光量が該被写体像の一部で
非飽和レベルを超えて臨界入射光量ＩＰｃ以上となる場
合には、図７（ｂ）に示されるように、該臨界入射光量
ＩＰｃに対応する臨界出力信号Ｓｃを超える部分２１
が、飽和のため歪んでしまう。

【００５１】次に、撮像信号に含まれるノイズについて
考えると、撮像部５として固体撮像素子等を使用した場
合には、該撮像素子上に結像した被写体像を光電変換す
る過程で種々のノイズが含まれる。ここで、これらのノ
イズは図８に示されるように大別される。ここで、固定
パターンノイズは、絶えず一定の誤差を起こすノイズで
あり、通常の画像処理においてこれらの誤差分を出力信
号から差し引くことにより低減することができる。

【００５２】また、量子化ノイズは、得られたアナログ
の撮像信号をデジタル信号に変換するときに生じる量子
化誤差であり、量子化精度をあげることで低減すること
ができる。

【００５３】また、ランダムノイズは、被写体照度に依
存する光ショットノイズと被写体照度に依存しない暗時
ノイズに分けられる。ここで、被写体照度に依存する光
ショットノイズＮｓは、撮像素子３に生じる電荷量（信
号の大きさ）Ｓの平方根に比例し、被写体照度に依存し
ない定数をＮｓｃとするとき、以下の式（１）により示
される。Ｎｓ＝Ｎｓｃ×Ｓ^１／２（１）これより、以下の式（２）が得られる。Ｓ／Ｎｓ＝Ｓ^１／２／Ｎｓｃ（２）以上より、信号が大きいほど光ショットノイズＮｓは大
きくなるが、Ｓ／Ｎ比は信号の平方根に比例して大きく
なる。なお、被写体照度に依存しない暗時ノイズＮ_Ｄは
信号の大きさによらず一定となるため、Ｓ／Ｎ比は信号
に比例して大きくなる。

【００５４】図９は、信号の大きさＳと、暗時ノイズ及
び光ショットノイズに関するＳ／Ｎ比との関係を表すグ
ラフである。ここで、暗時ノイズに関するＳ／Ｎ比Ｓ／
Ｎ_Ｄはグラフ２２により示され、光ショットノイズに関
するＳ／Ｎ比Ｓ／Ｎｓはグラフ２３により示される。
なお、該ノイズはＳ／Ｎ比が大きいほど目立たず、Ｓ／
Ｎ比が小さいほど目立ち、基本的には信号量が大きいほ
どノイズが目立たなくなる。

【００５５】ここで、図９に示されるように、信号が
（Ｎ_Ｄ／Ｎｓｃ）^２より小さいときは暗時ノイズＮ_Ｄ
が支配的で、大きいときは光ショットノイズＮｓが支配
的となる。

【００５６】以上より、画像におけるノイズに関して
は、撮像素子に出来るだけ電荷を蓄積させることにより
信号の大きさを増大させた方が好ましいが、上記のよう
な飽和性を考慮すると出力信号を飽和させることなく露
光させる必要が生じるため、撮像素子における最適な入
射光量の範囲が決定される。

【００５７】次に、異なる露光量で撮像することにより
得られた複数の撮像信号に基づいて新たな画像を作成す
る方法について説明する。撮像部５は、被写体からの光
をシャッタや絞りを用いて制限した光を撮像素子に導
き、該撮像素子に被写体像を結像させる。

【００５８】このとき一般に、輝度Ｉの被写体を撮像す
る際に撮像素子に蓄積される電荷は、非飽和領域では該
被写体像における照度Ｌと露光時間Ｔを乗じた露光量Ｅ
に比例し、出力信号Ｖは露光量Ｅに比例するため、以下
の関係式（３）が成立する。Ｖ∝Ｌ×Ｔ（＝Ｅ）（３）なお、輝度Ｉの被写体からの光は、絞りにより被写体像
の照度Ｌが制御され、シャッタにより露光量Ｔが制御さ
れる。

【００５９】ここで、図１０（ａ）は、シャッタや絞り
を用いることにより露光量がＥ１となるよう被写体から
撮像素子へ入射される光を制御するときにおける、撮像
部５からの出力信号の被写体輝度依存性を示す。次に、
図１０（ｂ）はＥ１／Ｋの露光量Ｅ２で露光したときに
おける、該出力信号の被写体輝度依存性を示す。

【００６０】図１０（ａ）に示されるように、露光量Ｅ
１のときにおいては撮像信号出力がＶ１以上で飽和し、
被写体の輝度がＩ１であるときに撮像出力信号はＶ１と
なる。また同様に、露光量Ｅ2のときにおいては撮像信
号出力がＶ２以上で飽和し、被写体の輝度がＩ２である
ときに撮像信号出力はＶ２となる。そしてこのとき、被
写体輝度Ｉ２は被写体輝度Ｉ１のＫ倍となる。すなわ
ち、当然のことながら、露光量を１／Ｋにした場合は被
写体輝度がＫ倍となる範囲まで飽和しない。

【００６１】次に、図１１には、図１０（ａ）に示され
たグラフＧ１と、図１０（ｂ）に示されたグラフＧ２に
おいて撮像信号出力をＫ倍に増幅したグラフＧ３とが併
記される。そして、図１１に示されるように、被写体輝
度Ｉ１までにおいては両グラフＧ１，Ｇ３は重なり、被
写体輝度Ｉ１以上では露光量Ｅ１での出力信号は飽和
し、露光量Ｅ２での出力信号は被写体輝度Ｉ２まで飽和
しない。

【００６２】なお、ここまでの説明においては、被写体
からの光が光電変換される過程におけるノイズの発生に
ついては記していないが、上記のように光電変換に伴い
ノイズが発生する。

【００６３】ここで、固定パターンノイズと量子化ノイ
ズを除くランダムノイズＮについて考えると、該ノイズ
の大きさは次式（４）で示される。Ｎ＝（Ｎ_Ｄ ^２＋Ｎｓ^２）^１／２（４）そして、上記式（１）により次式（５）を得ることがで
きる。Ｎ＝（Ｎ_Ｄ ^２＋Ｎｓｃ^２・Ｓ）^１／２（５）また、被写体輝度がＩaのときに撮像部５から出力され
る信号（ノイズを含まない）をＳa とするとき、露光量
Ｅ１のときにおけるランダムノイズＮ１は次式（６）の
ように示される。Ｎ１＝（Ｎ_Ｄ ^２＋Ｎｓｃ^２・Ｓａ）^１／２（６）また、同様に露光量Ｅ２のときにおけるランダムノイズ
Ｎ２は次式（７）のように示される。Ｎ２＝Ｋ・（Ｎ_Ｄ ^２＋Ｎｓｃ^２・（Ｓａ／Ｋ））^１／２＝（Ｋ^２・Ｎ_Ｄ ^２＋Ｋ・Ｎｓｃ^２・Ｓａ）^１／２（７）上式（７）より、Ｋ＞１のときはノイズＮ１よりノイズ
Ｎ２の方が大きくなることが分かる。つまり、被写体輝
度がI１以下である場合においては、露光量Ｅ２で撮像
することにより得られた信号をＫ倍した信号よりも露光
量Ｅ１で撮像することにより得られた信号の方がノイズ
が小さいことになる。

【００６４】従って、露光量Ｅ１及び露光量Ｅ２で撮像
することにより得られた撮像信号においては、被写体輝
度がＩ１以下の場合には露光量Ｅ１の下で得られた撮像
信号を使い、被写体輝度がＩ１以上の場合には露光量Ｅ
２の下で得られた撮像信号を使うことにより、広いダイ
ナミックレンジの被写体輝度情報が取得でき、かつ暗部
でのノイズの少ない良好な画像を得ることができる。

【００６５】ここで、露光量Ｅ１及び露光量Ｅ２の下で
得られた二つの撮像信号においては、そのノイズの大き
さが異なる。そして、該ノイズｎは撮像信号の大きさに
依存する関数ｎ（Ｓ）と依存しない定数ｎ０とにより、
次式（８）で表すことができる。ｎ＝ｎ0＋ｎ（Ｓ）（８）また、出力信号Ｖは次式（９）により表される。Ｖ＝Ｓ＋ｎ0＋ｎ（Ｓ）（９）そして、図１１に示された点Ｐａにおいて露光量Ｅ１の
下で撮像された信号Ｖａ１は、次式（１０）により示さ
れる。Ｖａ１＝Ｓａ＋ｎ0＋ｎ（Ｓａ）（１０）一方、点Ｐａにおいて露光量Ｅ２の下で撮像された信
号Ｖａ２は、Ｖａ２＝Ｓａ／Ｋ＋ｎ0＋ｎ（Ｓａ／Ｋ）（１１）となり、正規化された信号Ｖａｎ２は次式（１２）によ
り示される。Ｖａｎ２＝Ｓａ＋Ｋ×ｎ0＋Ｋ×ｎ（Ｓａ／Ｋ）（１２）つまり、図１２に示されるように、露光量Ｅ１により撮
像された画像（暗部）と露光量Ｅ２により撮像された画
像との間では、臨界輝度Ｉｃにおいて、生じ得るノイズ
の幅２４に非連続性を生じる。すなわち、従来のように
単純に露光量Ｅ１により撮像された画像と正規化された
露光量Ｅ２により撮像された画像とを合成すると、合成
の切り替わりポイント（臨界輝度Ｉｃ）でノイズの大き
さが大きく変化してしまう。

【００６６】そこで、本発明に係る画像処理装置におい
ては、このような問題を解決するため、基本的に２つの
アプローチを行うことにより、良好な広ダイナミックレ
ンジ画像を作成する。まず第一のアプローチとしてノイ
ズの変化に合わせて鮮鋭度を強調する方法があり、第二
のアプローチとして合成される撮像信号のノイズの大き
さを減らす方法がある。

【００６７】ここで、まず上記第一のアプローチについ
て説明する。上記のように、一般的にデジタル画像を作
成する場合には、撮像画像についてアパーチャ補正と呼
ばれる鮮鋭度の強調処理を行う。

【００６８】例えば、注目画素の撮像信号を３倍した信
号に、該注目画素の両隣の画素における撮像信号をそれ
ぞれ（−１）倍してさらに加えた信号を上記注目画素の
撮像信号とする、いわゆる（−１，３，−１）フイルタ
を用いることによって鮮鋭度を強調する場合には、例え
ば図１３（ａ）に示される画像（撮像信号）は、画像の
エッジ部分の鮮鋭度が強調され、図１３（ｂ）に示され
る画像（撮像信号）を得ることができる。

【００６９】ところが、図１４（ａ）に示されるような
撮像信号の大きさにおける変化が少ない平坦な画像の場
合には、図１４（ｂ）に示されるように、鮮鋭度を強調
しても平坦な画像となるが、図１５（ａ）に示されるよ
うに上記のような平坦な画像にノイズが含まれる場合に
は、図１５（ｂ）に示されるように、該ノイズが強調さ
れてしまう。そこで、コアリングと呼ばれる処理が実行
される。

【００７０】この処理は、まずアパーチャレベルＡＰを
注目画素の撮像信号レベルＤ_０とその前後における画素
の撮像信号レベルＤ_−１，Ｄ_１とにより次式（１３）に
より求める。ＡＰ＝−Ｄ_−１＋２Ｄ_０−Ｄ_１（１３）そして、上式（１３）により求められたアパーチャレベ
ルＡＰの絶対値が設定されたコアリングレベルＣより小
さい場合には、該注目画素にアパーチャレベルＡＰを加
算せず、アパーチャレベルＡＰの絶対値が設定されたコ
アリングレベルＣ以上である場合には、該注目画素にア
パーチャレベルＡＰを加算するという処理を実行する。

【００７１】これより、図１６に示されるように、アパ
ーチャレベルＡＰがコアリングレベルＣより小さい平坦
部などでは撮像信号レベルの増加分Ｄａは０とされてノ
イズの強調が回避されると共に、アパーチャレベルＡＰ
がコアリングレベルＣより大きくなるエッジ部では該増
加分ＤａがアパーチャレベルＡＰに比例するものとされ
るため、いわゆる画像のエッジ強調が実現できる。な
お、エッジ部にノイズ成分が含まれていても信号変化が
大きいため、該ノイズが目立つことはない。

【００７２】つまり、上記のような処理では、アパーチ
ャレベルＡＰを求めることによりノイズレベルを把握し
て、撮像信号が設定されたコアリングレベル以下におい
て変化する場合は鮮鋭度を強調せず、コアリングレベル
以上変化する場合に鮮鋭度を強調する。

【００７３】しかしながら、一般的に該ノイズはランダ
ムノイズと非ランダムノイズにわけられると共に、該ノ
イズは一定でなく、ノイズの大きさも撮像信号の大きさ
に依存するものと依存しないものとがある。

【００７４】そして、広ダイナミックレンジの画像を作
成する場合には、異なる露光量の下で撮像することによ
り得られた信号を合成する必要がある。つまり、異なる
露光量の信号を合成した合成画像に対し、単に従来の方
法によるアパーチャ処理を行った場合には適正なコアリ
ング処理を実行することができない。

【００７５】換言すれば、第一の露光量で撮像された標
準画像情報と、第一の露光量に対して１／Ｋの露光量で
撮像された非標準画像情報とを合成する場合には、上記
のように非標準画像情報をＫ倍して正規化した後に合成
する。そして、この後に従来のアパーチャ処理を行った
場合には、ｎ0＋ｎ（Ｓａ）により求められる標準画像
情報のノイズレベルと、Ｋ×ｎ0＋Ｋ×ｎ（Ｓａ／Ｋ）
により求められる正規化された非標準画像情報のノイズ
レベルとが同じコアリングレベルの下で鮮鋭度が強調さ
れる。

【００７６】そして、Ｋ＞１とした場合にはｎ0＋ｎ
（Ｓａ）＜Ｋ×ｎ0＋Ｋ×ｎ（Ｓａ／Ｋ）となるた
め、標準画像情報のノイズレベルに応じてコアリングレ
ベルを設定すると、正規化された非標準画像情報のノイ
ズレベルが該コアリングレベルより大きくなる場合に
は、非標準画像情報におけるノイズが強調されてしま
う。

【００７７】そこで、本発明の実施の形態１に係る画像
処理装置においては、該合成に先立って鮮鋭度強調部８
により鮮鋭度を強調する方法が採用される。

【００７８】図１６は、本実施の形態１に係る鮮鋭度強
調部８の構成を示すブロック図である。図１６に示され
るように、鮮鋭度強調部８は色処理部８１とアパーチャ
処理部８２とを含む。ここで、色処理部８１には撮像部
５から撮像信号（撮像情報）が供給され、アパーチャ処
理部８２には色処理部８１からＲＧＢ情報が供給され
る。そして、アパーチャ処理部８２で処理された信号は
合成部９に供給される。

【００７９】ところで一般的に、撮像部５でカラー情報
を得る場合には、図２１に示されるようにＲＧＢ成分毎
に異なる分光感度による光電変換を行うため、図２０に
示されるようなＣＣＤ等の上にＲＧＢ成分を選択的に透
過するカラーフィルタを備えた固体撮像素子が使用され
る。

【００８０】そして、このような撮像素子を用いること
により得られた信号は、図１８に示されるような画素毎
に対応したデジタル情報とされる。そして、図１７に示
された色処理部８１は、該デジタル情報に対して色処理
と呼ばれる補間処理を施し、図１９に示されるようなＲ
ＧＢ成分毎の３プレーンの情報を作成する。ここで、図
１９（ａ）は画素毎のＲ成分のみを示す情報（Ｒプレー
ン）を表し、図１９（ｂ）は画素毎のＧ成分のみを示す
情報（Ｇプレーン）を表し、図１９（ｃ）は画素毎のＢ
成分のみを示す情報（Ｂプレーン）を表す。

【００８１】そして次に、図１７に示されたアパーチャ
処理部８２は、作成されたＲＧＢ情報に対して上記のよ
うなアパーチャ補正を施す。ここで、複数の異なる露光
量の下で撮像された複数の撮像情報をそれぞれ色処理
し、得られた複数のＲＧＢ情報のそれぞれにアパーチャ
処理を施す。なお、該色処理は従来の方法を採用しても
良く、例えば注目画素の撮像情報がＲ成分のみである時
は、Ｇ成分及びＢ成分については、周囲の画素における
Ｇ成分及びＢ成分から補間的に求めることができる。ま
た、作成された複数のＲＧＢ情報の各プレーンに対し
て、上記アパーチャ補正が施される。

【００８２】そして、合成部９は、例えば異なる露光量
の下で２回撮像することにより得られた撮像信号に基づ
いて広ダイナミックレンジ画像を作成する場合、第一の
露光量で撮像され鮮鋭度の強調された標準画像情報と、
第一の露光量に対して１／Ｋの露光量で撮像され鮮鋭度
の強調された非標準画像情報とを合成する場合、上記の
ように非標準画像情報を正規化するためにＫ倍して合成
する。

【００８３】従来のように、ただ単に複数の画像情報を
合成した後に鮮鋭度を強調する場合は、一定のコアリン
グレベルを設定した後に鮮鋭度を強調するので、上記の
ように適切に鮮鋭度を強調することができないが、この
ように鮮鋭度の強調を画像合成に先立って行えば、ｎ0
＋ｎ（Ｓａ）により求められる標準画像情報のノイズレ
ベルとｎ0＋ｎ（Ｓａ／Ｋ）により求められる正規化さ
れる前の非標準画像情報のノイズレベルとは同じコアリ
ングレベルで鮮鋭度が強調され、一般にｎ0＋ｎ（Ｓ
ａ）＞ｎ0＋ｎ（Ｓａ／Ｋ）という関係が成立するの
で、非標準画像情報のノイズが強調されることがない。

【００８４】また、より厳密には信号レベルに合わせて
コアリングレベルを設定する事でより適切に鮮鋭度を強
調できる。つまり、図２２に示されるように、実際に撮
像部５から出力される信号のレベルＬに応じてコアリン
グレベルＣを変化させることにより、適切に鮮鋭度を強
調することができる。ここで、該出力信号の大きさに依
存しないノイズレベルｎ0により決定されるコアリング
レベルをＣ０とし、該出力信号の大きさに依存するノイ
ズレベルｎ（Ｓ）により経験的に設定される関数をｆｃ
（Ｌ）とすれば、コアリングレベルＣは次式（１４）に
より示される。Ｃ＝Ｃ０＋ｆｃ（Ｌ）（１４）また、アパーチャレベルＡＰは注目画素の撮像信号Ｄ_０
とその前後の画素の撮像信号Ｄ_−１，Ｄ_１より決定され
るので、各画素に対応する出力信号のレベルＬを（２×
Ｄ_０＋Ｄ_−１＋Ｄ_１）／４により算出された値としても
良いし、代表値として撮像信号Ｄ_０を利用することもで
きる。

【００８５】次に、合成される撮像信号のノイズの大き
さを減らす上記第二のアプローチについて説明する。異
なる露光量の下で撮像することにより得られた情報を合
成する場合には、標準画像に対し非標準画像が１／Ｋの
露光量の下で撮像された場合、Ｋ＞１のときには上記
のようにｎ0＋ｎ（Ｓａ）＜Ｋ×ｎ0＋Ｋ×ｎ（Ｓａ／
Ｋ）となってしまう。

【００８６】そこで、固定パターンノイズなどの非ラン
ダムノイズについては、該ノイズ成分をＣＣＤの画素毎
に記録し、記録された該ノイズ成分の値に応じて補正す
ることができるが、ランダムノイズに対しては除去する
ことができない。

【００８７】ここで、標準画像のランダムノイズをｎ0
＋ｎ（Ｓａ）、正規化されたランダムノイズをＫ×ｎ0
＋Ｋ×ｎ（Ｓａ／Ｋ）とした場合、一定の露光量でｍ
回撮像することにより得られた撮像信号を画素毎に平均
した値はＳａ＋（ｎ0＋ｎ（Ｓａ））／ｍ^１／２とな
り、ノイズ成分は１／ｍ^１／２となる。同様に、１／Ｋ
の露光量でｎ回撮像することにより得られた撮像信号を
画素ごとに平均した値はＳａ＋（Ｋ×ｎ0＋Ｋ×ｎ（Ｓ
ａ／Ｋ））／ｎ^１／２となりノイズ成分は１／ｎ^１
^／２になる。

【００８８】そこで、双方のノイズが同じになる条件
は、次式（１５）により示される。（ｎ0＋ｎ（Ｓａ））／ｍ^１／２＝（Ｋ×ｎ0＋Ｋ×ｎ（Ｓａ／Ｋ））／ｎ^１／ ^２ …（１５）そして、式（１５）より次の式（１６）の関係が成立する。ｍ／ｎ＝（Ｋ×ｎ0＋Ｋ×ｎ（Ｓａ／Ｋ））／（ｎ0＋ｎ（Ｓａ））^２ …（１６）ここで、上記のように撮像信号の大きさに依存するノイ
ズは光ショットノイズで、その大きさは光量の平方根に
比例するので次の式（１７）の関係が成立する。ｍ／ｎ＝（Ｋ×ｎ0＋Ｋ^１／２×ｎ（Ｓａ））／（ｎ0＋ｎ（Ｓａ））^２ …（１７）従って、露光比Ｋが決まると、式（１７）によりｍとｎ
の比が決まる。つまり、露光比Ｋに応じてｍとｎの比を
決定することにより、標準画像と非標準画像のランダム
ノイズレベルを同じにすることができる。なお、以上の
ような撮像回数ｍ及びｎは、図２に示される画像処理Ｃ
ＰＵ１５に含まれた合成部９により算出される。

【００８９】以上が上記二つのアプローチの原理である
が、以下においては図１に示された本実施の形態１に係
る画像処理装置の構成及び動作について説明する。

【００９０】図１に示されるように、撮像部５で生成さ
れた複数の撮像信号（撮像情報）が露光比検出部７と鮮
鋭度強調部８に入力される。そして、露光比検出部７は
上記露光比Ｋを検出し、鮮鋭度強調部８は上記のような
方法により鮮鋭度を強調する。

【００９１】ここで、露光比検出部７による露光比検出
動作について説明する。露光比検出部７は、標準画像に
おける非飽和部分の撮像信号の平均値と、非標準画像の
対応部分における撮像信号の平均値を求め、これらの平
均値の比を求めることで露光比Ｋを検出することができ
る。

【００９２】次に、合成部９は標準画像の中で飽和して
いない部分は標準画像を選択し、飽和している部分は露
光比検出部７により算出された露光比Ｋを非標準画像に
乗じた上でこれを選択する。そして、このような処理を
画素ごとに行うことにより広ダイナミックレンジ画像を
作成することができる。

【００９３】また、一定の露光量でｍ回撮像することに
より得られた画像と、異なる露光量の下でｎ回撮像した
画像とにより広ダイナミックレンジ画像を作成する場合
には、図１に示されるスイッチング部ＳＷを制御信号に
より切り換えることにより、撮像部５で生成された撮像
信号を平均化部６へ供給する。そして、平均化部６は、
複数の撮像情報において画素ごとに平均を求め、平均画
像を作成する。

【００９４】そして、上記のような一連の画像処理は、
図２に示された画像処理ＣＰＵ１５などを用いて実行さ
れる。すなわち、図２に示された画像処理装置は、被写
体像を形成するためのレンズ１１と、被写体像を光電変
換する撮像素子３と、撮像素子３により得られた撮像信
号を増幅する増幅器（ＡＧＣ）１２とサンプルホールド
回路（ＣＤＳ）１３及びＡ／Ｄ変換器１４からなるアナ
ログ回路と、量子化された情報をデジタル処理する画像
処理ＣＰＵ１５と、画像を一時的に保存する画像処理用
のＲＡＭ１６と、作成された画像を記録しておくための
カードＲＡＭ１７を含む。

【００９５】以下において、本実施の形態１に係る画像
処理装置の動作を、図２３のフローチャートを参照しつ
つ説明する。まずステップＳ１では、撮像部５に含まれ
た撮像素子３が、異なる露光量下の撮像により複数の撮
像信号（撮像情報）を生成し、ＲＡＭ１６は該撮像信号
を保存する。

【００９６】次に、ステップＳ２では、画像処理ＣＰＵ
１５に含まれた露光比検出部７が、非飽和部分の平均値
の比に応じて、ＲＡＭ１６に保存された複数の画像間に
おける露光比を算出する。そして、ステップＳ３では、
画像処理ＣＰＵ１５が、画像の鮮鋭度を強調するための
色補間処理を実行する。そして、この色補間処理におい
ては、図１８に示されるような画素毎に対応したデジタ
ル情報に基づいて、ＲＧＢ成分毎に図１９に示されたＲ
ＧＢ画像を作成する。

【００９７】次に、ステップＳ４において、画像処理Ｃ
ＰＵ１５に含まれた鮮鋭度強調部８は、上記のようにコ
アリングレベルを撮像信号（撮像情報）に基づいて決定
し、鮮鋭度を強調する。そして、ステップＳ５では、画
像処理ＣＰＵ１５に含まれた合成部９が、標準画像の非
飽和部分については一画素単位で該標準画像を選択し、
該標準画像の飽和部分では露光比検出部７で検出された
露光比を非標準画像に乗じることによって正規化された
非標準画像を一画素単位で選択することにより合成画像
を作成する。

【００９８】以上のような動作により、本実施の形態１
に係る画像処理装置によれば、撮像された複数の画像に
おける露光比に応じて適切なコアリングレベルを設定し
て鮮鋭度を強調した後、鮮鋭度が強調された該複数の撮
像画像を合成することにより、良好な広ダイナミックレ
ンジ画像を生成することができる。

【００９９】［実施の形態２］上記実施の形態１に係る
画像処理装置１０は、画像の合成に先立って合成対象と
する各画像の鮮鋭度を強調するものであったが、合成後
に鮮鋭度を強調することも考えられる。以下において
は、該画像の合成後に鮮鋭度を強調する実施の形態２に
係る画像処理装置を説明する。

【０１００】図２４に示されるように、実施の形態２に
係る画像処理装置２０は、図１に示された実施の形態１
に係る画像処理装置１０と同様な構成を有するが、合成
部９がスイッチング部ＳＷ及び露光比検出部７に接続さ
れ、鮮鋭度強調部８が合成部９に接続される点で相違す
るものである。

【０１０１】図２４に示された画像処理装置２０におい
ては、まず撮像部５により生成された複数の撮像情報は
合成部９に供給され合成される。ここで、合成部９は標
準画像の中で撮像信号が飽和していない場合（しきい値
より小さい場合）は標準画像を選択し、飽和している場
合（しきい値より大きい場合）は露光比検出部７により
検出された露光比Ｋを非標準画像に乗じてこれを選択す
る。そして、このような処理を画素ごとに行うことによ
り広ダイナミックレンジ画像を作成する。

【０１０２】そして、鮮鋭度強調部８は、図２５に示さ
れるように、合成処理部９に接続された色処理部８１
と、色処理部８１に接続されたアパーチャ処理部８２と
を含み、合成された情報に対し色処理部８１において上
記実施の形態１と同様な色処理を行う。

【０１０３】さらに、図２６（ａ）及び図２６（ｂ）に
示された第一及び第二の撮像信号を合成することによっ
て得られた図２６（ｃ）に示される信号から、図２６
（ｄ）乃至図２６（ｆ）に示されるように、ＲＧＢ成分
毎に計３プレーンのＲＧＢ情報を作成し、作成された該
ＲＧＢ情報に対してアパーチャ処理を行う。

【０１０４】ここで、上記のように、単に画像を合成し
た後に鮮鋭度を強調するアパーチャ補正を行うと、Ｋ倍
された非標準画像情報部分ではノイズレベルに対して適
切なコアリングレベルの設定ができないという問題があ
る。

【０１０５】そこで、鮮鋭度を強調するに当たり合成さ
れた画像がどの画像から作成されたかを調べる必要があ
る。ところが、上記色処理では複数の画像情報からＲＧ
Ｂ情報を作成するため、強調される情報は標準画像情報
と非標準画像情報が混合されたものとなる。

【０１０６】つまり、図２８に示されるように、注目画
素３０がＢ成分の信号を検出する場合には、不足するＲ
成分及びＧ成分を周囲の画素より補間する。そして、こ
の場合例えば、注目画素３０のＧ成分は、該注目画素３
０に隣接しＧ成分の信号を検出する四つの画素で得られ
た信号の平均を求めることにより補間する。

【０１０７】ここで、周囲の画素で検出されたＧ成分
が、標準画像の一部を構成するものか非標準画像の一部
を構成するものかに応じ、あるいは両画像の混合比に応
じて、コアリングレベルを適切に設定する必要がある。

【０１０８】そして仮に、該補間のため使用する注目画
素３０の周囲に配置された画素がすべて標準画像の場合
はそれぞれのノイズレベルはｎ0＋ｎ（Ｓａ）となり、
すべて正規化された非標準画像の場合はそれぞれのノイ
ズレベルはＫ×ｎ0＋Ｋ×ｎ（Ｓａ／Ｋ）となるため、
これらのノイズレベルに対応してコアリングレベルを設
定する必要がある。

【０１０９】しかしながら、該混合比をそれぞれの画素
毎に記録しておくためには、ＲＧＢ成分ごとの計３つの
プレーンについて該混合比をそれぞれ記録しておく必要
があるため、実施化は容易ではない。そこで、本実施の
形態２に係る画像処理装置では、該混合比を予測してコ
アリングレベルを設定する。以下において、該コアリン
グレベルの設定方法を説明する。

【０１１０】図２９に示されるように、グラフＧ１によ
り示される標準画像情報と、グラフＧ３により示される
正規化された非標準画像情報との間で、いずれの情報を
使用するかを決定するためのレベルをしきい値Ｔｈとす
る。

【０１１１】そして、標準画像の情報がしきい値Ｔｈよ
り小さいときは、合成画像情報として標準画像の情報を
採用し、標準画像の情報がしきい値Ｔｈより大きいとき
は合成画像情報として正規化された非標準画像の情報を
採用する。このとき、図２８に示された注目画素３０に
おいて得られるＢ成分は単一の情報から作成され、例え
ばＢ成分がしきい値Ｔｈより小さい場合には、Ｂ成分は
標準画像の情報とされる。

【０１１２】また、注目画素３０の周囲の画素から補間
されるＧ成分またはＲ成分については、該Ｇ成分がしき
い値Ｔｈに比べかなり小さい値をとる場合には、標準画
像のみで補間された情報である可能性が高く、逆に該Ｇ
成分がしきい値Ｔｈに比べかなり大きな値をとる場合に
は、非標準画像の情報のみで補間された情報である可能
性が高い。

【０１１３】また、アパーチャ補正におけるコアリング
処理は、画像中において撮像信号の変化の少ない平坦部
分ではノイズを目立たせないことを目的としており、周
囲画素との差が小さいときにコアリングの値が問題とな
る。

【０１１４】つまり、この場合は注目画素３０の周囲に
おける画素値（撮像信号の大きさ）は近似した値である
ため、仮にノイズを含まない信号レベルがしきい値Ｔｈ
である場合には、周囲の画素に対応する情報がすべて標
準画像情報のときには、該周囲の画素に対応する情報に
ｎ0＋ｎ（Ｔｈ）により求められるノイズが含まれる。

【０１１５】一方、ｎ0＋ｎ（Ｓａ）の平均値が算出さ
れると共に、ｎ0＋ｎ（Ｓａ）の最大値をＮnとした場
合、該周囲の画素に対応する情報がすべて標準画像情報
であるときの最小値は（Ｔｈ−Ｎn）となる。

【０１１６】また、該周囲の画素に対応する情報がすべ
て正規化された非標準画像情報のときは、Ｋ×ｎ0＋Ｋ
×ｎ（Ｔｈ／Ｋ）により求められるノイズが含まれ、
Ｋ×ｎ0＋Ｋ×ｎ（Ｔｈ／Ｋ）の平均値が求められる。
そして、Ｋ×ｎ0＋Ｋ×ｎ（Ｔｈ／Ｋ）により求められ
るノイズ量の最大値をＮkとした場合、周囲画素に対応
する情報がすべて正規化された非標準画像情報であると
きの最大値は（Ｔｈ＋Ｎk）となる。

【０１１７】ここで、図２７に示されるように、標準画
像に対して設定されるコアリングレベルをＣn、正規化
された非標準画像に対して設定されるコアリングレベル
をＣkとした場合、作成された撮像信号のレベルを基に
混合比を予測しコアリングレベルを決定する。

【０１１８】すなわち、作成された撮像信号の値が（Ｔ
ｈ−Ｎn）より小さい領域Ａ１に含まれるときは標準画
像に対して設定されたコアリングレベルＣｎの下で鮮鋭
度を強調し、（Ｔｈ＋Ｎk）より大きい領域Ａ３に含ま
れるときは正規化された非標準画像に対して設定された
コアリングレベルＣｋの下で鮮鋭度を強調すれば良い。
そして、作成された撮像信号の値が（Ｔｈ−Ｎn）と
（Ｔｈ＋Ｎk）の間における領域Ａ２に含まれる場合に
は、コアリングレベルＣｎとコアリングレベルＣｋを所
定比で内分することにより求められる混合コアリングレ
ベルの下で鮮鋭度が強調される。なお、Ｎn及びＮkの値
はそれぞれ、ｎ0＋ｎ（Ｔｈ）及びＫ×ｎ0＋Ｋ×ｎ（Ｔ
ｈ／Ｋ）が取り得る最大値から決定すれば良い。

【０１１９】そして、上記のような色処理において混合
比を予測する方法を採用することにより、合成画像がい
ずれの画像により作成されたかを記録しておく必要が無
くなる。

【０１２０】なお、このような方法においても、図２２
に示されるように、実際の出力信号レベルＬに応じてコ
アリングレベルＣを変化させるようにしても良い。そし
て、この場合にはまず、撮像信号のレベルに応じて図３
０に示されるようにコアリングレベルを決定すれば良
い。すなわち、撮像信号が該標準画像のみからなり該撮
像信号のレベルが領域Ａ１に含まれる場合には、撮像信
号の関数として求められる標準コアリングレベルを設定
し、撮像信号が色処理により混合され領域Ａ２に含まれ
る場合は同じく撮像信号の関数として求められる混合コ
アリングレベルを設定し、正規化された非標準画像から
作成された可能性が高く領域Ａ３に含まれる場合には撮
像信号の関数として求められる非標準コアリングレベル
を設定するよう切り替えれば良い。

【０１２１】また、以上の説明においては、画像の合成
に先立って鮮鋭度を強調する実施の形態１に係る場合
と、画像の合成後に鮮鋭度を強調する実施の形態２に係
る場合の両者において、標準画像と非標準画像のいずれ
かを一定のしきい値Ｔｈを基準として選択することによ
り単純に合成する方法を述べたが、合成画像において標
準画像と非標準画像の切り替わり部分（つなぎ部分）が
目立たないよう、従来のように少しずつ混合比を変化さ
せる方法を併用しても良い。

【０１２２】すなわち、図３１に示されるように、例え
ば標準画像を形成する撮像信号の値がしきい値Ｔｈ0以
下である場合は標準画像のみで、しきい値Ｔｈ0からし
きい値Ｔｈ1までの値に対しては撮像信号の値の一次関
数として一義的に決定される混合比により合成し、しき
い値Ｔｈ1以上である場合には非標準画像のみを用いて
合成画像を生成する方法を採用しても良い。

【０１２３】この場合、画像合成後に鮮鋭度を強調する
本実施の形態２に係る画像処理装置では、上記のように
混合比を変更しながら合成した後、得られた合成画像情
報の値により混合比と色処理による混合比を同時に予測
し、コアリングレベルを決定すれば良い。

【０１２４】つまり、図３２に示されるように撮像信号
の値がしきい値（Ｔｈ0−Ｎn）以下の場合は標準画像に
対して設定されるコアリングレベルの下で、撮像信号の
値がしきい値（Ｔｈ１＋Ｎk）以上である場合は正規化
された非標準画像に対して設定されるコアリングレベル
の下でそれぞれ鮮鋭度を強調し、しきい値（Ｔｈ0−Ｎ
n）としきい値（Ｔｈ１＋Ｎk）の間の大きさとなる場合
は該混合比と該混合比に基づいてコアリングレベルを設
定すれば良い。

【０１２５】次に、本実施の形態２に係る画像処理装置
の動作を、図３３に示されたフローチャートを参照しつ
つ説明する。図３３に示されるように、まずステップＳ
１では、撮像素子を含む撮像部５が異なる露光量の下で
複数回撮像することにより複数の撮像情報を得る。そし
て、該撮像情報を画像処理用のＲＡＭ１６に保存する。

【０１２６】次にステップＳ２では、露光比検出部７
は、ＲＡＭ１６に保存された複数の画像間における露光
比を、上記のように画像の非飽和部分における撮像信号
の平均値の比によって算出する。

【０１２７】そして、ステップＳ３では、上記のように
合成部９が標準画像における非飽和部分に対して標準画
像を画素単位で選択し、飽和部分に対しては露光比検出
部７により検出された露光比Ｋを非標準画像に乗ずるこ
とによって正規化された非標準画像を選択することによ
って、合成画像を作成する。

【０１２８】ステップＳ４では、ステップＳ３において
得られた合成画像の鮮鋭度を強調するため、鮮鋭度強調
部８に含まれた色処理部８１が色補間処理を実行し、図
１８に示された情報に色処理を施すことによって、図１
９に示されたＲＧＢ成分毎のプレーン画像を作成する。

【０１２９】次に、ステップＳ５では、鮮鋭度強調部８
に含まれたアパーチャ処理部８２は、上記のように画像
情報に基づいて混合比を予測してコアリングレベルを決
定した上で鮮鋭度を強調し、動作を終了する。

【０１３０】以上より、本発明の実施の形態２に係る画
像処理装置によっても、ノイズの目立たない広ダイナミ
ックレンジ画像を生成することができる。

【発明の効果】上述のごとく、本発明に係る画像処理装
置によれば、複数の撮像信号における露光比によらず、
適切な合成画像を得ることができるため、ダイナミック
レンジが広く鮮明な画像を得ることができる。

【０１３１】また、鮮鋭度強調手段は、撮像信号の大き
さに応じたノイズレベルに基づいて、撮像信号の鮮鋭度
を強調するものとすれば、不必要なノイズの増幅を回避
することができるため、ノイズの少ない画像を得ること
ができる。

【０１３２】また、本発明に係る画像処理装置によれ
ば、合成画像における混合比により鮮鋭度を強調するた
め、容易かつ適切に合成画像の鮮鋭度を強調することが
できるため、ダイナミックレンジが広く鮮明な画像を容
易に得ることができる。

【０１３３】また、鮮鋭度強調手段は、合成画像及び露
光比に応じたノイズレベルに基づいて合成画像の鮮鋭度
を強調するものとすれば、ノイズを増幅させることなく
合成画像の鮮鋭度を強調することができるため、より質
の高い画像を得ることができる。

【０１３４】また、複数の撮像信号を画素毎に平均して
平均撮像信号を生成する平均化手段をさらに備え、画像
合成手段は、複数の平均撮像信号を合成することとすれ
ば、ランダムに発生するノイズを抑制することができる
ため、得られる画像の質をさらに高めることができる。

【０１３５】また、所定の露光量下において撮像手段が
被写体を撮像する回数を、露光比に応じて決定する撮像
回数決定手段をさらに備えることとすれば、ランダムに
発生するノイズの影響を抑制した画像を効率的に得るこ
とができるため、ダイナミックレンジが広くノイズの少
ない画像を低コストで作成することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る画像処理装置の構
成を示すブロック図である。

【図２】図１に示された画像処理装置の構成を示す図で
ある。

【図３】図１に示された撮像部の第一の構成例を示す図
である。

【図４】図１に示された撮像部の第二の構成例を示す図
である。

【図５】図４に示された撮像部の動作を示すタイミング
チャートである。

【図６】図１に示された撮像部の動作特性を示すグラフ
である。

【図７】図１に示された撮像部の動作を説明する図であ
る。

【図８】図１に示された画像処理装置において生じるノ
イズを分類した図である。

【図９】図１に示された撮像部で生成される信号におけ
るＳ／Ｎ比の特性を示すグラフである。

【図１０】図１に示された撮像部において生成される撮
像信号の被写体輝度に対する関数を示すグラフである。

【図１１】図１に示された画像処理装置の動作を説明す
る第一のグラフである。

【図１２】図１に示された画像処理装置の動作を説明す
る第二のグラフである。

【図１３】図１に示された鮮鋭度強調部の動作を説明す
る第一のグラフである。

【図１４】図１に示された鮮鋭度強調部の動作を説明す
る第二のグラフである。

【図１５】図１に示された鮮鋭度強調部の動作を説明す
る第三のグラフである。

【図１６】図１に示された鮮鋭度強調部によるコアリン
グレベルの設定を説明する図である。

【図１７】図１に示された鮮鋭度強調部の構成を示すブ
ロック図である。

【図１８】図１７に示された鮮鋭度強調部の動作を説明
する第一の図である。

【図１９】図１７に示された鮮鋭度強調部の動作を説明
する第二の図である。

【図２０】実施の形態１に係る撮像素子に備えられたカ
ラーフィルタを示す図である。

【図２１】図２０に示されたカラーフィルタを用いたと
きに得られる感度の波長による変化を示すグラフであ
る。

【図２２】図１に示された鮮鋭度強調部の動作を説明す
る第四のグラフである。

【図２３】本発明の実施の形態１に係る画像処理装置の
動作を示すフローチャートである。

【図２４】本発明の実施の形態２に係る画像処理装置の
構成を示すブロック図である。

【図２５】図２４に示された鮮鋭度強調部の構成を示す
図である。

【図２６】図２５に示された鮮鋭度強調部の動作を説明
する図である。

【図２７】図２４に示された鮮鋭度強調部の動作を説明
する第一のグラフである。

【図２８】図２４に示された鮮鋭度強調部の動作を説明
する図である。

【図２９】図２４に示された合成部の動作を説明する第
一のグラフである。

【図３０】図２４に示された鮮鋭度強調部の動作を説明
する第二のグラフである。

【図３１】図２４に示された合成部の動作を説明する第
二のグラフである。

【図３２】図２４に示された鮮鋭度強調部の動作を説明
する第三のグラフである。

【図３３】本発明の実施の形態２に係る画像処理装置の
動作を示すフローチャートである。

【符号の説明】

１，１１レンズ（撮影光学系）２デバイダ（被写体像分割器）３，４撮像素子５撮像部６平均化部７露光比検出部８鮮鋭度強調部９合成部１０，２０画像処理装置１２増幅器（ＡＧＣ）１３サンプルホールド回路（ＣＤＳ）１４Ａ／Ｄ変換器１５画像処理ＣＰＵ１６ランダムアクセスメモリ（ＲＡＭ）１７カードＲＡＭ８１色処理部８２アパーチャ処理部ＳＷスイッチング部

Claims

【特許請求の範囲】

【請求項１】被写体を撮像して撮像信号を生成する撮
像手段を含む画像処理装置であって、前記撮像信号の鮮鋭度を強調する鮮鋭度強調手段と、前記撮像信号に基づいて、複数の前記撮像における露光
比を検出する露光比検出手段と、前記鮮鋭度強調手段により鮮鋭度が強調された複数の前
記撮像信号を、前記露光比に応じて合成する画像合成手
段とを備えたことを特徴とする画像処理装置。
【請求項２】前記鮮鋭度強調手段は、前記撮像信号の
大きさに応じたノイズレベルに基づいて、前記撮像信号
の鮮鋭度を強調する請求項１に記載の画像処理装置。
【請求項３】被写体を撮像して撮像信号を生成する撮
像手段を含む画像処理装置であって、前記撮像信号に基づいて、複数の前記撮像における露光
比を検出する露光比検出手段と、複数の前記撮像信号を前記露光比に応じて合成して合成
画像を生成する画像合成手段と、前記合成画像に基づいて前記複数の撮像信号間の混合比
を検出し、検出された前記混合比に応じて前記合成画像
の鮮鋭度を強調する鮮鋭度強調手段とを備えたことを特
徴とする画像処理装置。
【請求項４】前記鮮鋭度強調手段は、前記合成画像及
び前記露光比に応じたノイズレベルに基づいて前記合成
画像の鮮鋭度を強調する請求項３に記載の画像処理装
置。
【請求項５】前記撮像手段が前記被写体を所定の露光
量下で複数回撮像することにより得られた複数の前記撮
像信号を画素毎に平均して平均撮像信号を生成する平均
化手段をさらに備え、前記画像合成手段は、異なる前記露光量下で撮像された
前記撮像信号に基づいて前記平均化手段により生成され
た複数の前記平均撮像信号を合成する請求項１または３
に記載の画像処理装置。
【請求項６】前記所定の露光量下において前記撮像手
段が前記被写体を撮像する回数を、前記露光比に応じて
決定する撮像回数決定手段をさらに備えた請求項５に記
載の画像処理装置。