JP2018022951A - 画像処理装置および白黒画像処理装置 - Google Patents

Abstract

【課題】高感度化またはダイナミックレンジの拡大に伴う画質の劣化を抑制する。
【解決手段】実施形態によれば、画像処理装置は、リニア／ノンリニア変換回路と、ノンリニアデジタルゲイン回路と、ノンリニア／リニア変換回路とを含む。リニア／ノンリニア変換回路は、リニアＲＡＷ信号に対して入出力１：１のリニア／ノンリニア変換を適用し、リニアＲＡＷ信号よりもビット数の多い第１のノンリニアＲＡＷ信号を生成する。ノンリニアデジタルゲイン回路は、第１のノンリニアＲＡＷ信号に基づく第２のノンリニアＲＡＷ信号にデジタルゲインを乗算し、第３のノンリニアＲＡＷ信号を得る。ノンリニア／リニア変換回路は、第３のノンリニアＲＡＷ信号に基づくノンリニア輝度またはＲＧＢ信号に対してリニア／ノンリニア変換の逆変換に相当するノンリニア／リニア変換を適用し、リニア輝度信号またはＲＧＢ信号を生成する。
【選択図】図３

Description

実施形態は、画像処理に関する。

従来、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子は、光学絞りの調整を行わなくても被写体の明るさ（照度）に適した感度で撮像を行うことができる。このような撮像感度制御は、固体撮像素子の露光時間（すなわち、シャッタ速度）と、画素信号に適用されるゲインとを調整することにより実現可能である。ここで、ゲインとは、固体撮像素子内で適用されるアナログゲインに加えてＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）内で適用されるデジタルゲインを含む。

しかしながら、デジタルゲインの調整は、デジタルの画素信号に１よりも大きなデジタル値（ゲイン）を乗算することを意味しており、量子化ノイズを増幅して画質を劣化させる。このデジタルゲインは目標の撮像感度に比例して増加させる必要があるので、高感度化を目指すほど例えばＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）などの画質も大きく劣化することになる。

撮像感度の制御は、いわゆるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮影技術においても活用されている。例えば、ＨＤＲ合成（多重露光方式ＨＤＲ撮像とも呼ばれる）とは、複数の異なる露光時間を用いて撮像を行い、撮像画像の感度を合せてから合成することにより撮影１画面内のダイナミックレンジを拡大する技術である。また、高感度化（すなわち、入力飽和レベル設定の拡大）によりダイナミックレンジを拡大する方式（単一露光方式ＨＤＲ撮像とも呼ばれる）も知られている。これらのＨＤＲ撮像技術によれば、輝度差の大きな画像を適切に表現することが可能となる。例えば、暗環境で撮像された被写体の白飛びを少なくしたり、明環境で撮像された被写体の黒つぶれを少なくしたりすることができる。

多重露光方式では、合成される画像の感度を合わせる（換言すれば、短時間露光チャンネルを高感度化する）ためにデジタルゲインの調整が行われる。単一露光方式でも、高感度化のためにデジタルゲインの調整が行われる。前述のようにこれらのデジタルゲインの調整は、量子化ノイズを増幅して画質を劣化させる。結果的に、ダイナミックレンジの拡大を目指すほど例えばＳＮＲなどの画質も大きく劣化することになる。

特開２０１２−０２９０２９号公報

実施形態は、高感度化またはダイナミックレンジの拡大に伴う画質の劣化を抑制することを目的とする。

実施形態によれば、画像処理装置は、第１のリニア／ノンリニア変換回路と、ノンリニアデジタルゲイン回路と、ノンリニア／リニア変換回路と、第２のリニア／ノンリニア変換回路とを含む。第１のリニア／ノンリニア変換回路は、第１のリニアＲＡＷ信号に基づく第２のリニアＲＡＷ信号に対して入出力１：１の第１のリニア／ノンリニア変換を適用し、当該第２のリニアＲＡＷ信号よりもビット数の多い第１のノンリニアＲＡＷ信号を生成する。ノンリニアデジタルゲイン回路は、第１のノンリニアＲＡＷ信号に基づく第２のノンリニアＲＡＷ信号に×０倍よりも大きなデジタルゲインを乗算し、第３のノンリニアＲＡＷ信号を得る。ノンリニア／リニア変換回路は、第３のノンリニアＲＡＷ信号に基づく第１のノンリニア輝度信号またはノンリニアＲＧＢ信号に対して第１のリニア／ノンリニア変換の逆変換に相当するノンリニア／リニア変換を適用し、第１のリニア輝度信号またはリニアＲＧＢ信号を生成する。第２のリニア／ノンリニア変換回路は、第１のリニア輝度信号またはリニアＲＧＢ信号に基づく第２のリニア輝度信号またはリニアＲＧＢ信号に対して第２のリニア／ノンリニア変換を適用し、第２のノンリニア輝度信号またはノンリニアＲＧＢ信号を生成する。

別の実施形態によれば、白黒画像処理装置は、リニア／ノンリニア変換回路と、ノンリニアデジタルゲイン回路と、ノンリニア／ノンリニア変換回路とを含む。リニア／ノンリニア変換回路は、第１のリニアＲＡＷ信号に基づく第２のリニアＲＡＷ信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該第２のリニアＲＡＷ信号よりもビット数の多い第１のノンリニアＲＡＷ信号を生成する。ノンリニアデジタルゲイン回路は、第１のノンリニアＲＡＷ信号に基づく第２のノンリニアＲＡＷ信号に×０倍よりも大きなデジタルゲインを乗算し、第３のノンリニアＲＡＷ信号を得る。ノンリニア／ノンリニア変換回路は、第３のノンリニアＲＡＷ信号に基づく第１のノンリニア輝度信号に対してノンリニア／ノンリニア変換を適用し、第２のノンリニア輝度信号を生成する。

第１の実施形態乃至第３の実施形態に係る撮像／画像処理装置を例示するブロック図。 第１の実施形態および第２の実施形態に係る撮像／画像処理装置に含まれるカメラモジュールを例示するブロック図。 第１の実施形態および第３の実施形態に係る撮像／画像処理装置に含まれるＩＳＰ前処理部を例示するブロック図。 第１の実施形態および第２の実施形態に係る撮像／画像処理装置に含まれるＩＳＰ後処理部を例示するブロック図。 図３のγ補正回路によって行われるγ補正を例示するグラフ。 リニアＲＡＷ（画素）信号が０［％］（黒）基準値±７ＬＳＢの場合のノンリニアＲＡＷ信号の設定値を例示するテーブル。 ４個の画素からなる推定正常画素群に対応するノンリニアＲＡＷ信号が０［％］基準値±３ＬＳＢの範囲に分布する場合の重み付け和をプロットしたグラフ。 ４個の画素からなる推定正常画素群に対応するノンリニアＲＡＷ信号が０［％］基準値±５ＬＳＢの範囲に分布する場合の重み付け和をプロットしたグラフ。 ４個の画素からなる推定正常画素群に対応するノンリニアＲＡＷ信号が０［％］基準値±７ＬＳＢの範囲に分布する場合の重み付け和をプロットしたグラフ。 入力飽和レベル設定と当該入力飽和レベル設定に対応するリニアデジタルゲインおよびノンリニアデジタルゲインとを例示するテーブル。 図４の逆γ補正回路によって行われる逆γ補正を例示するグラフ。 第２の実施形態に係る撮像／画像処理装置に含まれるＩＳＰ前処理部を例示するブロック図。 第３の実施形態に係る撮像／画像処理装置に含まれるカメラモジュールを例示するブロック図。 第３の実施形態に係る撮像／画像処理装置に含まれるＩＳＰ後処理部を例示するブロック図。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

図１に例示されるように、第１の実施形態乃至第３の実施形態に係る撮像／画像処理装置は、カメラモジュール１０と、ＩＳＰコア２０とを含む。ＩＳＰコア２０は、さらに、ＩＳＰ前処理部２１およびＩＳＰ後処理部２２へと分割されている。ＩＳＰコア２０を単独で画像処理装置と呼ぶこともできる。

なお、図１の機能分割は例示に過ぎない。例えば、ＩＳＰ前処理部２１は、カメラモジュール１０に組み込まれていてもよい。さらに、ＩＳＰ後処理部２２は、画像処理チップまたは画像認識チップなどのＩＳＰ前処理部２１とは異なるチップに組み込まれていてもよい。

カメラモジュール１０は、撮像を行ってリニアＲＡＷ信号を生成し、ＩＳＰ前処理部２１へと出力する。カメラモジュール１０は、ＣＭＯＳセンサであってもよい。ＩＳＰ前処理部２１は、リニアＲＡＷ信号に対して後述されるγ補正を適用し、デジタルゲインの乗算によりダイナミックレンジを拡大（高感度化）してからＨＤＲ圧縮またはクリップ（以降、単に圧縮とも称される）を施す。ＩＳＰ前処理部２１は、圧縮済みのノンリニアＲＡＷ信号をＩＳＰ後処理部２２へと出力する。

ＩＳＰ後処理部２２は、ＩＳＰ前処理部２１からのノンリニアＲＡＷ信号に対して輪郭の抽出・補正、ブライトネス／コントラスト調整などの種々の画像処理を施す。さらに、ＩＳＰ後処理部２２は、上記γ補正の逆変換に相当する逆γ補正を適用し、必要に応じて色補正などの画像処理を施してから、本（再）γ補正を適用する。ＩＳＰ後処理部２２は、処理済みの信号を図示されない後段の装置（例えば、表示装置、通信装置、記録装置など）へと出力する。

（第１の実施形態）
第１の実施形態に係るカラー撮像／画像処理装置は、単一露光方式のＨＤＲ撮像をサポートする。この撮像／画像処理装置のカメラモジュール１００、ＩＳＰ前処理部１１０およびＩＳＰ後処理部１２０がそれぞれ図２、図３および図４に例示される。

図２のカメラモジュール１００は、光学レンズ１０１と、色フィルタ１０２と、受光画素１０３と、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）１０４と、ロジック信号処理部１０５とを含む。

なお、ロジック信号処理部１０５は、光学レンズ１０１、色フィルタ１０２、受光画素１０３およびＡＤＣ１０４と同一のチップに組み込まれていてもよいし、異なるチップに組み込まれていてもよい。また、ロジック信号処理部１０５は、ＩＳＰ前処理部１１０に組み込まれていても良い。

光学レンズ１０１は、外界からの入射光を、色フィルタ１０２を介して受光画素１０３に集光する。受光画素１０３は、光学レンズ１０１を通過した入射光をその光量に応じた信号レベルを持つ電気信号へと（光電）変換する。受光画素１０３は、電子シャッタ機能を備えており、設定されたシャッタ速度によって決まる期間（露光時間）に亘って電荷を蓄積する。受光画素１０３は、生成した電気信号をＡＤＣ１０４へと出力する。

ＡＤＣ１０４は、受光画素１０３から電気信号を受け取り、当該電気信号をアナログ／デジタル変換することによって、デジタルのリニアＲＡＷ信号を生成する。ＡＤＣ１０４は、リニアＲＡＷ信号をロジック信号処理部１０５へと出力する。

リニアＲＡＷ信号の値は、対応する受光画素１０３における入射光の光量に依存する。リニアＲＡＷ信号は、例えば原色ベイヤー配列（Ｒ−Ｇｒ−Ｇｂ−Ｂ）のＲＧ／ＧＢライン順次信号となる。なお、リニアＲＡＷ信号の画素配列は、色フィルタ１０２の色配列に依存して定められる。色フィルタ１０２は、例えば、白（ＷｈまたはＹ）、黄（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）などの赤（Ｒ）、緑（Ｇ）および青（Ｂ）以外の色を含んだ色配列（例えば、補色系の配列）を持つこともできる。ＲＡＷ信号の画素配列は、後述されるＩＳＰ前処理部１１０によって行われる一連の画像処理（ＩＳＰ前処理）の過程では不変である。

ロジック信号処理部１０５は、ＡＤＣ１０４からリニアＲＡＷ信号を受け取り、例えば高温時の温度補償、光学シェーディング補正、スタティック型キズ補正などの種々の信号処理を施す。スタティック型キズ補正とは、カメラモジュール１００の出荷時点で既知の欠陥画素を座標指定（保持）して補正する技術であり、手動キズ補正とも呼ばれる。なお、ロジック信号処理部１０５は、一般的に、リニアＲＡＷ信号に対してリニア領域のままで信号処理を施す。ロジック信号処理部１０５は、処理済みのリニアＲＡＷ信号をＩＳＰ前処理部１１０へと出力する。このリニアＲＡＷ信号は、例えば１０ビット〜１６ビット信号であるが、以降の説明では１２ビット信号と仮定される。

図３のＩＳＰ前処理部１１０は、黒レベル調整回路１１１と、リニアデジタルゲイン回路１１２と、プリγ補正回路１１３と、キズ補正／ノイズ低減処理回路１１４と、ノンリニアデジタルゲイン回路１１５と、ＨＤＲ圧縮回路１１６と、入力テスト画像発生回路１１７と、自動露光制御回路１１８とを含む。

黒レベル調整回路１１１は、カメラモジュール１００からリニアＲＡＷ信号を受け取り、黒レベル調整（ＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）クランプ）を施す。黒レベル調整回路１１１は、黒レベル調整済みのリニアＲＡＷ信号をリニアデジタルゲイン回路１１２へと出力する。

リニアデジタルゲイン回路１１２は、黒レベル調整回路１１１からリニアＲＡＷ信号（第１のリニアＲＡＷ信号）を受け取る。リニアデジタルゲイン回路１１２は、リニアＲＡＷ信号にリニアデジタルゲインを乗算する。リニアデジタルゲイン回路１１２は、ゲイン補正済みのリニアＲＡＷ信号をプリγ補正回路１１３へと出力する。なお、第１のリニアＲＡＷ信号という名称は、例えば、カメラモジュール１００またはＡＤＣ１０４から出力されるリニアＲＡＷ信号を指すために用いることもできる。

このリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定に加えて、色調を補正（典型的には、ホワイトバランスを調整）するための色毎に設定される第１のゲイン、ならびに、シェーディング補正のために画面内位置に応じて設定される第２のゲイン、のうち少なくとも１つに依存して定められてもよい。

プリγ補正回路１１３は、リニアデジタルゲイン回路１１２からリニアＲＡＷ信号（第２のリニアＲＡＷ信号）を受け取る。プリγ補正回路１１３は、リニアＲＡＷ信号にγ補正（第１のリニア／ノンリニア変換）を適用することによって、当該リニアＲＡＷ信号よりもビット数の多いノンリニアＲＡＷ信号（第１のノンリニアＲＡＷ信号）を生成する。プリγ補正回路１１３は、ノンリニアＲＡＷ信号をキズ補正／ノイズ低減処理回路１１４へと出力する。

具体的には、プリγ補正回路１１３は、例えば下記数式（１）に示される入出力１：１（すなわち、相異なる入力に対応する出力同士に重複がない）の多ビット化γ補正をリニアＲＡＷ信号に適用することができる。

数式（１）は、γ補正における理想特性を示し、この場合は計算上で求められる理想的なリニア／ノンリニア変換になる（小数点以下は四捨五入）。

数式（１）において、ＯＵＴ（ｘ）はＡＤＣ１０４の入力信号レベルがｘ［％］の場合のノンリニアＲＡＷ信号の値を表し、ＩＮ（ｘ）は入力信号レベルがｘ［％］の場合のリニアＲＡＷ信号の値を表す。ＩＮ（０）およびＩＮ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のリニアＲＡＷ信号の設定値を表す。

γは、例えばＩＳＰ後処理部１２０の後段に設けられる図示されない表示装置の入出力特性に応じて定められるγ補正係数である。しかしながら、プリγ補正回路１１３と逆γ補正回路１２５とにおいては、本γ補正回路１２７とは異なり、理想係数＝０．４５固定としても構わない。

例えばγ＝０．４５の場合には、入出力１：１を守ると、出力ビット数は入力ビット数よりも２ビット以上多くなる。γは０．４５とは異なる値であってもよく、例えば０．５のように単純化されてもよい。

ＯＵＴ（０）およびＯＵＴ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のノンリニアＲＡＷ信号の設定値を表す。ＯＵＴ（１００）−ＯＵＴ（０）を大きくすれば、ノンリニアＲＡＷ信号のビット数を任意に増加させることができる。ただし、γ補正は入出力１：１のリニア／ノンリニア変換であるから、ノンリニアＲＡＷ信号のビット数がリニアＲＡＷ信号に比べてどれだけ増加しようとも、ノンリニアＲＡＷ信号自体の階調数はリニアＲＡＷ信号の階調数よりも下回ることはないし超えることもない。

ＩＮ（０）＝２５６、ＩＮ（１００）＝２８１６、γ＝０．４５、ＯＵＴ（０）＝１５３６０、ＯＵＴ（１００）＝５６３２０の場合に、プリγ補正回路１１３は図５に例示されるγ補正を１２ビットのリニアＲＡＷ信号に適用して１６ビットのノンリニアＲＡＷ信号を生成する。

ここで、ＩＮ（０）からＩＮ（１００）までの範囲には合計で２５６０（＝２８１６−２５６）階調が存在する。２５６０は、１２ビットのリニアＲＡＷ信号の表現可能な階調である４０９６の１０／１６に相当する。そして、ＩＮ（０）＝２５６＝４０９６×１／１６であって、ＩＮ（１００）＝２８１６＝４０９６×１１／１６であるから、ノンリニアＲＡＷ信号の最大値である４０９５はＩＮ（１５０）＝４０９６と略等しい。

同様に、ＯＵＴ（０）からＯＵＴ（１００）までの範囲には合計で４０９６０（＝５６３２０−１５３６０）個の階調が存在する。４０９６０は、１６ビットのノンリニアＲＡＷ信号の表現可能な階調である６５５３６の１０／１６に相当する。そして、ＯＵＴ（０）＝１５３６０＝６５５３６×３．７５／１６であって、ＯＵＴ（１００）＝６５５３６×１３．７５／１６であるから、ノンリニアＲＡＷ信号の最大値である６５５３５はＯＵＴ（１２２．５）＝６５５３６と略等しい。但し、ＩＮ（ｘ）が最小値（０）である場合のノンリニアＲＡＷ信号の値は８２７（＞０）であって、ＩＮ（ｘ）が最大値（４０９５）である場合のノンリニアＲＡＷ信号の値は６４５１３（＜６５５３５）である。故に、ＩＮ（ｘ）がどのような値であっても、ＯＵＴ（ｘ）は飽和しない。

図５のγ補正によれば、リニアＲＡＷ信号には信号レベル毎に個別のゲインが与えられる。そして、ノンリニアＲＡＷ信号は、低輝度（低濃度）側では非線形に変化するが、高輝度（高濃度）側では略線形に変化する。すなわち、ノンリニアＲＡＷ信号は、低輝度側では、階調の刻み幅が大きく、かつ、変化しやすい（輝度が高くなるにつれて階調の刻み幅は単調減少する）。他方、ノンリニアＲＡＷ信号は、高輝度側では、階調の刻み幅が小さく、かつ、階調の刻み幅は殆ど変化しないが０となることはない。

なお、γ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。前記の通り、γ補正の入出力特性は、固定であってもよい。この場合に、プリγ補正回路１１３は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に保存された固定のルックアップテーブルを参照することでγ補正を行ってもよいし、ＨＷＬ（Ｈａｒｄ Ｗｉｒｅｄ Ｌｏｇｉｃ）を用いてγ補正を行ってもよい。このようにγ補正の入出力特性を固定することで、プリγ補正回路１１３の回路規模を抑制することができる。γ補正の入出力特性は、例えば表計算ソフトウェアを用いて簡易に計算することができる。また、γ補正は、他の入出力１：１の多ビット化リニア／ノンリニア変換に置き換えることもできる。

キズ補正／ノイズ低減処理回路１１４は、プリγ補正回路１１３からノンリニアＲＡＷ信号を受け取る。キズ補正／ノイズ低減処理回路１１４は、ノンリニアＲＡＷ信号に対してキズ補正処理およびノイズ低減処理の少なくとも一方を適用する。キズ補正／ノイズ低減処理回路１１４は、処理済みのノンリニアＲＡＷ信号をノンリニアデジタルゲイン回路１１５へと出力する。

具体的には、キズ補正／ノイズ低減処理回路１１４は、ノンリニアＲＡＷ信号を５ライン同時化し、５×５画素領域（＝同色３×３画素領域）を抽出する。５ライン同時化処理は、例えば４Ｈラインメモリを用いて実装することができる。抽出された５×５画素領域の中央を占める画素が、キズ補正／ノイズ低減処理回路１１４による処理の対象（対象画素）とされる。対象画素は、受光画素１０３の有効画素領域の走査順に従って順次選択される。すなわち、あらゆる画素を対象画素として選択することができる。キズ補正／ノイズ低減処理回路１１４は、対象画素と同色の８個の画素からなる周囲画素群に属する複数の画素（におけるノンリニアＲＡＷ信号）の値の重み付け和を計算する。この重み付け和は、キズ補正処理およびノイズ低減処理の両方に使用することができる。キズ補正／ノイズ低減処理回路１１４は、キズ補正処理およびノイズ低減処理の便宜上、対象画素（におけるノンリニアＲＡＷ信号）の値を重みの総和倍（Ｒｃとする）にする。

なお、キズ補正／ノイズ低減処理回路１１４は、周囲画素群に属する全画素を用いて重み付け和を計算する必要はない。寧ろ、周囲画素群にキズ（白キズまたは黒キズ）に相当すると推定される画素が含まれている場合には、係る画素を除外することが好ましい。故に、以下に説明するように、キズ補正／ノイズ低減処理回路１１４は、周囲画素群から係る画素を除外した推定正常画素群に属する画素の値の重み付け和を計算する。

本実施形態において、画素はキズ（白キズ若しくは黒キズ）または正常のどちらかと仮定される。現実には、種々のノイズに埋もれる程度の微細なキズに相当する画素も存在するが、このようなキズは適切に検出・補正することが困難なので、正常画素として取り扱われる。

以降の説明では、周囲画素群に属する８個の同色画素値を降順にＲｎ、Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、Ｒｇ、Ｒｆ、Ｒｅで表すこととする。

白キズの最大許容個数が１個の場合には、周囲画素群に属する画素のうち最大値（Ｒｎ）を持つ画素のみが、白キズに相当する可能性があるので推定正常画素群から除外される。白キズの最大許容個数が２個の場合には、周囲画素群に属する画素のうち最大値（Ｒｎ）を持つ画素に加えて第２番目に大きい画素値（Ｒｍ）を持つ画素が、白キズに相当する可能性があるので推定正常画素群から除外される。

なお、白キズの個数が３個である場合には、直線上に並んだ白キズと縞画像との区別ができないのでキズ補正は機能しなくなる。故に、白キズの最大許容個数は高々２である。黒キズの最大許容個数も同様の理由から高々２である。

同様に、黒キズの最大許容個数が１個の場合には、周囲画素群に属する画素のうち最小値（Ｒｅ）を持つ画素のみが、黒キズに相当する可能性があるので推定正常画素群から除外される。黒キズの最大許容個数が２個の場合には、周囲画素群に属する画素のうち最小値（Ｒｅ）を持つ画素に加えて第２番目に小さい画素値（Ｒｆ）を持つ画素が、黒キズに相当する可能性があるので推定正常画素群から除外される。

すなわち、白キズおよび黒キズの最大許容個数が共に１個の場合には、キズ補正／ノイズ低減処理回路１１４は、Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆの値を持つ６個の画素を推定正常画素群として特定する。

白キズおよび黒キズの最大許容個数がそれぞれ１個および２個の場合には、キズ補正／ノイズ低減処理回路１１４は、Ｒｍ、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ５個の画素を推定正常画素群として特定する。

白キズおよび黒キズの最大許容個数がそれぞれ２個および１個の場合には、キズ補正／ノイズ低減処理回路１１４は、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆの値を持つ５個の画素を推定正常画素群として特定する。

白キズおよび黒キズの最大許容個数が共に２個の場合には、キズ補正／ノイズ低減処理回路１１４は、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ４個の画素を推定正常画素群として特定する。

なお、白キズおよび黒キズの最大許容個数がそれぞれ１または２のいずれの場合であっても、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ４個の画素は常に推定正常画素群に含まれる。故に、キズ補正／ノイズ低減処理回路１１４は、キズおよび黒キズの最大許容個数に関わらず、例えば下記数式（２）に従って、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの重み付け和（Ｒａ）を計算してもよい。

ここで、ｍおよびｎは重みを表す。数式（２）によって計算された重み付け和（Ｒａ）を、対象画素の値（Ｒｃ）の理論的な基準値としてキズ補正処理またはノイズ低減処理に用いることで、対象画素の値（Ｒｃ）の量子化精度は少なくとも×（２ｍ＋２ｎ）倍（すなわち、＋ｌｏｇ_２（２ｍ＋２ｎ）ビット）分改善する。例えば、（ｍ，ｎ）＝（０，１）であれば、量子化精度は少なくとも×２倍（＋１ビット）分改善する。（ｍ，ｎ）＝（１，１）であれば、量子化精度は少なくとも×４倍（＋２ビット）分改善する。（ｍ，ｎ）＝（１，３）であれば、量子化精度は少なくとも×８倍（＋３ビット）分改善する。（ｍ，ｎ）＝（１，７）であれば、量子化精度は少なくとも×１６倍（＋４ビット）分改善する。以降の説明では、（ｍ，ｎ）＝（１，３）とし、対象画素の値（Ｒｃ）のビット数を１９（＝１６＋３）ビットとする。

なお、重み付け和（Ｒａ）をキズ補正処理またはノイズ低減処理に用いることによる量子化精度の改善効果は、対象画素の値（Ｒｃ）が黒付近であるか白付近であるかによって大きく異なり、白付近では上記数値例と大差ないが、黒付近では上記数値例に比して相当に高い。前述のように、ノンリニアＲＡＷ信号は黒付近では階調間の刻み幅が変化しやすいので、黒付近の値の重み付け和（Ｒａ）は広範囲に分散してより細やかな階調を表現できる。

図６には、ＩＮ（０）（＝２５６）を中心に±７ＬＳＢまでのノンリニアＲＡＷ信号の値が示されている。リニアＲＡＷ信号がＩＮ（０）から１ＬＳＢ増減した場合のノンリニアＲＡＷ信号の増減は１１９９（＞２^１０）である。すなわち、１６ビットのノンリニアＲＡＷ信号の黒付近での実質的な量子化精度は６ビット弱（＜１６−１０）と見積もることができる。

正常画素群の全ての値がＩＮ（０）±３ＬＳＢの範囲（すなわち、１３３９５〜１７３２５の７値）に収まっていると仮定し、これらの値の全組み合わせについての重み付け和のうち１１３２８８（＝８×（ＩＮ（０）−１ＬＳＢ））から１３２４７２（＝８×（ＩＮ（０）＋１ＬＳＢ））までの範囲にあるものをプロットすることにより図７のグラフが得られる。図７の例では、範囲内の重み付け和の階調の数は１２８（＝２×２^６）以上である。故に、この重み付け和（Ｒａ）を用いてキズ補正処理またはノイズ低減処理を行えば、黒付近の対象画素の値（Ｒｃ）の量子化精度は１２ビット程度（＝６＋６＝１９−７）に回復する可能性がある。

同様に、正常画素群の全ての値がＩＮ（０）±５ＬＳＢの範囲（すなわち、１２８８７〜１７８３３の１１値）に収まっていると仮定し、これらの値の全組み合わせについての重み付け和のうち１１３２８８（＝８×（ＩＮ（０）−１ＬＳＢ））から１３２４７２（＝８×（ＩＮ（０）＋１ＬＳＢ））までの範囲にあるものをプロットすることにより図８のグラフが得られる。図８の例では、範囲内の重み付け和の階調の数は５１２（＝２×２^８）以上である。故に、この重み付け和（Ｒａ）を用いてキズ補正処理またはノイズ低減処理を行えば、黒付近の対象画素の値（Ｒｃ）の量子化精度は１４ビット程度（＝６＋８＝１９−５）に回復する可能性がある。なお、図８において、重み付け和が緩やかなＳ字カーブを描いているが、この理由は基準黒レベルの付近が有限値に制限されているためであると考えられる。

同様に、正常画素群の全ての値がＩＮ（０）±７ＬＳＢの範囲（すなわち、１２４８３〜１８２３７の１５値）に収まっていると仮定し、これらの値の全組み合わせについての重み付け和のうち１１３２８８（＝８×（ＩＮ（０）−１ＬＳＢ））から１３２４７２（＝８×（ＩＮ（０）＋１ＬＳＢ））までの範囲にあるものをプロットすることにより図９のグラフが得られる。図９の例では、範囲内の重み付け和の階調の数は１０２４（＝２×２^９）以上であって、隣接階調間の刻み幅は概ね４８以下である。故に、重み付け和（Ｒａ）を用いてキズ補正処理またはノイズ低減処理を行えば、黒付近の対象画素の値（Ｒｃ）の量子化精度は１５ビット程度（＝６＋９＝１９−４）に回復する可能性がある。

なお、正常画素群の値がどの程度分散するかは、リニアＲＡＷ信号における輝度の局所変化、ノイズ成分などに依存する。しかしながら、図７乃至図９において仮定した範囲のいずれも高々１５値を含んでいるに過ぎず、ＩＮ（０）＝２５６の１／１６である１６値にも満たない。故に、正常画素群における輝度変化が極端に小さいなどの状況を除き、重み付け和（Ｒａ）を用いて以下のようにキズ補正処理またはノイズ低減処理を行えば、特に黒付近の対象画素の値（Ｒｃ）の量子化精度を大きく改善する効果が期待できる。

キズ補正／ノイズ低減処理回路１１４は、例えば、対象画素の値（Ｒｃ）と周囲画素群に属する複数の画素（におけるノンリニアＲＡＷ信号）の値とに基づいて当該対象画素に対してキズ検出を行う。キズ補正／ノイズ低減処理回路１１４は、対象画素をキズとして検出したならば、当該対象画素の値（Ｒｃ）を少なくとも重み付け和（Ｒａ）に基づいて補正する。

或いは、キズ補正／ノイズ低減処理回路１１４は、例えば、重み付け和（Ｒａ）と対象画素の値（Ｒｃ）との差分をノイズ基本成分として算出する。そして、キズ補正／ノイズ低減処理回路１１４は、このノイズ基本成分にノイズ低減の強度を定める係数を乗算し、これらの積を対象画素の値（Ｒｃ）から減算（または積を対象画素の値（Ｒｃ）に加算）することでノイズ低減を行う。なお、キズ補正／ノイズ低減処理回路１１４は、ここで説明された技法とは異なる技法を用いてノイズを低減してもよい。

なお、キズ補正／ノイズ低減処理は一般的にはリニアＲＡＷ信号を対象とするが、キズ補正／ノイズ低減処理回路１１４はノンリニアＲＡＷ信号を対象としている。例えばγ＝０．４５のγ補正によって得られるノンリニアＲＡＷ信号は、高輝度に比べて低輝度に敏感な人間の視覚特性に適合している。このため、キズ補正／ノイズ低減処理回路１１４は、ノンリニアＲＡＷ信号を用いた演算により、キズ検出・補正およびノイズ低減を高精度に実現することができる。故に、カメラモジュール１００の歩留まりの向上およびＳＮＲの向上が期待できる。

ノンリニアデジタルゲイン回路１１５は、キズ補正／ノイズ低減処理回路１１４からノンリニアＲＡＷ信号（第２のノンリニアＲＡＷ信号）を受け取る。ノンリニアデジタルゲイン回路１１５は、ノンリニアＲＡＷ信号に対して×０倍よりも大きなノンリニアデジタルゲインを乗算する。ノンリニアデジタルゲイン回路１１５は、ゲイン補正済みのノンリニアＲＡＷ信号（第３のノンリニアＲＡＷ信号）をＨＤＲ圧縮回路１１６へと出力する。

このノンリニアデジタルゲインは、撮像装置全体の撮像感度（およびノンリニアＲＡＷ信号のダイナミックレンジ）に影響する。後述されるように、例えばリニアデジタルゲインなどの他の要素が固定であれば、ノンリニアデジタルゲインを約１．３６６倍にすることで感度は２倍となる（リニアデジタルゲイン換算）。

なお、所与の感度を達成するノンリニアデジタルゲイン（ＮＬＤＧ）は、同一の感度を達成するリニアデジタルゲイン（ＬＤＧ）に基づいて、以下の数式（３）により算出することができる。

数式（３）では、ＬＤＧの冪指数を０．４５に設定しているが、この冪指数はプリγ補正回路１１３によって用いられるγ補正係数（γ）の値に等しい。

図１０には、入力飽和レベル（すなわち、感度）設定（ＩＤＲＳ：Ｉｎｐｕｔ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｓｅｔｔｉｎｇ）と、当該感度設定に対応するリニアデジタルゲインおよびノンリニアデジタルゲインが示されている。リニアデジタルゲインおよびノンリニアデジタルゲインのいずれも、×１倍以上に設定した場合には、階調間隔を拡大して感度を引き上げる効果がある。例えば、リニアデジタルゲイン（ＬＤＧ）を２倍にすれば、感度も２倍となる。他方、感度を２倍にするために必要なノンリニアデジタルゲインは約１．３６６倍に過ぎない。これは、上記数式（３）より明らかで、２^０．４５＝１．３６６となる。

数式（３）および図１０に例示されるように、ノンリニアデジタルゲインは、リニアデジタルゲインに比べて低い倍率で感度を同等に向上させることができる。すなわち、リニアデジタルゲインは、より小さなノンリニアデジタルゲインによって置換することができる。故に、リニアデジタルゲインよりも優先してノンリニアデジタルゲインを増加させれば、ＳＮＲの劣化を抑制しながら感度を向上させることができる。

ノンリニアデジタルゲイン回路１１５としてのデジタル乗算器が×０〜×６３倍までに対応しているとすれば、ノンリニアデジタルゲイン回路１１５はリニアデジタルゲインの×８１９２倍に相当する×約５８倍のノンリニアデジタルゲインを使用できる。この結果、ゲイン補正済みのノンリニアＲＡＷ信号の理論上のダイナミックレンジは１５０［ｄＢ］となり、ビット数は２５（＝１９＋６）となる。１２ビットのリニアＲＡＷ信号を単純に×８１９２倍しても、ビット数は同じ２５（＝１２＋１３）となるが、そのＲＡＷ信号に含まれる実質的な量子化精度は、大きく異なる。

ノンリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定に加えて、ＨＤＲ比率（ダイナミックレンジの拡大率）に基づいて全色共通に設定される第３のゲインに依存して定められてもよい。第３のゲインは、ＨＤＲ比率が×１倍よりも大きければ、上記数式（３）から明らかなようにＨＤＲ比率よりも小さくなる。

また、このノンリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定（および第３のゲイン）に加えて前述の第１のゲインまたは第２のゲインをさらに考慮して定められてもよい。例えば、リニアデジタルゲイン回路１１２を取り除き、ノンリニアデジタルゲイン回路１１５に色調の補正またはシェーディング補正をさらに行わせてもよい。

但し、リニアデジタルゲイン回路１１２はリニアＲＡＷ信号に対してデジタルゲインを乗算するが、ノンリニアデジタルゲイン回路１１５はノンリニアＲＡＷ信号に対してデジタルゲインを乗算する。故に、リニアデジタルゲイン回路１１２とノンリニアデジタルゲイン回路１１５との間で、色調の補正およびシェーディング補正に必要とされるゲインは相違する。

ＨＤＲ圧縮回路１１６は、ノンリニアデジタルゲイン回路１１５からノンリニアＲＡＷ信号を受け取る。ＨＤＲ圧縮回路１１６は、ノンリニアＲＡＷ信号に圧縮係数を乗算し、ダイナミックレンジを圧縮する。ＨＤＲ圧縮回路１１６は、ダイナミックレンジ圧縮済みのノンリニアＲＡＷ信号（第４のノンリニアＲＡＷ信号）をＩＳＰ後処理部１２０へと出力する。なお、ＨＤＲ圧縮回路１１６の出力信号のダイナミックレンジは、ＩＳＰ後処理部１２０がサポート可能なダイナミックレンジに適合するように定められる。

具体的には、ＨＤＲ圧縮回路１１６は、例えばトーンマッピングを用いて局所的なコントラストをできるだけ維持しながら、ノンリニアＲＡＷ信号のダイナミックレンジを圧縮する。

ＨＤＲ圧縮回路１１６の出力するノンリニアＲＡＷ信号のビット数は入力するノンリニアＲＡＷ信号のビット数に比べて小さい（例えば、１６〜２０ビット程度である）。故に、図３に例示されるようにＨＤＲ圧縮回路１１６をＩＳＰ前処理部１１０内部の最後段のブロックとして配置することで、当該ＩＳＰ前処理部１１０とＩＳＰ後処理部１２０との間の伝送信号のビット数を最小化することができる。

なお、ＨＤＲ圧縮回路１１６は、ノンリニアＲＡＷ信号の過大部分をクリップするクリップ回路に置き換えることもできる。この場合には、高輝度部分の情報が失われるので、ＩＳＰ前処理部１１０はＨＤＲ撮像をサポートしないことになる。

入力テスト画像発生回路１１７は、テスト用の入力画像を発生する。自動露光制御回路１１８は、例えば輝度に基づいて、シャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインの一部または全部を制御することで撮像感度を制御する。

図４のＩＳＰ後処理部１２０は、ｍライン同時化回路１２１と、輪郭抽出回路１２２と、輪郭補正／エッジ抽出回路１２３と、デモザイク（ＲＧＢ同時化）回路１２４と、逆γ補正回路１２５と、リニアＲＧＢ処理回路１２６と、本γ補正回路１２７と、ＹＵＶマトリクス回路１２８と、ＹＵＶ処理回路１２９と、オートホワイトバランス回路１３０と、ＹＵＶ帯域制限回路１３１と、出力テスト画像発生回路１３２と、ＲＧＢ再マトリクス（ＹＵＶ／ＲＧＢ逆変換）回路１３３とを含む。

ｍライン同時化回路１２１は、ＩＳＰ前処理部１１０からノンリニアＲＡＷ信号を受け取る。ｍは例えば７であるが他の奇数であってもよい。ｍライン同時化回路１２１は、ノンリニアＲＡＷ信号をｍライン同時化する。ｍライン同時化処理は、例えば（ｍ−１）Ｈラインメモリを用いて実装することができる。ｍライン同時化回路１２１は、ｍライン同時化されたノンリニアＲＡＷ信号を輪郭抽出回路１２２およびデモザイク回路１２４へと出力する。

輪郭抽出回路１２２は、ｍライン同時化回路１２１からｍライン同時化されたノンリニアＲＡＷ信号（第５のノンリニアＲＡＷ信号）を受け取る。輪郭抽出回路１２２は、例えば、水平方向および垂直方向それぞれに輪郭を抽出する。輪郭の抽出には、例えばＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）とＢＰＦ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）とを組合せて使用することができる。輪郭抽出回路１２２は、抽出された輪郭信号を輪郭補正／エッジ抽出回路１２３へと出力する。

なお、輪郭抽出は一般的にはリニアＲＡＷ信号を対象とするが、輪郭抽出回路１２２はノンリニアＲＡＷ信号を対象としている。前述のように、例えばγ＝０．４５のγ補正によって得られるノンリニアＲＡＷ信号は、人間の視覚特性に適合している。このため、輪郭抽出回路１２２は、ノンリニアＲＡＷ信号を用いた演算により輪郭を高精度に抽出することができる。このようにして抽出された輪郭を用いることで、解像感のさらなる向上が期待できる。

輪郭補正／エッジ抽出回路１２３は、輪郭抽出回路１２２から輪郭信号を受け取る。輪郭補正／エッジ抽出回路１２３は、輪郭信号を補正し、さらにエッジを抽出する。輪郭信号の補正は、例えば、コアリング処理、クリップ処理などを含むことができる。輪郭補正／エッジ抽出回路１２３は、補正済みの輪郭信号とエッジ信号とをＹＵＶ処理回路１２９へと出力する。

デモザイク回路１２４は、ｍライン同時化回路１２１からｍライン同時化されたノンリニアＲＡＷ信号を受け取る。デモザイク回路１２４は、ノンリニアＲＡＷ信号にデモザイク（ＲＧＢ同時化または色分離と呼ぶこともできる）を施してＲＧＢ３チャンネルのノンリニアＲＡＷ信号を生成する。デモザイク回路１２４は、ＲＧＢ３チャンネルのノンリニアＲＡＷ信号を逆γ補正回路１２５へと出力する。

なお、デモザイクは一般的にはリニアＲＡＷ信号を対象とするが、デモザイク回路１２４はノンリニアＲＡＷ信号を対象としている。前述のように、例えばγ＝０．４５のγ補正によって得られるノンリニアＲＡＷ信号は、人間の視覚特性に適合している。このため、デモザイク回路１２４は、ノンリニアＲＡＷ信号を用いて補間演算（デモザイク）を高精度に行い、色再現性を向上することができる。

入力ノンリニアＲＡＷ信号の色空間がＲＧＢとは異なる場合に、デモザイク回路１２４は当該ノンリニアＲＡＷ信号の３〜４色画素の同時化を先ず行い、続いて色空間をＲＧＢに変換してＲＧＢ３チャンネルのノンリニアＲＧＢ（原色）信号を生成する。具体的には、デモザイク回路１２４は、画素位置に応じた補間演算を行ってから、以下の数式（４）に例示される基本式を用いてノンリニアＲＡＷ信号の色変換を行う。

なお、上記数式（４）を使用するためには、プリγ補正回路１１３がγ＝０．４５の理想的なγ補正を行っている必要がある。

デモザイク回路１２４がこのような色変換機能を有していれば、カメラモジュール１００に含まれる色フィルタ１０２がどのような色配列を持っていたとしても、ＩＳＰ前処理部１１０およびＩＳＰ後処理部１２０（デモザイク回路１２４を除く）は共通の処理を行うことができる。すなわち、ＩＳＰ前処理部１１０およびＩＳＰ後処理部１２０は、多種多様な色フィルタ１０２をサポートすることができる。なお、デモザイク回路１２４は、数式（４）に限らず、入力ノンリニアＲＡＷ信号の色空間とＲＧＢとの関係が既知であるならば、当該関係を利用して色変換を行えばよい。

逆γ補正回路１２５は、デモザイク回路１２４からＲＧＢ３チャンネルのノンリニアＲＧＢ信号（第１のノンリニアＲＧＢ信号）を受け取る。逆γ補正回路１２５は、ノンリニアＲＧＢ信号にそれぞれ逆γ補正（ノンリニア／リニア変換）を適用することによって、ＲＧＢ３チャンネルのリニアＲＧＢ信号（第１のリニアＲＧＢ信号）を生成する。逆γ補正回路１２５は、リニアＲＧＢ信号をリニアＲＧＢ処理回路１２６へと出力する。

具体的には、逆γ補正回路１２５は、プリγ補正回路１１３の用いるγ補正係数（γ）の逆数に等しいγ補正係数（例えば、２．２＝１／０．４５）を用いて、ノンリニアＲＧＢ信号に対して（逆）γ補正を適用する。

逆γ補正回路１２５は、例えば、１６ビットのノンリニアＲＧＢ信号を、２０ビットのリニアＲＧＢ信号へと変換する。ノンリニアＲＧＢ信号は、０［％］（黒）および１００［％］（白）の場合の値がそれぞれ１５３６０および５６３２０に設定される。リニアＲＧＢ信号は、０［％］（黒）および１００［％］（白）の場合の値がそれぞれ６５５３６および７２０８９６に設定される。このような数値例に基づく逆γ補正が図１１に例示される。

但し、図１１の逆γ補正は入出力１：１ではない。逆γ補正回路１２５が入出力１：１の逆γ補正を実現するためには、出力リニアＲＧＢ信号のビット数に非常に大きく設定しなければならず現実的ではない。故に、逆γ補正回路１２５は、入出力１：１を遵守しなくてもよい。図１１の例によれば、最小入力実効値＝８２７付近に対するリニアＲＧＢ信号の最大離散量は１０程度であり、最大入力実効値＝６４５１３付近に対するリニアＲＧＢ信号の最大離散量は４５程度である。この２０ビットのリニアＲＧＢ信号を用いて後段のリニアＲＧＢ色補正処理を行うことで良好な色再現性を達成することができる。

なお、逆γ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。逆γ補正の入出力特性は、固定であってもよい。この場合に、逆γ補正回路１２５は、例えば、ＲＯＭに保存された固定のルックアップテーブルを参照することで逆γ補正を行ってもよいし、ＨＷＬを用いて逆γ補正を行ってもよい。このように逆γ補正の入出力特性を固定することで、逆γ補正回路１２５の回路規模を抑制することができる。逆γ補正の入出力特性は、例えば表計算ソフトウェアを用いて簡易に計算することができる。また、逆γ補正は、他のノンリニア／リニア変換に置き換えることもできる。

リニアＲＧＢ処理回路１２６は、逆γ補正回路１２５からＲＧＢ３チャンネルのリニアＲＧＢ信号を受け取る。リニアＲＧＢ処理回路１２６は、例えば、ホワイトバランス調整（例えばＲ／Ｂゲイン調整）、リニアマトリクス色補正（すなわち、混色補正）などのリニアＲＧＢ処理を施す。なお、ホワイトバランス調整およびリニアマトリクス色補正の両方を行う場合には、ホワイトバランス調整を先に行う方が好ましい。リニアＲＧＢ処理回路１２６は、処理済みのＲＧＢ３チャンネルのリニアＲＧＢ信号を本γ補正回路１２７へと出力する。

ＲＧＢ間の混色およびレベルの不均衡は、色フィルタ１０２、受光画素１０３およびＡＤＣ１０４の周辺で生じているので、いずれもリニア領域での信号処理の副産物である。従って、ノンリニアＲＧＢ信号よりもリニアＲＧＢ信号の方がホワイトバランス調整およびリニアマトリクス色補正に適している。図３のＩＳＰ前処理部１１０および図４のＩＳＰ後処理部１２０では、リニアＲＧＢ信号に比べて人間の視覚特性に適合したノンリニアＲＧＢ信号を対象に可能な限り多くの信号処理が行われるが、リニアＲＧＢ処理回路１２６の前段には逆γ補正回路１２５が設けられている。故に、リニアＲＧＢ処理回路１２６は、リニアＲＧＢ信号に高精度なリニアＲＧＢ処理を施して良好な色再現性を達成できる。

前述のように、ＨＤＲ圧縮されたノンリニアＲＡＷ信号のビット数は、１６〜２０ビットと想定されている。しかしながら、デモザイク回路１２４および逆γ補正回路１２５の構成次第では、更なる多ビット化も可能である。故に、リニアＲＧＢ処理回路１２６に与えられるＲＧＢ３チャンネルのリニアＲＧＢ信号の量子化精度は十分に確保可能である。

なお、ホワイトバランスの調整を行う主体は、リニアＲＧＢ処理回路１２６に限られない。例えば、リニアデジタルゲイン回路１１２がホワイトバランスの一次調整を行い、リニアＲＧＢ処理回路１２６はホワイトバランスの二次調整を行ってもよい。係る構成に依れば、高輝度における偽着色を防止して色再現性を向上させることができる。

本γ補正回路１２７は、リニアＲＧＢ処理回路１２６からＲＧＢ３チャンネルのリニアＲＧＢ信号（第２のリニアＲＧＢ信号）を受け取る。本γ補正回路１２７は、リニアＲＧＢ信号にγ補正（第２のリニア／ノンリニア変換）をそれぞれ適用することによって、ＲＧＢ３チャンネルのノンリニアＲＧＢ信号（第２のノンリニアＲＧＢ信号）を生成する。本γ補正回路１２７は、生成したノンリニアＲＧＢ信号をＹＵＶマトリクス回路１２８へと出力する。

本γ補正回路１２７のγ補正の入出力特性は、プリγ補正回路１１３のγ補正の入出力特性と同一であってもよいが異なっていてもよい。さらに、本γ補正回路１２７のγ補正の入出力特性は、書き換え可能（プログラマブル）であってもよい。

例えば、本γ補正回路１２７のγ補正の入出力特性をユーザが事前に任意に設定してもよいし、本γ補正回路１２７がＶブランキング期間毎に若しくは非連続Ｖブランキング期間毎に入出力特性をユーザの設定に従って動的に書き換えてもよい（ダイナミック可変方式とも称される）。プリγ補正回路１１３のγ補正の影響は逆γ補正回路１２５によって行われた逆γ補正によりキャンセルされているので、本γ補正回路１２７は当該γ補正の影響を受けずにユーザの設定する入出力特性（リニア／ノンリニア特性）に忠実なγ補正を行うことができる。

故に、ＩＳＰ前処理部１１０およびＩＳＰ後処理部１２０を含む撮像／画像処理装置を多用途（例えば、周囲の明るさ、図示されない表示装置の入出力特性、などの視聴環境に適応した出力画像を生成する）に適応させることができる。前述のように、プリγ補正回路１１３のγ補正の入出力特性および逆γ補正回路１２５の逆γ補正の入出力特性は固定であってもよいが、この場合にユーザは本γ補正回路１２７のγ補正の入出力特性に限って制御すればよい。

本γ補正回路１２７は、リニアＲＧＢ処理回路１２６において得られた理想的なリニアＲＧＢ信号にγ補正を施すことで、理想的なＩＳＰ処理を実現する。

ＹＵＶマトリクス回路１２８は、本γ補正回路１２７からＲＧＢ３チャンネルのノンリニアＲＧＢ信号を受け取る。ＹＵＶマトリクス回路１２８は、ノンリニアＲＧＢ信号にＲＧＢ−ＹＵＶ変換のためのマトリクスを乗算し、ＹＵＶ３チャンネルのノンリニアＹＵＶ（Ｙ色差）信号を生成する。ＹＵＶマトリクス回路１２８は、生成したノンリニアＹＵＶ信号をＹＵＶ処理回路１２９へと出力する。ＲＧＢとＹＵＶまたはＹＣｂＣｒとの関係は以下の数式（５）に例示される基本式で表すことができる。

ここで、αは、正の値（ストレートバイナリ）を得るための固定オフセット値を表す。

ＹＵＶ処理回路１２９は、輪郭補正／エッジ抽出回路１２３から輪郭信号およびエッジ信号を受け取り、ＹＵＶマトリクス回路１２８からＹＵＶ３チャンネルのノンリニアＹＵＶ信号を受け取る。ＹＵＶ処理回路１２９は、輪郭信号およびエッジ信号を用いて、ノンリニアＹＵＶ信号に、例えば、ブライトネス／コントラスト調整、高／低輝度領域における色抑圧、エッジでの色抑圧、高／低輝度における輪郭抑圧、輪郭加算、などの種々のＹＵＶ処理を施す。ＹＵＶ処理回路１２９は、処理済みのＹＵＶ３チャンネルのノンリニアＹＵＶ信号を、図示されない後段の装置（例えば、表示装置、記録装置、通信装置など）へと出力する。

オートホワイトバランス回路１３０は、例えばリニアＲＧＢ処理回路１２６などで行われるホワイトバランス調整において用いられる各色（ＲＧＢ）のゲインを自動制御する。ＹＵＶ帯域制限回路１３１は、例えば空間ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）であって、ＹＵＶ３チャンネルのノンリニアＹＵＶ信号の帯域を制限する。出力テスト画像発生回路１３２は、テスト用の出力画像を発生する。

ＲＧＢ再マトリクス回路１３３は、ＹＵＶ３チャンネルのノンリニアＹＵＶ信号にＹＵＶ−ＲＧＢ再変換のためのマトリクスを乗算し、ＲＧＢ３チャンネルのノンリニアＲＧＢ信号を生成する。すなわち、ＩＳＰ後処理部１２０は、標準ＹＵＶ（ノンリニア）出力および標準ＲＧＢ（ノンリニア）出力の両方をサポートすることができる。

以上説明したように、第１の実施形態に係る撮像／画像処理装置は、リニアＲＡＷ信号に入出力１：１の多ビット化リニア／ノンリニア変換を適用し、ノンリニアＲＡＷ信号にノンリニアデジタルゲインを乗算する。故に、撮像／画像処理装置は、リニアＲＡＷ信号にデジタルゲインを乗算する場合に比べて、小さなデジタルゲインを用いて同等にダイナミックレンジを拡大することができる。従って、この撮像／画像処理装置によれば、高ダイナミックレンジ化に伴うＳＮＲの劣化を抑制することができる。さらに、撮像／画像処理装置がノンリニアＲＡＷ信号を用いてキズ補正／ノイズ低減処理を行う点もＳＮＲの向上に寄与している。

また、この撮像／画像処理装置は、ノンリニアＲＧＢ信号を一旦リニアＲＧＢ信号に逆変換してからホワイトバランス調整またはリニアマトリクス色補正を行うので、良好な色再現性を達成する。画像処理装置は、リニアＲＧＢ信号を再びリニア／ノンリニア変換するが、この変換の入出力特性は書き換え可能である。故に、撮像／画像処理装置は多用途に適応可能である。

さらに、この撮像／画像処理装置がノンリニアＲＡＷ信号を用いて高精度なデモザイクを行う点も、上述の色再現性の向上に寄与している。なお、撮像／画像処理装置は、ノンリニアＲＡＷ信号の色空間がＲＧＢ以外の場合には、デモザイクしてから当該色空間をＲＧＢに変換する。故に、撮像／画像処理装置は、多種多様な色フィルタをサポートできる。加えて、撮像／画像処理装置は、ノンリニアＲＡＷ信号を用いて高精度な輪郭抽出を行うので解像感を向上させる効果もある。

（第２の実施形態）
第２の実施形態に係る撮像／画像処理装置は、単一露光方式ではなく多重露光方式のＨＤＲ撮像をサポートする点で第１の実施形態に係る撮像／画像処理装置とは異なる。本実施形態に係る撮像／画像処理装置のカメラモジュール１００、ＩＳＰ前処理部２００およびＩＳＰ後処理部１２０がそれぞれ図２、図１２および図４に例示される。

なお、本実施形態において、カメラモジュール１００は、露光時間の異なる複数チャンネル（以降の説明では３チャンネルとする）のリニアＲＡＷ信号を出力するものの、それ以外の動作は第１の実施形態と同様である。また、本実施形態におけるＩＳＰ後処理部１２０の動作は第１の実施形態と同様である。

図１２のＩＳＰ前処理部２００は、リニアＨＤＲ合成回路２０１と、信号分割回路２０２と、リニアデジタルゲイン回路２１１と、プリγ補正回路２１２と、キズ補正／ノイズ低減処理回路２１３と、ノンリニアデジタルゲイン回路２１４と、リニアデジタルゲイン回路２２１と、プリγ補正回路２２２と、キズ補正／ノイズ低減処理回路２２３と、ノンリニアデジタルゲイン回路２２４と、ノンリニアＨＤＲ合成回路２３１と、ＨＤＲ圧縮回路２３２と、入力テスト画像発生回路２３３と、自動露光制御回路２３４とを含む。

リニアＨＤＲ合成回路２０１は、カメラモジュール１００から露光時間の異なる３チャンネルのリニアＲＡＷ信号（例えば各１２ビット）を受け取り、これらをＨＤＲ合成する。リニアＨＤＲ合成回路２０１は、合成済みのリニアＲＡＷ信号（例えば３２ビット）を信号分割回路２０２へと出力する。

信号分割回路２０２は、リニアＨＤＲ合成回路２０１からリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位ビット信号と下位ビット信号とに二分割（再分割）する。但し、上位ビット信号と下位ビット信号との間には重複があってもよい。例えば、上位ビット信号の下位ｎビットと下位ビット信号の上位ｎビットとが重複してもよい。また、信号分割回路２０２は、リニアＲＡＷ信号を二等分割する必要もない。信号分割回路２０２は、例えば、入力リニアＲＡＷ信号の上位１６ビットを短時間露光（低感度）チャンネルのリニアＲＡＷ信号としてリニアデジタルゲイン回路２１１へと出力し、入力リニアＲＡＷ信号の下位１６ビットを長時間露光（高感度）チャンネルのリニアＲＡＷ信号としてリニアデジタルゲイン回路２２１へと出力する。

なお、ＩＳＰ前処理部２００が２チャンネルのリニアＲＡＷ信号を入力する場合には、リニアＨＤＲ合成回路２０１および信号分割回路２０２を省略してもよい。

リニアデジタルゲイン回路２１１は、信号分割回路２０２から短時間露光チャンネルのリニアＲＡＷ信号を受け取る。リニアデジタルゲイン回路２１１は、リニアＲＡＷ信号にリニアデジタルゲインを乗算する。リニアデジタルゲイン回路２１１は、ゲイン補正済みのリニアＲＡＷ信号をプリγ補正回路２１２へと出力する。

プリγ補正回路２１２は、リニアデジタルゲイン回路２１１からリニアＲＡＷ信号を受け取る。プリγ補正回路２１２は、リニアＲＡＷ信号にγ補正を適用することによって、当該リニアＲＡＷ信号よりもビット数の多いノンリニアＲＡＷ信号（例えば２０ビット）を生成する。プリγ補正回路２１２は、ノンリニアＲＡＷ信号をキズ補正／ノイズ低減処理回路２１３へと出力する。

キズ補正／ノイズ低減処理回路２１３は、プリγ補正回路２１２からノンリニアＲＡＷ信号を受け取る。キズ補正／ノイズ低減処理回路２１３は、ノンリニアＲＡＷ信号に対してキズ補正処理およびノイズ低減処理の少なくとも一方を適用する。キズ補正／ノイズ低減処理回路２１３は、処理済みのノンリニアＲＡＷ信号（例えば２３ビット）をノンリニアデジタルゲイン回路２１４へと出力する。

なお、キズ補正／ノイズ低減処理は一般的にはリニアＲＡＷ信号を対象とするが、キズ補正／ノイズ低減処理回路２１３はノンリニアＲＡＷ信号を対象としている。例えばγ＝０．４５のγ補正によって得られるノンリニアＲＡＷ信号は、高輝度に比べて低輝度に敏感な人間の視覚特性に適合している。このため、キズ補正／ノイズ低減処理回路２１３は、ノンリニアＲＡＷ信号を用いた演算により、キズ検出・補正およびノイズ低減を高精度に実現することができる。故に、カメラモジュール１００の歩留まりの向上およびＳＮＲの向上が期待できる。

ノンリニアデジタルゲイン回路２１４は、キズ補正／ノイズ低減処理回路２１３からノンリニアＲＡＷ信号を受け取る。ノンリニアデジタルゲイン回路２１４は、ノンリニアＲＡＷ信号に対して×１倍よりも大きなノンリニアデジタルゲインを乗算する。ノンリニアデジタルゲイン回路２１４は、ゲイン補正済みのノンリニアＲＡＷ信号（例えば３１ビット）をノンリニアＨＤＲ合成回路２３１へと出力する。

リニアデジタルゲイン回路２２１、プリγ補正回路２２２、キズ補正／ノイズ低減処理回路２２３およびノンリニアデジタルゲイン回路２２４の動作は、ノンリニアデジタルゲインを除いて、リニアデジタルゲイン回路２１１、プリγ補正回路２１２、キズ補正／ノイズ低減処理回路２１３およびノンリニアデジタルゲイン回路２１４と同様であってよいので詳細な説明を省略する。但し、ノンリニアデジタルゲイン回路２２４の用いるノンリニアデジタルゲインを×１倍に固定できるのであれば、当該ノンリニアデジタルゲイン回路２２４は不要となる。

なお、リニアデジタルゲイン回路２１１およびリニアデジタルゲイン回路２２１は、まとめてリニアデジタルゲイン回路群と呼ぶことができる。プリγ補正回路２１２およびプリγ補正回路２２２は、まとめてγ補正回路群と呼ぶことができる。キズ補正／ノイズ低減処理回路２１３およびキズ補正／ノイズ低減処理回路２２３は、まとめてキズ補正／ノイズ低減処理回路群と呼ぶことができる。ノンリニアデジタルゲイン回路２１４およびノンリニアデジタルゲイン回路２２４は、まとめてノンリニアデジタルゲイン回路群と呼ぶことができる。

ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲイン回路２１４から短時間露光チャンネルのノンリニアＲＡＷ信号を受け取り、ノンリニアデジタルゲイン回路２２４から長時間露光チャンネルのノンリニアＲＡＷ信号を受け取り、これらをＨＤＲ合成する。ノンリニアＨＤＲ合成回路２３１は、合成済みのリニアＲＡＷ信号（例えば３１ビット）をＨＤＲ圧縮回路２３２へと出力する。

例えば、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲイン回路２１４によって×２００．８５４倍されたノンリニアＲＡＷ信号（例えば、３１（＝２３＋８）ビット）を受け取り、ノンリニアデジタルゲイン回路２２４によって×１倍されたノンリニアＲＡＷ信号（例えば、２３ビット）を受け取る。ノンリニアＨＤＲ合成回路２３１は、これらを合成し、理論上のダイナミックレンジが１８６［ｄＢ］のノンリニアＲＡＷ信号を生成できる。

ＨＤＲ圧縮回路２３２は、ノンリニアＨＤＲ合成回路２３１からノンリニアＲＡＷ信号を受け取る。ＨＤＲ圧縮回路２３２は、ノンリニアＲＡＷ信号に圧縮係数を乗算し、ダイナミックレンジを圧縮する。ＨＤＲ圧縮回路２３２は、ダイナミックレンジ圧縮済みのノンリニアＲＡＷ信号をＩＳＰ後処理部１２０へと出力する。なお、ＨＤＲ圧縮回路２３２の出力信号のダイナミックレンジは、ＩＳＰ後処理部１２０がサポート可能なダイナミックレンジに適合するように定められる。

ＨＤＲ圧縮回路２３２の出力するノンリニアＲＡＷ信号のビット数は入力するノンリニアＲＡＷ信号のビット数に比べて小さい（例えば、１６〜２４ビット程度である）。故に、図１２に例示されるようにＨＤＲ圧縮回路２３２をＩＳＰ前処理部２００内部の最後段のブロックとして配置することで、当該ＩＳＰ前処理部２００とＩＳＰ後処理部１２０との間で伝送される信号のビット数を最小化することもできる。

入力テスト画像発生回路２３３は、テスト用の入力画像を発生する。自動露光制御回路２３４は、例えば輝度に基づいて、シャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインの一部または全部を制御することで撮像感度を制御する。

以上説明したように、第２の実施形態に係る撮像／画像処理装置は、多重露光方式のＨＤＲ撮像をサポートする点を除けば第１の実施形態に係る撮像／画像処理装置と同様であるからその効果も同様である。

すなわち、この撮像／画像処理装置は、露光時間の異なる複数チャンネルのリニアＲＡＷ信号の各々に入出力１：１の多ビット化リニア／ノンリニア変換を適用し、各ノンリニアＲＡＷ信号にノンリニアデジタルゲインを乗算する。故に、撮像／画像処理装置は、リニアＲＡＷ信号にデジタルゲインを乗算する場合に比べて、小さなデジタルゲインを用いて同等にダイナミックレンジを拡大することができる。従って、この撮像／画像処理装置によれば、高ダイナミックレンジ化に伴うＳＮＲの劣化を抑制することができる。さらに、撮像／画像処理装置がノンリニアＲＡＷ信号を用いてキズ補正／ノイズ低減処理を行う点もＳＮＲの向上に寄与している。

また、この撮像／画像処理装置は、ノンリニアＲＧＢ信号を一旦リニアＲＧＢ信号に逆変換してからホワイトバランス調整またはリニアマトリクス色補正を行うので、良好な色再現性を達成する。画像処理装置は、リニアＲＧＢ信号を再びリニア／ノンリニア変換するが、この変換の入出力特性は書き換え可能である。故に、撮像／画像処理装置は多用途に適応可能である。

さらに、この撮像／画像処理装置がノンリニアＲＡＷ信号を用いて高精度なデモザイクを行う点も、上述の色再現性の向上に寄与している。なお、撮像／画像処理装置は、ノンリニアＲＡＷ信号の色空間がＲＧＢ以外の場合には、先ず色空間を同時化（デモザイク）してから、当該色空間をＲＧＢに変換する。故に、撮像／画像処理装置は、多種多様な色フィルタをサポートできる。加えて、撮像／画像処理装置は、ノンリニアＲＡＷ信号を用いて高精度な輪郭抽出を行うので解像感を向上させる効果もある。

（第３の実施形態）
第３の実施形態に係る撮像／画像処理装置は、カラーＨＤＲ撮像ではなく白黒ＨＤＲ撮像をサポートする点で第１の実施形態または第２の実施形態に係る撮像／画像処理装置とは異なる。本実施形態に係る撮像／画像処理装置のカメラモジュール３００、ＩＳＰ前処理部１１０（またはＩＳＰ前処理部２００）およびＩＳＰ後処理部３１０がそれぞれ図１３、図３（または図１３）および図１４に例示される。なお、本実施形態において、ＩＳＰ前処理部１１０（またはＩＳＰ前処理部２００）は、１チャンネルの輝度（Ｙ）信号を扱うものの基本的な動作は第１の実施形態（または第２の実施形態）と同様である。

図１３のカメラモジュール３００は、光学レンズ３０１と、受光画素３０２と、ＡＤＣ３０３と、ロジック信号処理部３０４とを含む。なお、ロジック信号処理部３０４は、光学レンズ３０１、受光画素３０２およびＡＤＣ３０３と同一のチップに組み込まれていてもよいし、異なるチップに組み込まれていてもよい。

光学レンズ３０１は、外界からの入射光を受光画素３０２に集光する。受光画素３０２は、光学レンズ３０１を通過した入射光をその光量に応じた信号レベルを持つ電気信号へと（光電）変換する。受光画素３０２は、電子シャッタ機能を備えており、設定されたシャッタ速度によって決まる期間に亘って電荷を蓄積する。受光画素３０２は、生成した電気信号をＡＤＣ３０３へと出力する。

ＡＤＣ３０３は、受光画素３０２から電気信号を受け取り、当該電気信号をアナログ／デジタル変換することによって、デジタルのリニアＲＡＷ信号（輝度Ｙ信号）を生成する。ＡＤＣ３０３は、リニア輝度信号をロジック信号処理部３０４へと出力する。リニア輝度信号の値は、対応する受光画素３０２における入射光の光量に依存する。

ロジック信号処理部３０４は、ＡＤＣ３０３からリニア輝度信号を受け取り、例えば高温時の温度補償、光学シェーディング補正、スタティック型キズ補正などの種々の信号処理を施す。なお、ロジック信号処理部３０４は、一般的に、リニア輝度信号に対してリニア領域のままで信号処理を施す。ロジック信号処理部３０４は、処理済みのリニア輝度信号をＩＳＰ前処理部１１０へと出力する。

図１４のＩＳＰ後処理部３１０は、ｍライン同時化回路３１１と、輪郭抽出回路３１２と、輪郭補正回路３１３と、逆γ補正回路３１４と、γ補正回路３１５と、ブライトネス／コントラスト調整回路３１６と、輪郭抑圧／加算回路３１７と、輝度帯域制限回路３１８と、出力テスト画像発生回路３１９とを含む。

ｍライン同時化回路３１１は、ＩＳＰ前処理部１１０からノンリニア輝度信号を受け取る。ｍは例えば５であるが他の自然数であってもよい。ｍライン同時化回路３１１は、ノンリニア輝度信号をｍライン同時化する。ｍライン同時化処理は、例えば（ｍ−１）Ｈラインメモリを用いて実装することができる。ｍライン同時化回路３１１は、ｍライン同時化されたノンリニア輝度信号を輪郭抽出回路３１２へと出力し、うち１ラインのノンリニア輝度信号を逆γ補正回路３１４へと出力する。

輪郭抽出回路３１２は、ｍライン同時化回路３１１からｍライン同時化されたノンリニア輝度信号を受け取る。輪郭抽出回路３１２は、例えば、水平方向および垂直方向それぞれに輪郭を抽出する。輪郭の抽出には、例えばＢＰＦを使用することができる。輪郭抽出回路３１２は、抽出された輪郭信号を輪郭補正回路３１３へと出力する。

なお、輪郭抽出は一般的にはリニア輝度信号を対象とするが、輪郭抽出回路３１２はノンリニア輝度信号を対象としている。前述のように、例えばγ＝０．４５のγ補正によって得られるノンリニア輝度信号は人間の視覚特性に適合している。このため、輪郭抽出回路３１２は、ノンリニア輝度信号を用いた演算により輪郭抽出を高精度に実現することができる。このようにして抽出された輪郭を用いることで、解像感のさらなる向上が期待できる。

輪郭補正回路３１３は、輪郭抽出回路３１２から輪郭信号を受け取る。輪郭補正回路３１３は、輪郭信号を補正する。輪郭信号の補正は、例えば、コアリング処理、クリップ処理などを含むことができる。輪郭補正回路３１３は、補正済みの輪郭信号を輪郭抑圧／加算回路３１７へと出力する。

逆γ補正回路３１４は、ｍライン同時化回路３１１からノンリニア輝度信号（第１のノンリニア輝度信号）を受け取る。逆γ補正回路３１４は、ノンリニア輝度信号に逆γ補正を適用することによって、リニア輝度信号（第１のリニア輝度信号）を生成する。逆γ補正回路３１４は、リニア輝度信号をγ補正回路３１５へと出力する。

γ補正回路３１５は、逆γ補正回路３１４からリニア輝度信号（第２のリニア輝度信号）を受け取る。γ補正回路３１５は、リニア輝度信号にγ補正を適用することによって、ノンリニア輝度信号（第２のノンリニア輝度信号）を生成する。γ補正回路３１５は、生成したノンリニア輝度信号をブライトネス／コントラスト調整回路３１６へと出力する。

γ補正回路３１５のγ補正の入出力特性は、プリγ補正回路１１３（または、プリγ補正回路２１２およびプリγ補正回路２２２）のγ補正の入出力特性と同一であってもよいが異なっていてもよい。さらに、γ補正回路３１５のγ補正の入出力特性は、書き換え可能（プログラマブル）であってもよい。

なお、ＩＳＰ後処理部３１０において、逆γ補正回路３１４とγ補正回路３１５との間にはいかなる処理回路も存在しない。故に、これらは、（プログラマブル）ノンリニア／ノンリニア変換を行うノンリニア／ノンリニア変換回路として統合することもできる。このノンリニア／ノンリニア変換の入出力特性は、逆γ補正回路３１４の逆γ補正の入出力特性とγ補正回路３１５のγ補正の入出力特性とを合成することで導出可能である。

ブライトネス／コントラスト調整回路３１６は、γ補正回路３１５からノンリニア輝度信号を受け取る。ブライトネス／コントラスト調整回路３１６は、ノンリニア輝度信号にブライトネス／コントラスト調整を施す。ブライトネス／コントラスト調整回路３１６は、処理済みのノンリニア輝度信号を、輪郭抑圧／加算回路３１７へと出力する。

輪郭抑圧／加算回路３１７は、輪郭補正回路３１３から輪郭信号を受け取り、ブライトネス／コントラスト調整回路３１６からノンリニア輝度信号を受け取る。輪郭抑圧／加算回路３１７は、輪郭信号を用いて、ノンリニア輝度信号に高／低輝度における輪郭抑圧／加算を施す。輪郭抑圧／加算回路３１７は、処理済みのノンリニア輝度信号を、図示されない後段の装置（例えば、表示装置、記録装置、通信装置など）へと出力する。

輝度帯域制限回路３１８は、例えば空間ＬＰＦであって、ノンリニア輝度信号の帯域を制限する。出力テスト画像発生回路３１９は、テスト用の出力画像を発生する。

以上説明したように、第３の実施形態に係る撮像／画像処理装置は、リニア輝度信号に入出力１：１の多ビット化リニア／ノンリニア変換を適用し、ノンリニア輝度信号にノンリニアデジタルゲインを乗算する。故に、撮像／画像処理装置は、リニア輝度信号にデジタルゲインを乗算する場合に比べて、小さなデジタルゲインを用いて同等にダイナミックレンジを拡大することができる。従って、この撮像／画像処理装置によれば、高ダイナミックレンジ化に伴うＳＮＲの劣化を抑制することができる。さらに、撮像／画像処理装置がノンリニア輝度信号を用いてキズ補正／ノイズ低減処理を行う点もＳＮＲの向上に寄与している。さらに、撮像／画像処理装置は、ノンリニア輝度信号を用いて高精度な輪郭抽出を行うので解像感を向上させる効果もある。

また、この撮像／画像処理装置は、ノンリニア輝度信号を一旦リニア輝度信号に逆変換してから再びリニア／ノンリニア変換するが、このリニア／ノンリニア変換（またはノンリニア／ノンリニア変換）の入出力特性は書き換え可能である。故に、撮像／画像処理装置は多用途に適応可能である。

上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。

上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０，１００，３００・・・カメラモジュール
２０・・・ＩＳＰコア
２１，１１０，２００・・・ＩＳＰ前処理部
２２，１２０，３１０・・・ＩＳＰ後処理部
１０１，３０１・・・光学レンズ
１０２・・・色フィルタ
１０３，３０２・・・受光画素
１０４，３０３・・・ＡＤＣ
１０５，３０４・・・ロジック信号処理部
１１１・・・黒レベル調整回路
１１２，２１１，２２１・・・リニアデジタルゲイン回路
１１３，２１２，２２２・・・プリγ補正回路
１２７，３１５・・・本γ補正回路
１１４，２１３，２２３・・・キズ補正／ノイズ低減処理回路
１１５，２１４，２２４・・・ノンリニアデジタルゲイン回路
１１６，２３２・・・ＨＤＲ圧縮回路
１１７，２３３・・・入力テスト画像発生回路
１１８，２３４・・・自動露光制御回路
１２１，３１１・・・ｍライン同時化回路
１２２，３１２・・・輪郭抽出回路
１２３・・・輪郭補正／エッジ抽出回路
１２４・・・デモザイク（ＲＧＢ同時化）回路
１２５，３１４・・・逆γ補正回路
１２６・・・リニアＲＧＢ処理（ＷＢ乗算，色補正）回路
１２８・・・ＹＵＶマトリクス回路
１２９・・・ＹＵＶ処理回路
１３０・・・オートホワイトバランス回路
１３１・・・ＹＵＶ帯域制限回路
１３２，３１９・・・出力テスト画像発生回路
１３３・・・ＲＧＢ再マトリクス（ＹＵＶ／ＲＧＢ逆変換）回路
２０１・・・リニアＨＤＲ合成回路
２３１・・・ノンリニアＨＤＲ合成回路
２０２・・・信号分割回路
３１３・・・輪郭補正回路
３１６・・・ブライトネス／コントラスト調整回路
３１７・・・輪郭抑圧／加算回路
３１８・・・輝度帯域制限回路

Claims (11)

1. 第１のリニアＲＡＷ信号に基づく第２のリニアＲＡＷ信号に対して入出力１：１の第１のリニア／ノンリニア変換を適用し、当該第２のリニアＲＡＷ信号よりもビット数の多い第１のノンリニアＲＡＷ信号を生成する第１のリニア／ノンリニア変換回路と、
   前記第１のノンリニアＲＡＷ信号に基づく第２のノンリニアＲＡＷ信号に×０倍よりも大きなデジタルゲインを乗算し、第３のノンリニアＲＡＷ信号を得るノンリニアデジタルゲイン回路と、
   前記第３のノンリニアＲＡＷ信号に基づく第１のノンリニア輝度信号またはノンリニアＲＧＢ信号に対して前記第１のリニア／ノンリニア変換の逆変換に相当するノンリニア／リニア変換を適用し、第１のリニア輝度信号またはリニアＲＧＢ信号を生成するノンリニア／リニア変換回路と
   前記第１のリニア輝度信号またはリニアＲＧＢ信号に基づく第２のリニア輝度信号またはリニアＲＧＢ信号に対して第２のリニア／ノンリニア変換を適用し、第２のノンリニア輝度信号またはノンリニアＲＧＢ信号を生成する第２のリニア／ノンリニア変換回路と
   を具備する、画像処理装置。
2. 前記第３のノンリニアＲＡＷ信号に基づく第５のノンリニアＲＡＷ信号にデモザイクを施して前記第１のノンリニアＲＧＢ信号を生成するデモザイク回路と、
   前記第１のリニアＲＧＢ信号にホワイトバランス調整およびリニアマトリクス色補正のうち少なくとも１つを施して前記第２のリニアＲＧＢ信号を生成する第１の処理回路と
   をさらに具備する、
   請求項１に記載の画像処理装置。
3. 前記第２のリニア／ノンリニア変換の入出力特性は書き換え可能である、
   請求項１に記載の画像処理装置。
4. 前記第１のリニア／ノンリニア変換の入出力特性は固定であり、
   前記ノンリニア／リニア変換の入出力特性は固定である、
   請求項１に記載の画像処理装置。
5. 前記第１のノンリニアＲＡＷ信号に対してキズ補正処理およびノイズ低減処理の少なくとも一方を適用し、前記第２のノンリニアＲＡＷ信号を生成する第２の処理回路をさらに具備する、請求項１に記載の画像処理装置。
6. 前記第３のノンリニアＲＡＷ信号のダイナミックレンジを圧縮し、第４のノンリニアＲＡＷ信号を生成する圧縮回路をさらに具備し、
   前記デモザイク回路は、前記圧縮回路とは別のチップに組み込まれている、
   請求項２に記載の画像処理装置。
7. 前記デモザイク回路は、前記第５のノンリニアＲＡＷ信号の色空間がＲＧＢとは異なる場合に、当該第５のノンリニアＲＡＷ信号に含まれる色配列毎に同時化してから、色空間をＲＧＢに変換して前記第１のノンリニアＲＧＢ信号を生成する、請求項２に記載の画像処理装置。
8. 前記第１のリニアＲＡＷ信号にプリセットホワイトバランス調整のためのデジタルゲインを乗算して前記第２のリニアＲＡＷ信号を得るリニアデジタルゲイン回路をさらに具備し、
   前記第１の処理回路は、前記第１のリニアＲＧＢ信号に少なくともメインホワイトバランス調整を施して前記第２のリニアＲＧＢ信号を生成する、
   請求項２に記載の画像処理装置。
9. 前記第３のノンリニアＲＡＷ信号に基づく第５のノンリニアＲＡＷ信号から、水平方向および垂直方向それぞれに輪郭を抽出する輪郭抽出回路をさらに具備する、請求項１に記載の画像処理装置。
10. 第１のリニアＲＡＷ信号に基づく第２のリニアＲＡＷ信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該第２のリニアＲＡＷ信号よりもビット数の多い第１のノンリニアＲＡＷ信号を生成するリニア／ノンリニア変換回路と、
    前記第１のノンリニアＲＡＷ信号に基づく第２のノンリニアＲＡＷ信号に×０倍よりも大きなデジタルゲインを乗算し、第３のノンリニアＲＡＷ信号を得るノンリニアデジタルゲイン回路と、
    前記第３のノンリニアＲＡＷ信号に基づく第１のノンリニア輝度信号に対してノンリニア／ノンリニア変換を適用し、第２のノンリニア輝度信号を生成するノンリニア／ノンリニア変換回路と
    を具備する、白黒画像処理装置。
11. 前記ノンリニア／ノンリニア変換の入出力特性は書き換え可能である、請求項１０に記載の白黒画像処理装置。