WO2010146749A1

WO2010146749A1 - 撮像装置

Info

Publication number: WO2010146749A1
Application number: PCT/JP2010/001855
Authority: WO
Inventors: 片桐哲也; 掃部幸一
Original assignee: Konica Minolta Opto Inc
Current assignee: Konica Minolta Opto Inc
Priority date: 2009-06-15
Filing date: 2010-03-16
Publication date: 2010-12-23
Anticipated expiration: 2011-12-15
Also published as: EP2445199A4; US20120092537A1; JP2011024247A; JP4977880B2; JPWO2010146749A1; JP4586941B1; EP2445199A1

Abstract

変曲点バラツキ補正部６４１は、各画素で読み取られた画素データに所定の特性変換処理を実行することで、各画素データの光電変換特性をリニア特性に統一させる。変曲点補間部６４２は、注目画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈより小さく、かつ、注目画素により読み取られた画素データの画素値ｄが所定の画素閾値Ｄｔｈより小さい場合、上記の特性変換処理により得られた画素値ｄ´ではなく、注目画素の近傍に位置する近傍画素により読み取られた画素データを用いた補間処理により得られた画素値ｄ´´を出力することで、注目画素により読み取られた画素データの光電変換特性をリニア特性に変換する。

Description

撮像装置

　本発明は、変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子を備える撮像装置に関するものである。

　近年、ダイナミックレンジの拡大を図るために、変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子が知られている。このような撮像素子としては、例えば、変曲点よりも低輝度側は線形の光電変換特性（以下、「リニア特性」という）、高輝度側は対数の光電変換特性（以下、ログ特性と言う）を有するものがある。なお、リニア特性とログ特性とからなる光電変換特性をリニアログ特性という。

　図６はリニアログ特性を示したグラフであり、縦軸は画素値を示し、横軸は輝度を線形で示している。リニアログ特性を有する撮像素子では、リニア特性を有する領域（以下、「リニア領域」と呼ぶ）と、ログ特性を有する領域（以下、「ログ領域」と呼ぶ）との間に、リニア特性とログ特性とが混在する過渡的な領域（以下、「過渡領域」と呼ぶ）が存在する。図６では、ある画素の光電変換特性がグラフＧ１で示され、別のある画素の光電変換特性がグラフＧ２で示されている。

　図６のグラフＧ１においては、Ｄ１がリニア領域を示し、Ｄ２がログ領域を示し、Ｄ３が過渡領域を示している。そして、リニアログ特性を有する画素により読み取られた画素データは、撮像素子の出力側に設けられた画像処理回路によって、種々の画像処理を行うための前処理として、リニア特性又はログ特性に光電変換特性を統一する処理が行われる（特許文献１）。

　例えば、光電変換特性がリニア特性に統一される場合、図６に示すリニア領域Ｄ１に属する画素データはそのままの値で種々の画像処理が施され、ログ領域Ｄ２及び過渡領域Ｄ３に属する画素データはリニア特性に変換された値で種々の画像処理が施される。

　ところで、リニアログ特性は、過渡領域Ｄ３の開始レベルである変曲点（変極点と記述する場合もある）Ｐ１と、ログ領域Ｄ２の開始点を示す変曲点Ｐ２とが画素毎にばらついているのが一般的である。

　中には、図６のグラフＧ２の点線に示すように、変曲点Ｐ１がマイナスの値を有するような極端に低い画素も存在する。しかしながら、実際の画素はマイナスの値の画素データを出力しないため、変曲点Ｐ１が極端に低い画素における実際の光電変換特性は、点線Ｌ２で示すようなグラフとはならず、実線Ｌ３で示すようなグラフとなる。

　つまり、変曲点Ｐ１がマイナスの値を有している画素は、円ＣＲ１内に示す低輝度側の領域において、光電変換特性が実際の光電変換特性よりも画素値が低くなる。そして、点線Ｌ２と実線Ｌ３とのずれは、輝度が低下するにつれて増大する。

　しかしながら、従来の撮像装置では、各画素の光電変換特性のばらつきを考慮することなく、全画素共通のルックアップテーブルを用いて光電変換特性が統一されていたため、グラフＧ２で示すような光電変換特性を有する画素により読み取られた画素データであって、画素値が円ＣＲ１で示す低輝度側の画素データは、統一処理後の値が想定する値より大きくなるという問題があった。

　つまり、ルックアップテーブルは、点線Ｌ２が直線Ｌ１に乗るように設計されている。一方、実際の光電変換特性は、点線Ｌ２ではなく実線Ｌ３で示される。そのため、このルックアップテーブを用いて光電変換特性をリニア特性に変換すると、光電変換特性変換後の値が直線Ｌ１よりも上側の領域に変換されてしまい、変換後の値が想定する値よりも大きな値になってしまう。そして、これが固定パターンノイズの原因となっていた。

　また、変曲点Ｐ１がマイナスの値を有する画素を、欠陥画素として取り扱い、この欠陥画素に所定の画像処理を施してこの欠陥画素を補間すると、固定パターンノイズは抑制されるが、解像度が低下するという問題がある。

特開２００７－２５１８９８号公報

　本発明の目的は、固定パターンノイズの発生及び解像度の低下を抑制することができる撮像装置を提供することである。

　本発明の一局面による固体撮像装置は、変曲点を境に異なる光電変換特性を有する複数の画素を備える撮像素子と、各画素で読み取られた画素データに、所定の特性変換処理を実行することで、各画素データの光電変換特性を所定の基準光電変換特性に変換する特性変換部とを備え、前記特性変換部は、前記複数の画素のうち、ある１つの画素である注目画素の変曲点の画素値が所定の変曲点閾値より小さく、かつ、前記注目画素により読み取られた画素データの画素値が所定の画素閾値より小さい場合、前記特性変換処理に代えて、前記注目画素の近傍に位置する近傍画素により読み取られた画素データを用いた補間処理を行うことで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換し、前記注目画素の変曲点の画素値が所定の変曲点閾値以上、又は、前記注目画素により読み取られた画素データの画素値が所定の画素閾値以上の場合、前記特性変換処理が実行された前記注目画素の画素値をそのまま出力することで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換ことを特徴とする。

本発明の実施の形態１による撮像装置のブロック図を示している。図１に示す画像処理部の詳細な構成を示すブロック図である。ルックアップテーブルＴ１のデータ構造の一例を示した模式図である。ルックアップテーブルＴ２のデータ構造の一例を示した模式図である。変曲点が極端に小さな画素のリニアログ特性を示したグラフである。リニアログ特性を示したグラフである。

　（実施の形態１）
　図１は、本発明の実施の形態１による撮像装置のブロック図を示している。図１に示すように撮像装置は、デジタルカメラから構成され、レンズ部２、撮像センサ３（撮像素子の一例）、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９、及び操作部１０を備えている。

　レンズ部２は、被写体の光像を取り込み、撮像センサ３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ部２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部８の制御の下、絞り及びシャッタの駆動が制御される。

　撮像センサ３は、所定行×所定列でマトリックス状に配列され、変曲点を境に異なる光電変換特性を有する複数の画素を備え、レンズ部２において結像された光像を光電変換して、光量に応じたレベルを有するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の画素値からなる画像データを生成し、アンプ４へ出力する。

　ここで、撮像センサ３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳ（Threshold Voltage Modulation　Image　Sensor）イメージセンサ、又はＣＣＤイメージセンサ等の撮像センサを採用してもよい。また、本実施の形態では、撮像センサ３として、各色成分の画素が例えばＲＧＢベイヤー配列により配列された撮像センサが採用されている。すなわち、撮像センサ３は、それぞれ色成分が異なる画素データを読み取るための複数種類の画素が一定のパターンで繰り返し配列された撮像センサである。

　なお、これは一例であり、モノクロ画像を撮像する撮像センサ３を用いてもよい。また、本実施の形態では、各行の画素の配列方向を水平方向、各列の画素の配列方向を垂直方向とする。そして、撮像センサ３は、例えば、左上端の画素から右下端の画素に向けてラスタ走査するように、各画素で読み取られた画素データを順次に出力する。

　また、本実施の形態では、各画素は、低輝度側の第１の光電変換特性と、第１の光電変換特性より高輝度側の第２の光電変換特性と、第１及び第２の光電変換特性の過渡的な特性を示す第３の光電変換特性とを有している。

　そして、図６に示すように、第１の光電変換特性としてはリニア特性を採用し、第２の光電変換特性としてはログ特性を採用し、第３の光電変換特性としては、リニア特性とログ特性とが混在する過渡特性を採用することができる。

　また、図６に示すようにリニア特性と過渡特性との変曲点をＰ１の符号を付して表し、過渡特性とログ特性との変曲点をＰ２の符号を付して表す。また、変曲点Ｐ１の画素値を屈曲開始レベルＳ１と記述し、変曲点Ｐ２の画素値を屈曲開始レベルＳ２と記述する。

　アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路、及びＣＤＳ（相関二重サンプリング）回路等を含み、撮像センサ３から出力された画像データを増幅する。Ａ／Ｄ変換部５は、アンプ４により増幅されたＲ，Ｇ，Ｂ各色の画像データをＲ，Ｇ，Ｂ各色のデジタルの画像データに変換する。本実施の形態では、撮像センサ３の各画素で受光された画素データは、例えば１２ビットの階調値を有する画素データに変換される。

　画像処理部６は、後述するような画像処理を実行する。画像メモリ７は、例えばＲＡＭ（Random Access Memory）から構成され、画像処理部６で画像処理が施された画像データ等を保存する。

　制御部８は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、撮像装置全体の動作制御を司る。

　モニタ部９は、例えば撮像装置のハウジングの背面に配設されたカラー液晶表示器が採用され、撮像センサ３で撮影された画像或いは画像メモリ７に保存されていた画像等をモニタ表示する。

　操作部１０は、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群等を含む。レリーズスイッチが押されることで、撮像動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所定の画像処理が施され、画像メモリ７等に記録されるというように一連の撮影動作が実行される。なお、画像データを画像メモリ７等に記憶せず、画像処理部６からデジタル信号として出力したり、Ｄ／Ａ変換してＮＴＳＣ等のアナログ信号として出力したりして一連の撮像動作を終えてもよい。

　図２は、図１に示す画像処理部６の詳細な構成を示すブロック図である。画像処理部６は、黒バラツキ補正部６１、欠陥補正部６２、ベイヤー補間部６３、特性変換部６４、階調変換部６５、及びトーンカーブ補正部６６を備えている。

　黒バラツキ補正部６１は、撮像センサ３を構成する各画素の黒レベルのばらつきを補正する。欠陥補正部６２は、所定の基準値以下の画素値しか出力することができない欠陥画素により読み出された画素データを、周辺の画素の画素値を用いて補間する補間処理を行う。ここで、補間処理としては例えば、線形補間やスプライン補間を採用することができる。

　ベイヤー補間部６３は、撮像センサ３を構成する各画素がベイヤー配列であるために生じる各色成分における欠落画素を補間するための補間処理であるベイヤー補間を実行する。これにより、１枚の画像を表す画像データは、Ｒ，Ｇ，Ｂの３つの色成分に対応する３枚の画像データにより表されることになる。なお、撮像センサ３がモノクロの撮像センサである場合はベイヤー補間部６３を省略すればよい。

　特性変換部６４は、変曲点バラツキ補正部６４１、変曲点補間部６４２、及びメモリ部６４３を備え、各画素データの光電変換特性を所定の基準光電変換特性に変換する。なお、ベイヤー補間部６３からはＲ，Ｇ，Ｂの色成分に対応する３枚の画像データが出力されるため、特性変換部６４は、各色成分に対応する３枚の画像データのそれぞれに対して、下記に示す処理を実行する。

　本実施の形態では、特性変換部６４は、基準光電変換特性としてリニア特性を採用し、ログ特性及び過渡特性をリニア特性に変換することで、光電変換特性の統一処理を実行する。

　変曲点バラツキ補正部６４１は、各画素で読み取られた画素データに所定の特性変換処理を実行することで、各画素データの光電変換特性をリニア特性に統一させる。

　ここで、変曲点バラツキ補正部６４１は、各画素により読み取られた画素データの画素値ｄを、各画素に対して予め定められた屈曲開始レベルＳ１，Ｓ２の値と比較することで、当該画素データがリニア特性の画素データであるか、過渡特性の画素データであるか、ログ特性の画素データであるかを判定し、リニア特性の画素データである場合は、画素値ｄを画素値ｄ´としてそのまま出力し、過渡特性及びログ特性の画素データである場合は、画素値ｄに特性変換処理を実行し、得られた画素値ｄ´を出力する。

　具体的には、変曲点バラツキ補正部６４１は、ベイヤー補間部６３から出力された画素データの画素値ｄがｄ＜Ｓ１の場合、この画素データはリニア特性の画素データであると判定し、Ｓ１≦ｄ＜Ｓ２の場合、この画素データは過渡特性の画素データであると判定し、ｄ≧Ｓ２の場合、この画素データはログ特性の画素データであると判定する。

　ここで、変曲点バラツキ補正部６４１は、過渡領域Ｄ３の画素値をリニア特性の画素値に変換した場合の対応関係が予め定められたルックアップテーブルＴ１を用いて、過渡特性の画素データをリニア特性に変換すればよい。

　また、変曲点バラツキ補正部６４１は、ログ領域Ｄ２の画素値をリニア特性の画素値に変換した場合の対応関係が予め定められたルックアップテーブルＴ２を用いて、ログ特性の画素データをリニア特性に変換すればよい。

　ここで、ルックアップテーブルＴ１及びＴ２は全画素共通のルックアップテーブルである。図３は、ルックアップテーブルＴ１のデータ構造の一例を示した模式図である。

　図３に示すようにルックアップテーブルＴ１は、それぞれ、「０」～「ｎ－１」のアドレスが付されたｎ（ｎは整数）個のセルにより構成されている。各アドレスは、屈曲開始レベルＳ１に対する画素値ｄの相対値、すなわちｄ－Ｓ１に対応している。各セルには、過渡領域Ｄ３の画素値ｄから屈曲開始レベルＳ１を減じた値をリニア特性に変換したときの変換後の値ｄ１１～ｄ１ｎが格納されている。

　つまり、ルックアップテーブルＴ１には、図６に示す過渡領域Ｄ３に属する各画素値ｄが直線Ｌ１に乗るように変換したときの値が格納されている。

　したがって、変曲点バラツキ補正部６４１は、入力された画素データが過渡特性の画素データである場合、当該画素データの画素値ｄから屈曲開始レベルＳ１を減じた値である、ｄ－Ｓ１のアドレスに格納されたルックアップテーブルＴ１の値を、変換後の値として出力することで、過渡特性をリニア特性に変換する。

　ここで、ルックアップテーブルＴ１の各アドレスをｄ－Ｓ１に対応させているのは、各画素の屈曲開始レベルＳ１のばらつきを考慮したからである。つまり、本実施の形態では、各画素の過渡領域Ｄ３の光電変換特性は、屈曲開始レベルＳ１はばらついているが、波形はほぼ同じであると想定している。そのため、ルックアップテーブルＴ１の各アドレスをｄではなく、ｄ－Ｓ１に対応させることで、このルックアップテーブルＴ１を全画素に適用させることができる。

　また、変曲点バラツキ補正部６４１は、１枚の画像データを構成する画素データが所定の順序で入力されるため、この順序から入力された画素データを読み取った画素を特定することができ、これにより、各画素に対して予め定められた屈曲開始レベルＳ１，Ｓ２を特定することができる。

　図４は、ルックアップテーブルＴ２のデータ構造の一例を示した模式図である。図４に示すようにルックアップテーブルＴ２は、それぞれ、「０」～「ｍ－１」のアドレスが付されたｍ（ｍは整数）個のセルにより構成されている。各アドレスは、屈曲開始レベルＳ２に対する画素値ｄの相対値、すなわちｄ－Ｓ２に対応している。各セルには、ログ領域Ｄ２の画素値ｄから屈曲開始レベルＳ２を減じた値をリニア特性に変換したときの変換後の値ｄ２１～ｄ２ｍが格納されている。

　つまり、ルックアップテーブルＴ２には、図６に示すログ領域Ｄ２に属する各画素値ｄが直線Ｌ１に乗るように変換したときの値が記憶されている。

　したがって、変曲点バラツキ補正部６４１は、入力された画素データがログ特性の画素データである場合、当該画素データの画素値ｄから屈曲開始レベルＳ２を減じた値である、ｄ－Ｓ２のアドレスに格納されたルックアップテーブルＴ２の値を、変換後の値として出力することで、ログ特性をリニア特性に変換する。

　ここで、ルックアップテーブルＴ２の各アドレスをｄ－Ｓ２に対応させているのは、ルックアップテーブルＴ１と同様、各画素の屈曲開始レベルＳ２のばらつきを考慮したためである。

　つまり、本実施の形態では、各画素のログ領域Ｄ２の光電変換特性は、図６に示す屈曲開始レベルＳ２はばらついているが、波形は同じであると想定している。そのため、ルックアップテーブルＴ２の各アドレスをｄではなく、ｄ－Ｓ２に対応させることで、このルックアップテーブルＴ２を全画素に適用させることができる。

　図２に戻り、変曲点補間部６４２は、複数の画素のうち、ある１つの画素である注目画素の屈曲開始レベルＳ１が所定の変曲点閾値より小さく、かつ、注目画素により読み取られた画素データの画素値ｄが所定の画素閾値より小さい場合、上記の特性変換処理により得られた画素値ｄ´ではなく、注目画素の近傍に位置する近傍画素により読み取られた画素データを補間することで得られた画素値ｄ´´を出力することで、注目画素により読み取られた画素データの光電変換特性をリニア特性に変換する。

　一方、変曲点補間部６４２は、注目画素の屈曲開始レベルＳ１が変曲点閾値以上、又は、注目画素により読み取られた画素データの画素値ｄが所定の画素閾値以上である場合、変曲点バラツキ補正部６４１により特性変換処理が実行された画素値ｄ´を画素値ｄ´´としてそのまま出力する。

　具体的には、変曲点補間部６４２の処理は、注目画素により読み取られた画素データの画素値をｄ（ｘ，ｙ）、変曲点バラツキ補正部６４１により特性変換処理が実行された画素データの画素値をｄ´（ｘ，ｙ）、注目画素の変曲点閾値をＳｔｈ、注目画素の画素閾値をＤｔｈとすると、下記のアルゴリズムにより表される。

　ｉｆ（Ｓ１＜Ｓｔｈ＆ｄ（ｘ，ｙ）＜Ｄｔｈ）
　　ｄ´´（ｘ，ｙ）＝（（ｄ´（ｘ－１，ｙ）＋ｄ´（ｘ＋１，ｙ）＋ｄ´（ｘ，ｙ－１）＋ｄ´（ｘ，ｙ＋１））／４
　ｅｌｓｅ
　　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ，ｙ）
　上記の例では、変曲点補間部６４２は、注目画素に対して水平及び垂直方向に隣接する４つの画素を近傍画素としている。そして、これら４つの近傍画素の平均値がｄ´´として出力される。

　また、変曲点補間部６４２は、注目画素に対して水平方向に隣接する２つ画素を近傍画素として特定し、２つの近傍画素の平均値をｄ´´として出力してもよい。

　この場合、変曲点補間部６４２の処理は下記のアルゴリズムにより表される。

　ｉｆ（Ｓ１＜Ｓｔｈ＆ｄ（ｘ，ｙ）＜Ｄｔｈ）
　　ｄ´´（ｘ，ｙ）＝（（ｄ´（ｘ－１，ｙ）＋ｄ´（ｘ＋１，ｙ））／２
　ｅｌｓｅ
　　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ，ｙ）
　図２では、ベイヤー補間部６３は、特性変換部６４の前段に設けられているが、特性変換部６４の後段、具体的には、階調変換部６５とトーンカーブ補正部６６との間に設けてもよい。

　この場合、特性変換部６４には、ベイヤー補間が行われる前の１枚の画像データが入力される。そのため、変曲点補間部６４２の処理は、下記のアルゴリズムにより表される。

　ｉｆ（Ｓ１＜Ｓｔｈ＆ｄ（ｘ，ｙ）＜Ｄｔｈ）
　　ｄｒｂ´´（ｘ，ｙ）＝（（ｄｒｂ´（ｘ－２，ｙ）＋ｄｒｂ´（ｘ＋２，ｙ）＋ｄｒｂ´（ｘ，ｙ－２）＋ｄｒｂ´（ｘ，ｙ＋２））／４
　　ｄｇ´´（ｘ，ｙ）＝（（ｄｇ´（ｘ－１，ｙ－１）＋ｄｇ´（ｘ＋１，ｙ－１）＋ｄｇ´（ｘ－１，ｙ＋１）＋ｄｇ´（ｘ＋１，ｙ＋１））／４
　ｅｌｓｅ
　　ｄｒｂ´´（ｘ，ｙ）＝ｄｒｂ´（ｘ，ｙ）
　　ｄｇ´´（ｘ，ｙ）＝ｄｇ´（ｘ，ｙ）
　但し、ｄｒｂは、ベイヤー配列において、赤又は青のフィルターが取り付けられた画素（Ｒ画素又はＢ画素）により読み取られた画素データの画素値を示し、ｄｇは、緑のフィルターが取り付けられた画素（Ｇ画素）により読み取られた画素データの画素値を示す。

　この場合、変曲点補間部６４２は、注目画素と同一色のフィルターが取り付けられた画素であって、注目画素の近傍に位置する４つの画素が近傍画素とされ、これら４つの近傍画素の平均値がｄ´´として出力されている。

　具体的には、注目画素がＲ画素の場合、このＲ画素に対して水平方向の近傍に位置する２つのＲ画素と、垂直方向の近傍に位置する２つのＲ画素との４つの画素が近傍画素とな
る。注目画素がＢ画素の場合、近傍画素はＲ画素の場合と同じである。

　注目画素がＧ画素の場合、このＧ画素に対して右斜め上、右斜め下、左斜め上、及び左斜め下に隣接する４つのＧ画素が近傍画素となる。

　なお、近傍画素を４つとするのは一例であり、注目画素と同一色のフィルターが取り付けられた画素であって、注目画素に対して水平方向に隣接する２つの画素を近傍画素として採用してもよい。

　メモリ部６４３は、例えばＥＥＰＲＯＭ等の不揮発性の記録媒体により構成され、各画素に対して予め定められた、屈曲開始レベルＳ１、屈曲開始レベルＳ２を記憶する。また、メモリ部６４３は、変曲点閾値Ｓｔｈ、及び画素閾値Ｄｔｈ、ルックアップテーブルＴ１，Ｔ２を記憶する。ここで、屈曲開始レベルＳ１，Ｓ２は、各画素固有の値であり、変曲点閾値Ｓｔｈ及び画素閾値Ｄｔｈは、全画素共通の値である。

　図５は、変曲点が極端に小さな画素の光電変換特性を示したグラフであり、縦軸は画素値を示し、横軸は輝度を示している。図５に示す光電変換特性は、変曲点Ｐ１が極端に低く、屈曲開始レベルＳ１がマイナスの値になっていることが分かる。

　そして、画素はマイナスの画素値を出力することができないため、変曲点が極端に低い画素の実際の光電変換特性（実線）は、低輝度側において、想定する光電変換特性（点線）よりも上側にずれていることが分かる。

　なお、変曲点閾値Ｓｔｈとしては、例えば、図５に示すように、屈曲開始レベルＳ１がマイナスの値となる画素のうち、屈曲開始レベルＳ１が最大の画素の屈曲開始レベルＳ１よりも少なくとも高い値を採用すればよい。

　画素閾値Ｄｔｈとしては、例えば、図５に示すように、屈曲開始レベルＳ１がマイナスの値となる画素のうち、ずれの開始レベルＬＶ１が最大の画素のずれの開始レベルＬＶ１程度の値を採用すればよい。

　図２に戻り、階調変換部６５は、特性変換部６４から出力された画素データに対して、ヒストグラム均等化処理や、ダイナミックレンジ圧縮処理等を行う。ヒストグラム均等化処理は、画像中のグレーレベルの分布を一様に分布させる処理である。これにより画像のコントラストを明確にすることができる。ダイナミックレンジ圧縮処理としては、例えば、緒形昌美「画像のダイナミックレンジ圧縮技術」日本工業出版、画像ラボ、２００４年、６月号に記載の技術を採用することができる。

　トーンカーブ補正部６６は、階調変換部６５から出力された画像データをガンマ補正する。なお、トーンカーブ補正部６６から出力された画素データは図１に示す画像メモリ７に格納される。

　次に、本実施の形態による撮像装置の動作について説明する。まず、操作部１０がユーザからの撮像指令を受け付けると、撮像センサ３により撮像された画像データはアンプ４により所定レベルに増幅され、Ａ／Ｄ変換部５によりＡ／Ｄ変換がなされた後、画像処理部６に入力される。

　画像処理部６に入力された画素データは、黒バラツキ補正部６１により黒レベルが補正され、欠陥補正部６２により欠陥画素が補間され、ベイヤー補間部６３により、ベイヤー補間が行われた後、変曲点バラツキ補正部６４１に入力される。

　変曲点バラツキ補正部６４１に入力された画素データは、光電変換特性がリニア特性に変換され、変曲点補間部６４２に入力される。

　変曲点補間部６４２は、ベイヤー補間部６３から出力された画素データである注目画素の画素値ｄと、その注目画素の屈曲開始レベルＳ１とが、屈曲開始レベルＳ１＜変曲点閾値Ｓｔｈ、かつ、画素値ｄ＜画素閾値Ｄｔｈの条件を満たす場合、変曲点バラツキ補正部６４１から出力された近傍画素の画素値ｄ´を用いた上述の補間処理を実行し、画素値ｄ´´を算出し、階調変換部６５に出力する。

　一方、変曲点補間部６４２は、ベイヤー補間部６３から出力された画素データである注目画素の画素値ｄと、注目画素の屈曲開始レベルＳ１とが、屈曲開始レベルＳ１≧変曲点閾値Ｓｔｈ、又は、画素値ｄ≧画素閾値Ｄｔｈの条件を満たす場合、変曲点バラツキ補正部６４１から出力された注目画素の画素値ｄ´をそのまま画素値ｄ´´として階調変換部６５に出力する。

　変曲点補間部６４２により処理された画素データは、階調変換部６５によりヒストグラム均一化処理やダイナミックレンジ圧縮処理等が行われ、トーンカーブ補正部６６によりガンマ補正が行われ画像メモリ７に格納される。

　このように本実施の形態による撮像装置によれば、注目画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈより小さく、かつ、注目画素により読み取られた画素データの画素値ｄが画素閾値Ｄｔｈより小さい場合、注目画素の画素データは、変曲点バラツキ補正部６４１により特性変換処理が行われた近傍画素の画素値ｄ´を用いた補間処理によってリニア特性に変換される。

　これにより、変曲点の画素値が極端に低い画素により読み取られた画素データであって、実際の光電変換特性と想定する特性変換特性とがずれる領域に属するような画素値が小さな画素データは、光電変換処理が実行される代わりに、近傍画素により読み取られた画素データを用いた補間処理が実行されることになる。

　ここで、変曲点の画素値が極端に低い画素の個数は少ないため、近傍画素の変曲点の画素値が極端に低くなることは稀である。したがって、近傍画素により読み取られた画素データを用いて注目画素により読み取られた画素データを補間することにより、注目画素で読み取られた画素データが想定する値より大きな値に変換されるような事態が回避され、固定パターンノイズの発生を抑制することができる。

　一方、変曲点の画素値が極端に低い画素により読み取られた画素データであっても、画素値が大きい場合、この画素データは、補間処理ではなく特性変換処理によりリニア特性に変換される。つまり、変曲点の画素値が極端に低い画素の光電変換特性は、画素値が大きな領域では、実際の光電変換特性と想定する光電変換特性とがずれていないため、この領域の画素データに特性変換処理を実行しても、変換後の値は、リニア特性からずれない。よって、変曲点が極端に低い画素を欠陥画素として取り扱い、画素値に拘わらず一律に補間処理を実行する場合に比べて、解像度の低下を防止することができる。

　（実施の形態２）
　次に、本発明の実施の形態２による撮像装置について説明する。本実施の形態の撮像装置は、実施の形態１の近傍画素の中から、補間処理に適した画素を用いて補間処理することを特徴とする。

　なお、本実施の形態において、実施の形態１と同一のものは説明を省略する。また、構成は実施の形態１と同一であるため、図１及び図２を用いて説明する。

　本実施の形態において、図２に示す変曲点補間部６４２は、近傍画素のうち、画素値が画素閾値Ｄｔｈより小さく、かつ、屈曲開始レベルＳ１が変曲点閾値Ｓｔｈより小さい画素により読み取られた画素データは補間処理に使用しない。

　具体的には、変曲点補間部６４２は、下記の処理を行う。下記の処理は、注目画素に対して水平方向に隣接する２つの画素が近傍画素である場合のアルゴリズムを示している。
１：　ｉｆ（Ｓ１（ｘ，ｙ）＜Ｓｔｈ＆ｄ（ｘ，ｙ）＜Ｄｔｈ）｛
２：　　ｉｆ（Ｓ１（ｘ－１，ｙ）≧Ｓｔｈ＆ｄ（ｘ－１，ｙ）≧Ｄｔｈ｛
３：　　　ｉｆ（Ｓ１（ｘ＋１，ｙ）≧Ｓｔｈ＆ｄ（ｘ＋１，ｙ）≧Ｄｔｈ
４：　　　　ｄ´´（ｘ，ｙ）＝（ｄ´（ｘ－１，ｙ）＋ｄ´（ｘ＋１，ｙ））／２
５：　　　ｅｌｓｅ
６：　　　　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ－１，ｙ）
７：　｝ｅｌｓｅ｛
８：　ｉｆ（Ｓ（ｘ＋１，ｙ）≧Ｓｔｈ＆ｄ（ｘ＋１，ｙ）≧Ｄｔｈ）
９：　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ＋１，ｙ）
１０：　｝
１１：｝ｅｌｓｅ
１２：　　　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ，ｙ）

　上記アルゴリズムの１行目は、注目画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈより小さい、かつ、画素値ｄが画素閾値Ｄｔｈより小さいことを示している。

　上記アルゴリズムの２行目は、左側の近傍画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈ以上、かつ、画素値ｄが画素閾値Ｄｔｈ以上であることを示している。

　上記アルゴリズムの３行目は、右側の近傍画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈ以上、かつ、画素値ｄが画素閾値Ｄｔｈ以上であることを示している。

　上記アルゴリズムの４行目は、上記アルゴリズムの１～３行目の条件が全て満たされる場合、変曲点バラツキ補正部６４１により特性変換処理が行われた右側の近傍画素と左側の近傍画素との画素データを用いて、補間処理を行うことを示している。

　上記アルゴリズムの６行目は、左側の近傍画素のみ、屈曲開始レベルＳ１が変曲点閾値Ｓｔｈ以上、かつ、画素値ｄが画素閾値Ｄｔｈ以上の場合、変曲点バラツキ補正部６４１により特性変換処理が行われた左側の近傍画素の画素データのみを用いて、補間処理を行うことを示している。

　上記アルゴリズムの８行目は、右側の近傍画素のみ、屈曲開始レベルＳ１が変曲点閾値Ｓｔｈ以上、かつ、画素値ｄが画素閾値Ｄｔｈ以上の場合、変曲点バラツキ補正部６４１により特性変換処理が行われた右側の近傍画素の画素データのみを用いて、補間処理を行うことを示している。

　上記アルゴリズムの１２行目は、上記アルゴリズムの１行目の条件が満たされない場合、すなわち、注目画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈ以上、又は、注目画素の画素値ｄが画素閾値Ｄｔｈ以上の場合、変曲点バラツキ補正部６４１により特性変換処理が行われた注目画素の画素データをそのまま出力することを示している。

　なお、上記説明では、注目画素に対して水平方向に隣接する２つの画素を注目画素としたが、これに限定されず、注目画素に対して水平方向に隣接する２つの画素と垂直方向に隣接する２つの画素との４つの画素を近傍画素として採用した場合であっても、本発明は適用可能である。

　この場合、変曲点補間部６４２は、４つの近傍画素のうち、屈曲開始レベルＳ１が変曲点閾値Ｓｔｈより小さく、かつ、画素値ｄが画素閾値Ｄｔｈより小さい画素により読み出された画素データ以外の画素データを用いて補間処理を行えばよい。

　また、注目画素の左側の近傍画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈより小さい、又は、画素値ｄが画素閾値Ｄｔｈより小さい場合、更に左側の画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈ以上、かつ、画素値ｄが画素閾値Ｄｔｈ以上か否かを判定し、この条件を満たす場合、この画素を近傍画素として用いて、補間処理を行っても良い。

　また、注目画素の左側の近傍画素の屈曲開始レベルＳ１が変曲点閾値Ｓｔｈより小さい、又は、画素値ｄが画素閾値Ｄｔｈより小さい場合、屈曲開始レベルＳ１が変曲点閾値Ｓｔｈ以上、かつ、画素値ｄが画素閾値Ｄｔｈ以上となる画素を左側に向けて探索していき、所定数の画素まで探索してこの条件を満たす画素が存在する場合、この画素を近傍画素として採用してもよい。また、右側の画素、上側の画素、下側の画素、左斜め上の画素、右斜め上の画素、左斜め下の画素、右斜め下の画素についても、左側の画素と同様にして近傍画素を探索すればよい。

　このように、本実施の形態による撮像装置によれば、変曲点Ｐ１の画素値が極端に低い画素が注目画素とされた場合において、その注目画素により読み取られた画素データに対して補間処理を行う場合、変曲点の画素値が極端に低い近傍画素は、補間処理に用いられないため、補間処理を精度良く行うことができる。

　なお、上記実施の形態１，２では、変曲点補間部６４２は、屈曲開始レベルＳ１を用いて補間処理をするか否かを判定したが、これに限定されず、屈曲開始レベルＳ２を用いて補間処理をするか否かを判定してもよい。

　この場合、変曲点閾値Ｓｔｈとしては、例えば、図４に示すように、屈曲開始レベルＳ１がマイナスの値となる画素のうち、屈曲開始レベルＳ２が最大の画素の屈曲開始レベルＳ２よりも少なくとも高い値を採用すればよい。

　また、上記実施の形態１，２では、特性変換部６４は、ログ特性、過渡特性をリニア特性に統一させる場合を例示したが、これに限定されず、リニア特性及び過渡特性をログ特性に統一させるようにしてもよい。

　上記の撮像装置の技術的特徴は下記のように纏められる。

　（１）本発明の一局面による固体撮像装置は、変曲点を境に異なる光電変換特性を有する複数の画素を備える撮像素子と、各画素で読み取られた画素データに、所定の特性変換処理を実行することで、各画素データの光電変換特性を所定の基準光電変換特性に変換する特性変換部とを備え、前記特性変換部は、前記複数の画素のうち、ある１つの画素である注目画素の変曲点の画素値が所定の変曲点閾値より小さく、かつ、前記注目画素により読み取られた画素データの画素値が所定の画素閾値より小さい場合、前記特性変換処理に代えて、前記注目画素の近傍に位置する近傍画素により読み取られた画素データを用いた補間処理を行うことで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換し、前記注目画素の変曲点の画素値が所定の変曲点閾値以上、又は、前記注目画素により読み取られた画素データの画素値が所定の画素閾値以上の場合、前記特性変換処理が実行された前記注目画素の画素値をそのまま出力することで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換する。

　この構成によれば、注目画素の変曲点の画素値が変曲点閾値より小さく、かつ、注目画素により読み取られた画素データが画素閾値より小さい場合、近傍画素により読み取られた画素データを用いた補間処理によって、注目画素により読み取られた画素データが基準光電変換特性に変換される。

　これにより、変曲点の画素値が極端に低い画素により読み取られた画素データであって、実際の光電変換特性と想定する光電変換特性とがずれる領域に属するような画素値の小さい画素データは、特性変換処理が実行される代わりに、近傍画素により読み取られた画素データを用いた補間処理が実行されることになる。

　一方、変曲点の画素値が極端に低い画素の光電変換特性は、画素値が大きい領域では、実際の光電変換特性と想定する光電変換特性とがずれていないため、この領域の画素データに特性変換処理を実行しても、変換後の値は、基準光電変換特性からずれない。

　そこで、上記構成では、変曲点の画素値が変曲点閾値以下の画素により読み取られた画素データであっても、画素値が画素閾値以上の場合、この画素データの光電変換特性を、補間処理ではなく特性変換処理により基準光電変換特性に変換している。

　また、注目画素の変曲点が変曲点閾値以上である場合、そもそも、光電変換特性のずれは生じないため、特性変換処理により注目画素により読み取られた画素データの光電変換特性を変換している。

　よって、変曲点が極端に低い画素を欠陥画素として取り扱い、画素値に拘わらず一律に補間処理を実行する場合に比べて、解像度の低下を抑制することができる。

　（２）前記特性変換部は、前記近傍画素により読み取られた画素データを前記特性変換処理により前記基準光電変換特性に変換し、変換後の近傍画素の画素データを用いて、前記注目画素により読み取られた画素データに前記補間処理を実行することが好ましい。

　この構成によれば、基準光電変換特性に変換後の画素データを用いて補間処理が行われることになる。

　（３）各画素は、第１の光電変換特性と、前記第１の光電変換特性とは異なる第２の光電変換特性と、前記第１及び第２の光電変換特性の過渡的な特性を示す第３の光電変換特性とを有し、前記変曲点は、前記第１の光電変換特性と前記第３の光電変換特性との変曲点、又は前記第３の光電変換特性と前記第２の光電変換特性との変曲点であることが好ましい。

　この構成によれば、各画素が第１～第３の光電変換特性を有する場合に、第１及び第２の光電変換特性の変曲点又は第２及び第３の光電変換特性の変曲点を用いて、変曲点閾値との比較処理が実行されることになる。

　（４）前記第１の光電変換特性は線形特性であり、前記第２の光電変換特性は対数特性であり、前記基準光電変換特性は前記線形特性であることが好ましい。

　この構成によれば、対数特性及び過渡特性を線形特性に変換して光電変換特性を統一させる際に、固定パターンノイズの発生及び解像度の低下を抑制することができる。

　（５）前記特性変換部は、前記近傍画素のうち、画素値が前記画素閾値より小さく、かつ、変曲点の画素値が前記変曲点閾値より小さい画素により読み取られた画素データは、前記補間処理に使用しないことが好ましい。

　この構成によれば、変曲点の画素値が極端に低い画素が注目画素とされた場合において、その注目画素により読み取られた画素データに対して補間処理を行う場合、注目画素と同様の光電変換特性を有する近傍画素は、補間処理に用いられないため、補間処理を精度良く行うことができる。

　（６）前記特性変換部は、前記注目画素に対して水平方向に隣接する２つの画素を前記近傍画素として特定することが好ましい。

　この構成によれば、水平方向に隣接する２つの画素、すなわち、同一行に隣接する２つの画素が近傍画素とされるため、他の行の画素で読み取られた画素データを保持するためのメモリ等が不要になると共に、他の行の画素から画素データが読み取られるのを待たずに、補間処理を実行することができるため、装置構成を簡略化することができる。

　（７）前記特性変換部は、前記注目画素に対して水平方向に隣接する２つの画素及び垂直方向に隣接する２つの画素を前記近傍画素として特定することが好ましい。

　この構成によれば、４つの近傍画素を用いて補間処理が行われるため、補間処理を精度良く実行することができる。

　（８）前記撮像素子は、それぞれ色成分が異なる画素データを読み取るための複数種類の画素が一定のパターンで繰り返し配列され、前記特性変換部は、前記注目画素と同一種類の前記注目画素の近傍に位置する画素を前記近傍画素として特定することが好ましい。

　この構成によれば、注目画素と同一色の画素データを読み取る画素を近傍画素として用いて補間処理を実行することができる。

Claims

　変曲点を境に異なる光電変換特性を有する複数の画素を備える撮像素子と、
　各画素で読み取られた画素データに、所定の特性変換処理を実行することで、各画素データの光電変換特性を所定の基準光電変換特性に変換する特性変換部とを備え、
　前記特性変換部は、前記複数の画素のうち、ある１つの画素である注目画素の変曲点の画素値が所定の変曲点閾値より小さく、かつ、前記注目画素により読み取られた画素データの画素値が所定の画素閾値より小さい場合、前記特性変換処理に代えて、前記注目画素の近傍に位置する近傍画素により読み取られた画素データを用いた補間処理を行うことで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換し、
　前記注目画素の変曲点の画素値が所定の変曲点閾値以上、又は、前記注目画素により読み取られた画素データの画素値が所定の画素閾値以上の場合、前記特性変換処理が実行された前記注目画素の画素値をそのまま出力することで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換することを特徴とする撮像装置。
　前記特性変換部は、前記近傍画素により読み取られた画素データを前記特性変換処理により前記基準光電変換特性に変換し、変換後の近傍画素の画素データを用いて、前記注目画素により読み取られた画素データに前記補間処理を実行することを特徴とする請求項１記載の撮像装置。
　各画素は、第１の光電変換特性と、前記第１の光電変換特性とは異なる第２の光電変換特性と、前記第１及び第２の光電変換特性の過渡的な特性を示す第３の光電変換特性とを有し、
　前記変曲点は、前記第１の光電変換特性と前記第３の光電変換特性との変曲点、又は前記第３の光電変換特性と前記第２の光電変換特性との変曲点であることを特徴とする請求項１又は２記載の撮像装置。
　前記第１の光電変換特性は線形特性であり、
　前記第２の光電変換特性は対数特性であり、
　前記基準光電変換特性は前記線形特性であることを特徴とする請求項１～３のいずれかに記載の撮像装置。
　前記特性変換部は、前記近傍画素のうち、画素値が前記画素閾値より小さく、かつ、変曲点の画素値が前記変曲点閾値より小さい画素により読み取られた画素データは、前記補間処理に使用しないことを特徴とする請求項１～４のいずれかに記載の撮像装置。
　前記特性変換部は、前記注目画素に対して水平方向に隣接する２つの画素を前記近傍画素として特定することを特徴とする請求項１～５のいずれかに記載の撮像装置。
　前記特性変換部は、前記注目画素に対して水平方向に隣接する２つの画素及び垂直方向に隣接する２つの画素を前記近傍画素として特定することを特徴とする請求項１～５のいずれかに記載の撮像装置。
　前記撮像素子は、それぞれ色成分が異なる画素データを読み取るための複数種類の画素が一定のパターンで繰り返し配列され、
　前記特性変換部は、前記注目画素と同一種類の前記注目画素の近傍に位置する画素を前記近傍画素として特定することを特徴とする請求項１～７のいずれかに記載の撮像装置。