JP2018101940A - 光電変換装置、光電変換方法及び画像形成装置 - Google Patents

Abstract

【課題】欠陥画素が複数連続して存在する場合でも、適正な補間処理を可能とする。【解決手段】光電変換部が、各画素で受光した光を電気信号に変換する。検出部は、光電変換部の各画素のうち、異常レベルの電気信号を出力する欠陥画素を検出する。特定部は、検出された各欠陥画素のうち、光電変換部上の物理的な位置が連続する欠陥画素を特定する。複数の補間部は、欠陥画素の電気信号を正常な画素の電気信号とする補間処理を行う。分離部は、特定された連続する位置の各欠陥画素が、それぞれ異なる補間部で補間処理されるように、光電変換部からの電気信号を分離して、それぞれ補間部に供給する。合成部は、各補間部でそれぞれ補間処理が施された電気信号を合成して、一連の電気信号を再生して出力する。これにより、欠陥画素が複数連続して存在する場合でも、適正な補間処理を施した電気信号を出力できる。【選択図】図１１

Description

本発明は、光電変換装置、光電変換方法及び画像形成装置に関する。

今日において、撮像素子の欠陥画素で生成された異常な画像データを、欠陥画素の周囲の画素からの画像データを用いて補間する補間処理が知られている。例えば、特許文献１（特開２００９−１３０５５３号公報）には、連続して発生する欠陥画素群を適切に補間する目的とした欠陥画素補正方法が開示されている。この欠陥画素補正方法は、分割された領域内で欠陥度合いを比較し、欠陥度合いが小さい欠陥画素を残し、欠陥度合い大きい欠陥画素を補正した後、残った欠陥画素再度欠陥画素の検出を行い、欠陥画素と判断された場合に、周囲の画素値から補間して生成する。

しかし、特許文献１に開示されている欠陥画素補正方法の他、従来の補間処理は、欠陥画素が複数連続して存在すると、欠陥画素に隣接した別の欠陥画素を用いて補間処理を行うことで、補間処理が不十分となり、又は、誤った値に置き換えてしまう問題があった。

本発明は、上述の課題に鑑みてなされたものであり、欠陥画素が複数連続して存在する場合でも、適正な補間処理を可能とする光電変換装置、光電変換方法及び画像形成装置の提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、各画素で受光した光を電気信号に変換する光電変換部と、各画素のうち、異常レベルの電気信号を出力する欠陥画素を検出する検出部と、検出された各欠陥画素のうち、光電変換部上の物理的な位置が連続する欠陥画素を特定する特定部と、欠陥画素の電気信号を正常な画素の電気信号とする補間処理を行う複数の補間部と、特定された連続する位置の各欠陥画素が、それぞれ異なる補間部で補間処理されるように、光電変換部からの電気信号を分離して、それぞれ補間部に供給する分離部と、各補間部でそれぞれ補間処理が施された電気信号を合成して、一連の電気信号を再生して出力する合成部とを有する。

本発明によれば、欠陥画素が複数連続して存在する場合でも、適切な補間処理を可能とすることができるという効果を奏する。

図１は、第１の実施の形態のＭＦＰの横断面図である。 図２は、第１の実施の形態のＭＦＰに設けられている読み取り装置の横断面図である。 図３は、欠陥画素により画像上に現れるＲＴＳノイズを説明するための図である。 図４は、連続する複数の欠陥画素の補間手法の一例を示す模式図である。 図５は、周囲の画素を用いて欠陥画素の補間処理を行う場合の問題点を説明するための図である。 図６は、類似パターンに基づいて、欠陥画素の補間処理を行う場合の問題点を説明するための図である。 図７は、カラム単位で駆動を行う光電変換部に発生したＲＴＳノイズによる異常画素の現れ方を説明するための図である。 図８は、エリアセンサにおいて、連続する欠陥画素による異常画素の現れ方を説明するための図である。 図９は、リニアセンサにおいて、連続する欠陥画素による異常画素の現れ方を説明するための図である。 図１０は、第１の実施の形態のＭＦＰの要部の構成を示す図である。 図１１は、第１の実施の形態のＭＦＰにおける、連続する欠陥画素の補間処理動作の流れを示す模式図である。 図１２は、第１の実施の形態のＭＦＰに適用されている補間処理により、エリアセンサ上の連続する欠陥画素の補間処理を行うことで、画像上に現れる異常画素の影響が改善された様子を示す図である。 図１３は、第１の実施の形態のＭＦＰにおいて、リニアセンサ上の連続する欠陥画素の補間処理を行うことで、画像上に現れる異常画素の影響が改善された様子を示す図である。 図１４は、第２の実施の形態のＭＦＰに設けられている光電変換部のカラム構成を説明するための図である。 図１５は、第３の実施の形態のＭＦＰに設けられている光電変換部の部分的な拡大図である。 図１６は、第４の実施の形態のＭＦＰの光電変換部上に、ＲＴＳノイズの発生要因となる欠陥画素、及び、白キズとなっている欠陥画素の両方が存在する例を示す図である。 図１７は、第４の実施の形態のＭＦＰにおいて、ＲＴＳノイズの発生要因となる欠陥画素及び白キズとなっている欠陥画素を、それぞれ分別して補間処理を行う様子を示す図である。 図１８は、周辺画素にコントラストが存在する場合において、画像に対する欠陥画素の現れ方を説明するための図である。 図１９は、リニアセンサに、周辺画素平均値のショットノイズ量よりも対象画素のノイズ量が高い場合に補間処理を行う補間手法を適用した場合の問題点を説明するための図である。 図２０は、第５の実施の形態のＭＦＰの要部のブロック図である。 図２１は、補間判定部が補間判定処理で行う演算動作を説明するための図である。 図２２は、連続する欠陥画素の補間処理が必要であるにもかかわらず、補間処理が不要と誤判定される画像パターンを説明するための図である。 図２３は、連続する欠陥画素の補間処理が不要であるにもかかわらず、補間処理が不要と誤判定される画像パターンを説明するための図である。 図２４は、第５の実施の形態のＭＦＰにおける、２画素以上連続する欠陥画素の補間処理動作を説明するための図である。 図２５は、各実施の形態のＭＦＰに設けられている補間処理部のブロック図である。 図２６は、対象パターン上でテンプレートを移動させながらＳＡＤ値を算出する動作を説明するための図である。 図２７は、補間処理部における補間処理動作の流れを示すフローチャートである。 図２８は、第６の実施の形態のＭＦＰの要部のブロック図である。 図２９は、連続する複数の欠陥画素が存在する場合における、第６の実施の形態のＭＦＰの補間処理動作の流れを説明するための模式図である。 図３０は、欠陥画素が単発的な画素である場合における、第６の実施の形態のＭＦＰの補間処理動作の流れを説明するための模式図である。 図３１は、第７の実施の形態のＭＦＰにおける補間処理動作の流れを説明するための模式図である。 図３２は、連続する複数の欠陥画素に基づいて、各欠陥画素がそれぞれ異なる系統に含まれるように、全体の画像情報を複数の系統に分離し、系統毎に欠陥画素の補間処理を行うことで生ずる問題点を説明するための図である。 図３３は、第８の実施の形態のＭＦＰにおける補間処理動作の流れを説明するための模式図である。 図３４は、第９の実施の形態のＭＦＰにおける補間処理動作の流れを説明するための模式図である。

まず、最初に適用分野の説明をする。光電変換装置及び光電変換方法は、画像の読み取りを行う機器の他、光の有無を感知して所定の情報処理を行う機器に適用可能である。具体的には、光電変換装置及び光電変換方法は、複合機（ＭＦＰ：Multifunction Peripheral）のリニアセンサ、カメラ装置又はビデオカメラ装置のオートフォーカス用のラインセンサ、インタラクティブ・ホワイトボード装置（電子黒板）上に書き込まれたれた文字、記号又は図形の読み取りを行うラインセンサ等に適用することができる。以下、一例として、光電変換装置及び光電変換方法を適用したＭＦＰの説明をする。

（第１の実施の形態）
（ＭＦＰの構成）
まず、図１に、第１の実施の形態のＭＦＰを横から見た状態の図を示す。この図１は、ＭＦＰの本体を透視した状態の図となっている。この図１に示すように、ＭＦＰは、読み取り装置１及び本体２を有している。読み取り装置１は、自動原稿給送機構（ＡＤＦ：Auto Document Feeder）３、及び、スキャナ機構４を有している。

本体２内には、タンデム方式の作像部５、作像部５に給紙部１３から搬送路６を介して記録紙を供給するレジストローラ７、光書き込み装置８、定着搬送部９、及び、両面トレイ１０を有している。作像部５には、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の４色に対応する４本の感光体ドラム１１が並設されている。各感光体ドラム１１の周囲には、帯電器、現像器１２、転写器、クリーナ、及び、除電器を含む作像要素が配置されている。また、転写器と感光体ドラム１１との間には、両者のニップに挟持された状態で駆動ローラと従動ローラとの間に張架された中間転写ベルト１４が設けられている。

このように構成されたタンデム方式の画像形成装置では、ＹＭＣＫの各色に対応する感光体ドラム１１に光書き込みを行い、現像器１２で各色のトナー毎に現像し、例えばＹ，Ｍ，Ｃ，Ｋの順で中間転写ベルト１４上に１次転写する。そして、１次転写により４色が重畳したフルカラーの画像を記録紙に２次転写した後、定着して排紙する。これにより、フルカラーの画像を記録紙上に形成する。

（ＡＤＦ及びスキャナ機構の構成）
図２は、ＡＤＦ３及びスキャナ機構４の横断面図である。スキャナ機構４は、上面に原稿を載置するコンタクトガラス１５を備えている。また、スキャナ機構４は、原稿露光用の光源１６及び第１反射ミラー１７を備えた第１キャリッジ１８と、第２反射ミラー１９及び第３反射ミラー２０を備えた第２キャリッジ２４とを備えている。また、スキャナ機構４は、第３反射ミラー２０で反射された光を、光電変換部２１の受光領域上に結像させるためのレンズユニット２２を備えている。また、スキャナ機構４は、読み取り光学系等による各種の歪み補正用の基準白板２３、及び、シートスルー読取用スリット２４を備えている。スキャナ機構４は、光源１６からの照射光で照明した原稿からの反射光を、光電変換部２１で受光して電気信号（画像データ）に変換して出力する。

ＡＤＦ３は、コンタクトガラス１５に対して開閉可能となるように、図示しないヒンジ部材等を介して本体２に接続されている。ＡＤＦ３は、複数枚の原稿からなる原稿束２７を載置可能な原稿トレイ２８を備えている。また、このＡＤＦ３は、原稿トレイ２８に載置された原稿束２７から原稿を１枚ずつ分離して、シートスルー読取用スリット２５へ向けて自動給送する給送ローラ２９を含む分離給送部も備えている。

（原稿の読み取り動作）
このような読み取り装置１は、コンタクトガラス１５上に載置した原稿の読み取りを行うスキャンモード、及び、ＡＤＦ３により自動給送される原稿の読み取りを行うシートスルーモードを有している。なお、スキャンモード又はシートスルーモードによる画像読み取り前に、点灯された光源１６によって基準白板２３を照明し、反射光による画像を光電変換部２１で読み取る。そして、その１ライン分の画像データの各画素のレベルが均一なレベルになるように、シェーディング補正用データを生成して記憶する。記憶されシェーディング補正用データは、以下に説明するスキャンモード又はシートスルーモードで読み取られた画像データのシェーディング補正に用いられる。

スキャンモード時には、第１キャリッジ１８及び第２キャリッジ２４が、図示しないステッピングモータによって、矢印Ａ方向（副走査方向）に移動して原稿を走査する。このとき、コンタクトガラス１５から光電変換部２１の受光領域までの光路長を一定に維持するために、第２キャリッジ２４は、第１キャリッジ１８の１／２の速度で移動する。

同時に、コンタクトガラス１５上に載置された原稿の下面である画像面が、第１キャリッジ１８の光源１６によって照明（露光）される。すると、その画像面からの反射光が、第１キャリッジ１８の第１反射ミラー１７、第２キャリッジ２４の第２反射ミラー１９及び第３反射ミラー２０によって順次反射される。そして、第３反射ミラー２０による反射光束が、レンズユニット２２によって集束され、光電変換部２１の受光領域上に結像される。光電変換部２１は、１ライン毎に受光した光を光電変換して画像データを生成する。画像データは、デジタル化され、ゲイン調整が施されて出力される。画像の読み取りが完了した原稿は、図示しない排出口に排出される。

シートスルーモードの時には、第１キャリッジ１８及び第２キャリッジ２４が、シートスルー読取用スリット２５の下側へ移動して停止する。その後、ＡＤＦ３の原稿トレイ２８上に載置された原稿束２７の最下位の原稿から順次、給送ローラ２９によって矢印Ｂ方向（副走査方向）へ自動給送され、シートスルー読取用スリット２５の位置を原稿が通過する際に、その原稿の走査が行われる。

この際、自動給送される原稿の下面（画像面）が第１キャリッジ１８の光源１６によって照明される。すると、その画像面からの反射光が、第１キャリッジ１８の第１反射ミラー１７、第２キャリッジ２４の第２反射ミラー１９及び第３反射ミラー２０によって順次反射される。そして、第３反射ミラー２０による反射光束が、レンズユニット２２によって集束され、光電変換部２１の受光領域上に結像される。光電変換部２１は、１ライン毎に受光した光を光電変換して画像データを生成する。画像データは、デジタル化され、ゲイン調整が施されて出力される。画像の読み取りが完了した原稿は、図示しない排紙口に排紙される。

（欠陥画素によるＲＴＳノイズ）
ここで、光電変換部２１に欠陥画素が存在した場合に発生するＲＴＳノイズについて説明する。一例ではあるが、光電変換部２１は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の半導体撮像素子で形成される。このような光電変換部２１において、ＭＯＳ（Metal Oxide Semiconductor）トランジスタのチャネル内を移動するキャリアの１つがゲート絶縁膜等に存在するトラップ準位に捕獲されると、出力レベルが大きく変動し、画像にランダムテレグラフシグナルノイズ（以下、ＲＴＳノイズと称する）が生ずることが知られている。

図３（ａ）は、出力レベルの変動により、画素値の平均値から正負の方向それぞれ一定量離れたレベルに分布のピークが小さく現れる。そして、ＲＴＳノイズ量（σｒｔｓ）が大きい程、上述の一定量は大きくなる。

エリアセンサの場合、発生したＲＴＳノイズは、各フレーム画像に対して点状に現れる。現れたＲＴＳノイズは、フレーム毎にレベルが小さく、かつ、ランダムに変化する。このため、エリアセンサで発生したＲＴＳノイズは、画像上において、それほど目立たない。

これに対して、一列分（又は複数列分）の光電変換素子を備えたリニアセンサの場合、図３（ｂ）に示すように、ＲＴＳノイズを発生する画素が存在すると、縦に並ぶ点のレベル変化となって各フレーム画像上に現れる。また、図３（ａ）に示す正規のノイズ分布の範囲（σｓｈｔ）に対してＲＴＳノイズ（σｒｔｓ）がその範囲内に入っていたとしても、ＲＴＳノイズによる変化が同じ画素に集中するため、１枚の静止画上に縦線として現れる。

なお、このようなＲＴＳノイズは、光電変換部２１の画素毎のＭＯＳトランジスタの構成により、色単独で発生（各色のＭＯＳトランジスタで個々に発生）する。または、ＲＴＳノイズは、全色チャンネルで同じ位置に発生（カラム構成等で全ての色共通のＭＯＳトランジスタで発生）する。

（連続する複数の欠陥画素の補間手法の参考例）
図４は、連続する複数の欠陥画素の補間手法の一例を示す模式図である。この図４に示す補間手法の場合、エリアセンサにおいて、分割した一定の領域内に、図４（ａ）に示すように複数の連続した欠陥画素が存在する場合、図４（ｂ）に示すように欠陥度合いが小さい欠陥画素の画像情報は補間処理せず、欠陥度合いの大きい欠陥画素の画像情報を補間処理する。そして、図４（ｃ）に示すように、再度、欠陥画素検出を行い、先ほど残した欠陥画素が再び欠陥画素であると判定された場合、周囲の画素の画素値に基づいて欠陥画素の補間処理を行う。これにより、図４（ｄ）に示すように、連続する複数の欠陥画素の補間処理を行うことができる。

（連続する複数の欠陥画素を補間処理する場合の問題点）
しかし、このような補間手法の場合、連続する複数の欠陥画素のうち、一方の欠陥画素を残した状態で、他方の欠陥画素を補間処理する。このため、図５に示すように、例えば線形補間処理又は置換処理で利用可能な周囲の画素の画素数が減ってしまい、補間精度が下がる問題がある。また、図６に示すように、後述するパターンマッチングによる補間処理を行った場合でも、対象パターン内における欠陥画素を含むパターンを、類似パターンとして誤検出するおそれがある。

図７は、所定の複数画素毎に（カラム毎に）駆動制御するＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサにおける、ＲＴＳノイズによる欠陥画素の現れ方を示す図である。ＣＭＯＳセンサがカラム構成である場合、一つのカラムの各画素で共有する、後段の増幅回路又はＭＯＳ（Metal Oxide Semiconductor）トランジスタ等でＲＴＳノイズが発生する可能性がある。この場合、一つのカラムの各画素が、連続する欠陥画素として現れるため、図７に示すように、１つの画素が欠陥画素である場合よりも目立つ異常となって現れる。

図７の例は、例えば連続する２画素が一つのカラムとして駆動された例である。この場合、後段の増幅回路又はＭＯＳトランジスタ等でＲＴＳノイズが発生すると、２画素分の欠陥画素に相当する異常が現れる、図７に示す、長方形の四角が、２画素分の欠陥を示している。このように、カラム構成のＣＭＯＳセンサは、発生したＲＴＳノイズが画像に与える影響が大きい。なお、図７の例は、連続する２画素を一つのカラムとして駆動する例であるが、例えば連続する３画素を一つのカラムとして駆動する場合は、３画素分の欠陥画素に相当する異常が現れる。すなわち、カラムを構成する画素数の分、連続した欠陥画素に相当する異常が現れる。

また、エリアセンサの場合、複数の欠陥画素が連続していても、図８に示すように欠陥画素による異常が、１枚の画像内に点在するかたちで現れるため、それほど目立つことはない。これに対して、リニアセンサの場合、欠陥画素による異常が副走査方向に沿って連続して現れるため、図９に示すように縦線状の異常となって１枚の画像に現れる。このため、リニアセンサにおける欠陥画素の補間処理が適正に行われない場合、エリアセンサよりも大きな異常として現れる問題がある。

（第１の実施の形態の要部の構成）
図１０に、第１の実施の形態のＭＦＰ１の要部の構成を示す。この図１０に示すように、ＭＦＰ１は、光電変換部５１、異常画素検出部５２（検出部の一例）、記憶部５３、分離部５４、補間部５５、合成部５６及び判定部５７（特定部の一例）を有している。異常画素検出部５２は、画像内に存在する欠陥画素を検出する。判定部５７は、欠陥画素が２画素以上連続しているか否かを判定する。記憶部５３は、各画素の画像信号、及び、欠陥画素として判定された画素のアドレス情報を記憶する。分離部５４は、画像信号を複数の系統へ分離する。補間部５５は、各系統における欠陥画素に相当する画像信号を補間処理する。合成部５６は、各系統に分離された画像信号を合成（結合）して出力する。

なお、この図１０に示す光電変換部５１は、図２に示す光電変換部２１に相当する。また、以下、光電変換部５１〜判定部５７は、ハードウェアで構成されていることとして説明を進めるが、このうち、一部をソフトウェアで構成してもよい。

例えば、異常画素検出部５２及び分離部５４〜判定部５７をソフトウェアで構成する場合、これらを実現する画像処理プログラムをＭＦＰ１のハードディスクドライブ又はフラッシュメモリ等の記憶部に記憶する。そして、ＭＦＰ１の中央演算部（ＣＰＵ）が、画像処理プログラムを実行して、異常画素検出部５２及び分離部５４〜判定部５７を実現する。

画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、画像処理プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、画像処理プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

（連続する欠陥画素の補間処理）
ＭＦＰ１は、２画素以上連続する欠陥画素が存在した場合、光電変換部５１〜判定部５７により、連続する欠陥画素の補間処理を行う。図１１は、この補間処理の流れを示す模式図である。異常画素検出部５２は、光電変換部５１から供給される画像信号から、図１１（ａ）に示すように欠陥画素を検出し、検出した欠陥画素のアドレス情報を記憶部５３に供給する。図１１（ａ）の例は、第１画素〜第ｎ画素を並列に（１次元的に）並べて構成されている光電変換素子５１により生成された３行分の画像信号を示している。このうち、真ん中の行の斜線の２つの画素が欠陥画素を示している。

異常画素検出部５２は、このような欠陥画素のアドレス情報を記憶部５３に記憶する。記憶部５３は、ＭＦＰ１内の、例えばハードディスクドライブ又はＲＡＭ（Random Access Memory）等である。また、記憶部５３は、欠陥画素を含む全画像信号を記憶する。

判定部５７は、記憶部に記憶されている欠陥画素のアドレス情報に基づいて、欠陥画素が連続しているか否かを判定する。各欠陥画素のアドレス情報が隣接するアドレスを示している場合、判定部５７は、各欠陥画素が連続していることを示す判定情報を、各欠陥画素のアドレス情報と共に分離部５４に供給する。また、判定部５７は、各欠陥画素のアドレス情報が１画素以上離れたアドレスを示している場合、判定部５７は、各欠陥画素は、単発的に発生している欠陥画素であることを示す判定情報を、各欠陥画素のアドレス情報と共に分離部５４に供給する。

次に、図１１（ａ）の例の場合、欠陥画素が２画素連続している。このため、分離部５４は、この２つの欠陥画素が分離されるように、記憶部５３に記憶されている全画像信号を、判定部５７から通知される欠陥画素のアドレス情報に基づいて、図１１（ｂ）及び図１１（ｃ）に示すように奇数画素（１，３，５・・・）の画像信号の系統、及び、偶数画素（２，４，６・・・）の画像信号の系統に分離する。

なお、欠陥画素がＮ画素連続している場合、分離部５４は、このＮ個の欠陥画素がそれぞれ異なる系統となるように、記憶部５３に記憶されている全画像信号をＮ個の系統に分離する。

次に、各系統の画像信号がそれぞれ供給される各補間部５５は、系統毎に欠陥画素の補間処理を行う。図１１の例の場合、２つの系統に各欠陥画素が分離されたため、２つの補間部５５が、図１１（ｄ）及び図１１（ｅ）に示すように、それぞれ欠陥画素の補間処理を行う。合成部５６は、各補間部５５でそれぞれ欠陥画素が補間処理された画像信号を、図１１（ｆ）に示すように合成して、元の一連の画像信号を再生して出力する。

これにより、各系統には、連続する欠陥画素が存在しないため、補間処理の際に欠陥画素を用いて補間処理を行う不都合を防止できる。このため、２画素以上連続する欠陥画素が存在する場合でも、適切に欠陥画素の補間処理を行うことができ、画質の劣化を防止することができる。

具体的には、図１２は、エリアセンサにおける連続した欠陥画素の補間処理結果を示す図である。このうち、図１２（ａ）は、補間処理前の画像を示し、図１２（ｂ）は、補間処理後の画像を示している。この図１２（ａ）及び図１２（ｂ）を見比べてわかるように、エリアセンサにおいては、上述の欠陥画素を分離して行う補間処理により、連続する欠陥画素の影響で画像上に形成されていた長方形状の欠陥箇所が、適切に補間処理されていることがわかる。

同様に、図１３は、リニアセンサにおける連続した欠陥画素の補間処理結果を示す図である。このうち、図１３（ａ）は、補間処理前の画像を示し、図１３（ｂ）は、補間処理後の画像を示している。この図１３（ａ）及び図１３（ｂ）を見比べてわかるように、リニアセンサにおいては、上述の欠陥画素を分離して行う補間処理により、連続する欠陥画素の影響で画像上に一列に連続して現れていた長方形状の欠陥箇所が、適切に補間処理されていることがわかる。

（第２の実施の形態）
次に、第２の実施の形態のＭＦＰ１の説明をする。図１４は、第２の実施の形態のＭＦＰ１に設けられている光電変換部５１の部分的な拡大図である。光電変換部５１をＣＭＯＳリニアセンサで形成し、一纏まりとされた複数の画素であるカラム毎に後段の増幅回路及びＭＯＳトランジスタＭＯＳＴＲ等を共有するカラム構成とすることで、高速駆動を実現することができる。

しかし、図１４に示すカラム内のＲＧＢの各画素のうち、少なくとも１色において、２画素以上連続する欠陥画素が存在する場合、カラム内の全ての画素が欠陥画素となっている可能性が高い。このため、図１０に示す補間部５５は、分離後の各欠陥画素を補間する際に、欠陥画素が存在するカラム内の全ての画素を補間処理する。これにより、欠陥画素の影響を、より抑制することができる他、上述の第１の実施の形態と同様の効果を得ることができる。

なお、第２の実施の形態と上述の第１の実施の形態とでは、この点のみが差異となる。この他の部分の説明及び効果等は、上述の第１の実施の形態の説明を参照されたい。また、図１４では、一例として３行×３列の計９画素で１つのカラムとした構成を示したが、カラムを構成する画素数及び組み合わせが異なる場合でも、上述のようにカラム内の全画素を用いた補間処理を行うことで、同じ効果を得ることができる。

（第３の実施の形態）
次に、第３の実施の形態のＭＦＰ１の説明をする。図１５は、第３の実施の形態のＭＦＰ１に設けられている光電変換部５１の部分的な拡大図である。この図１５は、ＲＧＢの各色の画素が３行×２列の計６画素で一つのカラムが構成されている例である。このように一つのカラム内にＲＧＢの各色の画素が含まれている場合、色別に補正を行うと、色毎に補正の度合いが変わる可能性がある。この場合、周辺の画素と色味が異なり、かえって欠陥画素の異常を目立たせる結果となる不都合を生ずる。

このため、第３の実施の形態のＭＦＰ１は、ＲＧＢの各色を含むカラム内の少なくともいずれか一色において、欠陥画素が２画素以上連続で存在する場合、図１０に示す補間部５５は、分離後の各欠陥画素を補間する際に、そのカラム内において、欠陥画素のアドレス（光電変換部５１上の物理的な位置）に対応するアドレスとなる他の色の画素に対して、同じ補間処理を行う。すなわち、Ｇの第３番目の位置（アドレス）の画素が欠陥画素であった場合、補間部５５は、Ｒの３番目の位置及びＢの３番目の位置の各画素に対しても補間処理を施す。これにより、補間処理後の画素が、周辺の画素と色味が異なり、かえって欠陥画素の異常を目立たせる結果となる不都合を防止できる。

なお、第３の実施の形態と上述の各実施の形態とでは、この点のみが差異となる。この他の部分の説明及び効果等は、上述の各実施の形態の説明を参照されたい。また、図１５では、一例として３行×２列の計６画素で１つのカラムとした構成を示したが、カラムを構成する画素数及び組み合わせが異なる場合でも、上述のようにカラム内のいずれかの色の欠陥画素のアドレスに対応するアドレスとなる他の色の画素に対して、同じ補間処理を行うことで、同じ効果を得ることができる。

（第４の実施の形態）
次に、第４の実施の形態のＭＦＰ１の説明をする。例えば、ＣＭＯＳイメージセンサである光電変換部５１には、「ＲＴＳノイズ」の他に「白キズ」と呼ばれる画素異常の発生要因が存在する。白キズは、ＣＭＯＳイメージセンサにおいて、フォトダイオード上の欠陥により異常な暗電流が発生することで、正常な画素よりも大きいオフセット分による影響が画像に生じうる欠陥である。リニアセンサに、この白キズが発生している場合、ＲＴＳノイズと同様に全てのラインでオフセット分が大きくなるため、画像上に縦線状の欠陥画素の影響が現れる。

「ＲＴＳノイズ」と「白キズ」は、異常の現れ方が異なるため、それぞれ異なる手法で検出され、それぞれの判定閾値で補間処理の有無が判断される。このため、白キズによる欠陥画素とＲＴＳノイズによる欠陥画素が隣接して存在する場合でも、それぞれが別々に欠陥画素として判別される。

しかし、「ＲＴＳノイズ」の欠陥画素と「白キズ」の欠陥画素を別々に補間処理すると、「ＲＴＳノイズ」の欠陥画素の補間処理に「白キズ」の欠陥画素が用いられて補間処理が行われ、反対に、「白キズ」の欠陥画素の補間処理に「ＲＴＳノイズ」の欠陥画素が用いられて補間処理が行われ、補間精度が低下するおそれがある。また、欠陥画素の種類毎に補間処理を使い分けるため、補間処理が煩雑となる不都合を生ずる。

このため、第４の実施の形態のＭＦＰ１は、図１０に示す記憶部５３に、「ＲＴＳノイズ」の欠陥画素の光電変換部５１上のアドレス情報、及び、「白キズ」の欠陥画素の光電変換部５１上のアドレス情報を記憶する。具体的には、図１６に示す右斜線のブロックで示す画素は「ＲＴＳノイズ」の欠陥画素を示し、左斜線のブロックで示す画素は「白キズ」の欠陥画素を示している。異常画素検出部５２は、このような欠陥画素のアドレス情報を記憶部５３に記憶制御する。

判定部５７は、記憶部５３に記憶された各欠陥画素のアドレス情報に基づいて、欠陥画素のアドレス情報が連続しているか否かを判定する。具体的には、記憶部５３には、図１７に示すように「ＲＴＳノイズ」の欠陥画素のアドレス情報「４」、「６」・・・と、「白キズ」の欠陥画素のアドレス情報「２」、「７」、「１０」・・・とが記憶される。判定部５３は、各アドレス情報を比較して、連続するアドレス情報であるか否かの判定を行う。図１７の例の場合、「ＲＴＳノイズ」の欠陥画素のアドレス情報「６」と、「白キズ」の欠陥画素のアドレス情報「７」とが連続している。判定部５７は、連続するアドレス情報を検出すると、図１７に示すように連続するアドレス情報に対して、連続するアドレス情報であることを示す「１」のフラグ情報をそれぞれ付加する。

図１０に示す分離部５４は、フラグ情報に基づいて、連続するアドレスの欠陥画素を、上述と同様に、それぞれ異なる系統となるように分離する。補間部５５は、分離された欠陥画素の各系統を、それぞれ補間処理する。これにより、発生要因が異なる欠陥画素が２画素以上連続する場合でも、各欠陥画素をそれぞれ異なる系統で補間処理できるため、適切な補間処理を行うことができる。また、各発生要因別の補間処理を用いるのではなく、同じ１種類の補間処理を用いて補間処理を行うことができるため、補間処理が煩雑化する不都合を防止できる他、上述の各実施の形態と同様の効果を得ることができる。

なお、第４の実施の形態と上述の各実施の形態とでは、この点のみが差異となる。この他の部分の説明及び効果等は、上述の各実施の形態の説明を参照されたい。

（第５の実施の形態）
（周囲画素にコントラストがあるときの欠陥画素の影響）
ここで、図１８（ａ）に、欠陥画素の左右に隣接する一つ又は複数の画素（周囲画素）にコントラストがある場合における、欠陥画素（ＲＴＳノイズ）による影響が現れた画像の一例を示す。この図１８（ａ）は、３画素分の太さの縦線のうち、中心の縦線を形成する画素中に欠陥画素が存在する例を示している。また、この図１８（ａ）は、欠陥画素の左右の画素で形成される縦線の濃度は均一ではなく、各縦線の間に濃淡（コントラスト）が存在する例を示している。また、比較例として、図１８（ｂ）に、正常な画素で描画された３画素分の太さの縦線の画像を示す。

欠陥画素に隣接する画素において、濃度が濃い縦線が描画される場合、図１８（ａ）に示すように欠陥画素の影響が現れ難くなり、欠陥画素で描画される縦線は、細線として認識可能となる。このように、欠陥画素が存在する場合でも、欠陥画素の周囲画素のパターンによっては、欠陥画素の影響が目立ち難くなる場合がある。また、上述の例は、欠陥画素及び左右の画素により描画される３本の縦線の間にコントラストが存在する例であった。このため、欠陥画素及び左右の画素により描画される３本の縦線が略々均一の場合、欠陥画素の影響が現れることが懸念される。

しかし、描画する画像の色が白色又は白色に近い色の場合、欠陥画素の影響は現れ難くなる。これは、ＲＴＳノイズは、欠陥画素内部の電気的な欠陥に起因して生ずるノイズであるため、欠陥画素の影響は、欠陥画素の周囲画素から出力される画像データの出力レベルが、所定以上のレベルになれば、図１８（ｃ）に示すように、ショットノイズによって低減されるためである。

（リニアセンサに補間処理を適用した場合の問題点）
次に、一列分（又は複数列分）の１次元的な光電変換処理を行うリニアセンサに、周辺画素平均値のショットノイズ量よりも対象画素のノイズ量が高い場合に補間処理を行う補間手法を適用した場合の問題点を説明する。

この補間手法の場合、周囲画素の平均レベルＤａｖｅから換算したショットノイズ量σｓｈｔと、欠陥画素のノイズ量σｒｔｓの大小関係（σｒｔｓ＞σｓｈｔで補間対象）、かつ、周囲画素とレベル差が大きい場合に補間判定を行う。このため、図３（ａ）を用いて説明した欠陥画素の場合、「σｒｔｓ＜σｓｈｔ」となり、補正対象とならない。すなわち、上述の補間手法をリニアセンサに適用すると、図３（ａ）を用いて説明した欠陥画素に対しては補間処理が行われず、図１９（ａ）に示すように補正すべき縦筋が補正されない問題を生ずる。

また、仮にσｒｔｓ＜σｓｈｔとなることで、図１９（ａ）に示す縦筋の補間処理を行った場合でも、図１８（ａ）を用いて説明したコントラストが各縦線の間に存在する場合、図１８（ａ）に示した３本の縦線のうち、中央の縦線に対応する画素を補間対象としてしまう。補間画素のレベルは、周辺画素の平均値又は中央値に置換する。このため、中央の縦線に対応する画素のレベルが、周囲画素の平均値又は中央値に置き換わり、図１９（ｂ）に示すように３本の縦線の中央に白線が存在する画像となる不都合を生ずる。これは、欠陥画素の補間処理が、却って欠陥画素の部分を目立たせる結果となったことを意味している。

第５の実施の形態のＭＦＰ１では、欠陥画素の影響が見える箇所のみ補間処理を行う。図２０は、第５の実施の形態のＭＦＰ１の要部のブロック図である。この図２０に示すように、第５の実施の形態のＭＦＰ１の場合、異常画素検出部５２と記憶部５３との間に、補間処理を行うか否かの判定を行う補間判定部６１を有している。補間判定部６１は、画像の１ライン毎に、各欠陥画素の周辺が濃度の濃い領域か否かに基づいて、補間処理の有無を判定する。

（補間処理の判定で行う演算動作）
図２１は、補間判定部６１が補間判定処理で行う演算動作を説明するための図である。補間判定部６１は、画像の１ライン毎に、各欠陥画素の周囲画素が、濃度の濃いベタ領域に相当するか否かを判断する。図２１の例は、欠陥画素の左右５画素を、それぞれ周囲画素として濃度の濃いベタ領域に相当するか否かを判断する例を示している。なお、この例では、欠陥画素の左右５画素を演算対象の画素として説明を行うが、欠陥画素の左右２画素、左右３画素、左右８画素等でもよい。

補間判定部６１は、欠陥画素の左側（Ｌ：Ｌｅｆｔ）に隣接する５画素で形成される画像データの最大値及び最小値の差分値ΔＬを、ＲＧＢの色毎に算出する（ΔＲＬ、ΔＧＬ、ΔＢＬ）。また、補間判定部６１は、欠陥画素の右側（Ｒ：Ｒｉｇｈｔ）に隣接する５画素で形成される画像データの最大値及び最小値の差分値ΔＬを色毎に算出する（ΔＲＲ、ΔＧＲ、ΔＢＲ）。

補間判定部６１は、この差分値の演算により、欠陥画素の周囲画素のレベル変化の度合いを算出している。算出した差分値が大きいほど、画像データのレベル変化が大きいことを意味する。補間判定部６１は、算出した差分値が大きい場合、画像データのレベル変化が大きく、欠陥画素の周囲画素にコントラストが存在し、不均一なパターンの画像が形成されるものと判断する。

また、補間判定部６１は、欠陥画素の左側（Ｌ）に隣接する５画素で形成される画像データの平均値Ｌａｖｅを、ＲＧＢの色毎に算出する（ＲＬａｖｅ、ＧＬａｖｅ、ＢＬａｖｅ）。また、補間判定部６１は、欠陥画素の右側（Ｒ）に隣接する５画素で形成される画像データの平均値Ｒａｖｅを、ＲＧＢの色毎に算出する（ＲＲａｖｅ、ＧＲａｖｅ、ＢＲａｖｅ）。この平均値は、周囲画素の濃度を示している。補間判定部６１は、平均値が大きいほど、低濃度（白側）であると判断する。

（補間判定動作）
補間判定部６１は、周囲画素の差分値及び平均値を用いることで、以下に説明するように、欠陥画素に対する影響度を精度よく把握し、補間処理の有無を判定する。すなわち、補間判定部６１は、上述した欠陥画素の周囲画素の最大値及び最小値の差分値、及び、周囲画素の平均値を算出し、差分値が所定の第１の閾値以下であるか否かを判別する。

差分値が第１の閾値よりも大きい場合、補間判定部６１は、欠陥画素の周囲の画像領域は、例えば模様又はパターン領域等のコントラストのある画像領域であるものと判断する。図１８（ａ）を用いて上述したように、コントラストのある画像領域では、画素異常による欠陥画素の影響は現れ難くなる。また、差分値が第１の閾値よりも大きいということは、周囲画素で形成される画像は、低濃度（白側＝白色又は白色に近い色）であり、欠陥画素の影響が現れ難いことを意味する。このため、差分値が第１の閾値よりも大きい場合、補間判定部６１は、補間処理は実施しないと判定し、この判定結果を示す情報を、記憶部５３に記憶する。

一方、差分値が第１の閾値以下の場合、補間判定部６１は、平均値が所定の第２の閾値以下であるか否かを判別する。図１８（ｃ）を用いて説明したように、周囲画素の画像データが特定のレベル（第２の閾値）よりも大きくなると、画素の内部の電気的起因で生ずるノイズの影響は、ショットノイズによって埋もれて、画像上に現れ難くなる。反対に、周囲画素の画像データが特定のレベル以下の場合、ノイズの影響は、ショットノイズに埋もれることなく、画像上に現れる。

このため、補間判定部６１は、平均値が第２の閾値以下である場合、ノイズの影響がショットノイズに埋もれることがないため、補間処理を行うと判定し、この判定結果を示す情報を記憶部５３に記憶する。これに対して、補間判定部６１は、平均値が第２の閾値よりも大きい場合、ノイズの影響がショットノイズに埋もれるため、補間処理は実施しないと判定し、この判定結果を示す情報を記憶部５３に記憶する。

分離部５４は、補間判定部６１により、「補間処理を実施する」と判定された欠陥画素のうち、連続する欠陥画素を異なる系統に分離する。各補間部５５は、各系統分離された欠陥画素をそれぞれ補間処理する。これにより、欠陥画素を補間処理した場合における画像に対する影響度を精度よく把握することができ、補間処理を行ったことで画像に悪影響が現れる不都合を防止でき、精度の良い欠陥画素の補間処理を可能とすることができる他、上述の各実施の形態と同様の効果を得ることができる。

（分離前における補間処理の要否の判定）
ここで、欠陥画素が２画素以上連続して存在する場合、各欠陥画素がそれぞれ異なる系統で補間処理されるように分離するが、分離した後に補間処理の要否を判定すると、解像度が低下した状態で補間処理の要否の判定を行うこととなる。例えば、連続する欠陥画素を２系統に分離した場合、図２２（ａ）に示すように、高濃度のベタ領域内に欠陥画素が存在することで、欠陥画素が目立つ状態であるにもかかわらず、コントラストがあることから、図２２（ｂ）及び図２２（ｃ）に示すように分離後の補間判定において補間不要と誤判定される不都合を生ずる。

また、図２３（ａ）に示すように、欠陥画素は存在するが、コントラストがある領域内であるために、欠陥画素が目立たない状態であるにもかかわらず、分離後の補間判定においては、図２３（ｂ）及び図２３（ｃ）に示すように、高濃度かつコントラスト無しであることから、補間処理が必要と誤判定される不都合を生ずる。このような誤判定が発生すると、補間処理を行った結果、かえって欠陥画素が画像上で目立つ状態となり、又は、画像上に目立つ欠陥画素が存在するにもかかわらず、補間処理が実行されない不都合を生ずる。

このため、第５の実施の形態のＭＦＰ１の場合、２画素以上連続する欠陥画素を分離する前に補間処理の要否の判定を行っている。すなわち、図２０に示すように、分離部５４の前段で、補間判定部６１が、補間処理の要否を判定している。これにより、図２４（ａ）に示すように高濃度のベタ画像であることから補間処理を実行すると判定した後で、図２４（ｂ）及び図２４（ｃ）に示すように各欠陥画素を分離できる。また、図２４（ｄ）に示すようにコントラストが存在することで補間処理が不要と判定した場合には、補間処理を実行しないようにすることができる。

（補間処理動作）
次に、第５の実施の形態のＭＦＰ１の補間部５５で行われる補間処理動作の説明をする。図２５は、第５の実施の形態のＭＦＰ１の補間部５５の詳細なブロック図である。この図２５に示すように、補間部５５は、メモリ６６と共に、相関度算出部６７及び置換処理部６８を有している。

補間部５５は、一例として図２６に示すように、補間判定部６１により補間対象と判定された欠陥画素の前後１６画素及び前後３ラインを、探索領域（対象パターン）として補間候補となる画素を探索する。また、補間部５５は、欠陥画素、欠陥画素の前後２画素及びこの前後２画素の上下の２画素で形成される３ライン分の領域をテンプレートとして設定する。そして、補間部５５は、図２６に示すように、テンプレートを１画素ずつ移動しながら上述の対象パターン（欠陥画素の前後１６画素及び前後３ラインの画像データ）と比較し、対象パターンの各部とテンプレートの相関度を算出する。

相関度としては、一例としてＳＡＤ（Sum of Absolute Difference）値を用いる。例えば、図２６に示す例の場合、補間部５５は、以下の数式（例としてＳＡＤ値Ｓ１〜Ｓ２４を求める場合）に基づいて、２４個分のＳＡＤ値を算出する。そして、補間部５５は、一番小さいＳＡＤ値（＝最大の相関度）を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理する。

なお、以下の数式及び図２６において、「Ｓ」はＳＡＤ値を意味する。「Ｓ１」は、１つ目のＳＡＤ値、Ｓ２４は、２４個目のＳＡＤ値を示す。「Ｐ」は、対象パターンの画素を意味する。「Ｐ１１」は、対象パターンの第１ライン目の第１番目の画素を、「Ｐ３２１」は、対象パターンの第１ライン目の第３２番目の画素を意味する。同様に、「Ｐ１３」は、対象パターンの第３ライン目の第１番目の画素を、「Ｐ３２３」は、対象パターンの第３ライン目の第３２番目の画素を意味する。また、「Ｔ」は、テンプレートの画素を意味する。「Ｔ１１」は、テンプレートの第１ライン目の第１番目の画素を、「Ｔ４１」は、テンプレートの第１ライン目の第４番目の画素を意味する。同様に、「Ｐ１３」は、対象パターンの第３ライン目の第１番目の画素を、「Ｐ４３」は、対象パターンの第３ライン目の第４番目の画素を意味する。

Ｓ１＝（Ｐ１１−Ｔ１１）＋（Ｐ１２−Ｔ１２）＋（Ｐ１３−Ｔ１３）＋（Ｐ２１−Ｔ２１）＋（Ｐ２２−Ｔ２２）＋（Ｐ２３−Ｔ２３）＋（Ｐ３１−Ｔ３１）＋（Ｐ３２−Ｔ３２）＋（Ｐ３３−Ｔ３３）・・・Ｓ２４＝（Ｐ２８１−Ｔ１１）＋（Ｐ２８２−Ｔ１２）＋（Ｐ２８３−Ｔ１３）＋（Ｐ２９１−Ｔ２１）＋（Ｐ２９２−Ｔ２２）＋（Ｐ２９３−Ｔ２３）＋（Ｐ３０１−Ｔ３１）＋（Ｐ３０２−Ｔ３２）＋（Ｐ３０３−Ｔ３３）

補間部５５は、このような数式に基づく演算処理を行うことで、ＳＡＤ値Ｓ１〜Ｓ２４を算出する。そして、例えばＳＡＤ値Ｓ２２の値が最小値の場合、この最小値を算出した対象パターンの部分の中心画素であるＰ２８２の画素を置換画素として、欠陥画素と置き換え処理する。

図２７は、このような補間処理動作の流れを示すフローチャートである。ステップＳ２１では、図２５に示す相関度算出部６７が、ＳＡＤ値の演算回数として「１」を、カウンタに設定する（ｎ＝１：ｎは演算回数）。すなわち、図２６に示す例の場合、相関度算出部６７は、計２４個のＳＡＤ値を算出する。このため、相関度算出部６７は、ステップＳ２１において、最初に、１回目のＳＡＤ値の演算動作であることを示す「１」をカウンタに設定する。なお、相関度算出部６７は、一つのＳＡＤ値の算出を完了する毎に、「１」→「２」→「３」・・・「２４」等のように、カウンタの値を一つずつインクリメントする。インクリメントのタイミングは、対象パターンに対してテンプレートを１画素移動するタイミングである。

次に、ステップＳ２２では、相関度算出部６７が、上述の数式に基づいて、ＳＡＤ値（Ｓｎ：ＳはＳＡＤ値の意、ｎは、算出されるＳＡＤ値の1〜２４の番号）を算出する。ステップＳ２３では、相関度算出部６７が、演算回数が２４回（ｎ＝２４：ｎは演算回数）となったか否かを判別する。上述のように、相関度算出部６７は、対象パターンに対してテンプレートを一つずつ移動しながら上述の演算を行う。このため、演算回数が２４回に満たない場合（ステップＳ２３：Ｎｏ）、ステップＳ２５に処理を進め、演算回数を一つインクリメントして（ｎ＝ｎ＋１）、ステップＳ２２に処理を戻す。そして、ステップＳ２２において、再度、ＳＡＤ値を算出する。

このようにして２４個のＳＡＤ値を算出すると（ステップＳ２３：Ｙｅｓ）、ステップＳ２４に処理が進み、図２５に示す置換処理部６８が、２４個数のＳＡＤ値のうち、最小値を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理（補間処理）して、図２７のフローチャートの処理を終了する。

第５の実施の形態のＭＦＰ１は、連続する欠陥画素を分離処理する前に、補間処理の要否の判定を行う。連続する欠陥画素を分離処理した後に補間処理の要否の判定を行うと、判定に用いる画素が少なくなることで解像度が低下した画像情報に基づいて、補間処理の要否の判定を行うこととなるため判定精度が低下する。しかし、連続する欠陥画素を分離処理する前に、補間処理の要否の判定を行うことで、多くの画素を用いて補間処理の要否を判定することができ、誤判定を防止して、判定精度を向上させることができる。

なお、第５の実施の形態と上述の各実施の形態とでは、この点のみが差異となる。この他の部分の説明及び効果等は、上述の各実施の形態の説明を参照されたい。

（第６の実施の形態）
次に、第６の実施の形態のＭＦＰ１の説明をする。この第６の実施の形態のＭＦＰ１の場合、図２８に示すように、光電変換部５１〜判定部５７と共に、複製部７２及びセレクタ７１を有している。複製部７２は、欠陥画素が単発的な画素であった場合、分離処理されない画像情報の複製を、補間部５５の数分（かずぶん）、生成する。セレクタ７１は、判定部５７の判定結果に基づいて、欠陥画素が連続している場合は、画像情報を分離部５４に供給し、欠陥画素が単発的な画素である場合は、画像情報を複製部７２に供給する。

図２９（ａ）〜図２９（ｅ）は、２画素の連続する欠陥画素が存在する場合における画像情報の処理の流れを示す模式図である。２画素の連続する欠陥画素が存在する場合、図２９（ａ）に示すように分離部５４は、各欠陥画素の画像情報を２系統に分離し、図２９（ｃ）及び図２９（ｄ）に示すように、第１の補間部５５ａ及び第２の補間部５５ｂに供給する。図２５に示す置換処理部６８（制御部の一例）は、各欠陥画素がそれぞれ補間処理されるように、第１の補間部５５ａ及び第２の補間部５５ｂを制御する。補間処理により生成された画像情報は、図２９（ｅ）に示すように、合成部５６で合成処理され、一連の画像情報として再生される。補間処理は、欠陥画素がＮ画素連続の場合、Ｎ個の補間部５５で、１系統ずつ行われる。

これに対して、図３０（ａ）〜図３０（ｅ）は、欠陥画素が単発的な画素である場合における画像情報の処理の流れを示す模式図である。図３０（ａ）に示すように、欠陥画素が単発的な画素であった場合、画像情報は分離されることなく、複製部７２に供給される。複製部７２は、図３０（ｂ）に示すように、分離しない状態の画像情報を、補間部５５の数分（かずぶん）、複製して生成する。そして、複製部７２は、複製した画像情報を、図３０（ｃ）及び図３０（ｄ）に示すように全ての補間部５５に供給する。なお、図３０（ｃ）及び図３０（ｄ）は、ＭＦＰ１に２つの補間部５５が設けられている例である。この場合、複製部７２は、オリジナルとなる画像情報の他に、一つの複製となる画像情報を生成し、オリジナルとなる画像情報を第１の補間部５５ａに供給し、複製の画像情報を第２の補間部５５ｂに供給する。

置換処理部６８は、それぞれ単発的な画素の欠陥画素に対して補間処理を施すように、各補間部５５を制御する。そして、置換処理部６８は、所定の一つの補間部５５を、補間処理した画像情報を合成部５６に供給するように制御すると共に、他の補間部５５を、補間処理した画像情報を破棄するように制御する。すなわち、図３０の例で説明すると、第１の補間部５５ａが、補間処理した画像情報を破棄し、第２の補間部５５ｂが、補間処理した画像情報を合成部５６に供給する。合成部５６は、一つの補間部５５から供給される画像情報を、合成することなく、そのまま出力する。これにより、合成部５６において、不必要な画像信号の合成処理が行われる不都合を防止できる。

このような第６の実施の形態のＭＦＰ１は、単発的な欠陥画素用の回路と２画素以上連続する欠陥画素用の回路との２種類の回路を備える必要がないため、回路規模の増大及びコストアップを防止できる他、上述の各実施の形態と同様の効果を得ることができる。

なお、第６の実施の形態と上述の各実施の形態とでは、この点のみが差異となる。この他の部分の説明及び効果等は、上述の各実施の形態の説明を参照されたい。

（第７の実施の形態）
次に、第７の実施の形態のＭＦＰ１の説明をする。上述の第６の実施の形態においては、欠陥画素が単発的な画素であった場合、分離を行うことなく全画像情報を第１及び第２の補間部５５ａ、５５ｂにそれぞれ供給する。そして、各補間部５５ａ、５５ｂでそれぞれ補間処理を行ったうえで、第１の補間部５５ａの画像情報を破棄し、第２の補間部５５ｂの画像情報のみを出力した。

これに対して、第７の実施の形態のＭＦＰ１は、図３１（ａ）に示すように欠陥画素が単発的な画素であった場合も、図３１（ｂ）に示すように分離部５４が欠陥画素に基づいて、画像情報を複数の系統に分離する。図３１（ｃ）及び図３１（ｄ）は、画像情報が欠陥画素に基づいて２系統に分離された例であり、第１の補間部５５ａに欠陥画素が含まれていない画像情報が供給され、第２の補間部５５ｂに欠陥画素が含まれた画像情報が供給された例である。

この場合、図２５に示す置換処理部６８（制御部の一例）は、欠陥画素を含まない画像情報が供給された第１の補間部５５ａを、補間処理を実行しないように制御する。また、置換処理部６８は、欠陥画素を含む画像情報が供給された第２の補間部５５ｂを、補間処理を実行するように制御する。そして、合成部５６が、図３１（ｅ）に示すように、第１の補間部５５ａで補間処理が施されていない画像情報と、第２の補間部５５ｂで補間処理が施された画像情報とを合成処理して出力する。

これにより、第６の実施の形態で説明したセレクタ７１及び複製部７２を不要とすることができ、回路規模の縮小化及びコストダウンを実現することができる他、上述の各実施の形態と同様の効果を得ることができる。

なお、第７の実施の形態と上述の各実施の形態とでは、この点のみが差異となる。この他の部分の説明及び効果等は、上述の各実施の形態の説明を参照されたい。

（第８の実施の形態）
次に、第８の実施の形態のＭＦＰ１の説明をする。図３２（ａ）に示すように、２画素以上連続して存在する欠陥画素を補間処理する場合、図３２（ｂ）及び図３２（ｃ）に示すように画像情報を欠陥画素毎に別系統に分離し、系統毎にパターンマッチングを用いた補間処理を行う（図２６参照）。この際、系統毎に異なる位置から類似パターン（＝図２６に示すテンプレート）が選択される可能性がある。そして、系統毎に異なる位置で選択した類似パターンに基づいて、それぞれ補間処理された画像情報を合成処理すると、類似パターンの微妙な違いが、図３２（ｄ）に示すように異常画素となって画像上に現れることが懸念される。

このため、図８の実施の形態のＭＦＰ１は、各系統で選択された類似パターン同士の比較（パターンマッチング）を行い、各系統で補間処理に用いられる類似パターンが、それぞれ類似度が高い類似パターンとなるように調整する。具体的には、図３３（ａ）に示すように複数の連続する欠陥画素が存在する場合、分離部５４は、上述のように、各欠陥画素が異なる系統に振り分けられるように、全体の画像情報を分離する。図３３（ａ）の例は、連続する欠陥画素が２画素であり、各欠陥画素が、図３３（ｂ）及び図３３（ｃ）に示すように２系統（第１の補間部５５ａ、第２の補間部５５ｂ）に分離された様子を示している。

第１の補間部５５ａ及び第２の補間部５５ｂは、図３３（ｂ）及び図３３（ｃ）に示すように、それぞれ補間処理に用いる類似パターンを検出する（図２６参照）。図２５に示す置換処理部６８（制御部の一例）は、第１の補間部５５ａで検出された第１の類似パターン、及び、第２の補間部５５ｂで検出された第２の類似パターンを比較処理（パターンマッチング）する。図３３（ｂ）及び図３３（ｃ）に示すように、各類似パターンの類似度が低い場合（マッチング率が低い場合）、置換処理部６８は、異なる類似パターンを選択するように、各補間部５５ａ、５５ｂを制御し、再度、各類似パターンを比較処理する。置換処理部６８は、このような類似パターンの検出処理及び比較処理を繰り返し制御する。

これにより、図３３（ｄ）に示すように、各補間部５５ａ、５５ｂで類似度が高い（マッチング率が高い）類似パターン（第３の類似パターン）が、各補間部５５ａ、５５ｂで検出される。合成部５６は、各補間部５５ａ、５５ｂで類似度が高い第３の類似パターンで補間処理された各画像情報を合成処理して出力する。これにより、図３３（ｅ）に示すように、各系統で用いられる類似パターン同士の微妙な違いによる異常画像の発生を防止することができる他、上述の各実施の形態と同様の効果を得ることができる。

なお、第８の実施の形態と上述の各実施の形態とでは、この点のみが差異となる。この他の部分の説明及び効果等は、上述の各実施の形態の説明を参照されたい。

（第９の実施の形態）
次に、第９の実施の形態のＭＦＰ１の説明をする。この第９の実施の形態のＭＦＰ１の場合も、第８の実施の形態と同様に、各系統で補間処理に用いられる類似パターン同士の微妙な違いにより、異常画像が発生する不都合を防止した例である。

第９の実施の形態のＭＦＰ１の場合、図３４（ａ）に示すように、置換処理部６８（制御部の一例）が、各系統に分離する前の画像信号に基づいて、連続する複数の欠陥画素の補間処理を行うための基準パターンを生成する。基準パターンが生成されると、分離部５４が、各欠陥画素を各系統に分離するように全体の画像情報を分離し、各系統の補間部５５が、図３４（ｂ）及び図３４（ｃ）に示すように、それぞれの系統の欠陥画素を補間処理するための類似パターンを検出する。図３４（ｂ）及び図３４（ｃ）の例は、２つの連続する欠陥画素が、第１の補間部５５ａ及び第２の補間部５５ｂの２つの系統にそれぞれ分離された例を示している。

各補間部５５ａ、５５ｂは、それぞれの欠陥画素を補間処理するための類似パターンを検出する。図３４（ｂ）は、第１の補間部５５ａが、欠陥画素の補間処理用として第１の類似パターンを検出した例を示している。図３４（ｃ）は、第２の補間部５５ｂが、欠陥画素の補間処理用として第２の類似パターンを検出した例を示している。置換処理部６８は、各系統に分離する前の画像信号に基づいて生成した基準パターンと、各補間部５５ａ、５５ｂで検出された類似パターンを、それぞれ比較する。そして、置換処理部６８は、基準パターンと類似パターンとの類似度が低い場合、再度、異なる類似パターンを検出するように、補間部５５を制御する。

図３４（ｂ）の例は、第１の補間部５５ａが、欠陥画素の補間処理用として第１の類似パターンを検出した例である。置換処理部６８は、第１の補間部５５ａにより検出された第１の類似パターンと基準パターンとを比較する。図３４（ｂ）の例の場合、両者の類似度（マッチング率）は高い。このため、置換処理部６８は、第１の補間部５５ａにおいては、第１の類似パターンを補間処理に用いると認識し、類似パターンの再検出制御は行わない。第１の補間部５５ａは、基準パターンに対する類似度が高い第１の類似パターンを用いて欠陥画素の補間処理を行い、補間処理した画像情報を合成部５６に供給する。

これに対して、図３４（ｃ）の例は、第２の補間部５５ｂが、欠陥画素の補間処理用として第２の類似パターンを検出した例である。置換処理部６８は、第２の補間部５５ｂにより検出された第１の類似パターンと基準パターンとを比較する。図３４（ｃ）の例の場合、両者の類似度（マッチング率）は低い。このため、置換処理部６８は、第２の類似パターン以外の類似パターンを再検出するように、第２の補間部５５ｂを制御する。

これにより、第２の補間部５５ｂにより、図３４（ｄ）に示すように、先に検出した類似パターンとは異なる第３の類似パターンが検出される。置換処理部６８は、第２の補間部５５ｂにより検出された第３の類似パターンと基準パターンとを比較する。図３４（ｄ）の例の場合、両者の類似度（マッチング率）は高い。このため、置換処理部６８は、第２の補間部５５ｂにおいては、第３の類似パターンを補間処理に用いると認識し、類似パターンの再検出制御を終了する。第２の補間部５５ｂは、基準パターンに対する類似度が高い第２の類似パターンを用いて欠陥画素の補間処理を行い、補間処理した画像情報を合成部５６に供給する。

合成部５６は、図３４（ｅ）に示すように、第１の類似パターンで欠陥画素の補間処理が行われた画像情報と、第３の類似パターンで欠陥画素の補間処理が行われた画像情報とを合成処理することで一連の画像データを再生して出力する。

第９の実施の形態のＭＦＰ１の場合、分離前の全画像情報に基づいて生成した基準パターンに対して類似度が高い類似パターンを用いて、分離後の画像情報における欠陥画素の補間処理を行うことができる。このため、画像情報を各系統に分離することで解像度が低下した画像情報に基づいて検出した類似パターンを用いて補間処理を行うよりも、適切な類似パターンを用いて補間処理を行うことができ、各系統で補間処理に用いられる類似パターン同士の微妙な違いにより、異常画像が発生する不都合を防止することができる他、上述の各実施の形態と同様の効果を得ることができる。

なお、第９の実施の形態と上述の各実施の形態とでは、この点のみが差異となる。この他の部分の説明及び効果等は、上述の各実施の形態の説明を参照されたい。

最後に、上述の各実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 複合機（ＭＦＰ）の読み取り装置
２ ＭＦＰの本体
２１ 光電変換部
５１ 光電変換部
５２ 異常画素検出部
５３ 記憶部
５４ 分離部
５５ 補間部
５５ａ 第１の補間部
５５ｂ 第２の補間部
５６ 合成部
５７ 判定部
６１ 補間判定部
６７ 相関度算出部
６８ 置換処理部
７１ セレクタ
７２ 複製部

特開２００９−１３０５５３号公報

Claims (14)

1. 各画素で受光した光を電気信号に変換する光電変換部と、
   前記各画素のうち、異常レベルの電気信号を出力する欠陥画素を検出する検出部と、
   検出された各欠陥画素のうち、前記光電変換部上の物理的な位置が連続する欠陥画素を特定する特定部と、
   前記欠陥画素の電気信号を正常な画素の電気信号とする補間処理を行う複数の補間部と、
   特定された連続する位置の各欠陥画素が、それぞれ異なる前記補間部で補間処理されるように、前記光電変換部からの前記電気信号を分離して、それぞれ前記補間部に供給する分離部と、
   前記各補間部でそれぞれ補間処理が施された前記電気信号を合成して、一連の前記電気信号を再生して出力する合成部と
   を有する光電変換装置。
2. 前記光電変換手段は、受光する光の三原色の色毎に一次元的に複数の画素が配列されて形成されていること
   を特徴とする請求項１に記載の光電変換装置。
3. 前記光電変換部は、所定数の画素を一纏まりとしたカラム毎に駆動され、
   前記補間部は、前記カラム内に欠陥画素が存在する場合、前記カラム内の全ての画素に対して前記補間処理を施すこと
   を特徴とする請求項１又は請求項２に記載の光電変換装置。
4. 前記補間部は、前記三原色の各色の画素のうち、いずれかの色の画素が前記欠陥画素であった場合、前記欠陥画素の前記光電変換部上の位置に対応する位置の他の色の画素に対しても前記補間処理を施すこと
   を特徴とする請求項２に記載の光電変換装置。
5. 前記検出部は、発生要因別に前記欠陥画素を検出し、
   前記特定部は、連続する位置の各欠陥画素を、前記発生要因別に特定し、
   前記分離部は、前記発生要因別に特定された連続する位置の各欠陥画素が、それぞれ異なる前記補間部で補間処理されるように、前記光電変換部からの前記電気信号を分離して、それぞれ前記補間部に供給すること
   を特徴とする請求項１又は請求項２に記載の光電変換装置。
6. 前記欠陥画素を補間処理した際に、正常な補間処理結果が得られるか否かを、前記欠陥画素の周囲の画素の画素値に基づいて判定し、前記欠陥画素の電気信号を正常レベルの電気信号に近似する補間処理を実行するか否かの補間判定処理を行う補間判定部を、さらに備え、
   前記補間部は、前記補間処理を実行するとの判定結果が得られた前記欠陥画素に対して画素補間処理を行うこと
   を特徴とする請求項１又は請求項２に記載の光電変換装置。
7. 前記補間判定部は、前記光電変換部からの前記電気信号を分離する前に、前記補間判定処理を実行すること
   を特徴とする請求項６に記載の光電変換装置。
8. 前記補間部は、前記欠陥画素を含む画素列と、前後の一列又は複数の画素列からなる対象パターン上で、前記対象パターンの部分的な大きさのテンプレートを、前記対象パターンの端部から列方向に沿って、少なくとも１画素ずつ移動させながら、対象パターンとテンプレートとの相関度を算出し、最大の相関度を算出した前記対象パターンの部分の中心画素を置換画素として用いて、前記欠陥画素を補間処理すること
   を特徴とする請求項６又は請求項７に記載の光電変換装置。
9. 前記光電変換部上の欠陥画素が単発的な欠陥画素である場合に、分離しない前記電気信号の複製を、前記補間部の数分生成して、前記各補間部にそれぞれ供給する複製部と、
   前記光電変換部上に位置が連続する複数の欠陥画素が存在する場合、前記光電変換部からの電気信号を前記分離部に供給し、前記光電変換部上に存在する欠陥画素が、単発的な欠陥画素である場合、前記光電変換部からの電気信号を前記複製部に供給するセレクタと、
   前記各欠陥画素に応じて分離された前記電気信号が、前記分離部から前記補間部に供給された場合、前記補間部毎に前記補間処理が行われるように前記各補間部を制御し、前記複製部から分離しない前記電気信号の複製が前記各補間部に供給された場合、一つの補間部からの、補間処理された前記電気信号を前記合成部に供給し、他の補間部からの前記電気信号を破棄するように前記各補間部を制御する制御部と、をさらに備え、
   前記合成部は、前記光電変換部上に位置が連続する複数の欠陥画素が存在する場合、前記各補間部からの電気信号を前記合成して出力し、前記光電変換部上の欠陥画素が単発的な欠陥画素である場合、前記一つの補間部から供給される前記電気信号を出力すること
   を特徴とする請求項１又は請求項２に記載の光電変換装置。
10. 前記光電変換部上の欠陥画素が単発的な欠陥画素である場合に、前記欠陥画素の電気信号の補間処理を行う補間部を、前記補間処理を行うように制御し、前記欠陥画素の電気信号を含まない電気信号が供給された他の補間部は、前記補間処理を行わないように制御する制御部を、さらに備え、
    前記合成部は、前記補間処理により前記欠陥画素の補間処理が行われた電気信号と、前記欠陥画素の電気信号を含まないことから、前記補間処理が行われることなく前記補間部から出力された電気信号を合成処理して出力すること
    を特徴とする請求項１又は請求項２に記載の光電変換装置。
11. 前記各補間部で生成された前記テンプレート同士を比較し、各テンプレートの類似度が低かった場合、所定の高さの類似度のテンプレートを検出するように、前記各補間部を制御する制御部を、さらに備え、
    前記各補間部は、所定の高さの類似度のテンプレートをそれぞれ用いて前記補間処理を行うこと
    を特徴とする請求項８に記載の光電変換装置。
12. 前記分離前の電気信号に基づいて、前記欠陥画素の補間処理を行うための基準パターンを生成し、前記各補間部で生成された前記テンプレートを、それぞれ前記基準パターンと比較し、前記基準パターンに対する類似度が低いテンプレートを生成した前記補間部に対して、前記基準パターンに対する類似度が所定の高さの類似度のテンプレートを検出するように制御する制御部を、さらに備え、
    前記各補間部は、前記基準パターンに対する類似度が所定の高さの類似度のテンプレートをそれぞれ用いて前記補間処理を行うこと
    を特徴とする請求項８に記載の光電変換装置。
13. 光電変換部が、各画素で受光した光を電気信号に変換する光電変換ステップと、
    検出部が、前記各画素のうち、異常レベルの電気信号を出力する欠陥画素を検出する検出ステップと、
    特定部が、検出された各欠陥画素のうち、前記光電変換部上の物理的な位置が連続する欠陥画素を特定する特定ステップと、
    複数の補間部が、前記欠陥画素の電気信号を正常な画素の電気信号とする補間処理を行う補間ステップと、
    分離部が、特定された連続する位置の各欠陥画素が、それぞれ異なる前記補間部で補間処理されるように、前記光電変換部からの前記電気信号を分離して、それぞれ前記補間部に供給する分離ステップと、
    合成部が、前記各補間部でそれぞれ補間処理が施された前記電気信号を合成して、一連の前記電気信号を再生して出力する合成ステップと
    を有する光電変換方法。
14. 載置台に載置された原稿に光を照射し、反射光を光電変換部で受光して、原稿の読み取りを行う画像形成装置であって、
    前記光電変換部の各画素のうち、異常レベルの電気信号を出力する欠陥画素を検出する検出部と、
    検出された各欠陥画素のうち、前記光電変換部上の物理的な位置が連続する欠陥画素を特定する特定部と、
    前記欠陥画素の電気信号を正常な画素の電気信号とする補間処理を行う複数の補間部と、
    特定された連続する位置の各欠陥画素が、それぞれ異なる前記補間部で補間処理されるように、前記光電変換部からの前記電気信号を分離して、それぞれ前記補間部に供給する分離部と、
    前記各補間部でそれぞれ補間処理が施された前記電気信号を合成して、一連の前記電気信号を再生して出力する合成部と
    を有する画像形成装置。