JP2004180059A

JP2004180059A - Pixel interpolation device, pixel interpolation method, and digital camera

Info

Publication number: JP2004180059A
Application number: JP2002345009A
Authority: JP
Inventors: Takashi Matsutani; 隆司松谷; Hajime Sasaki; 元佐々木
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2002-11-28
Filing date: 2002-11-28
Publication date: 2004-06-24
Anticipated expiration: 2022-11-28
Also published as: JP4302391B2

Abstract

<P>PROBLEM TO BE SOLVED: To realize a pixel compensation device which suppresses image quality degradation like dot noise or a false color signal in a relatively simple constitution and method. <P>SOLUTION: An evaluation value calculation part 30 uses pixel data in a plurality of block areas set within a sampling range to calculate the evaluation values DS1 to DS4 prescribing the brightness of the block areas. An area selection part 31 calculates the magnitude relations between the evaluation values DS1 to DS4 and selects a reference area from the plurality of block areas on the basis of the magnitude relations. Further, the area selection part 31 selects pixel data of the reference area and outputs it to an interpolation part 32 as selected data SD1 to SD5. The interpolation part 32 uses selected data SD1 to SD5 to interpolate lacking color components of pertinent noticed pixels. As a result, the interpolation part 32 outputs image signals of R, G, and B components. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画素補間装置及び画素補間方法に関する。
【０００２】
【従来の技術】
デジタルカメラに搭載されるＣＣＤセンサやＣＭＯＳセンサなどの撮像センサにおいては、入射光を着色するために受光素子上に色フィルタアレイが形成されている。単板の撮像センサを搭載するデジタルカメラの場合、受光素子上には、各画素に一対一対応する色フィルタが配列しており、撮像センサの出力信号は各画素に単色成分のみを有するため、フルカラーの画像データを得るには各画素に不足している色成分を補間するいわゆる画素補間処理を行う必要がある。例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色系の色フィルタからなる色フィルタアレイを採用した場合、Ｒ成分のみを有する画素に対しては、周辺画素を参照して不足しているＧ成分及びＢ成分を画素補間しなければならない。この種の画素補間方法としてはバイリニア補間法やバイキュービック補間法などが周知技術である。
【０００３】
しかしながら、この種の画素補間処理によって、本来存在しない偽色信号やドットノイズと称する信号が発生するという周知の問題がある。偽色信号を低減する従来技術は、例えば特許文献１（特開２００１−８０３７号公報）及び特許文献２（特開２０００−１６５８９２号公報）に開示されており、ドットノイズを低減する従来技術は、例えば許文献３（特開２００１−５４１２５号公報）に開示されている。
【０００４】
【特許文献１】
特開２００１−８０３７号公報
【特許文献２】
特開２０００−１６５８９２号公報
【特許文献３】
特開２００１−０５４１２５号公報
【０００５】
【発明が解決しようとする課題】
従来の画素補間方法では、上記偽色信号やドットノイズを低減するためには演算量の増大及びメモリ使用量の増大が避けられなかった。これらは、回路規模の増大や電力消費量の増加、製造コストの上昇を招いてしまう。
【０００６】
以上の状況に鑑みて本発明の目的は、比較的簡易な構成及び方法で、ドットノイズ及び偽色信号などの画質劣化を抑制し得る画素補間装置及び画素補間方法を提供する点にある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、第１の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間装置であって、前記入力画像データのうち着目画素を含む所定のサンプリング範囲の画素データを保持するレジスタ群と、前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する評価値算出部と、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する領域選択部と、前記領域選択部で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている色成分を補間する補間部と、を備えることを特徴としている。
【０００８】
第２の発明では、第１の発明の画素補間装置において、前記評価値算出部は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する。
【０００９】
第３の発明では、第１または第２の発明の画素補間装置において、前記領域選択部は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択するソート回路と、前記ソート回路で選択された前記参照領域内の前記画素データを前記レジスタ群から取り込み前記補間部に与えるデータ選択回路と、を備える。
【００１０】
第４の発明では、第１〜第３の発明のうち何れかの画素補間装置において、前記補間部は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する。
【００１１】
第５の発明では、第１または第２の発明の画素補間装置において、前記領域選択部は、前記評価値間の大小関係を算出するソート回路と、前記ソート回路で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する検出回路と、当該輝度パターンに応じて、前記画素データを前記レジスタ群から選択的に取り込むデータ選択回路と、を備えており、前記補間部は、当該輝度パターンに応じて、前記データ選択回路で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する。
【００１２】
第６の発明では、第５の発明の画素補間装置において、前記検出回路は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する機能を有し、前記補間部は、前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている色成分を補間し、前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する機能を有する。
【００１３】
第７の発明では、第１〜第６の発明のうち何れかの画素補間装置において、前記レジスタ群は、３行３列の前記サンプリング範囲の前記画素データを保持する。
【００１４】
そして、第８の発明は、第１〜第７の発明のうち何れかの画素補間装置を搭載したデジタルカメラである。
【００１５】
次に、第９の発明は、各画素に単一の色成分を有する入力画像データを、各画素に複数種の色成分を有するカラー画像データに変換する画素補間方法であって、（ａ）前記入力画像データのうち所定のサンプリング範囲の画素データを保持する工程と、（ｂ）前記サンプリング範囲内に設定されている複数のブロック領域における前記画素データを用いて各前記ブロック領域の明るさを規定する評価値を算出する工程と、（ｃ）前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記ブロック領域の中から参照領域を選択する工程と、（ｄ）前記工程（ｃ）で選択された前記参照領域内の前記画素データを用いて当該着目画素に欠けている成分を補間する工程と、を備えることを特徴としている。
【００１６】
第１０の発明では、第９の発明の画素補間方法において、前記工程（ｂ）は、各前記ブロック領域内の全ての前記画素データの値を加算した加算値を用いて前記評価値を算出する工程を含む。
【００１７】
第１１の発明では、第９または第１０の発明の画素補間方法において、前記工程（ｃ）は、前記評価値間の大小関係を算出し当該大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択する工程を含む。
【００１８】
第１２の発明では、第９〜第１１の発明の何れかの画素補間方法において、前記工程（ｄ）は、前記参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含む。
【００１９】
第１３の発明では、第９または第１０の発明の画素補間方法において、前記工程（ｃ）は、（ｃ−１）前記評価値間の大小関係を算出する工程と、（ｃ−２）前記工程（ｃ−１）で算出された前記大小関係に基づいて当該サンプリング範囲の輝度パターンを検出する工程と、（ｃ−３）前記工程（ｃ−２）で検出された当該輝度パターンに応じて、前記工程（ａ）で保持した前記画素データを選択的に取り込む工程と、を備えており、前記工程（ｄ）は、当該輝度パターンに応じて、前記工程（ｃ−３）で取り込まれた前記画素データを用いて当該着目画素に欠けている色成分を補間する工程を含む。
【００２０】
第１４の発明では、第１３の発明の画素補間方法において、前記工程（ｃ−２）は、前記輝度パターンとして、高輝度領域のエッジの種類を検出する工程を含み、前記工程（ｄ）は、前記工程（ｃ−２）で前記エッジの種類が検出された場合は、当該着目画素に対して当該エッジの方向に配列し且つ輝度成分を主体とする同種の色成分を平均化することで当該着目画素に欠けている前記色成分を補間し、前記工程（ｃ−２）で前記エッジの種類が検出されない場合は、前記評価値間の大小関係に基づいて複数の前記評価値の中で中央の値に近い評価値を持つ前記参照領域を所定数選択し、当該参照領域内の同種の色成分を平均化することで当該着目画素に欠けている色成分を補間する工程を含む。
【００２１】
そして、第１５の発明では、第９〜第１４の発明の何れかの画素補間方法において、前記工程（ａ）は、３行３列の前記サンプリング範囲の前記画素データを保持する工程を含む。
【００２２】
【発明の実施の形態】
以下、本発明の種々の実施形態について説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画素補間装置１を概略的に示すブロック図である。この画素補間装置１は、ＲＡＷデータ（入力画像データ）を３×３画素の範囲（以下、サンプリング範囲と呼ぶ。）で保持するレジスタ群１０と、ＦＩＦＯ（Ｆｉｒｓｔ−ＩｎＦｉｒｓｔ−Ｏｕｔ）メモリ１１，１２と、処理部１３とを備えて構成されている。本実施形態では、画素補間装置１は、単板のＣＣＤセンサやＣＭＯＳセンサなどの撮像センサを搭載したデジタルカメラに組み込まれ、その撮像センサは、原色系（ＲＧＢ系）のベイヤー配列の色フィルタアレイを有するものとする。
【００２４】
レジスタ群１０は、タイミング・ジェネレータ（図示せず）から供給されたクロック信号（図示せず）に同期して、画素単位で入力する８ビットのＲＡＷデータを順次シフトさせつつ保持する９個のレジスタ２０Ａ〜２０Ｉを備えており、レジスタ２０Ａ〜２０Ｉの各々が１画素データを保持する。レジスタ群１０は、３組のシフトレジスタ２０Ａ〜２０Ｃ、２０Ｄ〜２０Ｆ及び２０Ｇ〜２０Ｉを備えており、第１のシフトレジスタ２０Ａ〜２０Ｃと第２のシフトレジスタ２０Ｄ〜２０Ｆとの間にＦＩＦＯメモリ１１が介在し、第２のシフトレジスタ２０Ｄ〜２０Ｆと第３のシフトレジスタ２０Ｇ〜２０Ｉとの間にＦＩＦＯメモリ１２が介在している。この構成によって、レジスタ群１０は、２次元配列の画像データであるＲＡＷデータの中の３行３列のサンプリング範囲の画素データを保持することになる。
【００２５】
また、レジスタ２０Ａ〜２０Ｉが出力した画素データＤ_Ａ〜Ｄ_Ｉは、処理部１３に入力させられている。この処理部１３は、入力する画素データＤ_Ａ〜Ｄ_Ｉを用いて後述する画素補間処理を実行し、その結果、着目画素に関して、Ｒ成分の８ビット信号、Ｇ成分の８ビット信号及びＢ成分の８ビット信号を並列に出力する。
【００２６】
図２は、レジスタ群１０に記憶される３行３列の保持データ２１を模式的に示す図である。この保持データ２１は画素データＤ_Ａ〜Ｄ_Ｉから構成されており、画素データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，Ｄ_Ｄ，Ｄ_Ｅ，Ｄ_Ｆ，Ｄ_Ｇ，Ｄ_Ｈ及びＤ_Ｉはそれぞれ画素値Ｐ（０，０），Ｐ（０，１），Ｐ（０，２），Ｐ（１，０），Ｐ（１，１），Ｐ（１，２），Ｐ（２，０），Ｐ（２，１）及びＰ（２，２）を有する。なお、この明細書において「画素値」とは、Ｒ成分、Ｇ成分またはＢ成分のうち何れかのｋビット階調（２^ｋ階調）値を意味する（ｋは２以上の整数）。
【００２７】
図３は、上記処理部１３の構成を概略的に示すブロック図である。この処理部１３は、評価値算出部３０、領域選択部３１及び補間部３２を備えている。評価値算出部３０は、第１〜第４加算器３０ａ〜３０ｄを備えて構成される。上記サンプリング範囲には４つのブロック領域が設定されており、第１加算器３０ａは、第１のブロック領域における画素データＤ_Ａ，Ｄ_Ｂ及びＤ_Ｄを加算して得た評価データＤＳ１を出力し、第２加算器３０ｂは、第２のブロック領域における画素データＤ_Ｂ，Ｄ_Ｃ及びＤ_Ｆを加算して得た評価データＤＳ２を出力し、第３加算器３０ｃは、第３のブロック領域における画素データＤ_Ｄ，Ｄ_Ｇ及びＤ_Ｈを加算して得た評価データＤＳ３を出力し、第４加算器３０ｄは、第４のブロック領域における画素データＤ_Ｆ，Ｄ_Ｈ及びＤ_Ｉを加算して得た評価データＤＳ４を出力する。
【００２８】
また図４に、前記第１〜第４のブロック領域の保持データ２１Ａ〜２１Ｄを模式的に示す。第１のブロック領域は、サンプリング範囲の左上方に設定され、画素値Ｐ（０，０），Ｐ（０，１）及びＰ（１，０）を持つ保持データ２１Ａを含み、第２のブロック領域は、サンプリング範囲の右上方に設定され、画素値Ｐ（０，１），Ｐ（０，２）及びＰ（１，２）を持つ保持データ２１Ｂを含み、第３のブロック領域は、サンプリング範囲の左下方に設定され、画素値Ｐ（１，０），Ｐ（２，０）及びＰ（２，１）を持つ保持データ２１Ｃを含み、第４のブロック領域は、サンプリング範囲の右下方に設定され、画素値Ｐ（１，２），Ｐ（２，１）及びＰ（２，２）を持つ保持データ２１Ｄを含む。サンプリング範囲中心の着目画素の値Ｐ（１，１）は、これら第１〜第４のブロック領域から除外されている。
【００２９】
また上記評価データＤＳ１〜ＤＳ４が持つ評価値（加算値）Ｓ１〜Ｓ４は、各ブロック領域の明るさを規定する量であり、次式（１）に基づいて算出される。
【００３０】
【数１】

【００３１】
なお、本実施形態では、評価値Ｓ１〜Ｓ４として画素値の加算値を採用するが、本発明ではこの限りでは無く、前記加算値を用いた量、例えば平均値を採用してもよい。
【００３２】
また領域選択部３１は、ソート回路３３とデータ選択回路３４とを備えている。ソート回路３３は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。次に、ソート回路３３は、上記第１〜第４のブロック領域の中から、評価値Ｓ１〜Ｓ４の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択し、その選択結果を示す選択制御データＳＲをデータ選択回路３４に出力する。データ選択回路３４には、上記レジスタ群１０が出力した画素データＤ_Ａ〜Ｄ_Ｉが入力している。このデータ選択回路３４は、ソート回路３３から入力した選択制御データＳＲに従って、ソート回路３３で選択された２個の参照領域内の画素データのみを選択し、選択データＳＤ１〜ＳＤ６として補間部３２に出力する。
【００３３】
そして補間部３２は、入力する選択データＳＤ１〜ＳＤ６を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００３４】
以上の構成を有する画素補間装置１による画素補間処理の例を、図５のフローチャートを参照しつつ以下に説明する。図６は、ベイヤー配列の色フィルタアレイを持つ撮像センサが出力したＲＡＷデータの画素配列を模式的に示す図である。図示する通り、このＲＡＷデータは、Ｒ，Ｇ，Ｒ，Ｇ，…，Ｇ，Ｂ，Ｇ，Ｂ，…の色成分の画素配列を有している。
【００３５】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤ_Ａ〜Ｄ_Ｉを保持する。次いで、図３に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤ_Ａ〜Ｄ_Ｉを用いて、サンプリング範囲に設定された第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部３１のソート回路３３に出力する。
【００３６】
次に、ソート回路３３が、評価データＤＳ１〜ＤＳ４を降順にソートして、評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。本例での大小関係は、Ｓ３＞Ｓ１＞Ｓ２＞Ｓ４、である。次に、ソート回路３３は、第１〜第４のブロック領域の中から、複数の評価値の中で中央の値（メディアン）に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。本例では、４つの評価値Ｓ１〜Ｓ４の中で中央の値に最も近い評価値と次に近い評価値とを持つ第１及び第２のブロック領域が参照領域として選択される。
【００３７】
次の補間処理（ステップＳＴ５）では、データ選択回路３４が、第１及び第２のブロック領域の画素データＤ_Ａ，Ｄ_Ｂ，Ｄ_Ｃ，Ｄ_Ｄ及びＤ_Ｆを選択データＳＤ１〜ＳＤ５として補間部３２に出力した後、補間部３２は、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００３８】
図７及び図８は、前記画素補間（ステップＳＴ５）を説明するための図であり、サンプリング範囲の保持データ２１の画素配列を模式的に示している。図７に示すように、着目画素がＲ成分のみを有する場合、補間部３２は、この着目画素に対して上方及び左右方向に隣接する３画素のＧ成分を平均化することで不足のＧ成分を補間（バイリニア補間）すると共に、この着目画素に対して斜め上方に隣接する２画素のＢ成分を平均化することで不足のＢ成分を補間（バイリニア補間）する。他方、図８に示すように、着目画素がＧ成分のみを有する場合は、補間部３２は、この着目画素に対して左右方向に隣接する２画素のＲ成分を平均化することで不足のＲ成分を補間（バイリニア補間）すると共に、この着目画素に対して上方のＢ成分で不足のＢ成分を補間（最隣接補間）する。
【００３９】
以上の画素補間処理によって、補間部３２は１画素のＲＧＢの画像信号を出力する。なお、補間部３２から出力されたＲＧＢの画像信号に輪郭強調処理を施すことで、画質を向上させてもよい。
【００４０】
このように第１の実施形態に係る画素補間装置１及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの画質劣化を効果的に抑制し得る画素補間処理を実行することが可能である。また、小回路規模の画素補間装置１を低コストで製造でき、低消費電力で画素補間処理を実行することができる。しかも、３×３画素の小さなサンプリング範囲を採用しても画質劣化を効果的に抑制できることから、ＦＩＦＯメモリ１１，１２の数が２本で済むため、回路規模と電力消費量と製造コストとを抑えることができる。
【００４１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に係る画素補間装置は、処理部１３の構成を除いて、図１に示した画素補間装置１と同じ構成を有する。図９は、第２の実施形態に係る処理部１３Ａの構成を模式的に示す図である。図９に示す構成要素のうち、図３に示した符号と同一符号を付されたものは、図３に示した構成要素と同じ構成を有するためその詳細な説明を省略する。
【００４２】
この処理部１３Ａは、評価値算出部３０、領域選択部４０及び補間部４４を備えている。評価値算出部３０は第１〜第４加算器３０ａ〜３０ｄを備えており、上述した第１〜第４のブロック領域における画素データを加算して得た評価データＤＳ１〜ＤＳ４を領域選択部４０に出力する。
【００４３】
また領域選択部４０は、ソート回路４１と検出回路４２とデータ選択回路４３とを備えている。ソート回路４１は、評価値算出部３０から並列に入力する評価データＤＳ１〜ＤＳ４を昇順または降順にソートして、評価値Ｓ１〜Ｓ４間の大小関係を算出する。またソート回路４１は、評価データＤＳ１〜ＤＳ４を昇順または降順に並べ替えたデータＭ１〜Ｍ４と、前記大小関係を示すソート情報ＳＲＴとを検出回路４２に出力する。
【００４４】
また検出回路４２は、後述する方法に従って、前記ソート情報ＳＲＴに基づいてサンプリング範囲のＲＡＷデータの輝度パターンを検出し、その検出結果である検出データＤＲ０，ＤＲ１をデータ選択回路４３と補間部４４とに出力する。本実施の形態では、前記輝度パターンとして後述する高輝度領域のエッジ（縁部）の種類が検出される。
【００４５】
データ選択回路４３は、検出回路４２から入力する検出データＤＲ０により、検出された輝度パターンに応じて、レジスタ群１０から入力する画素データＤ_Ａ〜Ｄ_Ｉを選択的に取り込み、選択データＳＤ１〜ＳＤ５として補間部４４に出力する。そして、補間部４４は、検出回路４２から入力する検出データＤＲ１により、検出された輝度パターンに応じて、選択データＳＤ１〜ＳＤ５を用いて当該着目画素に欠けている色成分を補間し、その結果、Ｒ成分、Ｇ成分及びＢ成分の画像信号を出力する。
【００４６】
以上の構成を有する処理部１３Ａを備えた画素補間装置による画素補間処理の例を、図１０のフローチャートを参照しつつ以下に説明する。
【００４７】
先ずステップＳＴ１では、図１に示すレジスタ群１０が、画素単位で入力するＲＡＷデータ（図６）のうちサンプリング範囲の画素データＤ_Ａ〜Ｄ_Ｉを保持する。次いで、図９に示す評価値算出部３０が、レジスタ群１０から取り込んだ画素データＤ_Ａ〜Ｄ_Ｉを用いて、サンプリング範囲に設定されている第１〜第４のブロック領域の評価値Ｓ１〜Ｓ４を算出する（ステップＳＴ２）。評価値算出部３０は、評価値Ｓ１〜Ｓ４をそれぞれ持つ評価データＤＳ１〜ＤＳ４を領域選択部４０のソート回路４１に出力する。
【００４８】
次に、ソート回路４１が、評価データＤＳ１〜ＤＳ４を降順にソートして評価値Ｓ１〜Ｓ４の大小関係を算出する（ステップＳＴ３）。このときソート回路４１は、評価データＤＳ１〜ＤＳ４を降順に並べ替えたデータＭ１〜Ｍ４と、ソート情報ＳＲＴとを検出回路４２に出力する。
【００４９】
次に、検出回路４２は、ソート情報ＳＲＴに基づいてサンプリング範囲の輝度パターンを検出する検出処理を行う（ステップＳＴ１０）。本例の検出回路４２が検出し得る輝度パターンを図１１〜図１８に示す。図１１〜図１８に示す例では、着目画素で輝度成分を主体とするＧ成分が不足しており、保持データ２１に対する画像の高輝度領域４５とそれ以外の低輝度領域とが示されている。なお、図１１〜図１８は、着目画素がＲ成分のみを有する場合を示しているが、着目画素がＢ成分のみを有する場合も同様に検出可能である。
【００５０】
図１１〜図１４に示すように、高輝度領域４５のエッジの方向が略水平方向に向くとき、当該エッジ４５ｈは「横エッジ」と呼ばれ、図１５〜図１８に示すように、エッジの方向が略垂直方向に向くとき、当該エッジ４５ｖは「縦エッジ」と呼ばれる。また、図１１及び図１２は、高輝度領域４５がサンプリング範囲の上方に位置する場合を、図１３及び図１４は、高輝度領域４５がサンプリング範囲の下方に位置する場合を、図１５及び図１６は、高輝度領域４５がサンプリング範囲の左方に位置する場合を、図１７及び図１８は、高輝度領域４５がサンプリング範囲の右方に位置する場合を、それぞれ表している。
【００５１】
検出回路４２は、評価値Ｓ１〜Ｓ４に関して次式（２Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲上方の高輝度領域の横エッジ５４ｈ（図１１または図１２）を検出する。
【００５２】
【数２】

【００５３】
ここで、上式（２Ａ）中、演算子ｍｉｎ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が小さい方の変数を出力し、演算子ｍａｘ｛ｘ，ｙ｝は、入力変数ｘ，ｙのうち値が大きい方の変数を出力する。変数ｘ，ｙが同じ値を持つ場合は、変数ｘが出力される。
【００５４】
また検出回路４２は、次式（２Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲下方の高輝度領域の横エッジ４５ｈ（図１３または図１４）を検出する。
【００５５】
【数３】

【００５６】
また検出回路４２は、次式（３Ａ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲左方の縦エッジ４５ｖ（図１５または図１６）を検出する。
【００５７】
【数４】

【００５８】
そして検出回路４２は、次式（３Ｂ）の大小関係を満たすソート情報ＳＲＴを受けた場合に、サンプリング範囲右方の高輝度領域の縦エッジ４５ｖ（図１７または図１８）を検出する。
【００５９】
【数５】

【００６０】
次いで、ステップＳＴ１０ａの条件分岐処理において、上記ステップＳＴ１０で検出した検出パターンの種類に応じた補間処理（ステップＳＴ１１〜ＳＴ１５、ＳＴ４，ＳＴ５）が選択される。
【００６１】
着目画素にＧ成分が不足しており、且つ図１１及び図１２に示す横エッジ４５ｈが検出された場合（Ｉ＝１）、ステップＳＴ１０ａからステップＳＴ１１に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して左右方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰ_Ｇについて、ＩＰ_Ｇ＝（Ｐ（１，０）＋Ｐ（１，２））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６２】
また、着目画素にＧ成分が不足しており、且つ図１３及び図１４に示す横エッジ４５ｈが検出された場合は（Ｉ＝２）、ステップＳＴ１０ａからステップＳＴ１２に処理が移行し、上記ステップＳＴ１１と同じ処理が実行された後に、上記ステップＳＴ１５の処理が実行される。
【００６３】
また、着目画素にＧ成分が不足しており、且つ図１７及び図１８に示す縦エッジ４５ｖが検出された場合は（Ｉ＝３）、ステップＳＴ１０ａからステップＳＴ１３に処理が移行する。ここで、データ選択回路４３は、検出データＤＲ０に基づいて、当該着目画素に対して上下方向に隣接する２画素のＧ成分を選択して補間部４４に供給し、補間部４４は、検出データＤＲ１に基づいて、これら２画素のＧ成分を平均化することで不足のＧ成分を補間する。数式で表現すれば、補間されるＧ成分の画素値ＩＰ_Ｇについて、ＩＰ_Ｇ＝（Ｐ（０，１）＋Ｐ（２，１））／２、が成立する。次いで、補間部４４は、着目画素に不足しているＲ成分またはＢ成分をバイリニア補間法などで補間する（ステップＳＴ１５）。
【００６４】
また、着目画素にＧ成分が不足しており、且つ図１５及び図１６に示す縦エッジ４５ｖが検出された場合は（Ｉ＝４）、ステップＳＴ１０ａからステップＳＴ１４に処理が移行し、上記ステップＳＴ１３と同じ処理が実行された後に、上記ステップＳＴ１５が実行される。
【００６５】
そして、図１１〜図１８に示す輝度パターンの何れも検出されなかった場合は（Ｉ＝５）、ステップＳＴ１０ａからステップＳＴ４に処理が移行する。ここで、ソート回路３３は、上記第１〜第４のブロック領域の中から、複数の評価値の中で中央の値に近い評価値を持つ参照領域を２個選択する（ステップＳＴ４）。
【００６６】
次の補間処理（ステップＳＴ５）では、上記第１の実施形態の補間処理（図５；ステップＳＴ５）と同様に、データ選択回路４３が、前記ステップＳＴ４で選択された２個の参照領域の画素データを選択データＳＤ１〜ＳＤ５として補間部４４に出力した後、補間部４４は、検出データＤＲ１に応じて、バイリニア補間法あるいは最隣接補間法で画素補間を実行する。
【００６７】
以上のように第２の実施形態に係る画素補間装置及び画素補間方法によれば、サンプリング範囲の輝度パターンに応じて適応型の補間処理を実行できるため、偽色信号やドットノイズの発生をさらに効果的に抑制し得て、画質の向上が可能となる。
【００６８】
【発明の効果】
以上の如く、本発明に係る画素補間装置及び画素補間方法によれば、少ない演算量で、偽色信号やドットノイズなどの発生を効果的に抑制し得る画素補間処理を実現できる。同時に、小回路規模の画素補間装置を低コストで製造でき、低消費電力で画素補間処理を実行することが可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画素補間装置を概略的に示すブロック図である。
【図２】レジスタ群に記憶される３行３列の保持データを模式的に示す図である。
【図３】第１の実施形態に係る画素補間装置の処理部の構成を概略的に示すブロック図である。
【図４】第１〜第４のブロック領域の保持データを模式的に示す図である。
【図５】第１の実施形態に係る画素補間処理の例を示すフローチャートである。
【図６】ＲＡＷデータの画素配列を模式的に示す図である。
【図７】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図８】第１の実施形態に係る画素補間処理の一工程を説明するための図である。
【図９】本発明の第２の実施形態に係る画素補間装置の処理部の構成を模式的に示す図である。
【図１０】第２の実施形態に係る画素補間処理の一工程を説明するための図である。
【図１１】輝度パターンの一例を模式的に示す図である。
【図１２】輝度パターンの一例を模式的に示す図である。
【図１３】輝度パターンの一例を模式的に示す図である。
【図１４】輝度パターンの一例を模式的に示す図である。
【図１５】輝度パターンの一例を模式的に示す図である。
【図１６】輝度パターンの一例を模式的に示す図である。
【図１７】輝度パターンの一例を模式的に示す図である。
【図１８】輝度パターンの一例を模式的に示す図である。
【符号の説明】
１画素補間装置
１０レジスタ群
１１，１２ＦＩＦＯメモリ
１３，１３Ａ処理部
３０評価値算出部
３０ａ〜３０ｄ加算器
３１，４０領域選択部
３２，４４補間部
３３，４１ソート回路
３４，４３データ選択回路
４２検出回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a pixel interpolation device and a pixel interpolation method.
[0002]
[Prior art]
2. Description of the Related Art In an imaging sensor such as a CCD sensor or a CMOS sensor mounted on a digital camera, a color filter array is formed on a light receiving element to color incident light. In the case of a digital camera equipped with a single-chip image sensor, on the light receiving element, color filters corresponding to each pixel one-to-one are arranged, and the output signal of the image sensor has only a single color component in each pixel, To obtain full-color image data, it is necessary to perform a so-called pixel interpolation process for interpolating a color component missing in each pixel. For example, when a color filter array composed of primary color filters of R (red), G (green), and B (blue) is employed, pixels having only R components are insufficient with reference to peripheral pixels. It is necessary to interpolate the G component and the B component. As this type of pixel interpolation method, a bilinear interpolation method, a bicubic interpolation method, or the like is a known technique.
[0003]
However, there is a known problem that this kind of pixel interpolation processing generates a false color signal and a signal called dot noise which do not exist originally. Conventional techniques for reducing false color signals are disclosed in, for example, Patent Document 1 (Japanese Patent Application Laid-Open No. 2001-8037) and Patent Document 2 (Japanese Patent Application Laid-Open No. 2000-165892). For example, it is disclosed in Japanese Patent Application Laid-Open No. 2001-54125.
[0004]
[Patent Document 1]
JP 2001-8037 A
[Patent Document 2]
JP 2000-165892 A
[Patent Document 3]
JP 2001-0554125 A
[0005]
[Problems to be solved by the invention]
In the conventional pixel interpolation method, in order to reduce the false color signal and the dot noise, it is inevitable that the amount of calculation and the amount of memory used increase. These cause an increase in circuit scale, an increase in power consumption, and an increase in manufacturing cost.
[0006]
In view of the above situation, an object of the present invention is to provide a pixel interpolation device and a pixel interpolation method that can suppress image quality degradation such as dot noise and false color signals with a relatively simple configuration and method.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, a first aspect of the present invention is a pixel interpolation device that converts input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel. A register group for holding pixel data of a predetermined sampling range including a pixel of interest in the input image data, and a register group for each of the block regions using the pixel data in a plurality of block regions set in the sampling range. An evaluation value calculation unit that calculates an evaluation value that defines brightness, an area selection unit that calculates a magnitude relation between the evaluation values, and selects a reference area from among the plurality of block areas based on the magnitude relation, An interpolating unit that interpolates a color component lacking in the pixel of interest using the pixel data in the reference area selected by the area selecting unit. .
[0008]
According to a second aspect, in the pixel interpolation device according to the first aspect, the evaluation value calculation unit calculates the evaluation value using an addition value obtained by adding values of all the pixel data in each block area. .
[0009]
According to a third aspect, in the pixel interpolation device according to the first or second aspect, the area selection unit calculates a magnitude relationship between the evaluation values, and calculates a center among a plurality of the evaluation values based on the magnitude relationship. A sort circuit that selects a predetermined number of the reference areas having an evaluation value close to the value of the reference area, and a data selection circuit that takes in the pixel data in the reference area selected by the sort circuit from the register group and provides the pixel data to the interpolation unit. , Is provided.
[0010]
In a fourth aspect, in the pixel interpolation device according to any one of the first to third aspects, the interpolation unit lacks the target pixel by averaging the same kind of color components in the reference area. Interpolate color components.
[0011]
According to a fifth aspect, in the pixel interpolation device according to the first or second aspect, the area selecting section includes a sort circuit that calculates a magnitude relation between the evaluation values, and a sort circuit that calculates the magnitude relation between the evaluation values. A detection circuit that detects a luminance pattern of the sampling range based on the detection pattern, and a data selection circuit that selectively captures the pixel data from the register group according to the luminance pattern. According to the luminance pattern, the color component missing in the target pixel is interpolated using the pixel data taken in by the data selection circuit.
[0012]
In a sixth aspect based on the pixel interpolation apparatus according to the fifth aspect, the detection circuit has a function of detecting, as the luminance pattern, an edge type of a high-luminance area, Is detected, the color component missing in the pixel of interest is interpolated by arranging in the direction of the edge with respect to the pixel of interest and averaging the same type of color component mainly including the luminance component, When the type of the edge is not detected, a predetermined number of the reference areas having an evaluation value close to a central value among a plurality of the evaluation values is selected based on the magnitude relation between the evaluation values, and the reference area is selected. A function of interpolating a color component missing in the pixel of interest by averaging the same type of color component.
[0013]
In a seventh aspect based on the pixel interpolator according to any one of the first to sixth aspects, the register group holds the pixel data in the sampling range of 3 rows and 3 columns.
[0014]
An eighth invention is a digital camera equipped with any one of the pixel interpolation devices according to the first to seventh inventions.
[0015]
Next, a ninth invention is a pixel interpolation method for converting input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel, wherein (a) Holding pixel data of a predetermined sampling range in the input image data; and (b) determining brightness of each of the block regions using the pixel data in a plurality of block regions set in the sampling range. Calculating a specified evaluation value; (c) calculating a magnitude relationship between the evaluation values, and selecting a reference area from the plurality of block areas based on the magnitude relationship; and (d) the step (C) interpolating a component missing in the target pixel using the pixel data in the reference area selected in (c).
[0016]
In a tenth aspect based on the pixel interpolation method according to the ninth aspect, in the step (b), the evaluation value is calculated using an added value obtained by adding values of all the pixel data in each of the block areas. Process.
[0017]
In an eleventh aspect based on the pixel interpolation method according to the ninth or tenth aspect, in the step (c), a magnitude relationship between the evaluation values is calculated, and a plurality of the evaluation values are calculated based on the magnitude relationship. Selecting a predetermined number of the reference areas having an evaluation value close to the central value.
[0018]
According to a twelfth aspect, in the pixel interpolation method according to any one of the ninth to eleventh aspects, the step (d) includes averaging the same kind of color components in the reference area to remove the target pixel. Interpolating existing color components.
[0019]
In a thirteenth aspect, in the pixel interpolation method according to the ninth or tenth aspect, the step (c) includes: (c-1) calculating a magnitude relationship between the evaluation values; Detecting a luminance pattern in the sampling range based on the magnitude relation calculated in the step (c-1); and (c-3) detecting the luminance pattern in the step (c-2) according to the luminance pattern. And selectively taking in the pixel data held in the step (a). The step (d) is carried out in the step (c-3) according to the luminance pattern. A step of using the pixel data to interpolate a color component missing in the pixel of interest.
[0020]
In a fourteenth aspect based on the pixel interpolation method of the thirteenth aspect, the step (c-2) includes a step of detecting a type of an edge of a high-luminance area as the luminance pattern, and the step (d) includes: If the type of the edge is detected in the step (c-2), the same type of color component mainly composed of a luminance component is arranged for the pixel of interest in the direction of the edge and averaged. The color component lacking in the pixel of interest is interpolated, and if the type of the edge is not detected in the step (c-2), a plurality of the evaluation values are determined based on a magnitude relationship between the evaluation values. A step of selecting a predetermined number of the reference regions having an evaluation value close to the center value and interpolating a color component missing in the pixel of interest by averaging the same kind of color components in the reference region.
[0021]
In a fifteenth aspect based on the pixel interpolation method according to any one of the ninth to fourteenth aspects, the step (a) includes a step of holding the pixel data in the sampling range of three rows and three columns.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, various embodiments of the present invention will be described.
[0023]
<First embodiment>
FIG. 1 is a block diagram schematically showing a pixel interpolation device 1 according to the first embodiment of the present invention. The pixel interpolation apparatus 1 includes a register group 10 for holding RAW data (input image data) in a 3 × 3 pixel range (hereinafter, referred to as a sampling range), a FIFO (First-In First-Out)

memory

11, 12 and a processing unit 13. In the present embodiment, the pixel interpolation device 1 is incorporated in a digital camera equipped with an imaging sensor such as a single-plate CCD sensor or a CMOS sensor, and the imaging sensor is a Bayer array color filter array of a primary color system (RGB system). Shall be provided.
[0024]
The register group 10 includes nine registers that sequentially shift and hold 8-bit RAW data input in pixel units in synchronization with a clock signal (not shown) supplied from a timing generator (not shown). 20A to 20I, and each of the registers 20A to 20I holds one pixel data. The register group 10 includes three sets of shift registers 20A to 20C, 20D to 20F, and 20G to 20I, and a FIFO memory 11 between the first shift register 20A to 20C and the second shift register 20D to 20F. And the FIFO memory 12 is interposed between the second shift registers 20D to 20F and the third shift registers 20G to 20I. With this configuration, the register group 10 holds the pixel data in the sampling range of 3 rows and 3 columns in the RAW data which is the image data of the two-dimensional array.
[0025]
The pixel data D output from the registers 20A to 20I _A ~ D _I Is input to the processing unit 13. This processing unit 13 receives the input pixel data D _A ~ D _I , A pixel interpolation process described later is executed, and as a result, an R-component 8-bit signal, a G-component 8-bit signal, and a B-component 8-bit signal are output in parallel for the target pixel.
[0026]
FIG. 2 is a diagram schematically showing the held data 21 of three rows and three columns stored in the register group 10. This held data 21 is pixel data D _A ~ D _I And the pixel data D _A , D _B , D _C , D _D , D _E , D _F , D _G , D _H And D _I Are the pixel values P (0,0), P (0,1), P (0,2), P (1,0), P (1,1), P (1,2), P (2, 0), P (2,1) and P (2,2). In this specification, the “pixel value” means a k-bit gray scale (2 ^k Gray scale) value (k is an integer of 2 or more).
[0027]
FIG. 3 is a block diagram schematically showing a configuration of the processing unit 13. The processing unit 13 includes an evaluation value calculation unit 30, an area selection unit 31, and an interpolation unit 32. The evaluation value calculation unit 30 includes first to fourth adders 30a to 30d. Four block areas are set in the sampling range, and the first adder 30a outputs the pixel data D in the first block area. _A , D _B And D _D Is output, and the second adder 30b outputs the pixel data D1 in the second block area. _B , D _C And D _F Is output, and the third adder 30c outputs the pixel data D3 in the third block area. _D , D _G And D _H Is output, and the fourth adder 30d outputs the pixel data D3 in the fourth block area. _F , D _H And D _I Is output as the evaluation data DS4.
[0028]
FIG. 4 schematically shows the held data 21A to 21D of the first to fourth block areas. The first block area is set at the upper left of the sampling range, includes held data 21A having pixel values P (0,0), P (0,1) and P (1,0), and has a second block area. The area is set at the upper right of the sampling range and includes held data 21B having pixel values P (0,1), P (0,2) and P (1,2). The fourth block area is set at the lower left of the range and includes held data 21C having pixel values P (1,0), P (2,0) and P (2,1). , And holding data 21D having pixel values P (1,2), P (2,1) and P (2,2). The value P (1,1) of the pixel of interest at the center of the sampling range is excluded from the first to fourth block regions.
[0029]
The evaluation values (addition values) S1 to S4 of the evaluation data DS1 to DS4 are amounts that define the brightness of each block area, and are calculated based on the following equation (1).
[0030]
(Equation 1)

[0031]
In the present embodiment, an added value of pixel values is used as the evaluation values S1 to S4. However, the present invention is not limited to this, and an amount using the added value, for example, an average value may be used.
[0032]
The area selection section 31 includes a sort circuit 33 and a data selection circuit 34. The sorting circuit 33 sorts the evaluation data DS1 to DS4 input in parallel from the evaluation value calculation unit 30 in ascending or descending order, and calculates the magnitude relation between the evaluation values S1 to S4. Next, the sorting circuit 33 selects two reference areas having evaluation values close to the central value (median) among the evaluation values S1 to S4 from among the first to fourth block areas, and The selection control data SR indicating the selection result is output to the data selection circuit 34. The data selection circuit 34 supplies the pixel data D output from the register group 10 _A ~ D _I Is entered. The data selection circuit 34 selects only the pixel data in the two reference regions selected by the sort circuit 33 according to the selection control data SR input from the sort circuit 33, and outputs the selected data to the interpolation unit 32 as the selection data SD1 to SD6. Output.
[0033]
Then, the interpolation unit 32 uses the input selection data SD1 to SD6 to interpolate the color component lacking in the pixel of interest, and as a result, outputs image signals of R, G, and B components.
[0034]
An example of the pixel interpolation processing by the pixel interpolation device 1 having the above configuration will be described below with reference to the flowchart of FIG. FIG. 6 is a diagram schematically illustrating a pixel array of RAW data output by an image sensor having a Bayer array color filter array. As shown, this RAW data has a pixel array of color components of R, G, R, G,..., G, B, G, B,.
[0035]
First, in step ST1, the register group 10 shown in FIG. 1 stores the pixel data D in the sampling range among the RAW data (FIG. 6) input in pixel units. _A ~ D _I Hold. Next, the evaluation value calculation unit 30 shown in FIG. _A ~ D _I Is used to calculate the evaluation values S1 to S4 of the first to fourth block areas set in the sampling range (step ST2). The evaluation value calculation unit 30 outputs the evaluation data DS1 to DS4 having the evaluation values S1 to S4 to the sorting circuit 33 of the area selection unit 31.
[0036]
Next, the sorting circuit 33 sorts the evaluation data DS1 to DS4 in descending order, and calculates a magnitude relationship between the evaluation values S1 to S4 (step ST3). The magnitude relation in this example is S3>S1>S2> S4. Next, the sorting circuit 33 selects two reference areas having an evaluation value close to the central value (median) from among the plurality of evaluation values from the first to fourth block areas (step ST4). . In this example, among the four evaluation values S1 to S4, the first and second block regions having the evaluation value closest to the center value and the evaluation value next to the center value are selected as reference regions.
[0037]
In the next interpolation processing (step ST5), the data selection circuit 34 sets the pixel data D in the first and second block areas. _A , D _B , D _C , D _D And D _F Are output to the interpolation unit 32 as selection data SD1 to SD5, the interpolation unit 32 executes pixel interpolation by the bilinear interpolation method or the nearest neighbor interpolation method.
[0038]
FIGS. 7 and 8 are diagrams for explaining the pixel interpolation (step ST5), and schematically show the pixel arrangement of the held data 21 in the sampling range. As illustrated in FIG. 7, when the target pixel has only the R component, the interpolation unit 32 averages the G components of three pixels adjacent to the target pixel in the upper and left and right directions to thereby obtain the insufficient G component. (Bilinear interpolation), and averaging the B components of two pixels obliquely above the pixel of interest to interpolate the missing B component (bilinear interpolation). On the other hand, as shown in FIG. 8, when the target pixel has only the G component, the interpolating unit 32 averages the R components of two pixels adjacent to the target pixel in the left-right direction, thereby obtaining the insufficient R component. The component is interpolated (bilinear interpolation), and an insufficient B component is interpolated (nearest neighbor interpolation) in the B component above the pixel of interest.
[0039]
By the above pixel interpolation processing, the interpolation unit 32 outputs an RGB image signal of one pixel. The image quality may be improved by performing an outline emphasis process on the RGB image signal output from the interpolation unit 32.
[0040]
As described above, according to the pixel interpolation apparatus 1 and the pixel interpolation method according to the first embodiment, a pixel interpolation process capable of effectively suppressing image quality deterioration such as a false color signal or dot noise is executed with a small amount of calculation. It is possible. Further, the pixel interpolating device 1 having a small circuit scale can be manufactured at low cost, and the pixel interpolating process can be executed with low power consumption. In addition, even if a small sampling range of 3.times.3 pixels is adopted, image quality degradation can be effectively suppressed, so that only two

FIFO memories

11 and 12 are needed, which reduces circuit scale, power consumption and manufacturing cost. Can be suppressed.
[0041]
<Second embodiment>
Next, a second embodiment of the present invention will be described. The pixel interpolation device according to the present embodiment has the same configuration as the pixel interpolation device 1 shown in FIG. FIG. 9 is a diagram schematically illustrating a configuration of a processing unit 13A according to the second embodiment. 9 having the same reference numerals as those shown in FIG. 3 have the same configuration as the components shown in FIG. 3, and a detailed description thereof will be omitted.
[0042]
The processing unit 13A includes an evaluation value calculation unit 30, an area selection unit 40, and an interpolation unit 44. The evaluation value calculation unit 30 includes first to fourth adders 30a to 30d, and outputs evaluation data DS1 to DS4 obtained by adding pixel data in the above-described first to fourth block regions to the region selection unit 40. Output to
[0043]
The area selection section 40 includes a sort circuit 41, a detection circuit 42, and a data selection circuit 43. The sorting circuit 41 sorts the evaluation data DS1 to DS4 input in parallel from the evaluation value calculation unit 30 in ascending or descending order, and calculates the magnitude relation between the evaluation values S1 to S4. The sorting circuit 41 outputs to the detection circuit 42 data M1 to M4 obtained by rearranging the evaluation data DS1 to DS4 in ascending or descending order and sort information SRT indicating the magnitude relation.
[0044]
Further, the detection circuit 42 detects a luminance pattern of the RAW data in the sampling range based on the sort information SRT according to a method described later, and outputs the detection data DR0 and DR1 as detection results to the data selection circuit 43 and the interpolation unit 44. Output to In the present embodiment, the type of edge (edge) of a high-luminance area described later is detected as the luminance pattern.
[0045]
Based on the detection data DR0 input from the detection circuit 42, the data selection circuit 43 outputs the pixel data D input from the register group 10 in accordance with the detected luminance pattern. _A ~ D _I Are selectively taken in and output to the interpolation unit 44 as selection data SD1 to SD5. Then, the interpolation unit 44 interpolates the color component lacking in the target pixel using the selection data SD1 to SD5 according to the detected luminance pattern based on the detection data DR1 input from the detection circuit 42. , R component, G component and B component image signals.
[0046]
An example of the pixel interpolation processing by the pixel interpolation device including the processing unit 13A having the above configuration will be described below with reference to the flowchart of FIG.
[0047]
First, in step ST1, the register group 10 shown in FIG. 1 stores the pixel data D in the sampling range among the RAW data (FIG. 6) input in pixel units. _A ~ D _I Hold. Next, the evaluation value calculation unit 30 shown in FIG. _A ~ D _I Is used to calculate the evaluation values S1 to S4 of the first to fourth block areas set in the sampling range (step ST2). The evaluation value calculation unit 30 outputs the evaluation data DS1 to DS4 having the evaluation values S1 to S4, respectively, to the sorting circuit 41 of the area selection unit 40.
[0048]
Next, the sorting circuit 41 sorts the evaluation data DS1 to DS4 in descending order and calculates the magnitude relation of the evaluation values S1 to S4 (step ST3). At this time, the sort circuit 41 outputs to the detection circuit 42 data M1 to M4 obtained by rearranging the evaluation data DS1 to DS4 in descending order and sort information SRT.
[0049]
Next, the detection circuit 42 performs a detection process of detecting a luminance pattern in a sampling range based on the sort information SRT (step ST10). FIGS. 11 to 18 show luminance patterns that can be detected by the detection circuit 42 of this example. In the examples shown in FIGS. 11 to 18, the G component mainly including the luminance component is insufficient in the pixel of interest, and the high luminance region 45 of the image and the low luminance region other than the retained data 21 are shown. . Although FIGS. 11 to 18 show the case where the target pixel has only the R component, the case where the target pixel has only the B component can be similarly detected.
[0050]
As shown in FIGS. 11 to 14, when the direction of the edge of the high-luminance area 45 is substantially horizontal, the edge 45 h is called a “horizontal edge”, and as shown in FIGS. When the direction is substantially vertical, the edge 45v is called a "vertical edge". 11 and 12 show the case where the high luminance region 45 is located above the sampling range. FIGS. 13 and 14 show the case where the high luminance region 45 is located below the sampling range. 16 shows the case where the high luminance area 45 is located on the left side of the sampling range, and FIGS. 17 and 18 show the case where the high luminance area 45 is located on the right side of the sampling range.
[0051]
When receiving the sort information SRT that satisfies the magnitude relation of the following expression (2A) with respect to the evaluation values S1 to S4, the detection circuit 42 detects the horizontal edge 54h (FIG. 11 or FIG. 12) of the high luminance area above the sampling range. I do.
[0052]
(Equation 2)

[0053]
Here, in the above equation (2A), the operator min {x, y} outputs the smaller value of the input variables x and y, and the operator max {x, y} outputs the input variable x , Y, the variable having the larger value is output. If the variables x and y have the same value, the variable x is output.
[0054]
Further, when receiving the sort information SRT satisfying the magnitude relation of the following expression (2B), the detection circuit 42 detects the horizontal edge 45h (FIG. 13 or FIG. 14) of the high luminance area below the sampling range.
[0055]
[Equation 3]

[0056]
Further, when receiving the sort information SRT satisfying the magnitude relation of the following equation (3A), the detection circuit 42 detects the vertical edge 45v (FIG. 15 or FIG. 16) on the left of the sampling range.
[0057]
(Equation 4)

[0058]
Then, when receiving the sort information SRT satisfying the magnitude relation of the following equation (3B), the detection circuit 42 detects the vertical edge 45v (FIG. 17 or FIG. 18) of the high luminance area on the right of the sampling range.
[0059]
(Equation 5)

[0060]
Next, in the conditional branching process of step ST10a, an interpolation process (steps ST11 to ST15, ST4, ST5) corresponding to the type of the detection pattern detected in step ST10 is selected.
[0061]
When the G component is insufficient for the pixel of interest and the horizontal edge 45h shown in FIGS. 11 and 12 is detected (I = 1), the process proceeds from step ST10a to step ST11. Here, based on the detection data DR0, the data selection circuit 43 selects the G component of two pixels adjacent to the target pixel in the left-right direction and supplies the G component to the interpolation unit 44. Based on DR1, the G component of these two pixels is averaged to interpolate the missing G component. When expressed by a mathematical expression, the pixel value IP of the G component to be interpolated _G About IP _G = (P (1,0) + P (1,2)) / 2 holds. Next, the interpolating unit 44 interpolates the R component or the B component missing in the pixel of interest by a bilinear interpolation method or the like (step ST15).
[0062]
Further, when the G component is insufficient in the pixel of interest and the horizontal edge 45h shown in FIGS. 13 and 14 is detected (I = 2), the process shifts from step ST10a to step ST12 and proceeds to step ST11. After the same processing as described above is performed, the processing of step ST15 is performed.
[0063]
When the G component is insufficient for the pixel of interest and the vertical edge 45v shown in FIGS. 17 and 18 is detected (I = 3), the process proceeds from step ST10a to step ST13. Here, the data selection circuit 43 selects the G component of two pixels vertically adjacent to the target pixel based on the detection data DR0 and supplies the G component to the interpolation unit 44. Based on DR1, the G component of these two pixels is averaged to interpolate the missing G component. If expressed by a mathematical expression, the pixel value IP of the G component to be interpolated _G About IP _G = (P (0,1) + P (2,1)) / 2 holds. Next, the interpolating unit 44 interpolates the R component or the B component missing in the pixel of interest by a bilinear interpolation method or the like (step ST15).
[0064]
Further, when the G component is insufficient in the pixel of interest and the vertical edge 45v shown in FIGS. 15 and 16 is detected (I = 4), the process shifts from step ST10a to step ST14, and proceeds to step ST13. After the same processing as described above is performed, the above-described step ST15 is performed.
[0065]
If none of the luminance patterns shown in FIGS. 11 to 18 is detected (I = 5), the process proceeds from step ST10a to step ST4. Here, the sorting circuit 33 selects two reference areas having an evaluation value close to the central value among the plurality of evaluation values from the first to fourth block areas (step ST4).
[0066]
In the next interpolation process (step ST5), as in the interpolation process of the first embodiment (FIG. 5; step ST5), the data selection circuit 43 selects the pixels of the two reference areas selected in step ST4. After outputting the data as the selection data SD1 to SD5 to the interpolation unit 44, the interpolation unit 44 executes the pixel interpolation by the bilinear interpolation method or the nearest neighbor interpolation method according to the detection data DR1.
[0067]
As described above, according to the pixel interpolation device and the pixel interpolation method according to the second embodiment, an adaptive interpolation process can be performed according to a luminance pattern in a sampling range, so that generation of a false color signal and dot noise can be further reduced. It can be suppressed effectively and the image quality can be improved.
[0068]
【The invention's effect】
As described above, according to the pixel interpolation apparatus and the pixel interpolation method according to the present invention, it is possible to realize a pixel interpolation process capable of effectively suppressing the occurrence of a false color signal, dot noise, and the like with a small amount of calculation. At the same time, a small-circuit-scale pixel interpolation device can be manufactured at low cost, and pixel interpolation processing can be performed with low power consumption.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a pixel interpolation device according to a first embodiment of the present invention.
FIG. 2 is a diagram schematically showing held data of three rows and three columns stored in a register group.
FIG. 3 is a block diagram schematically illustrating a configuration of a processing unit of the pixel interpolation device according to the first embodiment.
FIG. 4 is a diagram schematically showing data held in first to fourth block areas.
FIG. 5 is a flowchart illustrating an example of a pixel interpolation process according to the first embodiment.
FIG. 6 is a diagram schematically illustrating a pixel array of RAW data.
FIG. 7 is a diagram for explaining one step of the pixel interpolation process according to the first embodiment.
FIG. 8 is a diagram for explaining one step of the pixel interpolation process according to the first embodiment.
FIG. 9 is a diagram schematically illustrating a configuration of a processing unit of a pixel interpolation device according to a second embodiment of the present invention.
FIG. 10 is a diagram for explaining one step of a pixel interpolation process according to the second embodiment.
FIG. 11 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 12 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 13 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 14 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 15 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 16 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 17 is a diagram schematically illustrating an example of a luminance pattern.
FIG. 18 is a diagram schematically illustrating an example of a luminance pattern.
[Explanation of symbols]
1 Pixel interpolation device
10 registers
11,12 FIFO memory
13, 13A processing unit
30 Evaluation value calculation unit
30a-30d adder
31, 40 area selector
32,44 interpolation unit
33, 41 Sorting circuit
34, 43 Data selection circuit
42 Detection circuit

Claims

A pixel interpolation device that converts input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel,
A register group for holding pixel data of a predetermined sampling range including a pixel of interest in the input image data,
An evaluation value calculation unit that calculates an evaluation value that defines the brightness of each of the block regions using the pixel data in the plurality of block regions set in the sampling range,
An area selection unit that calculates a magnitude relation between the evaluation values and selects a reference area from among the plurality of block areas based on the magnitude relation;
An interpolation unit that interpolates a color component missing in the pixel of interest using the pixel data in the reference region selected by the region selection unit,
A pixel interpolating device comprising:

2. The pixel interpolation device according to claim 1, wherein the evaluation value calculation unit calculates the evaluation value using an addition value obtained by adding values of all the pixel data in each of the block areas. 3. .

The pixel interpolation device according to claim 1 or 2, wherein:
The area selection unit,
A sort circuit that calculates a magnitude relation between the evaluation values and selects a predetermined number of the reference areas having an evaluation value close to a central value among a plurality of the evaluation values based on the magnitude relation;
A data selection circuit that takes in the pixel data in the reference area selected by the sort circuit from the register group and provides the data to the interpolation unit.
Pixel interpolation device.

4. The pixel interpolation device according to claim 1, wherein the interpolation unit averages color components of the same type in the reference area to remove a color missing in the pixel of interest. 5. A pixel interpolation device that interpolates components.

The pixel interpolation device according to claim 1 or 2, wherein:
The area selection unit,
A sort circuit for calculating a magnitude relationship between the evaluation values;
A detection circuit that detects a luminance pattern in the sampling range based on the magnitude relation calculated by the sorting circuit;
A data selection circuit for selectively capturing the pixel data from the register group according to the luminance pattern;
With
The interpolation unit, according to the luminance pattern, using the pixel data captured by the data selection circuit, to interpolate a color component missing in the pixel of interest,
Pixel interpolation device.

The pixel interpolation device according to claim 5, wherein
The detection circuit has a function of detecting a type of edge of a high-luminance area as the luminance pattern,
The interpolation unit, when the type of the edge is detected, arranges in the direction of the edge with respect to the pixel of interest and averages the same type of color component mainly including a luminance component to the pixel of interest. Interpolating the missing color component, if the type of the edge is not detected, the reference area having an evaluation value close to the center value among the plurality of evaluation values based on the magnitude relationship between the evaluation values. A function of selecting a predetermined number and averaging color components of the same type in the reference area to interpolate a color component missing in the pixel of interest;
Pixel interpolation device.

The pixel interpolation device according to claim 1, wherein the register group holds the pixel data in the sampling range of three rows and three columns.

A digital camera equipped with the pixel interpolation device according to claim 1.

A pixel interpolation method for converting input image data having a single color component in each pixel into color image data having a plurality of types of color components in each pixel,
(A) holding pixel data of a predetermined sampling range in the input image data;
(B) calculating an evaluation value that defines the brightness of each of the block regions using the pixel data in the plurality of block regions set within the sampling range;
(C) calculating a magnitude relation between the evaluation values and selecting a reference area from among the plurality of block areas based on the magnitude relation;
(D) using the pixel data in the reference area selected in the step (c) to interpolate a component missing in the pixel of interest;
A pixel interpolation method comprising:

10. The pixel interpolation method according to claim 9, wherein the step (b) includes a step of calculating the evaluation value using an added value obtained by adding values of all the pixel data in each of the block areas. Pixel interpolation method.

11. The pixel interpolation method according to claim 9, wherein in the step (c), a magnitude relationship between the evaluation values is calculated, and a central value among a plurality of the evaluation values is calculated based on the magnitude relationship. 12. And selecting a predetermined number of the reference areas having an evaluation value close to.

12. The pixel interpolation method according to claim 9, wherein in the step (d), the same kind of color component in the reference area is averaged to remove the target pixel. A pixel interpolation method including a step of interpolating existing color components.

The pixel interpolation method according to claim 9, wherein the step (c) comprises:
(C-1) calculating a magnitude relationship between the evaluation values;
(C-2) detecting a luminance pattern in the sampling range based on the magnitude relation calculated in the step (c-1);
(C-3) selectively taking in the pixel data held in the step (a) according to the luminance pattern detected in the step (c-2);
With
The step (d) includes a step of interpolating a color component missing in the pixel of interest using the pixel data captured in the step (c-3) according to the luminance pattern.
Pixel interpolation method.

The pixel interpolation method according to claim 13,
The step (c-2) includes a step of detecting a type of an edge of a high-luminance area as the luminance pattern,
In the step (d), when the type of the edge is detected in the step (c-2), the same kind of color component that is arranged in the direction of the edge with respect to the pixel of interest and mainly includes a luminance component Are averaged to interpolate the color component lacking in the pixel of interest. If the type of the edge is not detected in the step (c-2), a plurality of color components are determined based on the magnitude relationship between the evaluation values. A predetermined number of the reference areas having an evaluation value close to the central value among the evaluation values are selected, and color components lacking in the pixel of interest are interpolated by averaging the same kind of color components in the reference area. Including the step of
Pixel interpolation method.

The pixel interpolation method according to any one of claims 9 to 14, wherein the step (a) includes a step of holding the pixel data in the sampling range of 3 rows and 3 columns. Method.