JP2001245311A - 固体カラー撮像装置 - Google Patents
固体カラー撮像装置Info
- Publication number
- JP2001245311A JP2001245311A JP2000051615A JP2000051615A JP2001245311A JP 2001245311 A JP2001245311 A JP 2001245311A JP 2000051615 A JP2000051615 A JP 2000051615A JP 2000051615 A JP2000051615 A JP 2000051615A JP 2001245311 A JP2001245311 A JP 2001245311A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- correlation
- interpolated
- pixels
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
Abstract
(57)【要約】
【課題】 固体撮像素子と色分離フィルタとを用いた固
体カラー撮像装置において、画素間の相関を求め、相関
の高い周辺画素を用いて画素の輝度信号の補間処理を行
う際に、異なる色分離フィルタの出力信号に基づき相関
判定を行っているため、相関度の誤検出を引き起こして
いた。この相関の誤検出を低減し、高解像度な固体カラ
ー撮像装置を提供する。 【解決手段】 全色透過フィルタ,シアン色透過フィル
タ,黄色透過フィルタを有する固体撮像素子2から出力
される色信号をそれぞれ取り込んで、シアン色画素、お
よび黄色画素を被補間画素として、該被補間画素とその
周辺にある複数の画素に対しての相関度を算出する相関
度検出回路5において、1画面分の黄色画素,シアン色
画素の平均値に対する、1画面分の全色画素の平均値の
比率を求め、この比率をそれぞれシアン色画素、黄色画
素の値に乗算し、全色画素と同レベルにする補正処理を
行った後、被補間画素とその周辺画素との相関度を算出
する。
体カラー撮像装置において、画素間の相関を求め、相関
の高い周辺画素を用いて画素の輝度信号の補間処理を行
う際に、異なる色分離フィルタの出力信号に基づき相関
判定を行っているため、相関度の誤検出を引き起こして
いた。この相関の誤検出を低減し、高解像度な固体カラ
ー撮像装置を提供する。 【解決手段】 全色透過フィルタ,シアン色透過フィル
タ,黄色透過フィルタを有する固体撮像素子2から出力
される色信号をそれぞれ取り込んで、シアン色画素、お
よび黄色画素を被補間画素として、該被補間画素とその
周辺にある複数の画素に対しての相関度を算出する相関
度検出回路5において、1画面分の黄色画素,シアン色
画素の平均値に対する、1画面分の全色画素の平均値の
比率を求め、この比率をそれぞれシアン色画素、黄色画
素の値に乗算し、全色画素と同レベルにする補正処理を
行った後、被補間画素とその周辺画素との相関度を算出
する。
Description
【0001】
【発明の属する技術分野】本発明は、固体撮像素子と色
分離フィルタを用いた固体カラー撮像装置に関し、特
に、画素間の補間処理を行って高解像度を得る固体カラ
ー撮像装置の信号処理方法に関する。
分離フィルタを用いた固体カラー撮像装置に関し、特
に、画素間の補間処理を行って高解像度を得る固体カラ
ー撮像装置の信号処理方法に関する。
【0002】
【従来の技術】従来の固体カラー撮像装置において、よ
り高解像度な画像を得る方式として、特願平11−67
003号に記載の方式がある。この方式について、図
2、図6、図7を参照しながら説明する。
り高解像度な画像を得る方式として、特願平11−67
003号に記載の方式がある。この方式について、図
2、図6、図7を参照しながら説明する。
【0003】図6は従来の固体カラー撮像装置の構成を
示すブロック図であり、同図において、1は被写体を固
体撮像素子2表面上に結像させる光学系、2は結像され
た被写体像(光学像)を画像信号(電気信号)に変換す
る色分離フィルタ付き固体撮像素子、3は該固体撮像素
子2で変換された画像信号をデジタル画像信号に変換す
るAD変換器、4はデジタル画像信号を記憶する記憶回
路、105は相関度検出回路であり、記憶回路4に蓄え
られたデジタル画像信号の任意の画素における、周辺画
素との相関度を算出する。106は補間処理回路であ
り、相関度検出回路105から算出された相関度に基づ
いて補間処理を行い、輝度信号と色差信号とを出力す
る。
示すブロック図であり、同図において、1は被写体を固
体撮像素子2表面上に結像させる光学系、2は結像され
た被写体像(光学像)を画像信号(電気信号)に変換す
る色分離フィルタ付き固体撮像素子、3は該固体撮像素
子2で変換された画像信号をデジタル画像信号に変換す
るAD変換器、4はデジタル画像信号を記憶する記憶回
路、105は相関度検出回路であり、記憶回路4に蓄え
られたデジタル画像信号の任意の画素における、周辺画
素との相関度を算出する。106は補間処理回路であ
り、相関度検出回路105から算出された相関度に基づ
いて補間処理を行い、輝度信号と色差信号とを出力す
る。
【0004】図7に固体撮像素子2上の色分離フィルタ
の構成を示す図である。縦横に隣接する4画素を1つの
配列単位とし、フィルタの配置は、上部2画素は左から
順に全色透過フィルタ,シアン色透過フィルタ、下部2
画素は左から順に、黄色透過フィルタ,全色透過フィル
タ画素から構成されている。この配列単位が縦横方向に
連続して、繰り返し配置されている。
の構成を示す図である。縦横に隣接する4画素を1つの
配列単位とし、フィルタの配置は、上部2画素は左から
順に全色透過フィルタ,シアン色透過フィルタ、下部2
画素は左から順に、黄色透過フィルタ,全色透過フィル
タ画素から構成されている。この配列単位が縦横方向に
連続して、繰り返し配置されている。
【0005】固体撮像装置2の全色透過フィルタ,シア
ン色透過フィルタ,黄色透過フィルタを介し記憶回路4
にそれぞれ取り込まれた全色画素(以下、W画素と称す
る)、シアン色画素(以下、Cy画素と称する)、黄色
画素(以下、Ye画素と称する)をRGB成分で表すと
W=(R + G + B)/3、Cy=(G + B)/3、Ye=(R + G)/3、と表
現でき、W画素をW≒Y信号とすれば、W画素の出力信号
をそのまま輝度信号と表現できる。Cy画素、及びYe
画素については、相関度検出回路105において、縦横
どちらの方向に相関が大きいかを検出し、相関の大きい
方向に存在する画素を用いて、補間処理回路106によ
りCy画素の不足成分であるR成分と、Ye画素の不足
成分であるB成分を求め、それぞれCy画素、Ye画素
に加えることによって、輝度信号を表現している。
ン色透過フィルタ,黄色透過フィルタを介し記憶回路4
にそれぞれ取り込まれた全色画素(以下、W画素と称す
る)、シアン色画素(以下、Cy画素と称する)、黄色
画素(以下、Ye画素と称する)をRGB成分で表すと
W=(R + G + B)/3、Cy=(G + B)/3、Ye=(R + G)/3、と表
現でき、W画素をW≒Y信号とすれば、W画素の出力信号
をそのまま輝度信号と表現できる。Cy画素、及びYe
画素については、相関度検出回路105において、縦横
どちらの方向に相関が大きいかを検出し、相関の大きい
方向に存在する画素を用いて、補間処理回路106によ
りCy画素の不足成分であるR成分と、Ye画素の不足
成分であるB成分を求め、それぞれCy画素、Ye画素
に加えることによって、輝度信号を表現している。
【0006】図2はCyn画素を被補間画素とした場合
に、周辺画素の配置を示すものであり、図に示す(a)
の方向である縦方向の相関度をVc、(b)の方向であ
る横方向の相関度をHcとし、相関度検出回路105は
各相関度を次式を用いて算出する。 Vc=|Wu-Cyn|+|Wd-Cyn| (1) Hc=|Wl-Cyn|+|Wr-Cyn| (2)
に、周辺画素の配置を示すものであり、図に示す(a)
の方向である縦方向の相関度をVc、(b)の方向であ
る横方向の相関度をHcとし、相関度検出回路105は
各相関度を次式を用いて算出する。 Vc=|Wu-Cyn|+|Wd-Cyn| (1) Hc=|Wl-Cyn|+|Wr-Cyn| (2)
【0007】相関度検出回路105は、この垂直相関度
Vcと水平相関度Hcに一定の閾値thを与え、(3)
式が成り立てば垂直方向(a)に相関有り、(4)式が
成り立てば水平方向(b)に相関ありと判定し、検出結
果を補間処理回路106に出力する。 Vc+Th < Hc (3) Hc+Th < Vc (4)
Vcと水平相関度Hcに一定の閾値thを与え、(3)
式が成り立てば垂直方向(a)に相関有り、(4)式が
成り立てば水平方向(b)に相関ありと判定し、検出結
果を補間処理回路106に出力する。 Vc+Th < Hc (3) Hc+Th < Vc (4)
【0008】補間処理回路106は、被補間画素Cyn
画素と相関の大きい方向である垂直方向(a)または水
平方向(b)に存在する画素を用いて、上記Cyn画素
の不足成分であるR成分を求め、上記Cyn画素に加え
ることによって、輝度信号を求めている。
画素と相関の大きい方向である垂直方向(a)または水
平方向(b)に存在する画素を用いて、上記Cyn画素
の不足成分であるR成分を求め、上記Cyn画素に加え
ることによって、輝度信号を求めている。
【0009】同様に、被補間画素をYe画素とした場
合、相関度検出回路105は、上記(1)〜(4)式中
のCyをYeに置き換えて、周辺画素との相関度の算出
を行い、さらに補間処理回路106によりYe画素の不
足成分であるB成分を求め、Ye画素に加えることによ
って、輝度信号を求めることができる。
合、相関度検出回路105は、上記(1)〜(4)式中
のCyをYeに置き換えて、周辺画素との相関度の算出
を行い、さらに補間処理回路106によりYe画素の不
足成分であるB成分を求め、Ye画素に加えることによ
って、輝度信号を求めることができる。
【0010】
【発明が解決しようとする課題】特願平11−6700
3号記載の相関度検出方式においては、(1)、(2)
式に示すようにW画素とCy画素の差をとり、あるいは
W画素とYe画素の差をとることで相関検出を行ってい
る。ここで、W画素、Cy画素、Ye画素に同じ色の光
が入射している場合においても、W画素、Cy画素、Y
e画素の値はそれぞれ異なる値をとる。その結果、水平
垂直いずれの方向にも相関の無い被写体であっても、垂
直方向あるいは水平方向に相関ありという誤検出を引き
起こしたり、水平垂直いずれかの方向に相関がある被写
体であるにもかかわらず、相関無しという誤検出を引き
起こしたりするという問題点があった。本発明は上記問
題点を解消するためになされたものであり、相関検出誤
差の少ない、高解像度な固体カラー撮像装置を提供する
ことを目的とする。
3号記載の相関度検出方式においては、(1)、(2)
式に示すようにW画素とCy画素の差をとり、あるいは
W画素とYe画素の差をとることで相関検出を行ってい
る。ここで、W画素、Cy画素、Ye画素に同じ色の光
が入射している場合においても、W画素、Cy画素、Y
e画素の値はそれぞれ異なる値をとる。その結果、水平
垂直いずれの方向にも相関の無い被写体であっても、垂
直方向あるいは水平方向に相関ありという誤検出を引き
起こしたり、水平垂直いずれかの方向に相関がある被写
体であるにもかかわらず、相関無しという誤検出を引き
起こしたりするという問題点があった。本発明は上記問
題点を解消するためになされたものであり、相関検出誤
差の少ない、高解像度な固体カラー撮像装置を提供する
ことを目的とする。
【0011】
【課題を解決するための手段】本発明は上記目的を達成
するために、請求項1に係る固体カラー撮像装置は、縦
横に隣接する4画素を1つの配列パターンとする色分離
フィルタであって、上部2画素は、左から順に、全色透
過フィルタ、シアン色透過フィルタ、下部2画素は、左
から順に、黄色透過フィルタ、全色透過フィルタ、とな
る繰り返しパターンをもつ固体撮像素子と、上記各画素
が出力する色信号をそれぞれ取り込んで記憶する手段
と、該記憶手段に記憶されたシアン色透過画素又は黄色
透過画素を、被補間画素として、上記被補間画素周辺に
ある複数の画素に対しての相関度を算出する相関度検出
手段と、上記相関度検出手段により求められた相関度の
大きい方向の画素を用いて、上記被補間画素の補間を行
い、上記被補間画素の位置の全色透過信号を計算する補
間処理手段とを備えた固体カラー撮像装置であって、上
記相関度検出手段は、1画面分の黄色画素,シアン色画
素の平均値に対する、1画面分の全色画素の平均値の比
率を求め、各比率をこの画面のシアン色画素、黄色画素
の値にそれぞれ乗算し、全色画素と同レベルにする補正
処理を行った後、被補間画素とその周辺画素との相関度
を算出することを特徴とするものである。
するために、請求項1に係る固体カラー撮像装置は、縦
横に隣接する4画素を1つの配列パターンとする色分離
フィルタであって、上部2画素は、左から順に、全色透
過フィルタ、シアン色透過フィルタ、下部2画素は、左
から順に、黄色透過フィルタ、全色透過フィルタ、とな
る繰り返しパターンをもつ固体撮像素子と、上記各画素
が出力する色信号をそれぞれ取り込んで記憶する手段
と、該記憶手段に記憶されたシアン色透過画素又は黄色
透過画素を、被補間画素として、上記被補間画素周辺に
ある複数の画素に対しての相関度を算出する相関度検出
手段と、上記相関度検出手段により求められた相関度の
大きい方向の画素を用いて、上記被補間画素の補間を行
い、上記被補間画素の位置の全色透過信号を計算する補
間処理手段とを備えた固体カラー撮像装置であって、上
記相関度検出手段は、1画面分の黄色画素,シアン色画
素の平均値に対する、1画面分の全色画素の平均値の比
率を求め、各比率をこの画面のシアン色画素、黄色画素
の値にそれぞれ乗算し、全色画素と同レベルにする補正
処理を行った後、被補間画素とその周辺画素との相関度
を算出することを特徴とするものである。
【0012】本発明の請求項2に係る固体カラー撮像装
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、上記被補間画素とその周辺にある
シアン色画素、又は黄色画素の信号を、上記補正処理を
行った後、被補間画素とその横方向または縦方向に存在
する画素との相関度を算出することを特徴とするもので
ある。
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、上記被補間画素とその周辺にある
シアン色画素、又は黄色画素の信号を、上記補正処理を
行った後、被補間画素とその横方向または縦方向に存在
する画素との相関度を算出することを特徴とするもので
ある。
【0013】本発明の請求項3に係る固体カラー撮像装
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、上記被補間画素とその周辺にある
シアン色画素,又は黄色画素の信号を、上記補正処理を
行った後、被補間画素とその右方向または左方向または
上方向または下方向に存在する画素との相関度を算出す
ることを特徴とするものである。
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、上記被補間画素とその周辺にある
シアン色画素,又は黄色画素の信号を、上記補正処理を
行った後、被補間画素とその右方向または左方向または
上方向または下方向に存在する画素との相関度を算出す
ることを特徴とするものである。
【0014】本発明の請求項4に係る固体カラー撮像装
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、上記被補間画素とその周辺にある
シアン色画素、又は黄色画素の信号を、上記補正処理を
行った後、被補間画素とその上方向と右方向、または上
方向と左方向、または下方向と左方向、または下方向と
右方向に存在する画素との相関度を算出することを特徴
とするものである。
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、上記被補間画素とその周辺にある
シアン色画素、又は黄色画素の信号を、上記補正処理を
行った後、被補間画素とその上方向と右方向、または上
方向と左方向、または下方向と左方向、または下方向と
右方向に存在する画素との相関度を算出することを特徴
とするものである。
【0015】本発明の請求項5に係る固体カラー撮像装
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、1画面の色温度に閾値を設け、該
閾値を越えて画面の色温度が変化した場合には、上記被
補間画素と周辺画素との相関判定を行わず、相関検出範
囲外であることを上記補間処理手段に通知し、上記補間
処理手段は、上記被補間画素を含む、縦横に隣接する4
画素の平均により輝度信号を合成することを特徴とする
ものである。
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、1画面の色温度に閾値を設け、該
閾値を越えて画面の色温度が変化した場合には、上記被
補間画素と周辺画素との相関判定を行わず、相関検出範
囲外であることを上記補間処理手段に通知し、上記補間
処理手段は、上記被補間画素を含む、縦横に隣接する4
画素の平均により輝度信号を合成することを特徴とする
ものである。
【0016】本発明の請求項6に係る固体カラー撮像装
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、上記被補間画素の彩度に閾値を設
け、該閾値を超えて上記被補間画素の彩度が変化した場
合には、上記被補間画素と周辺画素との相関判定を行わ
ず、相関検出範囲外であることを上記補間処理手段に通
知し、上記補間処理手段は、上記被補間画素を含む、縦
横に隣接する4画素の平均により輝度信号を合成するこ
とを特徴とするものである。
置は、請求項1記載の固体カラー撮像装置において、上
記相関度検出手段は、上記被補間画素の彩度に閾値を設
け、該閾値を超えて上記被補間画素の彩度が変化した場
合には、上記被補間画素と周辺画素との相関判定を行わ
ず、相関検出範囲外であることを上記補間処理手段に通
知し、上記補間処理手段は、上記被補間画素を含む、縦
横に隣接する4画素の平均により輝度信号を合成するこ
とを特徴とするものである。
【0017】
【発明の実施の形態】(実施の形態1)以下に、本発明
の請求項1,請求項2,請求項3,及び請求項4に記載
された発明の実施の形態について、図1を用いて説明す
る。図1は本発明の実施の形態1による固体カラー撮像
装置の構成を示すブロック図である。図において、1は
被写体を固体撮像素子2表面上に結像させる光学系、2
は結像された被写体像(光学像)を画像信号(電気信
号)に変換する色分離フィルタ付き固体撮像素子、3は
該固体撮像素子2で変換された画像信号をデジタル画像
信号に変換するAD変換器、4はデジタル画像信号を記
憶する記憶回路、5は相関度検出回路であり、記憶回路
4に蓄えられたデジタル画像信号の任意の画素におけ
る、周辺画素との相関度を算出する。6は補間処理回路
であり、相関度検出回路5から算出された相関度に基づ
いて、記憶回路4の出力のデジタル画像信号の補間処理
を行い、輝度信号と色差信号とを出力する。また、補間
処理回路6は1画面分のW画素、Ye画素、Cy画素の
値の平均値、Wave,Yeave,Cyaveを相関度検出回
路5に出力している。
の請求項1,請求項2,請求項3,及び請求項4に記載
された発明の実施の形態について、図1を用いて説明す
る。図1は本発明の実施の形態1による固体カラー撮像
装置の構成を示すブロック図である。図において、1は
被写体を固体撮像素子2表面上に結像させる光学系、2
は結像された被写体像(光学像)を画像信号(電気信
号)に変換する色分離フィルタ付き固体撮像素子、3は
該固体撮像素子2で変換された画像信号をデジタル画像
信号に変換するAD変換器、4はデジタル画像信号を記
憶する記憶回路、5は相関度検出回路であり、記憶回路
4に蓄えられたデジタル画像信号の任意の画素におけ
る、周辺画素との相関度を算出する。6は補間処理回路
であり、相関度検出回路5から算出された相関度に基づ
いて、記憶回路4の出力のデジタル画像信号の補間処理
を行い、輝度信号と色差信号とを出力する。また、補間
処理回路6は1画面分のW画素、Ye画素、Cy画素の
値の平均値、Wave,Yeave,Cyaveを相関度検出回
路5に出力している。
【0018】相関度検出回路5において行われる、記憶
回路4に記憶されている任意の画素Ye画素又はCy画
素と、その周辺画素との相関度の算出処理について説明
する。まず、補間処理回路6からの出力Wave、Yeav
e、Cyaveを用いて、ゲインgyeとgcyを(5)、
(6)に示すようにして求める。 gye = Wave/Yeave (5) gcy = Wave/Cyave (6)
回路4に記憶されている任意の画素Ye画素又はCy画
素と、その周辺画素との相関度の算出処理について説明
する。まず、補間処理回路6からの出力Wave、Yeav
e、Cyaveを用いて、ゲインgyeとgcyを(5)、
(6)に示すようにして求める。 gye = Wave/Yeave (5) gcy = Wave/Cyave (6)
【0019】次に、(7)、(8)式に示すようにし
て、gyeをYe画素に、gcyをCy画素にかけるこ
とでW画素と同レベルにすることができる。 Ye' = gye × Ye (7) Cy' = gcy × Cy (8)
て、gyeをYe画素に、gcyをCy画素にかけるこ
とでW画素と同レベルにすることができる。 Ye' = gye × Ye (7) Cy' = gcy × Cy (8)
【0020】図2は、Cyn画素を被補間画素とした場
合に、周辺画素の配置を示すものであり、●印と○印
は、このCyn画素の補間処理で必要としないYe画素
と、W画素である。図2に示す(a)の方向である縦方
向の相関度をVc、(b)の方向である横方向の相関度
をHcとし、それぞれ次式を用いて算出する。ただし、
(9)、(10)式中の各Cy画素成分は(8)式で補
正されているものとする。 Vc=|Cyu-Cyd|+|Wu-Cyn|+|Wd-Cyn| (9) Hc=|Cyl-Cyr|+|Wl-Cyn|+|Wr-Cyn| (10)
合に、周辺画素の配置を示すものであり、●印と○印
は、このCyn画素の補間処理で必要としないYe画素
と、W画素である。図2に示す(a)の方向である縦方
向の相関度をVc、(b)の方向である横方向の相関度
をHcとし、それぞれ次式を用いて算出する。ただし、
(9)、(10)式中の各Cy画素成分は(8)式で補
正されているものとする。 Vc=|Cyu-Cyd|+|Wu-Cyn|+|Wd-Cyn| (9) Hc=|Cyl-Cyr|+|Wl-Cyn|+|Wr-Cyn| (10)
【0021】相関度検出回路5は、この垂直相関度Vc
と水平相関度Hcに一定の閾値Thを与え、(11)式
が成り立てば垂直方向(a)に相関有り、(12)式が
成り立てば水平方向(b)に相関あり、共に成り立たな
い場合は相関無しと判定し、検出結果を補間処理回路6
に出力する。 Vc+Th < Hc (11) Hc+Th < Vc (12)
と水平相関度Hcに一定の閾値Thを与え、(11)式
が成り立てば垂直方向(a)に相関有り、(12)式が
成り立てば水平方向(b)に相関あり、共に成り立たな
い場合は相関無しと判定し、検出結果を補間処理回路6
に出力する。 Vc+Th < Hc (11) Hc+Th < Vc (12)
【0022】次に、補間処理回路6における補間処理に
ついて述べる。相関度検出回路5により、相関方向が垂
直方向(a)と判断された場合は、被補間画素であるC
yn画素の補間処理に使用する画素として、縦方向
(a)のみの周辺画素を利用して、Cyn画素の不足成
分であるR成分,RCyを次式を用いて算出する。 RCy=(Wu+Wd)/2-(2×Cyn+Cyu+Cyd)/4 (13)
ついて述べる。相関度検出回路5により、相関方向が垂
直方向(a)と判断された場合は、被補間画素であるC
yn画素の補間処理に使用する画素として、縦方向
(a)のみの周辺画素を利用して、Cyn画素の不足成
分であるR成分,RCyを次式を用いて算出する。 RCy=(Wu+Wd)/2-(2×Cyn+Cyu+Cyd)/4 (13)
【0023】相関方向が水平方向(b)と判断された場
合は、被補間画素Cyn画素の補間処理に使用する画素
は、被補間画素Cyn画素に対して横方向(b)のみの
周辺画素を利用して、不足成分RCyを次式を用いて算
出する。 RCy=(Wl+Wr)/2-(2×Cyn+Cyl+Cyr)/4 (14)
合は、被補間画素Cyn画素の補間処理に使用する画素
は、被補間画素Cyn画素に対して横方向(b)のみの
周辺画素を利用して、不足成分RCyを次式を用いて算
出する。 RCy=(Wl+Wr)/2-(2×Cyn+Cyl+Cyr)/4 (14)
【0024】また、相関方向なしと判断された場合は、
被補間画素Cyn画素に対して、水平垂直両方向
(a),(b)の周辺画素を利用して、不足成分RCy
を次式を用いて算出する。 RCy=(Wu+Wd+Wl+Wr)/4-(4×Cyn+Cyu+Cyd+Cyl+Cyr)/8 (15)
被補間画素Cyn画素に対して、水平垂直両方向
(a),(b)の周辺画素を利用して、不足成分RCy
を次式を用いて算出する。 RCy=(Wu+Wd+Wl+Wr)/4-(4×Cyn+Cyu+Cyd+Cyl+Cyr)/8 (15)
【0025】(13)〜(15)式によって得られた不
足成分RCyを用いて、次式により被補間画素Cyn画
素のW成分を求めることができる。 W'=Cyn+RCy (16)
足成分RCyを用いて、次式により被補間画素Cyn画
素のW成分を求めることができる。 W'=Cyn+RCy (16)
【0026】また、相関度検出回路5において、被補間
画素Cyn画素とその周辺の画素の相関検出方向を、図
3に示すように上下左右の4方向にすることも考えられ
る。この場合、(c)の方向である上方向の相関度をU
c、(d)の方向である右方向の相関度をRcとし、
(e)の方向である下方向の相関度をDc、(f)の方
向である左方向の相関度をLcとし、各相関度を相関度
検出回路5により以下の式(17)〜(20)で算出す
る。 Uc=|Cyu-Cyn|+|Wu-Cyn| (17) Rc=|Cyr-Cyn|+|Wr-Cyn| (18) Dc=|Cyd-Cyn|+|Wd-Cyn| (19) Lc=|Cyl-Cyn|+|Wl-Cyn| (20)
画素Cyn画素とその周辺の画素の相関検出方向を、図
3に示すように上下左右の4方向にすることも考えられ
る。この場合、(c)の方向である上方向の相関度をU
c、(d)の方向である右方向の相関度をRcとし、
(e)の方向である下方向の相関度をDc、(f)の方
向である左方向の相関度をLcとし、各相関度を相関度
検出回路5により以下の式(17)〜(20)で算出す
る。 Uc=|Cyu-Cyn|+|Wu-Cyn| (17) Rc=|Cyr-Cyn|+|Wr-Cyn| (18) Dc=|Cyd-Cyn|+|Wd-Cyn| (19) Lc=|Cyl-Cyn|+|Wl-Cyn| (20)
【0027】相関度検出回路5は、式(17)〜(2
0)で算出した各相関度Uc,Rc,Dc,Lcに一定の閾
値Thを与え、(21)式が成り立てば上方向(c)に
相関有り、(22)式が成り立てば右方向(d)に相関
あり、(23)式が成り立てば下方向(e)に相関有
り、(24)式が成り立てば左方向(f)に相関あり、
全て成り立たない場合は相関無しと判定し、その検出結
果を補間処理回路6に出力する。ただし、min(l、
m、n)はl、m、nの中で最も小さい数を出力する関
数である。 Uc+Th < min(Rc,Dc,Lc) (21) Rc+Th < min(Uc,Dc,Lc) (22) Dc+Th < min(Uc,Rc,Lc) (23) Lc+Th < min(Uc,Rc,Dc) (24)
0)で算出した各相関度Uc,Rc,Dc,Lcに一定の閾
値Thを与え、(21)式が成り立てば上方向(c)に
相関有り、(22)式が成り立てば右方向(d)に相関
あり、(23)式が成り立てば下方向(e)に相関有
り、(24)式が成り立てば左方向(f)に相関あり、
全て成り立たない場合は相関無しと判定し、その検出結
果を補間処理回路6に出力する。ただし、min(l、
m、n)はl、m、nの中で最も小さい数を出力する関
数である。 Uc+Th < min(Rc,Dc,Lc) (21) Rc+Th < min(Uc,Dc,Lc) (22) Dc+Th < min(Uc,Rc,Lc) (23) Lc+Th < min(Uc,Rc,Dc) (24)
【0028】この場合の補間処理回路6における補間処
理は以下のとおりである。相関度検出回路6により相関
方向が上方向(c)と判断された場合は、補間処理回路
6は、被補間画素であるCyn画素の補間処理に使用す
る画素として、上方向(c)のみの周辺画素を利用し
て、Cyn画素の不足成分であるR成分,RCyを次式
を用いて算出する。 RCy=Wu-(Cyn+Cyu)/ 2 (25)
理は以下のとおりである。相関度検出回路6により相関
方向が上方向(c)と判断された場合は、補間処理回路
6は、被補間画素であるCyn画素の補間処理に使用す
る画素として、上方向(c)のみの周辺画素を利用し
て、Cyn画素の不足成分であるR成分,RCyを次式
を用いて算出する。 RCy=Wu-(Cyn+Cyu)/ 2 (25)
【0029】相関方向が右方向(d)と判断された場合
は、被補間画素Cyn画素の補間処理に使用する画素
は、被補間画素Cyn画素に対して右方向(d)のみの
周辺画素を利用して、不足成分RCyを次式を用いて算
出する。 RCy=Wr-(Cyn+Cyr)/2 (26)
は、被補間画素Cyn画素の補間処理に使用する画素
は、被補間画素Cyn画素に対して右方向(d)のみの
周辺画素を利用して、不足成分RCyを次式を用いて算
出する。 RCy=Wr-(Cyn+Cyr)/2 (26)
【0030】相関方向が下方向(e)と判断された場合
は、補間処理に使用する画素は、被補間画素Cyn画素
に対して下方向(e)のみの周辺画素を利用して、不足
成分RCyを次式を用いて算出する。 RCy=Wd-(Cyn+Cyd)/2 (27)
は、補間処理に使用する画素は、被補間画素Cyn画素
に対して下方向(e)のみの周辺画素を利用して、不足
成分RCyを次式を用いて算出する。 RCy=Wd-(Cyn+Cyd)/2 (27)
【0031】相関方向が左方向(f)と判断された場合
は、補間処理に使用する画素は、被補間画素Cyn画素
に対して左方向(f)のみの周辺画素を利用して、不足
成分RCyを次式を用いて算出する。 RCy=Wl-(Cyn+Cyl)/2 (28)
は、補間処理に使用する画素は、被補間画素Cyn画素
に対して左方向(f)のみの周辺画素を利用して、不足
成分RCyを次式を用いて算出する。 RCy=Wl-(Cyn+Cyl)/2 (28)
【0032】相関方向なしと判断された場合は、被補間
画素Cyn画素に対して、上下左右4方向(c),
(d),(e),(f)の周辺画素を利用して、不足成
分RCyを(15)式(:RCy=(Wu+Wd+Wl+Wr)/4-(4×Cy
n+Cyu+Cyd+Cyl+Cyr)/8)を用いて算出する。
画素Cyn画素に対して、上下左右4方向(c),
(d),(e),(f)の周辺画素を利用して、不足成
分RCyを(15)式(:RCy=(Wu+Wd+Wl+Wr)/4-(4×Cy
n+Cyu+Cyd+Cyl+Cyr)/8)を用いて算出する。
【0033】補間処理回路6は、(15)、(25)〜
(28)式によって得られた不足成分RCyを用いて、
(16)式(:W'=Cyn+Rcy)により被補間画素Cyn画
素のW成分を求めることができる。
(28)式によって得られた不足成分RCyを用いて、
(16)式(:W'=Cyn+Rcy)により被補間画素Cyn画
素のW成分を求めることができる。
【0034】さらに、相関度検出回路5において、相関
検出方向を、図4に示すように右上L字方向,右下L字
方向,左下L字方向,左上L字方向の4方向に検出する
ことも考えられる。この場合、(g)の方向である右上
L字方向の相関度をRUc、(h)の方向である右下L
字方向の相関度をRDcとし、(i)の方向である左下
L字方向の相関度をLDc、(j)の方向である左上L
字方向の相関度をLUcとし、各相関度を相関度検出回
路5により以下の式(29)〜(32)で算出する。 RUc=|Cyr-Cyn|+|Cyu-Cyn|+|Wr-Cyn|+|Wu-Cyn| (29) RDc=|Cyr-Cyn|+|Cyd-Cyn|+|Wr-Cyn|+|Wd-Cyn| (30) LDc=|Cyl-Cyn|+|Cyd-Cyn|+|Wl-Cyn|+|Wd-Cyn| (31) LUc=|Cyl-Cyn|+|Cyu-Cyn|+|Wl-Cyn|+|Wu-Cyn| (32)
検出方向を、図4に示すように右上L字方向,右下L字
方向,左下L字方向,左上L字方向の4方向に検出する
ことも考えられる。この場合、(g)の方向である右上
L字方向の相関度をRUc、(h)の方向である右下L
字方向の相関度をRDcとし、(i)の方向である左下
L字方向の相関度をLDc、(j)の方向である左上L
字方向の相関度をLUcとし、各相関度を相関度検出回
路5により以下の式(29)〜(32)で算出する。 RUc=|Cyr-Cyn|+|Cyu-Cyn|+|Wr-Cyn|+|Wu-Cyn| (29) RDc=|Cyr-Cyn|+|Cyd-Cyn|+|Wr-Cyn|+|Wd-Cyn| (30) LDc=|Cyl-Cyn|+|Cyd-Cyn|+|Wl-Cyn|+|Wd-Cyn| (31) LUc=|Cyl-Cyn|+|Cyu-Cyn|+|Wl-Cyn|+|Wu-Cyn| (32)
【0035】相関度検出回路5は、式(29)〜(3
2)で算出した各相関度RUc,RDc,LDc,LUcに
一定の閾値Thを与え、(33)式が成り立てば右上L
字方向(g)に相関有り、(34)式が成り立てば右下
L字方向(h)に相関あり、(35)式が成り立てば左
下L字方向(i)に相関有り、(36)式が成り立てば
左上L字方向(j)に相関あり、全て成り立たない場合
は相関無しと判定し、検出結果を補間処理回路6に出力
する。 RUc+Th < min(RDc,LUc,LDc) (33) RDc+Th < min(RUc,LUc,LDc) (34) LDc+Th < min(RUc,RDc,LUc) (35) LUc+Th < min(RUc,RDc,LDc) (36)
2)で算出した各相関度RUc,RDc,LDc,LUcに
一定の閾値Thを与え、(33)式が成り立てば右上L
字方向(g)に相関有り、(34)式が成り立てば右下
L字方向(h)に相関あり、(35)式が成り立てば左
下L字方向(i)に相関有り、(36)式が成り立てば
左上L字方向(j)に相関あり、全て成り立たない場合
は相関無しと判定し、検出結果を補間処理回路6に出力
する。 RUc+Th < min(RDc,LUc,LDc) (33) RDc+Th < min(RUc,LUc,LDc) (34) LDc+Th < min(RUc,RDc,LUc) (35) LUc+Th < min(RUc,RDc,LDc) (36)
【0036】この場合の補間処理回路6における補間処
理は以下のとおりである。相関度検出回路6により相関
方向が右上L字方向(g)と判断された場合は、補間処
理回路6は、被補間画素であるCyn画素の補間処理に
使用する画素として、右上L字(g)方向のみの周辺画
素を利用して、Cyn画素の不足成分RCyを次式を用
いて算出する。 RCy=(Wu+Wr)/2-(2×Cyn+Cyu+Cyr)/4 (37)
理は以下のとおりである。相関度検出回路6により相関
方向が右上L字方向(g)と判断された場合は、補間処
理回路6は、被補間画素であるCyn画素の補間処理に
使用する画素として、右上L字(g)方向のみの周辺画
素を利用して、Cyn画素の不足成分RCyを次式を用
いて算出する。 RCy=(Wu+Wr)/2-(2×Cyn+Cyu+Cyr)/4 (37)
【0037】相関方向が右下L字方向(h)と判断され
た場合は、被補間画素Cyn画素の補間処理に使用する
画素は、被補間画素Cyn画素に対して右下L字方向
(h)のみの周辺画素を利用して、不足成分RCyを次
式を用いて算出する。
た場合は、被補間画素Cyn画素の補間処理に使用する
画素は、被補間画素Cyn画素に対して右下L字方向
(h)のみの周辺画素を利用して、不足成分RCyを次
式を用いて算出する。
【0038】 RCy=(Wd+Wr)/2-(2×Cyn+Cyd+Cyr)/4 (38)
【0039】相関方向が左下L字方向(i)と判断され
た場合は、被補間画素Cyn画素の補間処理に使用する
画素は、被補間画素Cyn画素に対して左下L字方向
(i)のみの周辺画素を利用して、不足成分RCyを次
式を用いて算出する。 RCy=(Wd+Wl)/2-(2×Cyn+Cyd+Cyl)/4 (39)
た場合は、被補間画素Cyn画素の補間処理に使用する
画素は、被補間画素Cyn画素に対して左下L字方向
(i)のみの周辺画素を利用して、不足成分RCyを次
式を用いて算出する。 RCy=(Wd+Wl)/2-(2×Cyn+Cyd+Cyl)/4 (39)
【0040】相関方向が左上L字方向(j)と判断され
た場合は、被補間画素Cyn画素の補間処理に使用する
画素は、被補間画素Cyn画素に対して左上L字方向
(j)のみの周辺画素を利用して、不足成分RCyを次
式を用いて算出する。 RCy=(Wu+Wl)/2-(2×Cyn+Cyu+Cyl)/4 (40)
た場合は、被補間画素Cyn画素の補間処理に使用する
画素は、被補間画素Cyn画素に対して左上L字方向
(j)のみの周辺画素を利用して、不足成分RCyを次
式を用いて算出する。 RCy=(Wu+Wl)/2-(2×Cyn+Cyu+Cyl)/4 (40)
【0041】また、相関方向なしと判断された場合は、
被補間画素Cyn画素に対して、右上L字方向(g),
右下L字方向(h),左下L字方向(i),左上L字方
向(j)の4方向の周辺画素を利用して、不足成分RC
yを(15)式(:RCy=(Wu+Wd+Wl+Wr)/4-(4×Cyn+Cyu+
Cyd+Cyl+Cyr)/8)を用いて算出する。
被補間画素Cyn画素に対して、右上L字方向(g),
右下L字方向(h),左下L字方向(i),左上L字方
向(j)の4方向の周辺画素を利用して、不足成分RC
yを(15)式(:RCy=(Wu+Wd+Wl+Wr)/4-(4×Cyn+Cyu+
Cyd+Cyl+Cyr)/8)を用いて算出する。
【0042】補間処理回路6は、(15)、(37)〜
(40)式によって得られた不足成分RCyを用いて、
(16)式(:W'=Cyn+Rcy)により被補間画素Cyn画
素のW成分を求めることができる。このように、記憶回
路4に記録されている全てのCy画素について、同様に
して上記の操作により輝度信号を算出する。
(40)式によって得られた不足成分RCyを用いて、
(16)式(:W'=Cyn+Rcy)により被補間画素Cyn画
素のW成分を求めることができる。このように、記憶回
路4に記録されている全てのCy画素について、同様に
して上記の操作により輝度信号を算出する。
【0043】また、Ye画素が被補間画素の場合は、相
関度検出回路5は、(9)〜(10)式,(17)〜
(20)式,(29)〜(32)式中のCyをYeに置
き換えて、周辺画素との相関度の算出を行うことができ
る。ただし、これら(9)〜(10)式、(17)〜
(20)式、(29)〜(32)式中の各Ye画素成分
は予め(7)式で補正されているものである。
関度検出回路5は、(9)〜(10)式,(17)〜
(20)式,(29)〜(32)式中のCyをYeに置
き換えて、周辺画素との相関度の算出を行うことができ
る。ただし、これら(9)〜(10)式、(17)〜
(20)式、(29)〜(32)式中の各Ye画素成分
は予め(7)式で補正されているものである。
【0044】次に、補間処理回路6は、(13)〜(1
6)式,(25)〜(28)式,(37)〜(40)式
中の右辺のCyをYeに置き換えて、Ye画素の不足成
分であるB成分,BYeを求める。そして、補間処理回
路6はYe画素の不足成分を用い、W'=Yen+BYeとするこ
とで、Yen画素のW成分を求めることができる。この
ように、記憶回路4に記録されている全てのYeについ
て、同様にして上記の操作を行い輝度信号を算出する。
6)式,(25)〜(28)式,(37)〜(40)式
中の右辺のCyをYeに置き換えて、Ye画素の不足成
分であるB成分,BYeを求める。そして、補間処理回
路6はYe画素の不足成分を用い、W'=Yen+BYeとするこ
とで、Yen画素のW成分を求めることができる。この
ように、記憶回路4に記録されている全てのYeについ
て、同様にして上記の操作を行い輝度信号を算出する。
【0045】以上説明したように本実施の形態1では、
W画素の輝度信号はそのまま使用し、Cy画素、及びY
e画素の輝度信号は、それぞれの画素と相関が高い周辺
画素で補間しているので、解像度の低下を低減すること
が可能となる。さらに、固体撮像素子2から出力される
色信号から輝度信号を合成する際に、上記相関度検出回
路5は、補間処理回路6からのYe画素、Cy画素,W
画素の各色フィルタの出力比率を用いて、Ye画素、C
y画素のゲインを求め、被補間画素とその周辺画素であ
るYe画素、Cy画素をW画素と同レベルになるように
補正をした後、その相関判定を行っているので、相関度
検出回路5による相関度の誤検出を低減することが可能
である。
W画素の輝度信号はそのまま使用し、Cy画素、及びY
e画素の輝度信号は、それぞれの画素と相関が高い周辺
画素で補間しているので、解像度の低下を低減すること
が可能となる。さらに、固体撮像素子2から出力される
色信号から輝度信号を合成する際に、上記相関度検出回
路5は、補間処理回路6からのYe画素、Cy画素,W
画素の各色フィルタの出力比率を用いて、Ye画素、C
y画素のゲインを求め、被補間画素とその周辺画素であ
るYe画素、Cy画素をW画素と同レベルになるように
補正をした後、その相関判定を行っているので、相関度
検出回路5による相関度の誤検出を低減することが可能
である。
【0046】(実施の形態2)以下に、本発明の請求項
5及び請求項6に記載された発明の実施の形態につい
て、図1と図5を用いて説明する。なお、本実施の形態
の固体カラー撮像装置の構成は実施の形態1と同じ構成
であるので、図5の構成については説明を省略する。図
5は、W画素の1画面分の平均値Waveに対する、Ye
画素とCy画素の1画面分の平均値YeaveとCyaveの
比率の色温度による変化を示した図である。同図に示す
ように色温度が低い時はCyaveが小さく、色温度が高
い時はYeaveが小さくなる。つまり(5)式(:gye =
Wave/Yeave)で求められるgyeは、色温度が高い
時に大きくなり、(6)式(:gcy = Wave/Cyave)
で求められるgcyは色温度が低い時に大きくなる。g
yeとgcyが大きくなるにつれ、(7)式(:Ye' =
gye × Ye),(8)式(:Cy' = gcy × Cy)により求
められる補正後のYeとCyにはノイズもgye倍、g
cy倍されて混入するため、相関度検出回路5に誤動作
を及ぼすようになる。
5及び請求項6に記載された発明の実施の形態につい
て、図1と図5を用いて説明する。なお、本実施の形態
の固体カラー撮像装置の構成は実施の形態1と同じ構成
であるので、図5の構成については説明を省略する。図
5は、W画素の1画面分の平均値Waveに対する、Ye
画素とCy画素の1画面分の平均値YeaveとCyaveの
比率の色温度による変化を示した図である。同図に示す
ように色温度が低い時はCyaveが小さく、色温度が高
い時はYeaveが小さくなる。つまり(5)式(:gye =
Wave/Yeave)で求められるgyeは、色温度が高い
時に大きくなり、(6)式(:gcy = Wave/Cyave)
で求められるgcyは色温度が低い時に大きくなる。g
yeとgcyが大きくなるにつれ、(7)式(:Ye' =
gye × Ye),(8)式(:Cy' = gcy × Cy)により求
められる補正後のYeとCyにはノイズもgye倍、g
cy倍されて混入するため、相関度検出回路5に誤動作
を及ぼすようになる。
【0047】そこで、図5に示すように、相関度検出回
路5による相関検出範囲を設定し、この範囲内に色温度
が存在する場合は、相関度検出回路5は被補間画素Ye
画素,又はCy画素と、その周辺画素の相関度検出を行
い、補間処理回路6はこの相関度に基づきYe画素,C
y画素の輝度信号を補間合成する。
路5による相関検出範囲を設定し、この範囲内に色温度
が存在する場合は、相関度検出回路5は被補間画素Ye
画素,又はCy画素と、その周辺画素の相関度検出を行
い、補間処理回路6はこの相関度に基づきYe画素,C
y画素の輝度信号を補間合成する。
【0048】色温度が相関検出範囲内に存在しない場合
は、相関度検出回路5は、相関検出を行わず、相関度検
出範囲外であることを補間処理回路6に通知する。補間
処理回路6は、上記通知を受けると図7に太い枠で示す
4画素による平均値で各画素毎の輝度信号を求め、画素
の枠を左右上下に1画素づつずらしながら1画面分のY
e画素、Cy画素の輝度信号を求める。
は、相関度検出回路5は、相関検出を行わず、相関度検
出範囲外であることを補間処理回路6に通知する。補間
処理回路6は、上記通知を受けると図7に太い枠で示す
4画素による平均値で各画素毎の輝度信号を求め、画素
の枠を左右上下に1画素づつずらしながら1画面分のY
e画素、Cy画素の輝度信号を求める。
【0049】また、図5に示すWaveとYeave、Cyav
eの比率はあくまでも全画面の画素の平均値であるた
め、無彩色時の比率と考えることができ、そのため色温
度が相関検出範囲内にあっても、彩度の高い画素部では
相関検出に誤差が生じる。そこで、彩度の閾値を設け、
被補間画素の彩度が閾値を越えている場合には、相関度
検出回路5は相関検出を行わず、相関度検出範囲外であ
ることを補間処理回路6に通知する。補間処理回路6
は、上記通知を受けると図7に太い枠で示す4画素によ
る平均値で、被補間画素の輝度信号を求め、画素の枠を
左右上下に1画素づつずらしながら1画面分のYe画
素、Cy画素の輝度信号を求める。
eの比率はあくまでも全画面の画素の平均値であるた
め、無彩色時の比率と考えることができ、そのため色温
度が相関検出範囲内にあっても、彩度の高い画素部では
相関検出に誤差が生じる。そこで、彩度の閾値を設け、
被補間画素の彩度が閾値を越えている場合には、相関度
検出回路5は相関検出を行わず、相関度検出範囲外であ
ることを補間処理回路6に通知する。補間処理回路6
は、上記通知を受けると図7に太い枠で示す4画素によ
る平均値で、被補間画素の輝度信号を求め、画素の枠を
左右上下に1画素づつずらしながら1画面分のYe画
素、Cy画素の輝度信号を求める。
【0050】以上説明したように本実施の形態2では、
被補間画素の色温度や、彩度に応じて、各画素の輝度信
号の算出方法を変えることにより、上記画素の色温度
や、彩度が原因で生じる被補間画素と周辺画素との相関
度の誤検出を防ぎ、画質劣化を防ぐことが可能となる。
被補間画素の色温度や、彩度に応じて、各画素の輝度信
号の算出方法を変えることにより、上記画素の色温度
や、彩度が原因で生じる被補間画素と周辺画素との相関
度の誤検出を防ぎ、画質劣化を防ぐことが可能となる。
【0051】
【発明の効果】以上のように、本発明の請求項1に係る
固体カラー撮像装置によれば、縦横に隣接する4画素を
1つの配列パターンとする色分離フィルタであって、上
部2画素は、左から順に、全色透過フィルタ、シアン色
透過フィルタ、下部2画素は、左から順に、黄色透過フ
ィルタ、全色透過フィルタ、となる繰り返しパターンを
もつ固体撮像素子と、上記各画素が出力する色信号をそ
れぞれ取り込んで記憶する手段と、該記憶手段に記憶さ
れたシアン色画素又は黄色画素を、被補間画素として、
上記被補間画素周辺にある複数の画素に対しての相関度
を算出する相関度検出手段と、上記相関度検出手段によ
り求められた相関度の大きい方向の画素を用いて、上記
被補間画素の補間を行い、上記被補間画素の位置の全色
透過信号を計算する補間処理手段とを備えた固体カラー
撮像装置であって、上記相関度検出手段は、1画面分の
黄色画素,シアン色画素の平均値に対する、1画面分の
全色画素の平均値の比率を求め、各比率をこの画面のシ
アン色画素、黄色画素の値にそれぞれ乗算し、全色画素
と同レベルにする補正処理を行った後、被補間画素とそ
の周辺画素との相関度を算出するものとしたので、上記
相関度検出手段による被補間画素と周辺画素との相関の
誤検出を低減し、高解像度な固体カラー撮像装置を実現
することができる効果を有する。
固体カラー撮像装置によれば、縦横に隣接する4画素を
1つの配列パターンとする色分離フィルタであって、上
部2画素は、左から順に、全色透過フィルタ、シアン色
透過フィルタ、下部2画素は、左から順に、黄色透過フ
ィルタ、全色透過フィルタ、となる繰り返しパターンを
もつ固体撮像素子と、上記各画素が出力する色信号をそ
れぞれ取り込んで記憶する手段と、該記憶手段に記憶さ
れたシアン色画素又は黄色画素を、被補間画素として、
上記被補間画素周辺にある複数の画素に対しての相関度
を算出する相関度検出手段と、上記相関度検出手段によ
り求められた相関度の大きい方向の画素を用いて、上記
被補間画素の補間を行い、上記被補間画素の位置の全色
透過信号を計算する補間処理手段とを備えた固体カラー
撮像装置であって、上記相関度検出手段は、1画面分の
黄色画素,シアン色画素の平均値に対する、1画面分の
全色画素の平均値の比率を求め、各比率をこの画面のシ
アン色画素、黄色画素の値にそれぞれ乗算し、全色画素
と同レベルにする補正処理を行った後、被補間画素とそ
の周辺画素との相関度を算出するものとしたので、上記
相関度検出手段による被補間画素と周辺画素との相関の
誤検出を低減し、高解像度な固体カラー撮像装置を実現
することができる効果を有する。
【0052】本発明の請求項2に係る固体カラー撮像装
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、上記被補間画素とその周辺
にあるシアン色画素、又は黄色画素の信号を、上記補正
処理を行った後、被補間画素とその横方向または縦方向
に存在する画素との相関度を算出するものとしたので、
上記相関度検出手段による被補間画素と周辺画素との相
関の誤検出を低減し、高解像度な固体カラー撮像装置を
実現することができる効果を有する。
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、上記被補間画素とその周辺
にあるシアン色画素、又は黄色画素の信号を、上記補正
処理を行った後、被補間画素とその横方向または縦方向
に存在する画素との相関度を算出するものとしたので、
上記相関度検出手段による被補間画素と周辺画素との相
関の誤検出を低減し、高解像度な固体カラー撮像装置を
実現することができる効果を有する。
【0053】本発明の請求項3に係る固体カラー撮像装
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、上記被補間画素とその周辺
にあるシアン色画素,又は黄色画素の信号を、上記補正
処理を行った後、被補間画素とその右方向または左方向
または上方向または下方向に存在する画素との相関度を
算出するものとしたので、上記相関度検出手段による被
補間画素と周辺画素との相関の誤検出を低減し、高解像
度な固体カラー撮像装置を実現することができる効果を
有する。
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、上記被補間画素とその周辺
にあるシアン色画素,又は黄色画素の信号を、上記補正
処理を行った後、被補間画素とその右方向または左方向
または上方向または下方向に存在する画素との相関度を
算出するものとしたので、上記相関度検出手段による被
補間画素と周辺画素との相関の誤検出を低減し、高解像
度な固体カラー撮像装置を実現することができる効果を
有する。
【0054】本発明の請求項4に係る固体カラー撮像装
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、上記被補間画素とその周辺
にあるシアン色画素、又は黄色画素の信号を、上記補正
処理を行った後、被補間画素とその上方向と右方向、ま
たは上方向と左方向、または下方向と左方向、または下
方向と右方向に存在する画素との相関度を算出するもの
としたので、上記相関度検出手段による被補間画素と周
辺画素との相関の誤検出を低減し、高解像度な固体カラ
ー撮像装置を実現することができる効果を有する。
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、上記被補間画素とその周辺
にあるシアン色画素、又は黄色画素の信号を、上記補正
処理を行った後、被補間画素とその上方向と右方向、ま
たは上方向と左方向、または下方向と左方向、または下
方向と右方向に存在する画素との相関度を算出するもの
としたので、上記相関度検出手段による被補間画素と周
辺画素との相関の誤検出を低減し、高解像度な固体カラ
ー撮像装置を実現することができる効果を有する。
【0055】本発明の請求項5に係る固体カラー撮像装
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、1画面の色温度に閾値を設
け、該閾値を越えて画面の色温度が変化した場合には、
上記被補間画素と周辺画素との相関判定を行わず、相関
検出範囲外であることを上記補間処理手段に通知し、上
記補間処理手段は、上記被補間画素を含む、縦横に隣接
する4画素の平均により輝度信号を合成するものとした
ので、被補間画素,周辺画素の色温度が上記閾値を越え
ることが原因で発生する、上記相関度検出手段による相
関度の誤検出を防ぎ、画質劣化を防ぐことが可能とな
る。
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、1画面の色温度に閾値を設
け、該閾値を越えて画面の色温度が変化した場合には、
上記被補間画素と周辺画素との相関判定を行わず、相関
検出範囲外であることを上記補間処理手段に通知し、上
記補間処理手段は、上記被補間画素を含む、縦横に隣接
する4画素の平均により輝度信号を合成するものとした
ので、被補間画素,周辺画素の色温度が上記閾値を越え
ることが原因で発生する、上記相関度検出手段による相
関度の誤検出を防ぎ、画質劣化を防ぐことが可能とな
る。
【0056】本発明の請求項6に係る固体カラー撮像装
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、上記被補間画素の彩度に閾
値を設け、該閾値を超えて上記被補間画素の彩度が変化
した場合には、上記被補間画素と周辺画素との相関判定
を行わず、相関検出範囲外であることを上記補間処理手
段に通知し、上記補間処理手段は、上記被補間画素を含
む、縦横に隣接する4画素の平均により輝度信号を合成
するものとしたので、被補間画素,周辺画素の彩度が上
記閾値を越えることが原因で発生する、上記相関度検出
手段による相関度の誤検出を防ぎ、画質劣化を防ぐこと
が可能となる。
置によれば、請求項1記載の固体カラー撮像装置におい
て、上記相関度検出手段は、上記被補間画素の彩度に閾
値を設け、該閾値を超えて上記被補間画素の彩度が変化
した場合には、上記被補間画素と周辺画素との相関判定
を行わず、相関検出範囲外であることを上記補間処理手
段に通知し、上記補間処理手段は、上記被補間画素を含
む、縦横に隣接する4画素の平均により輝度信号を合成
するものとしたので、被補間画素,周辺画素の彩度が上
記閾値を越えることが原因で発生する、上記相関度検出
手段による相関度の誤検出を防ぎ、画質劣化を防ぐこと
が可能となる。
【図1】本発明の実施の形態1,2による固体カラー撮
像装置の構成を示すブロック図である。
像装置の構成を示すブロック図である。
【図2】本発明の実施の形態1における、被補間画素と
その周辺画素の相関検出方法,輝度補間方法の説明図で
ある。
その周辺画素の相関検出方法,輝度補間方法の説明図で
ある。
【図3】本発明の実施の形態1における、被補間画素と
その周辺画素の相関検出方法,輝度補間方法の説明図で
ある。
その周辺画素の相関検出方法,輝度補間方法の説明図で
ある。
【図4】本発明の実施の形態1における、被補間画素と
その周辺画素の相関検出方法,輝度補間方法の説明図で
ある。
その周辺画素の相関検出方法,輝度補間方法の説明図で
ある。
【図5】本発明の実施の形態2における、被補間画素と
その周辺画素の相関検出方法の説明図である。
その周辺画素の相関検出方法の説明図である。
【図6】従来の固体カラー撮像装置の構成を示すブロッ
ク図である。
ク図である。
【図7】従来及び本発明の固体カラー撮像装置におけ
る、固体撮像素子の色分離フィルタの構成を示す図であ
る。
る、固体撮像素子の色分離フィルタの構成を示す図であ
る。
1 光学系 2 固体撮像素子 3 AD変換器 4 記憶回路 5,105 相関度検出回路 6,106 補間処理回路
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 510 H04N 9/64 R 5C079 H04N 1/60 G06F 15/70 310 5L096 1/48 H04N 1/40 D 9A001 9/64 1/46 A Fターム(参考) 5B047 AB04 BB01 BC07 CA23 CB22 DC09 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 DA20 DB02 DB06 DB09 DC25 DC34 DC36 5C065 AA01 BB30 CC01 DD01 EE05 EE07 EE08 EE09 GG13 GG21 GG22 GG23 GG30 5C066 AA01 BA01 CA17 GA01 GA05 KE09 KM02 KM06 5C077 LL01 LL19 MM02 MP08 PP09 PP34 PP37 PP46 PQ03 PQ20 RR14 RR19 SS01 5C079 HB02 HB04 JA02 JA13 JA22 LA01 LA28 MA11 NA02 NA04 5L096 AA02 AA06 BA08 CA14 DA01 FA32 FA34 GA19 GA51 9A001 HH31 JJ71 KK42
Claims (6)
- 【請求項1】 縦横に隣接する4画素を1つの配列パタ
ーンとする色分離フィルタであって、上部2画素は、左
から順に、全色透過フィルタ、シアン色透過フィルタ、
下部2画素は、左から順に、黄色透過フィルタ、全色透
過フィルタ、となる繰り返しパターンをもつ固体撮像素
子と、 上記各画素が出力する色信号をそれぞれ取り込んで記憶
する手段と、 該記憶手段に記憶されたシアン色画素又は黄色画素を、
被補間画素として、上記被補間画素周辺にある複数の画
素に対しての相関度を算出する相関度検出手段と、 上記相関度検出手段により求められた相関度の大きい方
向の画素を用いて、上記被補間画素の補間を行い、上記
被補間画素の位置の全色透過信号を計算する補間処理手
段とを備えた固体カラー撮像装置であって、 上記相関度検出手段は、 1画面分の黄色画素,シアン色画素の平均値に対する、
1画面分の全色画素の平均値の比率を求め、各比率をこ
の画面のシアン色画素、黄色画素の値にそれぞれ乗算
し、全色画素と同レベルにする補正処理を行った後、被
補間画素とその周辺画素との相関度を算出する、 ことを特徴とする固体カラー撮像装置。 - 【請求項2】 請求項1記載の固体カラー撮像装置にお
いて、 上記相関度検出手段は、 上記被補間画素とその周辺にあるシアン色画素、又は黄
色画素の信号を、上記補正処理を行った後、被補間画素
とその横方向または縦方向に存在する画素との相関度を
算出する、 ことを特徴とする固体カラー撮像装置。 - 【請求項3】 請求項1記載の固体カラー撮像装置にお
いて、 上記相関度検出手段は、 上記被補間画素とその周辺にあるシアン色画素,又は黄
色画素の信号を、上記補正処理を行った後、被補間画素
とその右方向または左方向または上方向または下方向に
存在する画素との相関度を算出する、 ことを特徴とする固体カラー撮像装置。 - 【請求項4】 請求項1記載の固体カラー撮像装置にお
いて、 上記相関度検出手段は、 上記被補間画素とその周辺にあるシアン色画素、又は黄
色画素の信号を、上記補正処理を行った後、被補間画素
とその上方向と右方向、または上方向と左方向、または
下方向と左方向、または下方向と右方向に存在する画素
との相関度を算出する、 ことを特徴とする固体カラー撮像装置。 - 【請求項5】 請求項1記載の固体カラー撮像装置にお
いて、 上記相関度検出手段は、 1画面の色温度に閾値を設け、該閾値を越えて画面の色
温度が変化した場合には、上記被補間画素と周辺画素と
の相関判定を行わず、相関検出範囲外であることを上記
補間処理手段に通知し、 上記補間処理手段は、 上記被補間画素を含む、縦横に隣接する4画素の平均に
より輝度信号を合成する、 ことを特徴とする固体カラー撮像装置。 - 【請求項6】 請求項1記載の固体カラー撮像装置にお
いて、 上記相関度検出手段は、 上記被補間画素の彩度に閾値を設け、該閾値を超えて上
記被補間画素の彩度が変化した場合には、上記被補間画
素と周辺画素との相関判定を行わず、相関検出範囲外で
あることを上記補間処理手段に通知し、 上記補間処理手段は、 上記被補間画素を含む、縦横に隣接する4画素の平均に
より輝度信号を合成する、ことを特徴とする固体カラー
撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000051615A JP2001245311A (ja) | 2000-02-28 | 2000-02-28 | 固体カラー撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000051615A JP2001245311A (ja) | 2000-02-28 | 2000-02-28 | 固体カラー撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001245311A true JP2001245311A (ja) | 2001-09-07 |
Family
ID=18573243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000051615A Pending JP2001245311A (ja) | 2000-02-28 | 2000-02-28 | 固体カラー撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001245311A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006186965A (ja) * | 2004-12-01 | 2006-07-13 | Megachips Lsi Solutions Inc | 画素補間方法および画像判定方法 |
| US7359100B2 (en) * | 2003-12-11 | 2008-04-15 | Fujitsu Limited | Image correction method, program, and apparatus |
| US7792356B2 (en) | 2006-04-14 | 2010-09-07 | Sony Corporation | Imaging device |
| CN104717474A (zh) * | 2013-12-16 | 2015-06-17 | 瑞昱半导体股份有限公司 | 图像处理方法与模块 |
-
2000
- 2000-02-28 JP JP2000051615A patent/JP2001245311A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7359100B2 (en) * | 2003-12-11 | 2008-04-15 | Fujitsu Limited | Image correction method, program, and apparatus |
| JP2006186965A (ja) * | 2004-12-01 | 2006-07-13 | Megachips Lsi Solutions Inc | 画素補間方法および画像判定方法 |
| US7894110B2 (en) | 2004-12-01 | 2011-02-22 | Megachips Corporation | Pixel interpolation method and image distinction method |
| US7792356B2 (en) | 2006-04-14 | 2010-09-07 | Sony Corporation | Imaging device |
| KR101354128B1 (ko) * | 2006-04-14 | 2014-01-22 | 소니 주식회사 | 촬상 장치 |
| CN104717474A (zh) * | 2013-12-16 | 2015-06-17 | 瑞昱半导体股份有限公司 | 图像处理方法与模块 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| US8253828B2 (en) | Image capture device including edge direction determination unit, and image processing method for the same | |
| CN102550017B (zh) | 摄像设备及其缺陷像素校正方法 | |
| TWI333381B (ja) | ||
| CN102362501B (zh) | 修改色彩及全色通道彩色滤光器阵列图像的方法 | |
| US8704900B2 (en) | Imaging apparatus and imaging method | |
| US8509533B2 (en) | Image processing device and image processing method | |
| CN102640500B (zh) | 图像处理设备 | |
| JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
| JP2008085753A (ja) | 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置 | |
| CN102224524B (zh) | 图像处理装置以及图像处理方法 | |
| JP5052189B2 (ja) | 映像処理装置及び映像処理プログラム | |
| CN101854469B (zh) | 图像处理设备和图像处理方法 | |
| KR100765751B1 (ko) | 비월 주사 방식의 cmyg 컬러 포맷의 컬러 보간 방법 및그 장치 | |
| JP3633561B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2001245311A (ja) | 固体カラー撮像装置 | |
| JP2010258620A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
| JP2011155365A (ja) | 画像処理装置および画像処理方法 | |
| JP4135197B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| EP0817504A1 (en) | Solid-state color imaging apparatus | |
| JP2002271806A (ja) | Ccd撮像素子の画素欠陥信号補正回路 | |
| JP4916275B2 (ja) | 欠陥画素補正回路、それを用いた画像処理システムおよび欠陥画素補正方法 |