TW200818885A - Imaging device - Google Patents

Description

200818885 九、發明說明： 【發明所屬之技術領域】 本發明係關於配置有含亮度資訊之像素之攝像裝置。 【先前技術】 以往之RGB正方形拜耳（Bayer)排列之影像感測器係依據 ， 配置於上下左右之G (Green)像素之相關資訊而施行像素内 :插（例如參照專利文獻1)。又，在配置有含亮度資訊之像 素，且具有對正方傾斜45。之排列之影像感測器中，由於G () 像素未配置於上下左右，故不能實施以往之像素内插方 法。因此，在此種像素排列之影像感測器之像素内插之相 關檢測中’一般係依據由同色像素之平均加以求出。但， 在此内插方法中，有高頻之空間頻率不能延長之缺點與發 生假色之缺點。又’在此相關檢測方法中，在亮度系信號 Y與彩色系信號Cr/Cb之信號處理中，不能施行正確之分色。 [專利文獻1]日本特開2001-218073號公報 【發明内容】 (發明所欲解決之問題） 本發明所欲解決之問題係在於：在相關檢測中，高頻之 , f間頻率不能延長之缺點與發生假色之點。又，在亮度系 • U ¥與W色系信號Cr/Cb之信號處理中，不能施行正確之 分色之點。 本發明之課題在於抑制有彩色被照體之假色，對單純平 均像素内插，延長頻帶。 (解決問題之技術手段） 118574.doc 200818885 本發明之攝像裝置之特徵在於：Α 〇也 ，、係具有將複數色之有 衫色像素與對入射光之靈斂声古於^丄 敏度间於則述有彩色像素之高靈

敏度像素互相配置成格子花紋狀之影像感測器者，且包 2.相關檢測部’其係由前述高靈敏度像素之信號成分與 别述有彩色像素之信號成分檢測所拍攝之被照體之相關關 係；色判別區塊，其係由前述有彩色像素之信號成分判別 所拍攝之被照體是否有彩色；及像素内插部，其係藉由前 述色判別區塊所判別之信號，以被照體是否有彩色而施行 切換像素内插方法之處理，在前述色判別區塊判別為有彩 ，之情形’依據前述相關檢測部之資訊，施行以從相關較 高之像素之内插為優先之處理。 本么月中纟於包含·色判別區塊，其係判別所拍攝 之被照體是否有彩色；及像素内插部，其係藉由前述色判 別區塊所判別之信號’以被照體是否有彩色而施行切換像 素内插方法之處理’在前述色判別區塊判別為有彩色之情 化依據别述相關檢測部之資訊，施行以從相關較高之像 素之内插為優先之處理，故可施行有彩色像素之内插。 【實施方式】 (發明之效果） 依據本發明，由於包含像素内插部，其係在色判別區塊 wj】為有I色之h形，依據相關檢測部之資訊，施行以來 自相關較高之像素之内插為優先之處理，因此，可施行有 形色像素之内插，故具有可對單純平均像素内插，延長頻 f之k點。又，具有比利用單純平均之像素内插更能抑制 118574.doc 200818885 有彩色被照體之假色之優點。 以下，依據圖1〜圖9說明適用本發明之攝像裝置之一實 施型態（第1實施例）。 首先，依據圖8之區塊圖說明適用本發明之攝像裝置之 -例。在圖8中，作為一例’顯示使用影像感測器之攝像 機系統之全體圖。 如圖8所示，攝像裝置丨係包含：結成光像之透鏡系二、 具有施行光電變換之像素部之感測器3、接受電氣信號而 ) 除去Ι/f雜訊’僅抽出信號成分之相關雙重抽樣（哪）部 4、將類比信號之感測器之像素信號變換成數位信號之類 比數位變換器（ADC)5、及輸出數位信號化之感測器信號作 為最終之影像信號之信號處理區塊6。 在上述攝像裝置1中，透鏡系2所聚光之光像係在感測器 3之像素部成像，作為電氣信號被輸出至（：]：)8部4。在cds 部4，除去1/f雜訊，僅抽出信號成分，利用入〇〇5將類比信 號之感測器之像素信號變換成數位信號。變換成數位信號 ^ 之感測器信號再被輸入至信號處理區塊6作為最終之影像 信號而被處理。 其次，依據圖9說明有關上述攝像裝置丨之感測器3之色 排列之一例。 如圖9所示’感測器3之色排列係相對於以往之rgb正方 形拜耳之像素排列，採用將獲得亮度資訊用之像素（在本 例中，為對入射光之靈敏度高於有彩色像素之高靈敏度像 素）配置於空間相位偏移1/2之相位位置之排列。此高靈敏 118574.doc 200818885 度像素例如係由白像素或灰像素所構成。以下，以排列白 (W)像素之一例加以說明。 口 -人.兒明有關本發明之重要部分。圖i係表示上述信 遽處理區塊6之詳細之區塊圖，圖2係表示所示之攝像 機系統之信號處理部中之像素内插區塊13内之區塊圖。 如圖1所不，被類比數位變換器（adc)變換成數位信號 之感測器之像素信號係在白平衡(WB)區塊n將感測器之像 素輸出正規化成㈣色像素u伽en)像素或高靈敏度像 素之W像素。在此’作為一例，將其正規化成w像素，但 也可其正規化成灰像素。以下，以臀像素加以說明。 正規化之仏號分別獨立地被輸入至色判別區塊1 2與像素 内插區塊13。在色判別區塊丨丨中，判定作為對象之像素及 其周邊是否有彩色，將其結果傳達至像素内插區塊13。 在像素内插區塊13中，利用内插將不足之2色内插至存 在有R/G/B像素之相位。例如，在將B/R像素内插於存在有 G像素之位置。又，像素内插區塊13係依據前述色判別區 塊12之判定結果，動態地變更内插處理。非為有彩色之情 幵y ’在產生内插之像素之際’可積極地利用已存在之像素 之像素#號來提尚解像度’另一方面，為有彩色之情形， 由周圍像素内插與欲内插之像素同色之像素信號。 實施像素内插後，分成亮度產生與彩色產生之2系統進 行處理。首先，說明有關亮度產生之處理系統。 對像素内插區塊13所產生之R/G/B像素信號，施行以 NTSC之亮度變換式等所代表之變換，產生γ信號。產生之 118574.doc 200818885 L號與w像素由於信號位準並未—致，故在位準平衡區 兔4¼行使位準_致。利用此位準平衡區塊μ產生無職 號與Y信號之位準差之亮度信號（高頻）。 但，在空間上有亮度信號存在之像素與無亮度信號存在 之像素έ又互（在空間相位，各佔1/2)地出現，故需將像素 補足於像素不存在之相位。此動作係由亮度内插區塊工峨 行。此補足處理之判定係由相關檢測區塊15執行。此相關 檢測區塊15係以亮度信號作為檢測信號進行處理。此檢測 結果分別被利用於亮度產生與彩色產生。 在彩色内插區塊17中，首先，將R/G/B像素内插於w像 素存在之相位。内插係由周圍之w像素與R/G/B像素，依 據比率運异等算出。另外，為了在空間上R/G/B像素不存 在之相位施行像素補足，使其反映在亮度產生之說明中之 相關檢測區塊15之檢測結果，以施行像素補足。 免度内插區塊1 8係將前述之高頻之亮度信號與由彩色產 生處理所運算之R/G/B信號產生γ信號之低頻之亮度信號 再合成之區塊。藉由此處理，可抑制低頻部分之亮度重現 性之劣化。 依據以上之動作，產生Y/ Cr/Cb之信號，完成像素内插 處理。 其次，上述像素内插區塊丨3之詳細以一例加以說明時， 如圖2所示，係構成為：利用色識別區塊21識別位於作為 内插對象之相位之像素之濾色片，以多工器（MPX) 22分別 將信號切換至適切之内插處理（例如内插處理A部23或内插 118574.doc -10- 200818885 處理B部24)。 其次’利用圖3、圖4說明有關作為内插對象之相位之像 素之濾色片為R (Red)或B (Blue)之情形之内插處理（例如内 插處理A部23)。圖3係表示内插處理A部23之區塊圖，圖4 係表示内插處理A部23之像素内插影像。 如圖4所示，内插對象之相位之像素為b像素，内插之像 素為R像素與G像素。可利用於内插之R像素對B像素，係 位於斜4方向（參照圖4(1))，故利用圖3所示之相關檢測部 25在斜方向施行相關檢測，依照由相關檢測部25輸出之相 關強度，在像素内插部26改變4方向之R像素之混合比而施 行R像素之内插。G像素也依據同樣想法，由上下左右4方 向（參照圖4(2))，利用圖3所示之相關檢測部27在水平、垂 直方向施行相關檢測，依照由相關檢測部27輸出之相關檢 測結果，在像素内插部28利用4方向之G像素之混合比而施 行G像素之内插。 又’内插對象之相位之像素為R之情形，可藉由將B改 讀成R ’將R改讀成B，而施行同等之處理。即，内插對象 之相位之像素為R像素，内插之像素為B像素與G像素。可 利用於内插之B像素對R像素，係位於斜4方向，故在斜方 向施行相關檢測，依照相關強度，改變4方向之R像素之混 合比而施行B像素之内插。G像素也依據同樣想法，由上 下左右4方向，依照相關檢測結果，利用4方向之〇像素之 混合比施行G像素之内插。 其次，利用圖5、圖6說明作為内插對象之相位之像素之 118574.doc -11 - 200818885 濾、色片為G之情形之處理（内插處理b部24)。圖5係表示内 插處理B部之區塊圖，圖6(1)係表示在水平方向相關較強 之情形之内插處理B部24之像素内插影像，圖6(2)係表示 在垂直方向相關較強之情形之内插處理B部24之像素内插 景> 像。又’内插之像素為r像素及B像素，但r像素及b像 • 素之配置方向因G像素之相位而異。 • 如圖6所示，在水平方向有6像素份R像素存在，在垂直 方向有6像素份B像素存在，但此關係會因g像素之相位而 f" 反轉。而，如圖5所示，以G像素及W像素輸入至相關檢測 部29作為相關檢測信號，以求出上下左右之相關強度。 作為相關檢測部29之相關結果，左右方向較強之情形， 如圖6(1)所示，R像素之内插係由内插對象位置之g像素之 上下之水平方向6像素份之R像素算出，b像素係由内插對 象位置之G像素之左右之2像素份之B像素内插。此内插係 利用圖5所示之像素内插部30施行。 作為相關檢測部2 9之相關結果，上下方向之相關較強之 I’ 情形也同樣地加以處理。即，如圖6(2)所示，B像素之内 插係由内插對象位置之G像素之左右之垂直方向6像素份之 : B像素算出，R像素之内插係由内插對象位置之G像素之上 : 下之2像素份之尺像素内插。此内插係利用圖5所示之像素 内插部30施行。 前述圖5所示之實際之處理係利用如圖7所示之濾波器施 行運算。藉相關結果，將vk與hk之係數設定為1或〇，以實 現前述之處理。 118574.doc -12- 200818885 藉以上之處理，可高精度地施行同色之像素内插。 其次，利用圖10〜圖17說明相關檢測之一實施例。 圖10係圖示内插對象位置之像素為Β像素之情形之與R 像素排列之相關係數。又，圖11係圖示相關檢測處理之算 法。 Ο

如圖10所示，R像素係在對Β像素傾斜45度方向配置有4 像素，以右上之R像素為R0，權宜地依順時針方向附上名 稱至R3。又，由R〇依序使相關增益對應於RTGain、 RBGain、LB Gain、LT Gain。 如圖11所示，本例之情形，以内插對象位置之B像素為 中心在斜方向分別配置低通濾波器（LPF)。此時，配置低 通濾波器（LPF)之對象為W像素（Wwb)。對其結果，其次， 配置高通濾波器（HPF)，以算出差分值RT、lB、LT、 RB。相關愈大時，此差分值愈小。 其次，圖12係表示相關係數算出式。將上述差分值尺丁、 LB LT RB代入此相關係數异出式，以求出相關係數。 利用此計算式’將4方向之合成比率設定為丨，且增大相關 較強之方向之係數。 最後’施行像素内插處理^此像素内插處理係利用圖13 所示之算法進行°以前述®10之例加以表科，如以下所 示： RTGain+RURBGain+ 内插於B像素位置之R像素=R〇 * R2*LB Gain+R3*LT Gain 其次 圖14係表示内插對象位 置之像素為B像素之情形 118574.doc •13- 200818885 之與G像素排列之相關係數。 如圖14所不，G像素係對B像素位於上下左右方向之位 置此等之相關檢測係利用圖15所示之相關檢測算法之電 路進行檢測。 f、

欲求G像素之相關之情形，G像素之重複週期為4週期， 故也可利用鄰接於B像素之w像素提高檢測精度。配置低 通;慮波器（LPF)後’配置高通渡波器（HpF)而求出差分值之 方法與上述相[S] ’利用在w像素之算出結果與在G像素之 算出結果’以抑制被照體之色之影響之目的施行加權。將 此結果所求得之差分值认、SL、ST、sb代人圖Μ所示之 相關係數异出式，以求出相關係數。 最後，施行像素内插處理。此像素内插處理例如係依據 圖17所7F之算法施行’求出内插於B像素位置之G像素。 其次，依據圖18〜圖26說明有關本發明之攝像裝置之一 實施型恶(第2實施型態）。首先，利用前述圖i所說明之信 號處理部之詳細之位準平衡區塊14產生無w信號與γ信號 之位準差之亮度信號（高頻）。圖18係表示此位準平衡處理 後之信號排列。 在圖18中，w係表示W像素(以素色四角形表示之像 素），Y表示由内插處理求得之尺/G/B像素之 亮度⑼斜線四角形表示之像素）。又，虛線係表示 存在之相位。此相位之資訊被後述之處理所補足。 又’ W與γ之信號位準由於若照原來樣子時會發生位準 差，故經由如在圖19中表示其—例之低_波器⑽）， 118574.doc •14· 200818885 如圖20之亮度形之式及彩色形之式所示，將w之平均設定 為Wave，將Y之平均設定為Yave，使Wave/Yave2比率與γ 相乘，以施行正規化成為W之位準之處理。又，由於藉此 處理，可改變亮度，故為使色差之位準也能一致，對 R/G/B，也施行同樣之正規化。即，將w之平均設定為 Wave，將R之平均設定為Rave，使Wave/以〜之比率與r 相乘，以施行正規化成為臀之位準之處理。g、B2情形也 可同樣地，將R改為G、B而施行正規化。 其次’在W像素存在之位置施行R/G/B像素之内插。如 圖21所示’ W像素全部存在於有像素之相纟，故可利用w 像素内插R/G/B像素。圖21係表示R像素之内插式。又，對於 B像素及G像素，也可利用與R像素同樣之運算加已算出。 最後，施行對像素不存在之相位之像素補足。此處理如 圖22所示，以W像素作為相關檢測信1，對上下左右之4 像素依照相關強度動態地施行補足處理。

經由以上之處理，可產生亮度及彩色信號。 其次，依據圖23〜圖26說明上述相關檢測之—實施例。 圖23係表示對像素不存在之相位之像素敎之關係圖。

如圖23所示，斜線所*之像素係由内插所求得之R/G/B 像素產生Y，再被正規化成w像素之像素，素色之四角形 所示之像素係表示W像素本身。在此狀態下，丨了對位於 圖中央之像素不存在之相位施行像素補足，需施行以下之 處理： 如圖24所示 本例之情形，使W像素分別向水平/垂直方 118574.doc -15- 200818885 向通至低通渡波器(LPF)。其次’導至高通據波器(hpf)， 以算出差分值SR、SL、ST、SB。 其次，圖25係表示相關係數算出式。將上述差分值sr、 SL、ST、SB代入此相關係數算出式，分別求出抓如、 L G a i η、T G a i n、B G a i n 〇 最後，施行像素内插處理。此像素内插處理係利用圖26 所示之算法對像素不存在之相位進行像素補足。又，此補 足處理不僅W像素，也適用於R、G、^像素之補足。

C 如以上所說明，依據本發明，由於包含：色判別區塊 12,其係判別所攝像之被照體是否有彩色；及像素内插部 26、28、30,其係藉由此色判別區塊12所判別之信號，以 被照體是否有彩色而施行切換像素内插方法之處理，在色 判別區塊U判別為有彩色之情形，依據相關檢測部& 27' 29等之資訊’施行以由相關較高之像素之内插為優先 之處理，故可施行有彩色像素之内插，故與單純平均像素 内插之情形相比’可延長頻帶…與利用單純平均之像 素内插相比’更能抑制有彩色被照體之假色。 在上述之說明中，雖以使用「白色（White)像素」作為高 被敏度像素之例加以說明，但並非限定於嚴格意義（理想） 之白色或透明之像素’只要屬於以往可供獲得色重現性用 之各色成分之原色像素及靈敏度高於補色像素之像素即 \’例如也可為設置稍微混有不能以理想的白色或透明之 狀二透光之成刀之灰色據光片之像素，或設置混有少量色 素成分之濾光片之傻去 . 像素。但，與偏多地混有特定色素成分 118574.doc -16 - 200818885 之渡光片之情形相比，設置如灰色濾光片等穿透光之色成 分之平衡性良好之濾光片時，從施行信號處理之觀點而 言’更為理想。 【圖式簡單說明】 圖1係表示本發明之攝像裝置之一實施型態（第1實施例） 之區塊圖。 圖2係表示像素内插區塊之詳細之一例之區塊圖。 圖3係表示内插處理a部之一例之區塊圖。

Ο 圖4(1)、4(2)係表示内插處理a部之像素内插影像之一例 之配置圖。 圖5係表示内插處理B部之一例之區塊圖。 圖6(1)、6(2)係表示在水平方向相關較強之情形及在垂 直方向相關較強之情形之内插處理B部之像素内插影像例 之配置圖。 圖7係表示内插處理B部之一例之算法。 圖8係表不適用本發明之攝像裝置之一例之區塊圖。 圖9係表示攝像裝置之感測器之色排列之—例之像素配 置圖。 圖1〇係表示内插對象位置之像素為B像素 像素排列之相關係數之—例之配置圖。 圖11係表示相關檢測處理之-例之算法。 1月 圖12係相關係數算出式。 圖13係表示像夸向^ 1豕常内插處理之一例之算法。 圖14係表示內柄祖备

f對象位置之像素為B像素之情形之與G 118574.doc -17- 200818885 像素排列之相關係數之配置圖。 圖15係表示相關檢測處理之一例之算法。 圖16係相關係數算出式。 圖1 7係表示像素内插處理之一例之算法。 圖1 8係表不位準平衡處理後之信號排列之一例之配置 圖0 圖19係表示低通濾波器之一例之算法。 圖20係亮度形之式及彩色形之式。

圖21係表示在W像素之存在位置内插R/G/B像素之一例 之配置圖及内插式。 圖.22係表示以W像素作為相關檢測信號之補足處理之一 例之配置圖。 圖2 3係表示對像素不存在之相纟之像素補足之—例之配 置圖。 圖24係表示使|像素分別向水平/垂直方向通至低通遽波 器之一例之算法。 圖25係相關係數算出式。 圖26係表示像素内插處理之一例之算法。 【主要元件符號說明】 12 13 25、27、29 26 、 28 、 30 攝像裝置 色判別區塊 像素内插區塊 相關檢測部 像素内插部 118574.doc -18-

Claims (1)

1. 200818885 、申清專利範圍·· 像襄置，其特徵在於：其係具有將複數色之有彩 靈敏产像^對人射光之靈敏度高於前述有彩色像素之高 包含P '、互相配置成格子花紋狀之影像感測器者，且 =檢測部’其係由前述高靈敏度像素之信號成分歲 關：色像素之信號成分檢測所拍攝之被照體之相關

   所ΐ:別區塊’其係由前述有彩色像素之信號成分判別 所拍攝之被照體是否有彩色，·及 像素内插部，盆孫益山^ σ ，、係猎由别述色判別區塊所判別之 號’以被照體是否有彩多 匁如巳而轭仃切換像素内插方法之處 理’在前述色判別區塊判別 凡α刎马有彩色之情形，依據前述 相關檢測部之資訊，施行 仃乂攸相關較焉之像素之内插為 優先之處理。 … 2·如請求項1之攝像裝置，其中 前述高靈敏度像素係白像素或灰像素。 3·如請求項1之攝像裝置，其中包含： 衫色内插區塊，其係適用由以亮度信號作為檢測信號 而施仃别述像素内插處理之判定之相關檢測區塊所輸出 之高靈敏度像素檢測出之相關結果，產生彩色信號者。 118574.doc