TWI277945B - Pixel signal processing device and pixel signal processing method - Google Patents

Description

1277945 九、發明說明： 【發明所屬之技術領域】 方法本有關一種像素信號處理裝置及像素信號處理 分光^^關根據排列於2次0面上，各具有複數 =度寺性中任一特性的像素信號組，產生位於存在具 有上述稷數分光感度特性中一八 注目像辛仞w p 、刀先感度特性的像素信號的 _ ¥ # 、 、 分光感度特性的像素信號的像辛 處理裝置及像隸號處理方法。 …说 種像素信號處理裝置係復具備：例如各 特性中’例如紅⑴、綠⑻、藍⑴中任一分光 感度特性亦即顏色的複數種類光電轉換元件以例如貝爾 攝像\ 2次70平面上的攝像元件，用來作為彩色 ::ίΐ 二 Γ’用以内插(lnterpo1— ==素^中，於各像素位置欠缺的分光感度特性的像 【先前技術】 白知具有呈貝爾型配置紅、、綠、藍 ㈤加）的攝像元件的攝像裝置係例如依以下=讀 1所示，為提高解析感，根據每一色之局部輸出信號分布， ΓΓ均值取代各像素的輸出信號，而使用根據假定的已知 幾何圖形與不^色幾何圖形的線性相似比的内插方法。 [專利文獻1] 曰本專利特開2001 — 1 9751 2公報。段落〇〇48至_9 (第7圖） 316584 5 1277945 【發明内容】 (發明所欲解決之課題） 夕向Γΐ知方法雖然於局部區域，進行根據與色信號相關 、f地理’不過有會因誤認色的相關關係，而產生固有 2色（false color)的問題。例如有在輸出信號急遽變化處 進Ϊ即某色與另一色的交界附近’所產生信號的位 里s召出仏號變化曲線’而發生於本來影像中所沒有的發 二、脫色或偽色的問題。 (用以解決課題之手段） 本發明之攝像裝置為一種像素信 據排列於2次元平面上，且各具有第i至第N分光= 性中任一特性的像素的像素信號組，產生位於存在第κ(κ Ν中J壬個）分光感度特性的像素信號的第"主目 像素位置的第L(L係除7Κ以外，⑴中任一個）分光 感度特性的像素信號者，其中具有·· …回歸分析手段，以上述第1注目像素位置附近區域内 素位置的上述第κ分光感度特性的像素信號作為說 月皮數’以上述第L分光感度特性的像素信號作為目的變 丈’施。以回歸分析，而算出表示上述第κ分光感度特性的 素信號與上述第L分光感度特性的像素信號之相 歸式；以及 、、運算手段，藉由使用根據上述回歸式的轉換式，對上 述注目像素位置的上述第κ分光感度特性的像素信號求出 上述注目像素位置的上述第L分光感度特性的像素信號。 316584 6 1277945 (發明效杲） 由方、本發明之像素信號處理裝置係以上述方式構成， 故可:r出第1注目像素位置附近區域内像素位置中遵循第 ^與弟L分光感度特性的像素信號之相關關係的生成信 由於即使在第}注目像素位於顏色交界附近時，仍由 表示第1 1目像素位置附近區域内像素之相關關係的回歸 式异出第L生成信號，故不會直接受到位於顏色交界部分 的像素輸幻t號㈣響4由心數絲㈣關關係，故 可對應任意相關關係。藉此，可減低於習知方法中所見到 之如發黑、脫色般偽色的發生。 【實施方式】 以下茶月ϋ，說明本發明實施形態。以下所說明的 實施形態軸適用作為數位彳目機之—部份，㈣，本發明 不限於此。 (實施形態1 ) 第1圖係顯示具備本發明實施形gl的像素信號處理 :置的構以的方塊圖。自透鏡(1咖”身于入的光係成像於2 一攝像元件2 ’而该元件係例如依第2圖所示呈貝爾型 配置具有對應於紅（R )、 〜 录（G)、監（B)三原色的分光感 度特性的濾色器。 2人7^攝像兀件2係光電轉換人射光，依每-像素輸 ，對應入射光！的位準（卜則）的類比（繼㈤像素信 ^此類比像素信號係藉由A(類比）/ D(數位）轉換器3轉 換成數位（dlgltal)像素信號而輸出，記憶於圖框記憶體 316584 7 1277945 (frame memory) 4 。 筹曰由多工解訊器（demultiplexer ) 5，記憶於圖框記 L組4的像素信號係依每一 R、GB色分配並記憶於2次 =己丨思體（memory ) 6a至6c。亦即，分別將R色的像素信 號。己隐於5己憶體6a，將G色的像素信號記憶於記憶體此， 將^色的像素信號記憶於記憶體6c。低通濾^皮器至& 係二別對應於記憶體6a至6c而設置，對自記憶體仏至 6C 6貝出的像素信號進行低通遽波（low-pass filtering)，並輸出其結果。 依第件2係對應於各像素的位置，例如 自各像素位 二，色咖^ 之後音产％ 色之像素#號，並未獲得其他二色

石二。換言之’於各像素位置僅存在 號，不存在其他色之像素信號。 像素L 「不=將1丨各像素位置中像素信號不存在的色稱之為 足色」。例如於攝像元件2的輸出 在的像素，置的不足色為G色及B色。 號存 於本實施形態中，回歸分析 據自低通濾波器73至7c 運异手段9係根 出各像素位置的不足色的像素信】素仏虎’藉由内插，求 此内插包含以下6種處理。 (P1)用來求出R色像素信 信號的處理。 ’、Ό〜子在之像素位置的〇色像素 (Ρ2)用來求出β色像素信號 τ牡之诼素位置的G色像素 316584 8 1277945 信號的處理。 (Ρ3)用來求 信號的處理。色像素信號存在之像素位置的r色像素 (Ρ4)用來求出 ” 信號的處理。“色像素信號存在之像素位置的Β色像素 色像素信號存在之俊去 素位置的β色像素 (Ρ5)用來求出 信號的處理。 (Ρ6)用來求出β色像素 信號的處理。 ’、σ &存在之像素位置的R色像素 此6種處理可概括稱為： 「用來求出K色（K=R、G或 像素位置中L色R )像素信號存在的 素信號的處理」。1或以’不過不同）像 對旦面上（1圖框（frame )内）的所古務 此6種處理之各處理。 勺所有像素位置進行 上述6種處理之各處理例如依 β ^ ^ 置（注目#去A BE、、 万、對各像素位 η置）進行上述6種處理時，回歸八;p 8係自該低通濾波器…至 ㈣刀析手& φ Λ Τ之一個）接收注目像素位 本（内插對象像素位置）的附近區域[亦即包含第"主目像 :及其周邊（與该注目像素所隔距離在預定距離以内的） ，素的區域]内像素位置的K色像素信號及L色像素信號， 异出表示所接收像素信號之相關性的回歸式。 ^運算手段9係使用由回歸分析手段8算出的回歸式的 吊數以及儲存於圖框記憶體4的注目像素位置的κ色像素 316584 9 1277945 信號（攝像元件2 2的輸出），算出注目像素位置的L色像 素信號，將算出的結果所得之像素信號儲存於結果記憶體 14。以下有時將如上述算出的結果所得之像素信號稱為「生 成像素信號」或單稱為「像素信號」。相對於此，有時候將 低通滤波器7a至7c的濾波（f i 11 er i ng )結果所得之像素 信號單稱為「低通濾波器輸出」。又，有時將低通濾波前的 像素信號，亦即藉由A / D轉換攝像元件的輸出所得之像素 信號單稱為「輸出信號」。且又由於A / D轉換僅改變信號 形式，故有時候亦將儲存於圖框記憶體4的像素信號稱為 自攝像元件2輸出的像素信號，或攝像元件的輸出信號。 於上述6種處理全部結束時，1晝面上所有像素位置 中所有不足色的像素信號齊全。組合儲存於結果記憶體14 的生成信號與儲存於圖框記憶體4的輸出信號者，係構成 一晝面上所有像素位置中所有色（R、G、B )的像素信號組。 運算手段9係以此種像素信號組，亦即組合儲存於圖框記 憶體4的輸出信號與儲存於結果記憶體14的生成信號者， 以其作為RGB的顏色信號輸出。 以下詳細說明。 第3圖係例示藉由A/D轉換攝像元件2的輸出所得之 像素信號的2次元排列圖。於圖中，各塊（square)係表 示各像素位置，記載於其中的R、G、B表示各像素位置中 之像素信號的顏色，括弧（parentheses )内的數字分別表 示各像素位置的座標值（1 =列，m二行）。 如第3圖所示，輸出信號係於各像素位置僅存在一色 10 316584 1277945 ，像素信號’於相同像素位置並不存在其他色之像素信 號。換言之，排列成不佔據相同像素位置。 A/D轉換器3的輸出係如上述儲存於圖框記憶體4, 自圖框記憶體4讀出的信號係藉由多工解訊器5分割，依 每一顏色儲存於2次元記憶體6a至6c。 弟4圖（a)至（c )係例示記恨於夂9 一 > 至βε的像素信號及其像素位置。，、 兀圯心紅6a 如圖所示，各色之輸出信號並非佔據所有之像素位置， 像辛：信號於每四個像素位置僅佔據-個 像素位置，於剩下的三個像素位置中為不足 號’ G色的輸出信號係於每二個像素位置僅伯據一；像、 位置：於，的一個像素位置中為不足色的像素信號，： 母四個像素位置僅钻據-個像素：置， 方；剩下的二個像素位置中為不足色的像素信號。 本發明之像素信號處理裝置係 置中所有不足色的像素信號。错由内插求出各像素位 以下更詳細說明藉由低通濾波器7a 手段8及運算手段9進行之產生各像辛位置二回歸分析 素信號的内插處理。第5圖係顯示内插順序之：足色之像 於以下說明中，有時稱於攝像元件2 圖在 -像素位置存在像素信號時稱為「像素具 ζ = 出信號」。 作為像素不具有輸 首先，產生於具有R色輪出信號的像素位置的G色信 11 1277945 唬（步驟ST9 )，接著，產生於具有b色輸出信號的像素位 置的G色k號（步驟ST 10)，接著，產生於具有g色輸出 信號的像素位置的r色信號（步驟ST1丨），接著，產生於 具有G色輸出信號的像素位置的B色信號（步驟sn 2), =著，產生於具有R色輸出信號的像素位置的B色信號（步 驟ST13)，最後，產生於具有β色輸出信號的像素位置的r 色信號（步驟ST14)。 揍著，對以具有R色輸出信號的像素作為注目像素， 今，生/主目像素中不足色之一的G色信號的處理（步驟' 詳加说明。第4圖係顯示步驟ST9的順序的流程圖。 例如’遥擇具有第3圖之R色輸出信號的像素位置（2, 2)的像素作為注目像f (步驟sm)。此外，為表示像素 位置（2 ’ 2 )具有R色輸出信號，如第6圖的步驟ST16 所示，有時以「R ( 2 、 出信號的像素亦相同。、^下4有其他色二輸 如上料’選擇具有第3圖之r色輸出信號的像素位 (2 ’ 2)的像素作為注 通濾波器7 a、7 b接收第Λ1 “析手段8係自低 收弟3圖中注目像素位置（2, 2)附近 素及其周邊8個像辛位二=置（2,2)的注目像 ^ ih M r A ^ ^ . )、（ 3，3 )中R色低通濾波器 如出：色，通遽波器輪出所構成的資料(data)。 ，# 3圖所示例子係以距注目像辛位置之垂直方 向及垂直方向的距齡A你 诼π位置之垂直方 磷為-像素的像素位置作為邊像 3]6584 12 1277945 “低通濾波器輪出而 :素輪出信號的平均值等。具體而言，:1:二=同色 含之同色像辛於φ ^ π 、 3χ 3區域内所 ^ , “别出“號的平均值作為此區域的中心n & 低通濾波器輪出時，箓 位置的

.._ 弟4 0 ( a )的粗線所圍结之h q E 域内所含之4個R色#+ %之3χ 3區 中心位置（1 = 1像素輪出仏唬的平均值成為3χ 3區域 6, Ω ，m=1)的R色低通濾波器輪出。因此， 弟3圖的9個像素位置（1，1)、0,2)、（1，3)、（2' 滤波讀出係由下式⑷至（⑴㈣。 = R色低通濾波器輸出。 Klpf表不 ·· (4) .· (5) .· (6) • (7) • (8) •••(9) (10) (Π) (12) RLPF(l5l) = (R(〇,〇^,prn +R(0^2) +R(25〇) +R(2^2)) /4

Rlpf (1 ? 2) = (R (〇 , 2) +r (2 , 2)) /2

Rlpf (l’3) = (R(〇，2)+prn ><、in, 心 +R (0，4) +R (2，2) +R (2，4)) /4 ·

Ru>f(2’1) = (R(2,〇)+r(2,2))/2 Ru“2，2) =R (2，2)

Rlpf(2’3) = (R(2,2)+R(2,4))/2 細（3，1) = (R(2，G) +R(2,2) +r(4，q) +R(4,2)) /4 ·· RLPf(3,2) = (R(2,2)+R(4,2))/2 .(3,3) = (R(2,2) +R(2,4) +r(4,2) +r(4,4)) /4 … 同樣地，第3圖的9個像素位置Π，丨）、（卜2)、（ i 3 )、（ 2 ’ 1 )、（ 2，2 )、（ 2，3 )、（ 3，1 )、（ 3，2 )、（ 3，3 中G色低通濾波為輸出係由下式（13 )至（2丨）獲得。淤 此，Glpf表示G色低通濾波器輸出。 η 316584 1277945

Glpf (1，i) = (g(0，1) +G(l’〇) +G(1’2) +G(2’1)) /4 ·,·(ΐ3) Gw(l’2)=(G(0，l) +G (0 ’ 3) +G (1 ’ 2) +G (2 ’ 1) +G (2 ’ 3)) /5 ♦·· (14) G⑽（：[，3) = (G (0，3) +G (卜 2) +G (卜 4) +G (2，3)) /4 ··· (15) —(2，1): (G (1，0) +G (1，2) +G (2，1) +G (3，0) +G (3，2)) /5··· (16) “（2，2) = (G (1，2) +G (2，1) +G (2，3) +G (3，2)) /4 ··· (17) Gipf(2,3) = (G(1，2) +G(1，4) +G(2,3) +G(3,2) +G(3,4))/5〜（18) G讲（3，1) = (g (2，1) +G (3，0) +G (3，2) +G (4，1)) /4 ··· (19) G讲（3，2) = (G (2，1) +G (2，3) +G (3，2) +G (4，1) +G (4，3)) /5··· (20) G⑽（3，3) = (G (2，3) +G (3，2) +G (3，4) +G (4，3)) /4··· (21) 而且，回歸分析手段8係以式（4)至（12)所得之R 色低通濾波器輸出rlpf作為說明變數e ( i )(步驟sn 7 )， 以式（13 )至（21 )所得之G色低通濾波器輸出G⑽作為 目的變數P( i)(步驟s T i 8 )，進行回歸分析，算出以式（2 2) 所不之回歸直線（步驟ST1 9 )。 GLPF=ax RLPF+b 笼7 一 …（22) 歸式伏以7員不回歸直線之一例。表示此種回歸直線的回 用最小平方、^為目的變數，以Rlpf作為說明變數，而利 J 丁乃法獲得。 苐8圖係顯干么 μ (截距），杏於二、，、，、昇出回歸直線的常數a (斜率）、b 變數為e Λ〜驟ST19的相關算出處理的流程圖。說明 例子中N — W目的交數為p ( i )，資料總數為N (於上述 "-9)，資料序號為，叫至N。 如第8圖所示，田、 運算的資料總數初於資料設定步驟ST1中設定用於 八—人’於積和運算步驟ST2中進行使用 316584 14 1277945 說明變數及目的變數的積和運算’算出Η， ，苴a : = 使用在步麵中算出的二，’ c線的斜率3’其次，於截距算 使用在步驟ST2獲得的k2、k3，管 ψ 值。 开出回知直線的截距b的 由於如此獲得的回歸直線係表示 κ色與G色的相關性，因此，注_"色:= 亦被視，與此回歸直線上的值相接近的值。 〜 運手奴Θ如接收回歸分析手段8所算出之 直線的斜率及截距的當赵 、^^ 的注目像音的於山 a、b以及儲存於圖框記憶體4 轉換，產生注目像辛位置中j ^^丁根據式（⑻的 且如上述例子所=置二=心，2)(步驟_。 母「g」、「r」、「b」表示/色的生成信號分別以小寫字 δ (2 ’ 2) =ax R (2，2)以 (23) 成之乜唬係儲存於結果記憶體 -面改變注目像素，亦 =) -面反覆進行以上處理k U乍為注目像素， 注目像专：二 驟ST22)。此外，當然每改變 、目像素，其周邊像素㈣生變化，由於 來進行回歸分析，故满彡曰T ^ 个的傢常 屮久同值的常數a、b，且使用盆東 出各像素的生成信號。 便用其求 藉由以上處理，第R岡 相同，$ @，f+ 乂 1 ST14的各步驟亦與步驟ST9 不過對不同顏色進行上述一系列處理。 316584 15 1277945 像素的不足二^ST9至步1 ^STU全部結束時，對所有 攝像元件2的輪出所旒(錯由A/D轉換 插所得之像素亍 ά虎）與生成信號（藉由内 全。亦即;ΓΙ’所有像素的所有色的像素信號即齊 係結合儲存於結果記憶運算手段9 憶體4的輸出信號，以作為色X:存於圖框記 且於上述例子中/虎而輸出（步驟ST15)。 圖所示Hlg & 各色尨號的順序並不限於第5 之順序，即使變換產生信號的順序亦無妨。 < 右以上述方式進行内插， 與其周圍像素中久% 卩了糟由按恥表不注目像素 成作f卢進Γ内i ° B 5儿之任意相關關係之回舞直線的生 取乜琥進仃内插。因此， 土 專利特開_卜i 97512號公^ =利文獻1 (日本 交界附近發生發里戍脫色方所存在之於色 …、忒脫色寻像素劣化的問題。 號，：:;色C獲得第9圖中的數值所示之輸出信 及位於注目：素二：=部分時，位於中央的注目像素· 素周圍的周邊像素位置的R色 波器輸出變成如第10圖所 色及〇色低通處 回歸直線的結果。此/二二11圖减示由此等值求出 為74.59卜若將此姓果另"直線的斜率為〇._7,截距 Μ代入式⑺），算。出不足素的輸出信號gpR(2’2) g(252\；°-^7x 9 + 74.591 ,75 卩成(=24) 的梢如出的g (2，2)係成為與周邊像素的G色接近 的值，避免於顏色交界附近部分發生發黑或脫色等像素劣 316584 】6 1277945 化。 的輪：:=:2例子中，低通濾'波器求出各像素周圍 值。出b虎的早、、、屯平均值’不過’亦可求出加權加算平均 (實施形態2) 第12圖係顯示具備本發明實施形態2的像 破置的攝像裝置的構造方塊圖。 '、。唬處理 實施形態2除了回歸分析手段1〇及 7c以外的構造與實施形態}相同。 ·思a至 二本實施形態的回歸分析手段1〇係於算 進行注目像素周圍的像素相關性的判定。：直二之 例如分別從具有與注目像素的不足 4而吕， 之輪出传梦的德去tb 人產生的顏色同色 鐵唬的像素中，從算出並比較隔 下、左右或傾斜方向等相反側 像素位於上 A / D轉換攝像元件2的輸出所得:信號（藉由 判定在連結輸出信號的差為最小之象=)的差。並且， 強的相關性。 —像素的直線方向具有 回歸分析手段10係由判 選擇複數個與注目像素的輸出信號方向的像素中 憶體4接收所選擇像素:！素’自圖框記 器W7C接收低通遽波器輪出^虎’亚分別自低通濾波 並且，以所選擇像素 低通遽波器輸出作為目的變教别、信號作為說明變數，以 示顏色相關性的回歸直線P ，進行回歸分析，以算出表 316他 17 Ϊ277945 、”接著對動作加以說明。内插順序係如同實施形態i， 遷照第5圖的流程圖。首先，對第5圖的步驟ST9的處理， 亦即對以具有R色輸出信號的像素作為注目像素，產生注 目像素中不足色之一的G色信號的處理加以說明。第i 3 圖係顯示其順序之流程圖。 首先，選擇具有R色輸出信號的像素位置（丨，m)之 像素作為注目像素（ST23)。 其次，進行注目像素周圍的像素相關性的判定（sTM、 ST25、ST26、ST27)。 與第13圖的步驟ST24、ST25、ST26、s =顯示於第14圖。然而，於第14圖顯示就像 二;、體的座標值例子。以下參照顯示帛13圖的步請4 5、st26、節、分別與其對應的第14圖的步驟阳 二、T7、ST8以及注目像素周圍的像素的第15圖，加 說明。 ^ 例如，在選擇具有R色輸出信號的像素位 例如第心的U，3)之像素作為注目像素時（第^ 白=驟sm)，使用注目像素的上下左右的像素（沿上 $工右方向排列的像素）中，具有與欲產生的不足色同 G色之輸出信號的像素的信號，比較注目像素中縱向盘」 向景’像的相關性。因此，首先算出位於注目像辛的 =素的差分值明以及左右的G色像素 (步驟sm、ST5)。其次比較此等差分值…）、… 的大小關係（步驟ST25、ST6)，判定在差分值較小的方 316584 18 1277945 ::平方向(橫向)或垂直方向(縱向))具有強的相關性。 义在具有強的相關性的方向的像素中，位於注目像 υ、ϋ具有與注目像素的顏色同為R色之輸出信號的像 素為、擇像素（步驟ST26、ST27、ST7、ST8)。 相關= 時，判斷垂直方向的 夕声“ “重直方向排列的像素中，具有與注目像素 =同為R色的輸出信號的像素R(l —^)、…，…、 例如 R(1’3)、R(3,3)、R(5,3)^ 了擇像素（步驟ST26、ST7)。另—方面，於值g(v)>g =):，判斷水平方向的相關性強，以沿水平方向排列的 中’具有與注目像素之顏色同為r色的輸出信號的像 m) (1，m + 2 )，例如以 r ( (3 ) R ( 3 ’ 5 )作為選擇像素（步驟ST27、ST8 )。

#白1如以上方式進行相關性的判定後，回歸分析手段10 係自圖框記憶體4接收所選擇像素令R 說明變數e (π Μ = 1 $ Q W ϋ η^ 7h )(步驟ST28)，自低通濾波器 接收G色低通濾波器輸出，作為目的變數“ 至3)(步驟ST29)。 低通濾波器7a至7c #白η έ导八， 划m没 ㈣析手段1G接收相關性 d疋的結果，僅根據在就各像辛 豕不位置而吕相關性強的方向 排列的像素輸出信號，進行低诵、、廣 叮低逋/慮波。例如於上述相關性 判定中’判斷在垂直方向相關丨 力门相關性強時，以位於取各像素為 中心的縱3像素X橫1像辛的F々 、、 冢$的£域之像素輸出信號的平均 值作為低通濾'波器輸出，於上水 、上述相關性判定中，判斷在水 3]6584 】9 1277945 千方向相關性強時，以位於 徬本仏山 、‘1像素X橫3像素的區域之

像素輸出信號的平均值作A 於餘y千古 值作為低通濾波器輸出。具體而言， 方、判k/f在垂直方向相關性 n ”改強日守，例如第π圖中像素位置 …! 慮波器輸出係成為於粗線標示區域所含之 :素輪出信號的平均值。其他像素位置（3 3) (5;3) 色：二=於t垂直方向相關性強時’各選擇像素中G 色低通濾波讀出係由下式（25)至（27)算出。 rGLPF；；，3) = (G(〇53)^C253))/2 (25) (3,3) = (G(2,3) +g(4,3)) /2 (26)

Glpf (5 5 3) - r γ 0Λ (26) (4 ’ 3) +G ( 6，3)) / 2 (27) 回歸分析手段1〇係使用說明 號）及目的變數p(iWr 川邑輸出化 (G色低通濾波器輸出）進行回歸分 =:°)，算出表示R色與G色相關性的回歸:線 的斜率及截距之值，如同實施形態卜算出注目像辛^ 色生成㈣（㈣ST31)。所生叙錢 憶體14 (步驟ST32)。 予、、、。果5己 一面改變注目像素，亦即以不同像素作為注目像素， 一面反覆進行以上處理（步驟ST33)。 ’、 藉此，第5圖的步驟ST9的處理結束。 在弟5圖的步驟STl〇中，如同步驟⑽，但 變成B色’亦即，求出具有B色輸出信號之像素的G色信 號，進行與上述相同的一系列處理。 在第5圖的步驟sT：n中，A戈屮 像素的R色信號，進行列 進仃一；r、列處理。此處理係如後述，不 316584 20 1277945 同於步驟ST9岑ST〗η。丨、，丁 ^ ^ 110以下，蒼照第16圖及第17圖，詳 加說明步驟ST11。 f先’選擇例如具有f 17圖中G色輸出信號之像素位 3)的像素作為注目像素（步驟ST34)。 於具有G色輸出信號的像素周邊，具有不 =出信號的像素係僅存在於水平方向或垂直方向中任一方 的二：的位f:因此，回歸分析手段10並不進行相關方向 吉2 ^進仃存在該色之像素的方向為水平方向或垂 ST36 :定（步驟ST35)，且選擇存在的方向（步驟 ^ VL 弟n圖所不，存在於水平方向時， =二平方向排列之具有〇色像素信號的像素位置(1， 於第 ’ m+2)的像素（步驟ST36)。且在異 有…二於垂直方向時’選擇沿垂直方向排列之且 有G色像素信號的像素位 、 ㈨的像素(步驟 ST37)。 m) (1，m)、(1 + 2’ (ST38^ST43^ 13®6〇 至ST33進行說明者相同。 號之茶照第13圖所說明，產生具有R色輸出信 λ轉H r虎時’以選擇像素的輪出信號（藉由A 專:攝像兀件2的輸出所得之信號） 1 :驟陶’以R色低物器輸出作為目的變數p ⑴（步驟_，而進行回歸分析（步 夂= 之回歸直線及注目像素的輸出信號 ）由所仔 生成信號（步驟咖）。所生叙n目像素中的只色 /r生成之仏號係儲存於結果記憶 316584 21 1277945 體14 (步驟ST42 )。 一面改變注目傻去 一面反覆進行以上處理，（=Γ=同像素作為注目像素， 一 ^ 处里（步驟ST43)。 措此’弟5圖的步驟， 十斤c π Μ11的處理結束。 色變::Γ::驟：；？步驟_同，" 信號，與上述相同::::=出信號一色 在第5圖的步驟δτ13中，盎七、b 像素的B色信號，進行具有仏輸出信號之 同於步驟仍至阳2。以^處理。此處理係如所述，不 加說明步驟ST13。 下’'照第18圖及第19圖，詳 白、像素作為注目像素（步驟$了44 )。 其次’進行注目像素周圍的像素相關性的判定 ^二5、似6、灯47、_)。此情形與第13圖的情形相 /、’係求出相對於水平/垂直方向傾斜45度之二傾斜 的相關性（步驟ST45至48)。 亦即，使用在注目像素的向右上傾斜方向排列的像素 及向右下傾斜方向排列的像素中，具有與欲產生的不足色 Π為R色的輪出k號之像素的信號，比較注目像素的向右 上傾斜方向與向左上傾斜方向之像素的相關性。因此，首 先异出在注目像素的向右上傾斜方向排列，且隔著注目像 素位於相反侧的B色像素彼此間的差分值B ( D1 )=丨β < j -卜^+1) -B(l +卜m—1) | ，以及在向右下傾斜方 1 3】6584 22 1277945 差分值B (D2) 向排列’且隔著注目像素位於相反側的B色像素彼此間的 1) — Β(1 + 1，ηι+1 I (步“ ST45 )，接著，比較此等差分值B ( D1)、B ( D2 ) 的大小關係（步驟ST46)，判定在差分值較小的方向（向 右上傾斜方向及向纟下傾斜方向）具有強的相關性。並且， 以位在具有強相關性的方向的像素中，位於注目像素附近 且與注目像素的顏色同為R色之輸出信號的像素作為 像素（步驟ST47、ST48)。 具體而言，於值B(D1) $b(D2)時，判斷向右上傾 斜方向的相關性強，以在向右上傾斜方向排列的像素中具 2與注目像素的顏色同為R色之輸出信號的像素位置〇 驟ST47)。另一方面，於枯^ ;为方面，灰值B(D1) >B(D2)時，判斷向 右下傾斜方向的相祕強，以在向右下傾斜方向排列 =具有與注目像素的顏色同為R色之輸出信號的像素位 ^ 2半η、0 ’ m)、(1 + 2，W)的像素作為選 擇像素（步驟ST48)。 在如以上進行相關性的判定後，回歸分析手段 圖f己憶體4接收所選擇之像素η色輸出信號，作為說 明^:數e⑴（1 = 1至3)(步驟ST49)，自低通濾波器& 接收B色低通濾波器輸出’以作為目的變數“厂)二 至 3)(步驟 ST50)。 此％各像素位置的低通濾波器輸出為細此像 心之’傾斜方㈣列之二像素的像素位置的像素輸:信二 3】6584 23 !277945 的平均值。 σ回歸分析手段10係使用說明變數e (1) (R色輸出信 號）及目的變數p (1)(β色低通濾波器輸出）進行回歸分 析（Υ驟ST51 ) ’ #出表示R色與Β色之相關性的回歸直 線的斜率及截距之值，如同實施形態、i，算出注目像辛中β ^生成信號（步驟ST52)。所生成之信號係儲存於結果記 憶體14 (步驟ST53)。 一一面改變注目像素，亦即以不同像素作為注目像素， —面反覆進行以上處理（步驟ST54)。 藉此，第5圖的步驟ST13的處理結束。 在第5圖的步驟ST14中，係與步驟ST13相同，但變 與B色’亦即’求出具有R色輸出信號之像素的β 色L唬，進行與上述相同的一系列處理。 若第5圖的步驟ST9至步驟STU全部結束時，對所病 :素的不足色完成内插，若結合輸出信號（藉由a/d轉指 攝像元件2的輸出所得之像素信號）與生成信號（藉由内 =所得之像素信號）’所有像素的所有色的像素信號即齊 ^ ^即’獲得-晝面份的彩色影像。因此，運算手段g 存於結果記憶體14的生成信號與與來自_元 件2的輸出信號，以作為RGB色信號予以輪出（步驟 —本實施形態2係進行注目像素周圍的像素相關性的判 疋，僅使用在判斷為相關㈣的方向排列的像素輸 ::Γ=ΐΐ:結果’選擇亮度差較少的邊緣(edge)°: U方向的像素。因此，可排除來自相關性低的方向（與 316584 24 1277945 相=強的方向垂直的方向）的影響， 之稜線之法線方向的影響。 *來自遂緣 此外，在實施形態2中，由於使 /剛攝像元件2的輸出所得之像素信號)= 措“ 替代低通濾波器輪出以作為說明來 嬸復Φ X 4 士— V W出回~直線，故 又 、不局部顏色之相關性的回歸直線。結果， 產生更正確的不足色的信號。 。 :：然進行注目像素周圍的輸出信號相關性的判 =斷為相關性強的方向排列的像素之輸出信號 ==，不過’可不進行相關性的判定，而使用輸 出仏虎“代低通濾波器輸出。/亦即，可使用注目像辛周 圍的所有方向（方向不限定）的像素輪出信號作為說 數0 (實施形態3) 態3的像素信號處理 第20圖係顯示具備本發明實施形 裝置的攝像裝置的構造方塊圖。 實施形態3除了回歸分析手段12及運算手段13外的 構造與實施形態2相同。 本實施形態係使用藉由包含上述實施形態i或實施形 態2所說明之回歸分析及運算的内插就某色所產生的像素 信號’作為於其他色内插用之回歸分析中的說明變數或目 的變數。以下就其一例，使用上述實施形態2所算出之g 色生成信號來進行R色及B色生成信號的算出之情形加以 說明。 316584 25 1277945 =動作加以說明。内插順序係如同實施形態2, _流程圖。步驟ST9及步驟测之處理與就實 R色輸出信斤:傻月：相同。錯由步驟ST9的處理，獲得具有 ':虮”位置的G色生成信號’藉由步驟ST10的 :二=具有Β色輪出信號之像素位置的G色生成信號， 的“I ;結果記憶體14。當結合儲存於結果記憶體14 生成^號與儲存於圖框記憶體“Μ色生成信號 4，G色像素信號即丨晝面份齊全。 圖的步驟ST11中’為求出具有g色輸出信號的 的i程圖。^虎，進行—系列處理。第21圖係顯示其順序 後11先k擇具有G色輸出信號的像素位置（卜m)的 j作為注目像素（㈣s τ 5 5 )。例如假設選擇第2 2圖中 像$位置（3，3)的像素的情形。 回歸刀析手段12不進行相關判定（異於仍、阳〇 )， 而代之而進仃於注目像素左右是否存在注目像素的不足 即R色像素的判定（步驟ST56)，若存在時，係以位於 1)、（ 1 — 2，m+ 1)、（ 1，j 1，m + 1 ) :目像素附近且具有R色輸出信號的第22圖中素位 置（1 - 2 < 取1 + 2 ηι 〇 ' ( 1 + 2，m + 1 )的像素作為選擇像素（ 2)、( 1 + 1 ’ 2)、( 1- ：l，m)、( ι + }，m)、( ！ + 2 )的像素作為選擇像素（步驟ST5 8 ^ ST57 ) ’另一方面，若不存在時，則係以位於注目像i 附近且具有R色輸出信號的第22圖中6個像素位置（1 ，m I ， wk C\ \ / - 316584 26 1277945 於弟22圖之情形下，由於在注目像素左右存在r色像辛， 故步驟ST56的判定結果為「γ」，而進入至步驟咖，且 將像素位置（1，2)、（卜4)、（3,2)、（3,4)、（5,2)、 (5 ’ 4)的像素作為注目像素。 於步驟伽中，以選擇像素位置中G色生成信號心 η’1"—^、山― 至6)(步驟㈣為Y時），或以g (卜卜m—2)、g :广:2)、“1 —丨…、“…，m)、g(1-h g ( 1 +卜m+ 2)作為說明變數e ( i )(丨 (步驟咖為"）。於第22圖之情形下，以 ） gn’4)、g(3,2)、g(3,4)、g(5’2)、g(5，^ 為說明變數e ( i ) ( i ：=丨至6)。 ）作 於步驟ST60中，以選擇像素位置中 m、R(1 —2,…)、R(1，m一 1 ρ / , , 〇 、丄，m+l)、 以i + 2’m-丨）、…^，—）作為目的變 >1至6)(步驟ST57為γ時） （）（1

Γ ........” m(H’m-2)、R (1 + 1 (1 — 1 + 2 )、R ( 1 +卜m + 2 )作為目的變數p ( i 、 (步驟ST57為N時）。由於在第22圖1至 驟咖中為Y，故以選擇像素位置中 〇 \ ^ . K色之輸出信辨！?( 2)、川，mn,2)、R(3,4)、R(5,2)、tR< 作為目的變數P (i) 至6)。 並且，使用如此決定的說明變數及目的變數來進行 316584 27 12/7945 歸分析，以曾φ主一 咖㈣f直線(:驟ST61t:f域内G色與R色之相 部顏色之相關性，亦可自^為了更正確求出局 (1 — 2,卜1)、U-2，m+1)^除上述6個像素位置 “ + 二”、?’…)、 m + 2)，例如第22圖中6個像素位 ;+ 、（i + 1，n 2)、（3，4)、（5，2)、“，η 置（1 2)、（1，4)、（3, 生成信號與其他選擇像辛或、、主2擇像素中，輸出信號或 的像素三以進行回歸直、:的算出。素所具有的值完全不同 運异手段13係由所得之岭 信號G(3, 3)產生注 注目像素的輪出 ST62)。所產生之作卢^户、、不足色即R色信號（步驟 ST63)〇 虎係儲存於結果記憶體14 (步驟 =改變注目像素，亦即以不同像素作為注 一面^覆進行以上處理（步驟ST64)。 ' 藉此，第5圖的步驟ST11的處理結束。 於第5圖的步驟咖中，為如

色變換成B色，亦即，韦山目士 ρ 仁將R 色信號，進行與上述相出信號之像素的13 上述相同的一糸列處理。此處理亦與

圖相同。不過’須將第21圖的步驟ST55至ST64的「R 改為1」。 」 百先’进擇具有G色輸出信號的像素位置（1，m)的 像素作為注目像素（舟_ Q C、 1、步‘ ST55 )。例如假設選擇第22圖中 316584 28 1277945 的（3 ’ 3 )的情形。 回歸分析手段12係進行於注 目像素的不足色即B色像 ’、工疋否存在注 之時，係《位於注目像m判定（步驟ST56)，當存在 圖中6個像素位置（1:2二且二有:—色輸出信號的第22 作為選擇像素（步驟ST57)， 的像素 係以位於注目像素附近且 虽不存在時，則 個像素位置（卜m;:有2輸出信號的第22圖中％ + 卜 卜心2)、(1 + 1 卜心、。 像素(步驟叫於第 产士 丁士 口之丨月形下，由於在注目傻音 左右不存在Β色像素’故步驟目像： "，广伽，而以像素位置（2，”、(2,3)、(2,5)、 (4 ’ 3)、（4 ’ 5)的像素作為選擇像素。 -2，二=—中，以選擇編^ “1 + 2，L 丨’…)、“1，"1—n、g(卜 m+1)、< =::1)、“…，…)作為說明變數e⑴(1 至步驟 ST57 為 YB”，或以 g(1 —2)、g + 2) 2)、g〇 —^m)、g(1 +卜 m)、g(l-hm g (1 +卜m+2)作為說明變數e⑴（i = l至6) (^ST57為N時）。於第22圖之情形下，以 V二 3)、“2,5)、“4，1)、川，3)、“4,5)作 為况明變數e ( i ) ( i ：=][至6)。 於步驟ST6G中，係以選擇像素之β色輸出信號β (1 316584 29 1277945 B(l + 2^~i).B(l + 25m+nV. 十丄）作為目的變數η Γ 至6)(步驟ST57為Y時），或以 （' (…，HU-!，m)、B 丨’卜2)、β + 2 )、B ( 1 + 1，m+ 2 )作為目的變數 1 (步驟ST57為N時）。在第2 ) ( 1二1至6) 於牛_ ςτ„ % 2圖所不之例子的情形下，由 : 為Ν，故以選擇像素的Β色輸出信"(2 " B(253)'B^^)'B(4m).B(4,3) 為目的變數p ( i ) ( i =丨至6 )。 5)作 歸4且2，此決定的說明變數及目的變數來進行回 性的回歸直線（步驟s T 6 n。此時， 色之相關 1 )、（ 1- 2，m+ i )、、卜卜 1 1 )、（ 1 + 2，m+ 1 )，或（j _ j 色之相關性’自選擇像素排除上 置，部顏 -η^Π-2 5 冬万征置 U-2，m ，m+l)、（1 + 2， 2)、（1 + 1，m—2) (1 - 1 5 in) ' ( 1 + 1 , m Λ ., 吐 ；，m+2)、（l + b m+2 例如弟22圖中6個你本/ 口甲M固像素位置 > )的廷擇像素中，輸出信號或 成5虎#4其他選擇像素 < 注H 〆 节及/主目像素所具有的值完全不同丨 像素，以進行回歸直線的算出。 運鼻手段13係由卢斤;^日七 由所侍之回歸直線及注目像素的輪 出信號G ( 3，3 )產生-曰你主 7翻 /主目像素的不足色即B色信號（讲 驟ST62 )。所產生之信赛孫彳 夕 泥知姥存於結果記憶體14 (步驟 ST63)。 316584 30 1277945 -面改變注目像素，亦即以不同像素作為注目像 素，一面反覆進行以上處理（步驟ST64)。 藉此，第5圖的步驟ST12的處理結束。 於第5圖的步，驟灯13中，為求出具有Q輸出㈣ 的像素的R色信號’進行—系列處理。第23圖係顯示其： 序的流程圖。 、 色輛出信號之像素位置（1 百先，選擇具有 的像素作為注目像素（步，驟ST65)。例如假 m 中的（3, 3)的情形。 、擇弟24圖 回歸刀析手丰又12係在具有注目像素周圍之B色輸出 ”的4個像素位置( H，m—υ、(1 —h 、輪出 二V/—n、（ 1 + 1 ’ m+1)，於第24圖之情形下，以（2， 推' 2 ’ 4)'(4、2)、（4、4)的B色像素作為第1 m遲 像素（選擇像素1)(步驟ST66)。 ㈣擇 並且，以儲存於結果記憶體14 位置的G辛峰+ #& 、伴诼常1的像素 直 U 色生成 ”g(2,2)、g(2,4)4

(4，4 )作為說明蠻童 S 以選擇像素心; 4)、β(4 =位置的Β色生成信號Β(2,2)、β(2, )Β (4，4)作為目的變數（υ ( (步驟 ST67)。 、 Μ 1 — 1 至 4〕 再者在具有G色輸出信號的4個像素位晉f 形下以（2,3)、（^)、（3,4)、（4,3)二_!圖之情 2組選擇像辛（遴w 3)的像素作為第 $ (廷擇像素2)(步驟ST69)。 3]6584 3] 1277945 並且，以選擇像素““色輸

(3,2)、G(3,4)、G(4,3)〜、“（2 3)、G 5至8)(步驟ST70)，以儲存於要、兄月文數e⑴（i：= 3)作為目的變數p⑴（i :(3 ’ 4)、b “， 、 ΰ 至 8)(步驟 ST71 )。 並且，使用如此決定的說 及目的變數p⑴（1 = 1至W ± Γ 1至8) 示注目像素附近區域内』色虚色來之進歸分析，算出表 驟ST7W “士 , 色射色之相關性的回歸直線（步 )。·，為了更正確求出局部顏色之相關性，亦< 可自選擇像素排除上述8個像素位置 例如第24圖中（2 n，m—η、，------ υ (…，心”…叫，，)、 2广(2’4)、(4,2)、(4,4)、(2,3)、(3,2)、(3,4)、 (4 ’3)的選擇像素中，輪出信號或生成信號

像素或注目像素所具有的值完全不同的像素，以進行= 直線的算出。 V 一運算手段13係由所得之回歸直線及注目像素的輸 出#號g (3 ’ 3)產生注目像素的不^色即B色信號（步 驟ST73)。所產生之信號係儲存於結果記憶體 ST74)。 一面改變〉主目像素，亦即以不同像素作為注目像 素，一面反覆進行以上處理（步驟ST75)。 藉此，第5圖的步驟ST13的處理結束。 方、'第5圖的步驟ST14中，為如同步驟ST13，但變 316584 32 1277945 換尺色與B色，亦即，炎屮且女

色㈣，、η 4 色輸⑽號之像素的R 3相二 U述相同的—系、列處王里。此處理亦愈第y 圖相同。不過，須將笼 /、乐4

貞將弟23圖的步驟ST65至ST74的厂B M) R」。 」 若第5圖的步驟ST9 $斗 _ CT1 μ χ A 古伤本 / W My至步驟ST14全部結束時，對 象：之不足色的内插即完成，若結合輸出信號與生成信 : 彳像素的所有色的像素錢即齊全。亦即，辦得 晝面份的彩色影像。因此，運算手段9係結合 :==成信號與储存於圖框記憶體4的輸出信。號果 為GB色k唬予以輸出（步驟STi5)。 施形態3的步驟s τ 11至步驟s τ 14係藉由除了各 丄信號：，亦使用藉由内插所得之生成信號來替 低通濾波器、輪出，可以原來形式使用注目像素的周 =相具有的信號。此外，可使用位於注目像素附近的 像素的k號。因此，择猎争下金主― 又于更正確表不局部顏色之相關性的 回歸直線。結果，可更正確產生不足色的信號。 —於上述實施形態卜2及3的說明中，雖然2次元攝 像兀件係R、G、B三色的濾色器呈貝爾型配置的元件，不 過，概括言之，本發明可適用於具備各具有第1至第N(於 上述實施形態3中N=3)分光感度特性中任—分光感度特 性的N種類光電轉換元件排列於2次元平面上的攝像元件 之情形。 於貫施形悲：1、2及3的任一形態中，回歸分析手段 (8、1 0、1 2 )係接收第1注目像素位置附近區域内之複數 316584 33 1277945 像素位置中第 特性的像I ;上述例子中，K = R、G或B)分光感度 白U被及第』（於 過L與K相里）μ ^ τ l κ G或β ’不 度特性的像素^=糾的像素信號’以第Κ分光感 像辛斤=虎作為說明變數，以第L分光感度特性的 1豕京h就作為目的轡倉 “、光感度特性的像素声號：回嶋’以算出表示第 號之相關性的回歸式，運Γ丰刀先感度特性的像素信 上述回歸式的變換；，針；第？、13)係藉由使用根據 1子乐1注目像素位置中第K分光 的像素信號，求出第1注目像素位置中第L八先 感度特性的像素信號。置甲弟L刀先 於上述實施形態1、2及3的.一π At 士 器（7a至7C )俨斟於ΪΛ ώ λΐ 、 形悲中’低通濾波 本$來自Ν種類光電轉換元件的輸出作浐 進打低通濾波，產生對庫箓]$ — 平“1口说 濾波器輸出。 仏弟1至弟ν分光感度特性的低通 用、並且，於實施形態1中’說明變數及目的變數传使 用稭由低通濾波所得之像辛作 不使 輸出信號作為說明變數；用t二貫施形態2中，使用 號作為目的變數。使用错由低通滤波所得之像素信 ，八/實施形態3中’使用藉由與實施形態2相同的回 诉夕甘 ^生之輯素的某色像素信號作為於其附 、之其他像素的其他色之像素作声 說明變數。 4就内插用之回歸分析時的 把取而代之’可使用藉由與實施形態1相同的回歸分 '斤及運算所產生之某像素的某色像素信號作為於其附近之 316584 34 1277945 數 '像素的其他色像素信號内插用之回歸分析時的說明變 實施形之内插手段來替代實施形態1或 係根據位於第i、、主概括言之’此種内插手段 /像素附近區域内，且存在第M(M係除 J R以夕卜，]5 Μ AA k 第2、、主…個）分光感度特性之像素信號的 片批 τ'位置附近區域内之複數像素位置中第Μ分光 感度4寸性的像幸作缺β μ 由内插求出第”： 分光感度特性的像素信號，藉 信號。 /目像素位置中第κ分光感度特性的像素 概括知納藉由盘會祐游…1 4、— 置=二:=:段:=_位 Ψ Ά ^ V V 罝中弟M刀先感度特性的像 特二=::=像:二…分光感度 素信號作為目的變數，而施以回歸二=== :=特性的像素信號與第K分光感二 的轉^ 式’運算手段係藉由使用根據上述回歸式: 像素信號，求出第2==位置的^分光感度特性的 像素信號，如此求出的像第κ分光感度特性的 八忠“心 豕京m糸「藉由内插求得的第κ 刀先感度特性的像素信號」， L像素信號的内插。 ；作為矹明交數，以進行第 316584 35 1277945 戶' 轭形態3進-步使用藉由回歸分析及 的像素信號，作為於用以内插其他 ^所求得 中的目的變數的一部分。於顏色具有第^:二分析 特性之情形下，將其概括表達如下。 W刀光感度 『斤「：即’復具有内插手段，其根據第2注目像辛 附近區域内之複數像素位置中，第m(m 像素位置 至N的任—個）八本 …、K以外，工 特性的像幸二=的像素信號及第[分光感度

分光感度二:二Γ求出第2注目像素位置中第L 由卜、f向4 、象素^唬，而回歸分析手段進一步使用葬 L、，f求侍的像素信號作為目的變數的一部分。曰 並且’概括歸納以上被麻你^能 手段及運瞀丰“上 ，屬恶3所說明回歸分析 說明。亦；，青形的構造，此種内插手段係如以下 區域内之複數=段係接收第2注目像素位置附近 及第l分光μ特分光感度特性的像素信號 像素信號作==像光感度特性的 度特性的歸分析’以算出表示"分光感 性的回歸分光感度特性的像素信號之相關 針對第2注目像;位；使用根據回歸式的轉換式， 朿+繁9 : μ 中弟M分光感度特性的像素信號， 如此长目像“立置中第L分光感度特性的像素信號， HA:素信號係「藉由内插求得術分光感度特 …」，用來作為目的變數的一部分。 芦、化〜恶1至3的任一形態中，回歸分析手段(8、 316584 36 1277945 10、12)係選擇y=a .…（y係 光感度特性的像素信號，爾為說明變數 ^ 段（9、13)係藉由將注目像素位置中第X分光 感度特性的像素信號X代入根據上述直線的轉換=，刀=先 b並予以轉換，以獲得注目像素位 戶:特性的像w。於此，先= ::::像素信號的第1注目像素位置中第l分光感度：性 二素：號時’χ=κ十L，r =L’，在產生存在第m 刀光感度特性之像素信號的第2注目像素位置之第κ分光 感度特性的像素信號時，1 = 1^，丫 = 1(，丫，=1(，。在產生 存在第Μ分光感度特性之像素信號的第2注目像素位置之 第^分光感度特性的像素信號時’乂^^^二卜广^^，。 於第8圖的步驟ST2中，雖以說明變數e (i)、目的 ’又數P ( 1 )求出kl、k2、k3，不過，如上所述，以χ ( i) 表示說明變數，以y ( i)表示目的變數時，求出kl、 k 2、k 3的數學式如下。 〔數學式1〕 <»ϊ (N:資料總數） 【圖式簡單說明】 弟1圖係㉟員示具備本發明實施形態1的像素信號處理 37 316584 1277945 裝置的數位相機（digital still camera)等攝像裝置的 構造方塊圖。 第2圖係顯示呈貝爾型配置的R、G、β三原色的濾色 器的說明圖。 " 第3圖係例濾色器呈貝爾型排列的2次元攝像元件的 輸出信號的2次元排列圖。 第4圖係顯示係各色分割第3圖的2次元排列 態的說明圖。 。第5圖係顯示本發明實施形態！至3的内插順序的流 程圖。 第6圖係顯示於本發明實施形態丨中，產生具有r 輸出信號的像素的G色信號之順序的流程圖。 •第7圖係例不根據由R色、G色低通濾波器（1〇w — filter)輸出構成之9組資料所獲得的回歸直線的說明圖。 第8圖係於本發明實施形態u 3中算出回歸 : 斜率及截距的流程圖。 7 、 第9圖係顯示藉由A/D轉換攝像元件的輸出 出#號的值之一例的說明圖。 、剧 第10圖係顯示於本發明實施形態i中，由 出信號算出的低通濾波器輸出的說明圖。 " 第11圖係顯示於本發明實施形態丨中，由 低通濾、波n輸出所得之回歸直線的說明圖。’的 第1 2圖係顯示具備本發明實施形態2的像素 裝置的數位相機等攝像裝置的構造方塊圖。 &处理 3 3 6584 38 1277945 第13圖係顯示於本發明實施形態2中，產生具有r 色論言號的像素的G色信號之順序的流程圖。 第14圖係顯示於本發明實施形態2中，回歸分析手段 评估像素相關性的流程圖。 第15圖係用來說明於本發明實施形態2中，在注目像 素具有R色輸出信號時’供產生不足色之G色所參考之像 素排列的說明圖。 第16圖係顯示於本發明實施形態2中，產生具有G 色輸出k唬的像素的r色信號之順序的流程圖。 第17圖係用來說明於本發明實施形態2中，在注目像 素具有G色輸出信號時，供產生不足色之R、B色所參考之 像素排列的說明圖。 第18圖係顯示於本發明實施形態2中，產生具有r 色輸出信號的像素的B色信號之順序的流程圖。 苐19圖係用來說明於本發明實施形態2中，在注目像 素具有R色輸出信號時，供產生不足色的B 素排列的說明圖。^ 第20圖係顯示具備本發明實施形態3的像素信號處理 裝置的數位相機等攝像裝置之構造方塊圖。 第21圖係顯示於本發明實施形態3中，產生具有g 色輸出信號的像素的R色信號之順序的流程圖。 第22圖係用來說明於本發明實施形態3中，在注目像 素具有G色輸出信號時，供產生不足色的R、B色所參考之 像素排列的說明圖。 7 316584 39 1277945 第23圖係顯示於本發明實施形態3中，產生具有R 色輸出信號的像素的B色信號之順序的流程圖。 第24圖係用來說明於本發明實施形態3中，在注目像 素具有R色輸出信號時，供產生不足色的B色所參考之像 素排列的說明圖。 2 2次元攝像元件 4 圖框記憶體 6a 2次元記憶體 8、10、12回歸分析手段 14 結果記憶體 【主要元件符號說明 1 透鏡 3 A/D轉換器 5 多工解訊器 7a至7c低通濾波器 9 ' 13運算手段 15 輸出端子 316584 40

Claims (1)

1277945 、申請專利範圍： 一種像素信號處理裝置，係根據排列於2次元平面 上，各具有第1至第N分光感度特性中任一特性的像 素的像素信號組，產生存在第K ( κ為1至N中任一 個）分光感度特性之像素信號的第1注目像素位置中 的第L (L係除了 κ以外，1至ν中任一個）分光感 度特性的像素信號者，其特徵為具有： 、回歸分析手段，以上述第〗注目像素位置附近區 域。内複數像素位置的上述第κ分光感度特性的像素 t號作為說明變數，以上述第L分光感度特性的像素 k唬=為目的變數，施以回歸分析，以算出用以表示 上述第κ分光感度特性的像素信號與第L分光感度特 性的像素传號之相關性的回歸式；以及 、 又藉由使用根據上述回歸式的轉換式 :i Ϊ第1注目像素位置中上述第κ分光感度特性 #'、仑唬求出上述第丨注目像素位 感度特性的像素信號。 c弟刀 2. 士申明專利範圍第】項之像素信號處理裝置，其中 具有·· … 攝：元件’將各具有第，至第Ν分光感度特性 .寸# Ν種類光電轉換元件排列於2次元平淺 上，以及 低通攄波手段 行低通濾波； 對於上述攝像元件的輸出信號進 藉由上述低通濾波所 上述回歸分析手段係使用 316584 41 1277945 得之像素信號作為上述說明變數及上述目的 3:請專利範圍第〗項之像素信號處理裝置'中復 攝像元件，將各具有第丨至第…分光感戶 任一特性的N種類光電轉換元件排列於2<次^平 上；以及 卞® 低通濾波手段，對於上述攝像 行低通濾波； 攝像兀件的輸出信號進 上述回歸分析手段係使用自上述攝像 :像素信號作為上述說明變數，使用藉由上述低通, 波所得之像素信號作為上述目的變數。 〜 請專利範圍第μ之像素信號處理裝置，其中復 内，手段’根據位於上述第！注目像素附近區域 八第Μ(Μ係除了 Κ以外，1至Ν的任一個） 二：ίΓ性之像素信號的第2注目像素位置附近區 铲及上Ϊ t素位置中’第Μ分光感度特性的像素信 5虎及上述第κ分光咸声辟：柯μ爲^ 刀尤α度特14的像素信號，藉由内插求 =述弟2注目像素位置中第Κ分光感度特性的像素 回歸分析手段係使用藉由上述内插所求出 之像素k唬作為上述說明變數。 5.:有申請專利範圍第4項之像素信號處理裝置，其中復 内插手段，根據位於上述第"主目像素附近區域 316584 42 1277945 内’且存在第M(M係除了 κ以外，的任 . =度Γ生之像素信號的第2注目像素位置附近區’ 二*數像素位置中’第乂分光感度特性的像素俨 t ^ L分光感度特性的像素信號，藉由内插求 信ί述第2注目像素位置中第L分光感度特性的像素 t述回歸分析手段係進一步使用藉由上述内插 所未出之像素信號作為上述目的變數的―部分。 6’如申明專利乾圍第i項之像素信號處理裝置，其中復籲 具有： 、 内插手段，根據位於上述第j注目像素附 内、’且存在h(M係除7K以外，的任一個成） 分先感度特性之像素信號的第2注目像素位置附近區 域内之複數像素位置中’第M分光感度特性的像素信 號及上述第L分光感度特性的像素信號，藉由内插求 出上述第2注目像素位置中第L分光感 信號； 豕畜^ 上t回歸刀析手段係使用藉由上述内插所求出 之像素k號作為上述目的變數的一部分。 7.如申凊專利範圍第4 < 5項之像素信號處理裝置，其 中，上述内插手段係由上述回歸分析手段及上述 手段所構成； # 上述回歸分析手段係以上述第2注目像素位置附 近區域内之複數像素位置中之第M分光感度特性的 像素信號作為說明變數，以上述第尺分光感度特性的 316584 43 1277945 矣：二二為目的變數’施以回歸分析，以算出用以 ^不述第M分光感度特性的像素信號與第K分光 感度特性的像素信號之相關性的回歸式； 換式第手2段主係目藉像由_；1用=據上述回歸式的轉 Π象素…出上述第2注目像素位置中上述第 刀光感度特性的像素信號。 8· 2申請專利範圍第5或6項之像素信號處理裝置，並 :段Si插手段係由上述回歸分析手段及上述運算 2回歸分析手段係以上述第2注目像 ==數像素位置中之第Μ分光感度特性的 像抑^ 數’以上述第[分光感度特性的 :素^ :虎作為目的變數，施以回歸分析，以算出用以 逑第Μ分光感度特性的像素信號與第二分光 之又寺性的像素信號之相關性的回歸式； 施4、上述運#手段係11由使用根據上述回歸式的轉 二’對上述第2注目像素位置中上述第Μ分光感戶 像素信號求出上述第2注目像素位置中上述； 1 y刀光感度特性的像素信號。 弟 9. :申請專利範圍第2或3項之像素信號 通滤波手段係以自上述攝像元件輸出的像 ^平均值或加權加算平均值作為低通遽波器 10. 如申請專利範圍第】項之像素信號處理裝置，其中復 316584 44 1277945 具有： /一攝像元件，將各具有第1至第n分光感度特性中 • 1*生的N種類光電轉換元件排列於2次元平面 &回歸分析手段係判定於上述第i注目像素月 判斷it像元件輸出之像素信號的相關性，使月 ,強的像素位置的像素信號作為上述說 月、交數及上述目的變數。 ut申請專利範圍“項之像素信號處理裝置，其 圍：土m析手段係算出於上述第1注目像素周 :4又特性的種類相同且隔著上述第！注目# I 、目反位置的二個像素的像素信號的差，者上、千、 像素信號的差較小時，判定相 田4 結相關性最h “ π ’亚使用位於連 …相關性取同之二像素的直線方向的像素 說明變數及上述目的變數。 ” 、、^ 圍第10或11項之像素信號處理袭置， /、中復具有低通濾波手段，對於 信號進行低通濾波； 、攝像凡件的輪出 /低通Μ波手段係僅根據位於連結上述 ^生取尚的像素之直線方向的像素進行低通』 13^申4專利範圍第】項之像素信號處理心， 上逑回歸分析手段係選擇以 /、甲’ 3 · Χ+ b ···(】） (y係第γ分光感度特性的像素信號， 【係第X分光感度特性的像素信號， 316584 45 1277945 a及b係常數） 表示的直線作為回歸式； 位晋士？運算手段係藉由將上述第1或第2注目像紊 梳吉綠从 J 1冢素k號X代入根據上 、直、，泉的下述轉換式（2 ) ·· = a · X + b ··· ( 2 (於此，當產生上述第1注目像：立置中上述第 光感度特性的像素信號時，乂二尺，丫=^^=^刀 在產生上述第2注目像素位， 性的像素信號時，X=M，Y :上，，弟κ分光感度特‘ r — Κ，γ，= κ，， 在產生上述第2注目傻夸办里山_ 性的像素信號時，Χ= Μ，L，γ，弟^分光感度特 以轉換，以獲得上述第丨或 =L’ ），並予 分光感度特性的像素信號。/目像素位置中第Υ 14.如申請專利範圍第13項之 J_ u '+' X-, \ , 言L 5虎處理裝置，JL 中，上述回知分析手段係藉由下述 置/、 回歸式的常數a及b， （ 3 )异出上述 kl α —— kl ,灸3 b 5=— kl « = (^/). ^(/)) 〜ί>·)·ί>0·) »-1 ί-j N :資料總數 15·—種 像素信號處理方法#〗械 （ 万去ϋ據排列於2次元平 Ή⑽4 46 1277945 上，各具有第1至第N分光感度特性中任一特性的像 素的像素信號組，產生存在第K(κ為】至N中任— 個i分光感度特性之像素信號的第工注目像素位置中 之弟L (L係除了 K以外，J至N中任一個）分 度特性的像素信號者，其特徵為具有：心 回歸分析步驟’以上述第"主目像素位置附近區 複數像素位置的上述第κ分光感度特性的像 辛為說明變數’以上述第L分光感度特性的像 :二乍為目的變數，施以回歸分析，以算出用以表 :性光感度特性的像素信號與第W光感度 、象素诒號之相關性的回歸式；以及 對上ilif驟’藉由使用根據上述回歸式的轉換式， 像抑货=目像素位置中上述第冗分光感度特性的 I、號求出上述第丨注目像素 感度特性的像素信號。 置宁上这弟L刀先

316584 47