TW201101807A - Method and apparatus for image processing and on-vehicle camera apparatus - Google Patents

Description

201101807 六、發明說明： 【發明所屬之技術領域】 本發明係有關於處理藉由使用廣視角光學系統所取得 的影像之影像處理裝置及方法，以及有關於包含影像處理 裝置之車載相機裝置。 【先前技術】 0 習知上使用高頻增強濾波器（邊緣增強濾波器）來校 正例如透鏡之光學系統所造成的解析度劣化及失真校正之 後的頻率特性。 问時’當使用光學系統拍攝影像時，取決於所使用的 光學系統’影像的解析度隨著朝向周圍，亦即離開光學系 統的光學中心而降低。爲達此目的，舉例而言，日本專利 申請公開號2007- 1 48 5 00案揭示使用高頻增強濾波器。在 此高頻增強濾波器中，濾波器係數視離開影像框中心的距 〇 離而變’以便朝向影像視框的周圍而實施更廣範圍的增強 〇 已要求相當強的全方向邊緣強化，藉由使用習知的均 勻、與方向無關之濾波器，以在影像框的周圍部份中增加 高頻增強（邊緣增加）的強度。這會產生雜訊大幅放大之 副作用。 藉由位元移位器及加法器，可以實施固定係數濾波器 。相反地’致使影像框在影像框的不同部份具有不同的濾 波係數之配置需要大量的乘法器，其導致的電路規模尺度 -5- 201101807 。這使得配置在某些情形中較不適合’例如，使用做爲配 置應以低功率來操作之車載設備。 本發明解決習知技術中的上述問題。 【發明內容】 根據本發明的態樣，提供有包含邊緣增強濾波機構以 增強影像清晰度的影像處理裝置。邊緣增強濾波器機構包 含用以計算距離値的距離計算機構，距離値是標的像素與 在至少二軸向上拍攝的影像之光學中心之間的距離値；邊 緣偵測濾波器，對應於每一個軸向，每一個邊緣偵測濾波 器係配置成依據以一方向接一方向爲基礎的方式來偵測至 少二方向中之對應的一個方向上的邊緣量；乘法機構，對 應於每一個邊緣偵測濾波器，每一個乘法機構將在邊緣偵 測濾波器中對應的偵測濾波器處所偵測到的邊緣量乘以距 離計算機構對於軸向中對應的一個軸向計算而得的距離値 :第一加法機構，將乘法機構的輸出加總在一起；以及， 第二加法機構，將標的像素的像素値加至第一加法機構的 輸出。 根據本發明的態樣，以相當小規模尺寸的電路及處理 ’可以實施致使解析度在影像框的周圍降低之光學系統的 校正。同時，據此也可以抑制雜訊放大。此外，不僅對影 像框的周圍部份’而且也對其中心部份，實施邊緣增強。 【實施方式】 -6- 201101807 於下，將參考附圖來說明本發明的代表性實 發明的一個實施例提供影像拍攝裝置，藉由使用 大率色差及高失真的廣視角光學系統來拍攝物體 影像拍攝裝置包含影像處理系統，而影像處理系 施MIF校正之外，也實施放大率色差的校正、 正、等等。無需多言，配置並不限於此。 況且，在下述說明中，假定影像係由加法三 〇 即’紅色（R )、綠色（G )、及藍色（B ))所 需多言’本發明可以被應用至影像係由減法三原 ’黃色（Y)、洋紅色（Μ )、及青綠色（C ))所 形》 圖1是依據本發明實施例之影像拍攝裝置中 理系統的功能性方塊圖。影像拍攝裝置又外部地 示於圖1中的操作單元、影像儲存單元、及影像 (監視器）。假定是使用影像拍攝裝置作爲車載 Ο 。無需多言，可以以其它方式來使用影像拍攝裝 影像拍攝裝置包含控制單元1 〇 〇。控制單元 控制訊號（時鐘、橫向/縱向同步訊號、等等） 攝裝置之所有的其它單元。亦即，控制單元100 控制所有其它單元的操作。 影像拍攝裝置包含成像裝置110。成像裝置 例如電荷耦合裝置（CCD )或互補金屬氧化1 (CMOS)感測器等元筆，並且將藉由使用廣角光 未顯示出）所拍攝的光學影像轉換成電訊號（像 施例。本 具有大放 的影像。 統除了實 失真的校 原色（亦 構成。無 色（亦即 組成之情 之影像處 包含未顯 顯示單元 相機裝置 置。 100供應 給影像拍 管線化地 1 1 0包含 [勿半導體 學系統（ 素訊號） 201101807 。廣角光學系統具有大放大率像差及失真。成像裝置110 又包含貝爾（Bayer)陣列爐色器，並且，依據自控制單 元100饋出的座標値（x，y)，依序地輸出貝爾陣列中的 RGB像素訊號。控制單元1〇〇也將饋送至成像裝置110 之座標値（x，y)，以預定的時間落後，依序地饋送至配置在 控制單元1 00的後續級之單元。 在另一配置中，取代控制單元100，成像裝置110產 生座標値（x，y)，以回應接收到時鐘及橫向/縱向同步訊號 ，並且將它們依序地饋送給配置在控制單元1 00的後續級 之單元。 影像拍攝裝置包含設於控制單元1 0 0的後續級之類比 對數位（A/D)轉換器120。從成像裝置1 10輸出的貝爾陣 列RGB影像訊號是類比訊號。A/D轉換器1 20將類比貝 爾陣列R G B影像訊號轉換成數位訊號（像素資料）。舉 例而言’每一個數位訊號是RGB的每一種顏色具有8位 元的訊號。自動增益控制（AGC)電路典型上係設置在A/D 轉換器1 20之先前級處：但是，省略其說明。 影像拍攝裝置包含設於A/D轉換器120的後續級之 貝爾內插單元130。貝爾內插單元130接收貝爾陣列RGB 影像訊號（像素資料），並且藉由以RGB的個別顏色爲 基礎而實施線性內插，以產生所有座標位置的像素資料。 雖然，在本實施例中，已將成像裝置說明爲包含貝爾 陣列濾色器，但是，本實施例對於包含例如C Μ Y G陣列 或RGB及紅外線（1〇陣列等其它配置的濾色器之成像裝置 201101807 也是有效的。特別是，相較於例如RGB 型，如同先前所述之包含具有四顏色陣列 像裝置要求具有較低潛時的記憶體或四埠 (RAM)，以供用於放大率色差校正。 影像拍攝裝置包含設於貝爾內插單元 放大率色差校正單元140。放大率色差校 貝爾內插的R、G、B像素資料，藉由使 Q ，以RGB的個別色度成分爲基礎來實施 率色差座標轉換），並且，輸出具有已進 正的RGB像素資料。如同稍後將說明般 相當小容量及低潛時的記憶體或具有相當 的記憶體（例如，靜態隨機存取記憶體（ 實施用於校正放大率色差之座標轉換。 影像拍攝裝置包含設於放大率色差校 級之MTF校正單元150〇MTF校正單元 〇 放大率色差校正之RGB像素資料，並且 料的亮度訊號實施高頻增強濾波之MTF 已進行MTF校正之RGB像素資料。本 MTF校正單元150。如同稍後將說明般， 置允許以相當小規模的電路來增加朝向影 頻增強的強度。也允許執行強力的邊緣增 學解析度容易低之離影像框中心的切線方 影像拍攝裝置包含設於MTF校正單: 之失真校正單元160。失真校正單元160 之三種顏色的類 之此濾色器的成 隨機存取記憶體 1 3 0的後續級之 正單元140接收 用預定的多項式 座標轉換（放大 行放大率色差校 ，藉由使用具有 小容量及許多埠 :SRAM))，以 正單元1 4 0的後 150接收已進行 •對RGB像素資 校正，而且輸出 發明係有關於此 依據本發明的配 像框的端部之高 強，特別是在光 向上。 ΐ 1 5 0的後續級 接收已進行放大 -9- 201101807 率色差校正及MTF校正的RGB像素資料，藉由使用預定 的多項式等而以集體地實施RGB色度成分的座標轉換（ 失真座標轉換），並且輸出已進行失真校正的RGB像素 資料。如同稍後將說明般，失真校正之座標轉換中使用的 記憶體希望具有比放大率色差校正中使用的記憶體之容量 還大的容量（最多大一個影像框）；但是，用於校正之記 憶體所需的埠的數目爲一。因此，關於此記憶體，可以使 用高潛時的記憶體（動態隨機存取記憶體（DRAM )等等 )° 影像拍攝裝置包含設於失真校正單元1 60的後續級之 伽瑪校正單元170。伽瑪校正單元170接收從失真校正單 元1 60輸出的RGB像素資料，藉由以RGB的個別顏色爲 基礎而使用查詢表等以對資料實施預定的伽瑪校正，並且 輸出已進行伽瑪校正的RGB像素資料。從伽瑪校正單元 1 70輸出的像素資料係以監視器顯示於顯示單元上（未顯 示出）。 具有圖1中所示的配置之影像拍攝裝置可以提供低成 本之高影像品質的成像系統，雖然成像系統使用具有放大 率色差及失真的光學系統以及產生周圍的影像品質（解析 度）相當低之影像’但是’其是低成本及具有相當小的規 模尺寸之電路。同時，放大率色差校正單元140可以由同 時校正放大率色差及失真的放大率色差及失真校正單元取 代。當使用此放大率色差及失真校正單元時，失真校正單 元1 6 0變成不必要的。伽瑪校正單元1 7 0可以被配置在正 -10- 201101807 好在貝爾內插單元1 3 0的後續級。 於下，將詳述放大率色差校正單元140、MTF校正單 元150、及失真校正單元160的特定代表性配置。 在詳細說明放大率色差校正單元140及失真校正單元 160之前，將說明放大率色差校正及失真校正的原理。 如圖2中所示般，當使用光學系統來拍攝影像時，並 且，當放大率色差及失真發生時，以1標示之影像框的右 0 上方之原始位置（像素）有關的像素資料因爲失真而從此 原始位置偏移，又因爲放大率色差而在不同的RGB色度 成分中不同地偏移。因此，由成像裝置所真正成像的R成 分、G成分、及B成分分別以2(R)、3(G)、及4(B)顯示 於圖2中。藉由將2(R)、3(G)、及4(B)的位置（像素） 之RGB色度成分有關的像素資料複製至原始位置的位置（ 像素）1;亦即，藉由實施座標轉換，以實施放大率色差校 正及失真校正。在實施座標轉換時，使用位置2、3、及4 〇 作爲座標轉換源座標，而使用位置1作爲座標轉換標的座 標》 可以從光學系統的設計資料取得失真量及放大率色差 量；因此，能夠計算與原始位置有關的RGB色度成分的 偏移量》 圖3是用以說明同時校正放大率色差及失真的方法。 具體而S，藉由將與2(R)、3(G)、及4(B)的位置（像素 )之RGB色度成分有關的像素資料複製至原始位置的位 置（像素）1 ;換言之’藉由實施座標轉換，以同時校正放 -11 - 201101807 大率色差及失真。但是，此方法之缺點在於需要提供具有 相當大容量與低潛時和用於RGB中的每一個顏色的多個 埠中之任一者的記憶體。舉例而言，在圖3中所示的實施 例中，對於RGB中的每一個顏色，需要快速的6線記憶 體以實施座標轉換。 圖4A及4B用以說明用於單獨地校正放大率色差及 失真之方法。雖然放大率色差發生於不同的色度成分之間 不同的偏移量，但是，偏移量相當小。相反地，失真發生 有相當大的偏移量，但是，對於不同的色度成分，偏移量 是相同的。著重於此，以RGB的個別色度成分爲基礎， 實施像素資料的座標轉換（在稍後說明的實施例中，RB 色度成分接受座標轉換以及複製至G成分的位置），以 校正放大率色差；之後，已進行放大率色差校正的RGB 像素資料作爲一組資料而接受失真校正之座標轉換。此方 法允許分別地使用放大率色差校正座標轉換及失真校正座 標轉換中使用的記憶體。更具體而言，能夠使用用於放大 率色差校正座標轉換中用於RGB之快速（低潛時或具有 多埠）、小容量記憶體，以及使用由RGB共用及用於失 真校正的緩慢（高潛候性或具有單一埠）、大容量記憶體 。分別的記憶體之使用導致成本降低。圖1的系統配置說 明此點。 圖4A是放大率色差校正的圖形’參考圖4A，在與位 置（像素）2(R)及4(B)的RB色度成分有關的像素資料接 受要複製至3(G)的座標轉換，3(G)是G成分的位置（像 -12- 201101807 素）。藉由實施此操作，取得放大率色差校正。圖4B是 失真校正圖，參考圖4B，已進行放大率色差校正及與位 置（像素）3的RGB色度成分有關之像素資料作爲一組 資料接受要複製至位置（像素）1的座標轉換，而位置1是 原始位置。藉由實施此操作，取得失真校正。 在圖4A及4B中所示的實施例中，個別地處理RGB 之3線、快速記億體可以令人滿意地用於放大率色差校正 〇 。另一方面，額外地要求用於失真校正之5線記億體；但 是，此記憶體可以是RGB共用的緩慢記憶體，相較於圖 3，造成總成本降低。 此處所述的失真代表要被使用的投射設計中的透鏡失 真。要被使用的投射設計的實例包含從相機上方觀視而取 得影像之投射設計及以放大方式來顯示部份影像的放大設 計。 圖5是放大率色差校正單元140的示意配置圖。放大 〇 率色差校正單元140包含座標轉換記憶體（線緩衝器）（ SRAM )，用以校正放大率色差，其中，1410(R)、 1410(G)、及1410(B)分別使用於R色度成分、G色度成分 、及B色度成分；座標轉換單元1 420，根據預定的座標 轉換演算法，以個別的顏色爲基礎來計算放大率色差校正 的轉換座標；以及，座標轉換係數表1 43 0，其儲存使用 於座標轉換演算法的係數。 以具有相當小容量及具有用於RGB的3埠或低潛時 的記憶體作爲線緩衝器，可以令人滿意地實施放大率色差 -13- 201101807 校正。在本實例中，在導因於放大率色差的最大偏移量爲 20線之假設下’將每一個座標轉換記憶體1410(R)、 1410(G)、及1410(B)均假定爲包含容量20線的SRaM。 在X方向上的記憶體的尺寸大小視解析度而定。舉例而 言，當解析度等於視頻圖形陣列（VGA)(64〇 X 480)的解析 度時，在X方向640點的大小是足夠的。色彩深度是 RGB的每一個顏色爲8位元，並且’以8位元爲單位來 實施每一個座標轉換記憶體1 4 1 0 ( R ) 、1 4 1 〇 ( G )、及 1410(B)的寫入及讀出。

因而，每一個座標轉換記憶體1 4 1 0 ( R ) 、ϊ 4 1 0 ( G )、及1410(B)的容量小；因此，每一個記憶體希望包 含設於影像處理晶片中的3埠SRAM以確保記憶體區含有 20線。當記憶體是例如SRAM等低潛時記憶體時，可以 以時間分享的方式，使用1埠記憶體作爲3埠記億體。 已進行放大率色差的R G B的個別顏色的像素資料根 據對應的座標値（X，y)’從其第一線依序地被寫至座標轉換 記憶體141 0(R)、1410(G)、及141 0(B)中對應的一個。當 20線的像素資料被寫至每一個記憶體時，從第一線依序 地放棄像素資料’並且，後續的像素資料線依序地被新近 寫入以佔據被放棄的資料的地方。因此，實施校正放大率 色差之座標轉換所需的每一個記憶體最多2〇線的RGB像 素資料依序地被儲存於每一個座標轉換記憶體141〇 ( R) 、1410 ( G )、及 141 0(B)中。 座標値（x，y)表示拍攝影像之一個框的讀出位置。同時 -14- 201101807 ，每一個座標轉換記憶體1410(R)、1410(G)、及1410(B) 是20線緩衝器，其中，要被寫入的線循環地改變；因此 ，直接使用座標値（x，y)作爲座標轉換記億體1410(R)、 1410(G)、及1410(B)上的寫入位址是沒有用的。因此，需 要將座標値（x，y)轉換成座標轉換記憶體 1410(R)、 1410(G)、及1410(B)上的真實位址；但是，用於此的配置 並未顯示於圖5中。同理可用於稍後說明之後轉換座標値 0 (Χ,Υ)與座標轉換記憶體1410(R)、1410(G)、1410(B)上的 讀取位址之間的讀取操作關係。 座標轉換單元1 42 0接收座標轉換標的座標之座標値 (x，y)，藉由使用例如多項式之預定的座標轉換演算法而以 RGB的個別顏色爲基礎，計算放大率色差校正的轉換座 標，並且輸出座標値（Χ,Υ)，座標値（Χ,Υ)是以RGB的個 別顏色爲基礎之座標轉換源座標。如圖4A所示，在本實 例中’ R及B色度成分接受要被複製至G成分的位置之 〇 襲龍 。因此’有關於G成分，接收輸入座標値（x，y) 的座標轉換單元1420將它們作爲座標値（χ，γ)輸出而不實 施轉換’有關於R及Β色度成分，座標轉換單元1420藉 由使用預定的座標轉換演算法，以個別顏色爲基礎，將如 此所輸入的座標値（x，y)轉換成座標値（Χ,Υ)，並且輸出座 標値（Χ,Υ)。對每一組的座標値（x,y)重複此操作。 當假定原點在影像框的中心時，可以以下述等式（1) 來表示座標轉換演算法： -15- 201101807 X=x+[a(l)+a(2)xabs(x)+a(3)xabs(y)+ a(4)xy2]xx Y = y + [b(l) + b(2)xabs(y) + b(3)xabs(x)+ b(4)xx2]xy ... (l) 其中’ abs()是（）中的參數的絕對値，並且，a(i)至 a(4)及b(l)至b(4)是座標轉換係數。座標轉換係數被預先 儲存於座標轉換係數表1 43 0中。 與上述對座標轉換記憶體1410(R)、1410(G)、 1410(B)的寫入相平行地（事實上，以預定時間週期的延 遲），根據座標轉換單元1420輸出的座標値（χ，γ)(事實 上’座標値（Χ,Υ)的位址轉換値），從座標轉換記憶體 1410(R)、1410(G)、1410(B)依序地讀出RGB像素資料。 在此情況中’從G成分像素資料被寫入的位置相同的位 置之座標轉換記憶體1 4 1 0(G)，讀取G成分像素資料。相 反地’從與色度像素資料寫入之位置以預定距離（亦即， 以放大率色差量）偏移的位置之座標轉換記憶體1 4 1 〇(R) 及1410(B)中之對應的一個，讀取R成分像素資料及b成 分像素資料中的每一個資料。 藉由實施上述操作，已進行放大率色差校正之RGB 像素資料從座標轉換記憶體141 0(R)、1410(G)、及 1410(B)輸出。具體而言，在座標轉換源座標値（χ，γ)的 RGB像素資料作爲在座標轉換標的座標値（x,y)之rgB 像素資料被輸出。 圖6A至6C顯示座標轉換單元1420之不同的舉代表 性的配置。圖6A是代表性配置，其中，G色度成分並未 -16- 201101807 接受座標轉換，並且，輸入値的座標値（x，y)作爲G座標 値（X，Y)輸出，而R及B色度成分分別接受將輸入値之座 標値（X，y )轉換之座標轉換計算單元1421實施的R座標 轉換以及座標轉換計算單元1 42 2實施的B座標轉換，以 輸出R座標値（Χ,Υ)及B座標値（Χ,Υ)。由於僅提供用 於R及Β色度成分的座標轉換計算單元，所以，能夠抑 制電路規模。 0 圖6Β及6C顯示其它的代表性配置，這些配置著重 於R及Β色度成分通常以放大率色差偏移而圍繞G色度 成分實質上對稱（圖2)。圖6Β顯示代表性配置，其中 ，一個座標轉換計算單元1 423計算座標値（x，y)的校正量 ’減法單元1 04將校正量從座標値（x，y)減掉以取得β座 標値（X，Y) ’而加法單元1 425將校正量加至座標値（x，y)以 取得R座標値（Χ,Υ)。另一方面，以同於圖6A中所示的 方式’將輸入的G座標値（x，y)原狀地輸出，作爲G座標 〇 値（χ，γ)。 圖6C顯示代表性配置，其中，設置增益電路1426以 調整R校正量，以允許對稱位置之間的偏差。圖6Β及6C 中所示的代表性配置，僅以一個座標轉換計算單元來具體 實施’導致進一步縮減電路規模。 提供儲存用於R及Β色度成分中的每一者之輸入座 標値（x，y)及輸出座標値（X，γ )之間的對應性之查詢表 (LUT) ’以取代圖6A中所示的座標轉換計算單元1421及 1 422 ’使得藉由使用LUT，可以直接取得對應於座標轉換 -17- 201101807 標的座標値（x，y)之座標轉換源座標値（χ,Υ)。類似地，可 以設置儲存輸入座標値（x，y)與校正量之間的對應性之查詢 表（LUT)，以取代圖6B及6C中所示的座標轉換計算單元 1423，使得於藉由使用LUT，可以直接取得對應於座標値 (x，y)之校正量。這允許省略座標轉換的計算，藉以使放大 率色差校正基本上可以僅在記憶體晶片上實施。 圖7是失真校正單元160的詳細配置圖。失真校正單 元160包含：RGB結合單元1610，將個別對應於一個顏 色的三筆RGB像素資料結合成一筆；座標轉換記憶體 1 620(SRAM)，由RGB像素資料的多個色度成分共用以及 使用於失真校正；RGB分開單元1 630，將結合的RGB像 素資料分開成原始色度成分；校正失真座標轉換計算單元 1 640，藉由使用預定的座標轉換演算法，計算用於結合的 RGB像素資料的失真校正之轉換座標；以及，座標轉換 係數表1 6 5 0，儲存要和座標轉換演算法一起被使用的係 數。 由於失真發生有相當大的偏移量，所以，希望使用最 多儲存一個影像框的像素資料之緩衝記憶體，以實施失真 校正。同時，由於RGB色度成分以單一偏移量偏移，所 以，可以令人滿意地使用位元寬度等於RGB像素資料的 總位元數之單一緩衝器記憶體。假定解析度爲VGA(640 X 4 8 0)，則RGB像素資料的位元數（色彩深度）是RGB的 每一個顏色爲8位元，並且，座標轉換記億體1 6 2 0是 DRAM，以640x480點、24位元爲單元來實施對DRAM的 -18- 201101807 寫入及讀出。 以成本觀點而言，在影像處理晶片中，難以用SRAM 的形式來實施如上所述要求相當大的容量之座標轉換記億 體1 620 ’並且，可以令人滿意地使用1埠記憶體來處理 RGB;因此’希望藉由使用設置於影像處理晶片外部之 DRAM來實施座標轉換記憶體1 620。 RGB結合單元1610接收已進行放大率色差校正之 Q RGB像素資料（各爲8位元），將RGB像素資料依序地結 合成一筆像素資料（24位元），並且輸出像素資料。如 此結合的RGB像素資料根據座標轉換標的座標値（x，y)， 從其第一線依序地被寫至座標轉換記憶體1 620。 同時，校正失真座標轉換計算單元1640接收座標轉 換標的座標値（X，y)’藉由使用例如多項式之預定的座標轉 換演算法，計算用於失真校正之RGB共同的轉換座標， 並且，輸出座標轉換源座標値（X，Y)。座標轉換演算法可 〇 以表示成等式（1)，與先前所述放大率色差校正中使用的 等式相同。當然，不同的座標轉換係數是要被使用的。座 標轉換係數被預先儲存於座標轉換係數表1650中。 與先前所述之結合的RGB像素資料（24位元）對座標 轉換記憶體1 620的寫入相平行地（精確而言，以預定時 間週期的延遲），根據從校正失真座標轉換計算單元 1640輸出的座標値（X，Y)’從座標轉換記憶體1620依序 地讀取結合的RGB像素資料。RGB分開單元1030將讀自 座標轉換記憶體1 620之結合的RGB像素資料（24位元 -19- 201101807 )分開成其個別的R、G、及B成分的原始像素資料（各 爲8位元）。 這些操作的結果係已進行失真校正的R像素資料、G 像素資料、及B像素資料從RGB分開單元1 63 0輸出。換 言之，R像素資料、G像素資料、及B像素資料被複製至 座標値（x,y)或它們的原始位置。 也是在失真校正的情況中，提供儲存輸入座標値（x,y) 與輸出座標値（Χ,Υ)之間的對應性之LUT，以使得藉由使 用LUT而直接取得對應於座標轉換標的座標値（x，y)之座 標轉換源座標値（Χ，γ)。這允許省略座標轉換的計算，藉 以使失真校正基本上也僅可以在記憶體晶片上實施。 於下，將說明MTF校正單元150。圖8顯示M TF校 正單元150的基本配置。在MTF校正單元150中，回應 於受到已進行放大率色差校正的RGB像素資料，色度/亮 度訊號分開單元1 5 1 0將RGB像素資料分開成爲亮度訊號 Y及色度訊號Cb和Cr ; FIR濾波器（邊緣增強濾波器） 1520實施亮度訊號Y的高頻增強（MTF校正），並且， 色度/亮度訊號結合單元1 5 30結合已進行高頻增加的亮度 訊號Y與色度訊號Cb、Cr，藉以輸出RGB像素資料。 色度/亮度訊號分開單元1 5 1 0藉由使用例如下述等 式，將RGB像素資料分開成爲亮度訊號Y及色度訊號Cb 和Cr : (2)

Y-0.299R + 0.5 8 7G + 0. 1 14B -20- 201101807

Cr = 0.500R-〇.41 9G-0.08 IB (3)

Cb = -0. 1 69R-0.3 32G + 0.5 00B (4) FIR濾波器1 520典型上包含如圖9所示的5x5濾波 器，僅接收亮度訊號Y與色度訊號Cb和Cr之中的亮度 訊號Y，並且，實施預定的高頻增強濾波，以使得藉由僅 對Y訊號實施高頻增強濾波（MTF )校正，以抑制色度雜 0 訊放大。這導致高品質影像的取得。 色度/亮度訊號結合單元1 53 0接收已進行高頻增強的 亮度訊號Y及色度訊號Cb和Cr，藉由使用例如下述等式 以將這些訊號結合，並且，輸出RGB像素資料： R = Y+1.402Cr (5) G = Y-0.714Cr-0.344Cb (6) B = Y+1.772Cb (7)

G 本發明係有關於fir濾波器（邊緣增強濾波器1520 )的改進。使用根據本發明的實施例之FIR濾波器允許增 加朝向影像框的端部之高頻增強的強度。其也允許實施相 當強的邊緣增強，特別是光學上容易低的始於影像框中心 的切線方向。爲了取得局頻增強效果，藉由使用效果上與 從本發明的實施例取得的效果相同之如圖9所示之習知的 均勻、方向獨立的均勻濾波器，則需要實施相當強力的全 方向邊緣增加，其產生大的雜訊放大之副作用。 -21 - 201101807 相反地’根據本發明的實施例，在光學解析度降低之 切線方向上’具體地實施邊緣增強，藉以也允許抑制雜訊 放大。同時’影像的中心無需是嚴格的影像中心；以及， 舉例而言，當影像的中心因爲透鏡的製造寬容度等而偏離 時，光學中心適合作爲中心。 圖10是FIR濾波器1 5 20的配置。輸入的像素資料（ 亮度訊號Y )被依序地儲存於線緩衝器1 1中，並且，標 的像素及所需的參考像素的像素値被傳送給橫向邊緣偵測 濾波器1 2與縱向邊緣偵測濾波器1 3中的每一個濾波器。 標的像素的像素値也同時被傳送給加法器2 2。線緩衝器 11由SRAM或類似者所形成，並且，較佳具有最高多條 線（舉例而言，5線）的容量。 回應於接收到標的像素的像素値以及預定的參考像素 ，橫向邊緣偵測濾波器1 2及縱向邊緣偵測濾波器1 3分別 實施橫向（X方向）邊緣偵測及縱向（Y方向）邊緣偵測 。用於橫向邊緣偵測濾波器1 2之係數以及用於縱向邊緣 偵測濾波器1 3之係數的實例被顯示於圖u中。圖1 1中 以「a」標示的値是用於橫向邊緣偵測濾波器1 2的係數實 例，而以「b」標示的値是用於縱向邊緣偵測濾波器1 3的 係數實例。這些係數値可望視採用的光學系統而改變。 X方向距離計算器1 4及Y方向距離計算器1 5分別計 算影像框中心與目前根據橫向同步訊號和縱向同步訊號而 被濾波的標的像素之間X方向上的距離値及Y方向上的 距離値。 -22- 201101807 圖1 2顯示影像框中心與標的像素之間的關係。影像 框中心代表拍攝影像的光學中心。取決於光學系統，從圖 1 3 A中所給定之此簡單的線性函數與圖1 3 B中給定的此次 級或高階函數中的任一函數，計算標的像素與影像框中心 之間的距離。當需要校正因光學系統的組裝誤差而發展的 所謂一側模糊之右部份與左部份之間的解析度差異時，如 圖1 3 C所示，可以使用圍繞影像中心不對稱的函數，以使 0 得施加至右方部份的邊緣增強的強度與施加至左方部份的 邊緣增強強度可以彼此不同。在此情況中，藉由對距離施 加適當的增益，可以調整朝向周圍增加的MTF校正的量 。圖13A、13B、及13C中的每一個圖形標示X方向距離 計算器14的輸入-輸出特徵；並且，Y方向距離計算器15 呈現它們之間的類似特徵。 加法器1 6將預定常數之中心部份係數「a」加至X方 向距離計算器1 4計算之標的像素與影像框中心之間的X 〇 方向距離的値。加法器1 7將預定常數之中心部份係數「a 」加至Y方向距離計算器1 5計算之標的像素與影像框中 心之間的Y方向距離的値。中心部份係數「a」與X/Y方 向距離値中的每一個値的相加允許調整施加至影像框中心 之MTF增強的量。同時，假使需要調整要施加至影像框 中心的MTF的量’則中心部份係數「a」可以被設定爲〇 或可以省略加法器1 6和1 7。 乘法器1 8將橫向邊緣偵測濾波器丨2計算之偵測到的 X方向上之邊緣量乘以加法器16的輸出値。乘法器19將 -23- 201101807 縱向邊緣偵測濾波器1 3計算之偵測到的Y方向上之邊緣 量乘以加法器17的輸出値。換言之，乘法器18及19作 用以使橫向/縱向邊緣偵測濾波器1 2和1 3的增益視標的 像素與影像框中心之間的距離而變。內插加法器1 6和17 也同時允許調整要施加至影像框中心的MTF增強量。 加法器20將乘法器1 8和19的輸出加總在一起，以 取得視標的像素與中心之間的距離而定之邊緣增強度。假 使需要時’加法器20的輸出可以接受用於雜訊放大抑制 之核心單元2 1實施的核心化。加法器22將自線緩衝器 Π讀出的標的像素的像素値加至核心單元21的輸出，藉 以取得輸出像素資料。 舉例而言，核心單元2 1具有例如圖1 4 Α和1 4 Β中所 給定的輸入-輸出特徵，並且，操作以藉由截斷作爲來自 輸出的雜訊之具有預定或更低的位準之邊緣成分，而抑制 雜訊放大。可以使用圖14A及14B中的任一適當者。由 於高臨界値在雜訊降低上造成大的效果，所以，希望將預 定的臨界値設定於適當値；但是，高臨界値造成不自然的 接觸出現於影像中以及使邊緣偵測的效果降低。 核心單元可以被設於每一個乘法器1 8和1 9的後續級 。在此情況中’藉由將二核心單元的臨界値設定於不同値 ，可以以個別方向爲基礎，適當地抑制雜訊放大。 圖1 5是根據本發明的另一實施例之FIR濾波器（邊緣 增強濾波器）1521的配置圖。可以使用FIR濾波器1521 以取代FIR濾波器1520。FIR濾波器1521與圖]〇中所示 -24 - 201101807 的FIR濾波器1520不同之處在於在橫向/縱向邊緣偵測濾 波器1 2和1 3的後續級處增加地設置核心單元23和24。 乘法器25、乘法器26、及加法器27分別等同於乘法器 18、乘法器19、及加法器20。其餘配置類似於圖1〇中所 示的配置。 根據圖1 5中所示的配置，用於核心化的臨界値相同 地視影像框中的位置而變。因此，取得比此配置取得的雜 Q 訊降低更大的效果，在此配置中，如圖10所示，用於核 心化的臨界値在影像框中是均勻的。 在圖1 0或圖1 5中所示的配置，橫向邊緣偵測濾波器 及縱向邊緣偵測濾波器與X/Y方向距離計算器等等相結 合。這允許以相當小規模及低功耗之電路，取得類似於使 影像框在不同部份具有不同的濾波係數之配置所取得的效 果。邊緣偵測濾波器不限於橫向及縱向濾波器。可以增加 地設置斜向邊緣偵測濾波器。也在此情況中，所需之乘法 Q 器等等的個別數目對於個別方向僅爲一，因此，有關的電 路規模及功耗稍微增加。 關於本發明的仍然又另一實施例，可以設置圖丨〇或 圖15中所示的配置之FIR濾波器（邊緣增強濾波器）以 用於RGB成分訊號中的每一個訊號，使得高頻增強的強 度以RGB的個別成分訊號爲基礎，朝向影像框的端部增 強。換言之，MTF校正單元可以僅具有個別地設置用於 RGB訊號的色度成分之FIR濾波器，但不具有色度/亮度 訊號分開單元也不具有色度/亮度訊號結合單元°圖10或 -25- 201101807 圖1 5的配置之FIR濾波器可以依其原狀配置使用於此情 況。 當然，藉由規劃電腦程式以執彳了圖1、圖10、或圖 1 5中所示的影像處理裝置的處理功能，並且’使電腦執 行電腦程式，可以實施根據本發明的一態樣之影像處理方 法。或者，藉由規劃電腦程式以執行處理程序以及使電腦 執行電腦程式，以實施根據本發明的態樣之影像處理方法 。用於使電腦執行處理功能的電腦程式可以被儲存於電腦 可讀取記錄媒體中及/或是藉由記錄電腦程式於電腦可讀 取記錄媒體中而提供、以及/或經由例如網際網路之網路 散佈，舉例而言，電腦可讀取記錄媒體可爲軟碟（FD ) 、磁光碟（MO)、唯讀記憶體（ROM)、記憶卡、光碟、數位 影音光碟（DVD )、及可移式碟片。 【圖式簡單說明】 圖1是方塊圖，顯不根據本發明的實施例之影像拍攝 裝置； 圖2是說明放大率色差及失真； 圖3用於說明放大率色差及失真之同時校正； 圖4A及4B說明放大率色差及失真的單獨校正； 圖5是方塊圖’說明圖1中所示的放大率色差校正單 元的詳細配置： 圖6A至6C是方塊圖，顯示圖5中所示的代表性座 標轉換單元的配置； -26- 201101807 圖7是方塊圖，顯示圖1中所示的失真校正單元的言羊 細配置； 圖8是方塊圖，顯示圖1中所示的調變轉換函數 (MTF)校正單元的基本配置； 圖9是表格，說明代表性有限脈衝（FIR)濾波器的係 數； 圖1 〇是方塊圖，顯示舉例說明之圖8中所示的FIr Q 濾波器的代表性配置； 圖1 1是表格，說明圖1 〇中所示的縱向/橫向邊緣偵 測濾波器之代表性係數； 圖1 2顯示影像框中心與標的像素之間的關係； 圖1 3 A至1 3 C均顯示代表性距離計算器的輸入/輸出 特徵； 圖14A及14B均說明代表性核心單元的輸入/輸出特 徵；以及 Q 圖1 5是方塊圖，顯示圖8中所示的FIR濾波器之另 一配置實例。 【主要元件符號說明】 11 :線緩衝器 1 2 :橫向邊緣偵測濾波器 1 3 :縱向邊緣偵測濾波器 1 4 : X方向距離計算器 15: Y方向距離計算器 -27- 201101807 1 6 :加法器 1 7 :加法器 1 8 :乘法器 1 9 :乘法器 2 0 :加法器 2 1 :核心裝置 2 2 :加法器 23 :核心裝置 2 4 :核心裝置 2 5 :乘法器 2 6 :乘法器 2 7 :加法器 1 0 0 :控制單元 1 1 〇 :成像裝置 1 20 : A/D轉換器 130:貝爾內插單元 140:放大率色差校正單元 150: MTF校正單元 160:失真校正單元 170 :伽瑪校正單元 1410(R):座標轉換記憶體 1410(G):座標轉換記憶體 14 10(B):座標轉換記憶體 1 420 :座標轉換單元 201101807 1421 :座標轉換計算單元 1 422 :座標轉換計算單元 1 423 :座標轉換計算單元 1 424 :減法單元 1 425 :加法單元 1 4 2 6 :增益電路 1 43 0 :座標轉換係數表 0 1510:色度/亮度訊號分開單元 1 5 20 : FIR濾波器 1 5 3 0 :色度/亮度訊號結合單元 1610: RGB結合單元 1 6 2 0 :座標轉換記憶體1 6 2 0 1 63 0 : RGB分開單元 1 640 :校正失真座標轉換計算單元 1 6 5 0 :座標轉換係數表 〇 -29-

Claims (1)

1. 201101807 七、申請專利範圍· 1. 一種影像處理裝置’包含邊緣增強濾波器機構，用 以增強影像的清晰度’其中’該邊緣增強濾波器機構包含 距離計算機構’用於計算距離値，該距離値是標的像 素與在至少二軸向上拍攝的影像之光學中心之間的距離値 » 邊緣偵測濾波器，對應於該等軸向的每一個，每一個 該邊緣偵測濾波器係配置成以一方向接著一方向爲基礎， 偵測至少二方向中之對應的一個方向上的邊緣量； 乘法機構，對應於每一個該邊緣偵測濾波器，每一個 該乘法機構將該邊緣偵測濾波器中對應的一個偵測到的該 邊緣量乘以該距離機算機構對於軸向中對應的一個軸向計 算而得的該距離値相乘； 第一加法機構，將該乘法機構的輸出加總在一起；以 及， 第二加法機構，將該標的像素的像素値加至該第一加 法機構的輸出。 2 ·如申請專利範圍第1項之影像處理裝置，其中，該 等邊緣增強濾波器的數目爲二，該等邊緣偵測濾波器的其 中一個偵測影像框的橫向方向上之邊緣，且該等邊緣偵測 濾波器另一個偵測該影像框的縱向方向上之邊緣。 3 .如申請專利範圍第1項之影像處理裝置’其中’該 邊緣增強濾波器機構又包含設於該第一加法機構的後續級 -30- 201101807 之核心機構’當該第一加 臨界値時’該核心機構輸 4.如申請專利範圍第 邊緣增強濾波器機構又包 級之核心機構，當該乘法 低於預定的臨界値時，該 5 ·如申請專利範圍第 ^ 邊緣增強濾波器機構又包 的後續級之核心機構，當 的輸出等於或低於預定的 6 ·如申請專利範圍第 置’其中’該邊緣增強濾 機構的後續級之第三加法 一個該軸向’係配置成將 出。 〇 7.如申請專利範圍第 距離計算機構的輸出係繞 8.如申請專利範圍第 包含設於該邊緣增強濾波 機構’用以將影像資料分 ，該邊緣增強濾波器機構 實施邊緣增強。 9 .如申請專利範圍第 由使用廣角光學系統來拍 機構的輸出等於或低於預定的 零。 項之影像處理裝置，其中，該 設於每一個該乘法機構的後續 構中對應的一個的輸出等於或 心機構輸出零。 項之影像處理裝置，其中，該 設於每一個該邊緣偵測濾波器 邊緣偵測濾波器中對應的一個 界値時，該核心機構輸出零。 至5項中任一項之影像處理裝 器機構又包含設於該距離計算 構，該第三加法機構對應於每 定値加至該距離計算機構的輸 項之影像處理裝置，其中，該 該影像的中心而不對稱。 項之影像處理裝置，其中，又 機構的前級之色度/亮度分開 成色度訊號及亮度訊號，其中 收該亮度訊號並對該亮度訊號 項之影像處理裝置，其中，藉 影像。 -31 - 201101807 1 0. —種影像處理方法，包含邊緣增強濾波步驟，以 增強影像的清晰度’其中，該邊緣增強濾波步驟包含： 計算距離値之距離計算步驟，該距離値是標的像素與 在至少二軸向上拍攝的影像之光學中心之間的距離値； 邊緣偵測濾波步驟，以一方向接著一方向爲基礎來偵 測至少二方向上的邊緣量； 乘法步驟，將該邊緣偵測濾波步驟所偵測到的每一個 該邊緣量乘以該距離機算步驟計算而得的複數個該等距離 値中於該軸向中之對應的一個軸向上偵測到的距離値； 第一加法步驟，將該乘法步驟取得的相乘結果加總在 一'起；以及， 第二加法步驟，將該標的像素的像素値加至該第一加 法步驟的輸出。 1 1 .如申請專利範圍第1 〇項之影像處理方法，其中， 該邊緣增強濾波步驟包含計算影像框的橫向方向與縱向方 向二方向上的邊緣。 1 2 ·如申請專利範圍第i 0項之影像處理方法，其中， 該邊緣增強濾波步驟在該第一加法步驟之後又包含核心步 驟’當該第一加法步驟的輸出等於或低於預定的臨界値時 ，該核心步驟輸出零。 1 3 .如申請專利範圔第1 〇項之影像處理方法，其中， 該邊緣增強爐波步驟在該乘法步驟之後包含核心步驟，當 在該乘法步驟中該複數方向中對應的一個方向的輸出等於 或低於預定的臨界値時，輸出零。 -32- 201101807 14_如申請專利範圍第10項之影像處理方法，其中， 該邊緣增強濾波步驟在該邊緣偵測步驟之後包含核心步胃 ，當在該邊緣偵測濾波步驟中對應的一個方向的輸出等於 或低於預定的臨界値時，該核心步驟輸出零。 1 5 ·如申請專利範圍第1 〇至1 4項中任一項之影像處 理方法’其中，該邊緣增強濾波步驟在該距離計算步驟之 後又包含第三步驟，將固定値加至該距離計算步驟的每— 0 個輸出。 16.如申請專利範圍第10項之影像處理方法，其中， 該距離計算步驟的輸出係圍繞著該影像的中心而不對稱。 1 7 ·如申請專利範圍第1 0項之影像處理方法，又在該 邊緣增強濾波步驟之前，包含色度/亮度分開步驟，將影 像資料分開成色度訊號及亮度訊號，其中，該邊緣增強濾 波步驟包含對該亮度訊號實施邊緣增強。 1 8 _如申請專利範圍第丨〇項之影像處理方法，其中， Q 藉由使用廣角光學系統來拍攝影像。 19.一種車載相機裝置，包括： 廣角光學系統； 成像裝置’其讀取在該廣角光學系統處所拍攝到的影 像； 如申請專利範圍第1至9項中任一項之影像處理裝 置，係配置成處理由該成像裝置所讀取的影像，以輸出 經過處理的影像；以及 顯示裝置，其顯示該經過處理的影像。 -33-