TWI287401B - Edge adaptive image expansion and enhancement system and method - Google Patents

Description

-1287401 九、發明說明： 發明領域 本發明係有關數位影像資料處理之濾波方法，特別係 5有關數位影像資料擴展與加強用之邊緣適應濾波方法。 L· i!5r 發明背景 鲁一數位影像基本上是一個數位資料之二維陣列，有各 個为錄表示該數位化影像之一像素。各個像素資料可有少 10數分色，例如紅、綠及藍分色。關鍵影像處理操作係藉一 任思因素擴展一影像，藉此形成一放大的影像。解交插屬 於此種操作之一實例，此處視訊圖場於垂直方向與1:2尺度 因數放大。眾所周知當由一原先影像形成一放大影像時， • 需要於該原先數位影像陣列之像素間内插來達成高品質輸 15出影像。若干先前技術之影像擴展方法分別内插數位化影 Φ 像之尺平維度及垂直維度。此等方法於擴展後的影像產生 明顯假影。最惡化的兩類假影為縫效應(所謂之「邊緣不 均勻」）及朦朧效應。大部分鋸齒效應及朦朧效應係順著邊 緣出現，實質上影響擴展後邊緣之覺察品質。 技A界已知於數位影像之邊緣適應内插，亦即沿著邊 緣之内插，可產生比較橫跨影像邊緣内插所得結果更佳的 品質。 專人之美國專利第5,991，664號揭示一種以分類與 適應性内插模組來提升-視訊影像之解析度。分類模組對 5 • 1287401 . I個原先影像像素產生-主要方向參數，適應内插模组讀 取該主要方向參數，以及響應選擇預定參數係數集合之一 來產生各個目標影像像素。

Greggain等人之美國專利第5 99丨，463號揭示一種產生 5 一向上取樣之目標像素是於兩條輸入來源資料線間之方 法。首先，環繞該向上取樣之目標像素之一區，計算於多 個方向欲產生之數位來源像素值差，以及經檢查來檢測内 φ 插方向”彳後基於經測定之内插方向，產生於該輸入影像 之線段上之像素間之中間像素。以及然後，進行中間像素 1〇間之内插，來產生向上取樣後之目標像素。

Campbell之美國專利第6,133,957號揭示一種提升影像 解析度之適應對角線内插方法，該方法包含經由分析垂直 方向與一首選對角線方向之加權組合來内插方向檢測。然 • 後内插電路經由沿内插方向信號表示之方向，藉内插鄰近 15像素來產生一目標像素。 φ Pereira等人之美國專利第5,929,918號揭示一種包含4 電路’用於改良品質之視訊家電之邊緣定向之場内·場間/ 内插滤波器。第一電路檢測影像邊緣。第二電路使用第一 電路之輸出’來產生沿該影像邊緣之一方向與離散影像元 2〇素之平均值相對應之一第一信號。第三電路使用第一電路 之輸出來檢測一結構影像區，以及依據影像邊緣之存在程 度而疋’來產生一第二信號。第四電路係經由以與第二信 號相關之比例，組合該第一信號與第三信號來產生一輸出 信號。 6 1287401 但此等及其它先前技術系統未能提供高度適應性。先 前技術之邊緣檢測模組通常產生邊緣方向，但未提供插述 邊緣確定性之參數，該等參數可控制適應濾波來獲得= 影像品質。此等系統不適合用於某種邊緣尺度。該等系統 5通常係單純探勘可能限制所產生之影像品質之雙線性内插 或雙立方内插。因此需要有可支援更有彈性之邊緣方向性 及尺度適應影像擴展與加強之改良之内插系統及方法。

C發明内容；J 發明概要 10 方面本發明提供-種經由施加適應邊緣内插至一 輸出像素來擴展與增強具有一輸入座標空間之輸入數位影 像資料，以及產生具有某種解析度及形狀之一輸出座標空 間之輸出數位影像資料之方法，該方法包含： (a)獲得該輸入數位影像資料； 15 (b)映射該輸出像素座標至⑷所得之輸人座標空間； (C)選定_繞雜)之映射點之ΜχΝ輸人像素區塊，其 中該區塊之形狀及大小係基於要求之邊緣解析度而決定； ⑷對該區塊之輸人像素施加水平低通慮波 器及垂直 低通滤波器來減少雜訊，以及向下取樣來變更尺度而調整 2〇縱橫比，以及適應低角度邊緣檢測； ⑷對該區塊之⑷之各個向下取樣像素計算局部信號 變因來決定信號的表現； (f)基於於(e)於該區塊判定之局部信號變因，運算平均 信號變因來決定該區塊之平均信號表現； 7 -1287401 (g) 基於以（f)求出之平均信號變因，測定一邊緣之方向 性、各向異性及強度； (h) 基於於(g)測得之方向性、各向異性及強度，測定再 度取樣滤波器之頻率響應，及於(b)測定之映射位置於輸入 5 影像之涵蓋區；以及 (i) 根據(h)之頻率響應，透過於(h)求出之涵蓋區重新 取樣，來判定該輸出像素之值。 於另一方面本發明提供一種經由施加適應邊緣内插至 一輸出像素來擴展與增強具有一輸入座標空間之輸入數位 10影像資料，以及產生具有某種解析度及形狀之一輸出座標 空間之輸出數位影像資料之系統，該系統包含： (a) —獲得輸入數位影像資料之介面； (b) 映射該輸出像素座標至該輸入座標空間之一座標 產生器； 15 (c)耦接至該介面及該座標產生器之一第一涵蓋區產 生器，來選定環繞該映射點之一Μ χ N輸入像素區塊，其中 該區塊形狀及大小係基於要求之邊緣解析度決定； (d) 耦接至該第一涵蓋區產生器之一前置處理器，來施 加水平低通濾波器及垂直低通濾波器至該區塊之輸入像素 2〇來減低雜訊，以及向下取樣來改變尺度而調整縱橫比，以 及適應於低角度邊緣檢測； (e) 福接至該前置處理器之一變因計算器，來對該區塊 之各個輸入像素運算局部信號變因，來判定該信號之表現,· (f) 耦接至該變因計算器之一積分器，來基於該區塊之 8 1287401 局部信號變因，來運算平均信號變因，來判定該區塊之平 均信號表現； (g) 耦接至該積分器之一邊緣概算器，來基於該積分器 所求出之平均信號變因，來判定一邊緣之方向性、各向異 5 性及強度； (h) 耦接至該介面、該座標產生器、及該邊緣概算器之 第二涵蓋區產生器，來基於由該邊緣概算器所判定之該邊 緣方向性、各向異性及強度，測定一再度取樣濾波器之頻 率響應，及其於該映射位置之輸入影像之涵蓋區；以及 10 (i)耦接至該第二涵蓋區產生器及該邊緣概算器之一 濾波器，來透過於該涵蓋區再度取樣，以及根據由該第二 涵蓋區產生器求出之頻率響應，來測定該輸出像素值。 於本發明之一實例中，AF涵蓋區具有橢圓形形狀，具 有由一維圓形對稱性側繪圖所產生之濾波係數。 15 於本發明之另一實例中，該AF涵蓋區以2D濾波器可分 離實作具有平形四邊形形狀，亦即由屬於該涵蓋區同一列 之像素算出沿該邊緣方向之第一中間像素，以及然後該等 中間像素經積分來形成最終經内插所得之輸出像素值。 二實例中，濾波器係數係由邊緣參數定義，故所得影 20 像之柔軟度或銳度係由此等參數控制。 本發明之具體例之不同方面及優異之進一步細節於後 文說明連同附圖將更為彰顯。 圖式簡單說明 附圖者： 9 1287401 第1圖表示根據本發明建立之一種影像處理系統； 第2圖表示一種取樣模型之實例； 第3A圖表示橢圓形涵蓋區之適應濾波器之頻率響應之 略圖； 5 第3B圖表示扭斜矩形涵蓋區之適應濾波器之頻率響應 之略圖； 第4圖表示梯度計算之一實例；

第5圖表示扭斜=0之一列取樣圖之實例； 第6圖表示扭斜=_2之一列取樣圖之實例； 10 第7A圖表示經移位之線性内插演繹法則之一實例； 第7B圖表示立方内插演繹法則之一實例； 第8A圖表示根據本發明建立之一種影像處理系統之流 程邏輯； 第8B圖表不根據本發明建立之一種使用梯度平方張量 15用於邊緣檢測之系統之一實例之流程邏輯 ;以及 第9圖表示根據本發明建立之一種解除交插系統之流 程邏輯。 JL ^ 較佳實施例之詳細說明 20 根據本發明，第1圖表示一種影像處理系統100之說明 例，該影像處理系統削使用邊緣適應滤波來達成影像擴展 強衫像處理系統100包含座標產生器110，其係用來 將像素座椤ώ ν田〜輸出影像空間轉換至一輸入影像空間；含 括輪入像素於 会 、、〜邊緣檢測運算之邊緣檢測(ED)涵蓋區產生 1287401 器12ι;輸入影像前置慮波與向下取樣用之前置處理器 123;運算輸入像素之信號變因用之局部信號變因計算器 125 ;於處理後之輸出像素附近產生信號表現表示法之平均 #號變因計算器127 ;計算邊緣參數用之邊緣參數概算器 5 129 ;含括輸入像素於最終濾波用之適應濾波器（AF)涵蓋區 產生器131 ;及計算輸出像素用之濾波器133。

本發明之一實例中，濾波方式係經由首先檢測一局部 邊緣及其相關參數，諸如方向性、各向異性及梯度強度； 以及然後基於此等參數而於一涵蓋區進行輸入像素之適應 1〇性濾波。如此，該濾波器之頻率響應經過信號控制。結果， 本發明方法可產生不含不均勻假影之一種較為平順且較為 自然之輸出影像，同時可維持原先影像之銳度。 影像處理系統刚始於於座標產生器丨收輸入數位 影像資料。此種資料例如可為進行視訊信號之—輸入圖 15框、或一交插視訊信號之一圖場。 20 然後座標產生器110映射一輸出像素座標至該輸入影 像座標㈣。此種轉換係有直接擴大至複㈣捲曲。映射 輸出座標至輸人座標（或所謂之反轉換)有多項熟諳技藐人 =已知之優點，包括可料整個如料 輪出影像留下「漏洞」。 曰丹 一輸出像素於該輸入影像 在輸入像素間的*個位置。於本發 =之二位置通常係 除交插《，㈣後之絲料^―^，’於適合解 y，=〇y+ySy計算，此處x，，y，為 〇成及 …輪出像細該輸人影像座標 11 1287401 工間之映射座〇x，Qy為相對於最左輸人櫊及最頂輸入線 之偏位卩及sx，sy為於各輸出行及輸出線相對應之輸入行 及輸出線數目。用於變油途，輸人行數及輸人線數係小 於卜輸人#像被視為由彩色樣本陣列組成，於均勻網格上 隔開’如第2圖所示。各個輸出像素係映至該輸入影像座標 空間之一個樣本點210。

通常輸出像素所映射之位置點21G係介於二輸入像素 列220及230間，以及介於二輸入像素行24〇及25〇間。當該 位置點2H)確城人—列或—行上時，被視為右下方無限 1〇小。如此所映射之垂直座標之整數部分為高於樣本點之輸 入線220之指數。被映射之水平座標之整數部分為其左方之 輸入欄240之指數。此等鋪之分數部分·及謂決定樣本 點於一個像素見方區内部之位置。輸出之映射點位置用來 找出再度取樣操作之句子資訊。也判定輸入像素集合是否 15將分析用於該特定輸出像素之邊緣概算。 一旦於輸入影像空間之映射座標為已知，ed涵蓋區產 生器121判定環繞該被映射座標之一MxN輸入像素區塊。然 後此像素區塊用於邊緣檢測。通常輸入像素區塊之大小及 形狀為較高影像品質與運算極限之間的折衷。同時，操作 2〇的本質類似水平方向或垂直方向之變焦，屬於判定區塊形 狀之-項重要因素。另一項決定性因素係應用型別。舉例 言之於類似解交插之視訊用途，多根像素線常被讀取入緩 衝器用於處理操作。由與此等像素線係被循序讀出，故區 塊之自然選擇單純為多條線。於用於解交插之用途之本發 12 1287401 . 明之一實例中，系統使用一視訊影像之4線。 然後，前置處理器U3前置濾波及向下取樣該獅輸入 像素區塊之資料，來產生一影像資料中間區塊具有調整 後之解析度及較低雜訊來用於確保邊緣檢測。舉例言之， 5因交插視訊信號之各個隨係由二具有垂直縮祕析度 ⑽如縮小達2之因數)之二圖場，低通前置濾波器處理亮度 信號’來限制其於水平方向之頻寬。 φ 於說明本發明之邊緣檢測格式之前，需要區別邊緣「方 向性」與邊緣「方向」。方向係於2;r (36〇度)之完整角度定 10義，但方向性只於；^·度)之半角度範圍定義。如此表示 有相反向量（角差180度)之二向量具有相同方向性。 邊緣檢測最常見包括三大操作：區別、光滑化、及標 • 記。區別包含評估影像之導數。光滑化包含減少影像雜訊， • 及調節數值差異。標記涉及侷限化邊緣，以及經由壓抑錯 15誤緣來增加該邊緣之噪訊比。 φ 局部信號變因計算器125接收來自前置處理器123之影 像資料中間區塊。為了檢測一源，局部信號變因計算器125 對於影像資料中間區塊之各個像素運算變因。平均信號變 因計算器127然後基於局部信號變因，求出各個所映射之座 2〇標點之平均變因。最後，邊緣參數概算器129基於該平均變 因’判定邊緣方向性、強度及各向異性。局部信號變因計 算器125、平均信號變因運算器127、及邊緣參數概算器129 之特定後續工作容後詳述。 於本發明之一實例，邊緣檢測係透過習知梯度平方張 13 1287401 里十(GST)0十算方法實作。首先，局部信號變因計算器⑵ 、、，、象資料巾間區塊内部之經過前置處理後之像素運算水 平梯度及垂直梯度（由該像素之相鄰像素之強度變化然 後局礼就變因計算器⑵基於計算所得之梯度，運算區 5塊中各個像素之局部GST值。然後平均信號變因運算器m f取此等GST之平均，來對輸入影像空間座標之映射點獲 得平均GST (AGST)。然後邊緣參數概算器129使用之資 訊來找出於輸出像素映射座標位置之一局部邊緣。 局部方向之向量表示法可導入作為一個張量 10 嫌M •Flk /j之用，此處¥=(^)7為沿主要方向性 之向量，以及為向量v之範數。張量表示法之主要 優點為其以連續方式描述方向性。因此可使用較大區來更 新概數之確定性如同於特定區求取局部平均一般簡單。 本實例中，對於有紅、綠及藍(RGB)分色之彩色影像情 15況，局部信號變因計算器125計算GST，計算方法係經由對 三個分色之各個分色計算梯度及相對應之張量，然後將此 等張量求平均來如下獲得GST ·· / 3 . v 3 \ rTf Τϊί / 另外，局部信號變因計算器125將RGB分色轉成習知之 20 YUV分色（亮度及二彩色信號）其為用於視訊系統之色彩空 間。另外，局部信號變因計算器125直接獲得此等分色而只 1287401 對亮度分量計算梯度 GST> (k) fe) 後述辦法較為適合以γυν分色來表示之視訊信號處 理。

於本發明之一實例中，局部信號變因計算器125將GST

計算為：咖，此處队加#及為 水平導數及垂直導數’及Rvy)表示影像強度。 為了降低錯誤檢測之影像邊緣之機率，平均信號變因 運舁器127於該像素區塊以通常不均勻之權值係數Wj來累 加該局部GST : AGST« 由於此張量屬於二次形式，各個張量元素係於區塊求 平均，而相反向量未抵消。 邊緣參數概算器129計算邊緣參數，其可用作為適應濾 15 波器130之控制參數。於影像處理系統100之一實例中，計 算邊緣參數包括方向性、各向異性及梯度強度。 於本發明之一更特定實例中，方向性係基於AGST，使 用主要分色分析來估算。AGST之主要固有向量係於梯度為 最大之方向性相對應。脊-谷方向性，亦即梯度為最小之方 20向性係垂直此軸，故係由最短固有向量獲得。相對應之主 15 • 1287401 要又，固魏及次要λ2@有值，及邊緣方 有向量之角度)係由如下方程式求出： 肖《(最短固

此處 5 雄，少): tan tan X 卜鳴， :¾㈣吻， )以， x>a :<〇· 各向異性域邊緣方向性之必然位 本發明之一實例中，夂a 3 κ 彝度位準。 貫例中各向異性係由二固有值之差對和之比

測定，定義為心·^k-^ThAGL \+心 G»+~ 。使用此種定義，各 10 向異性具有G至1間之值，分別指示由完全各向同性(全部方 向性皆相等）之完好各向異性。基於各向異性值，本發明之 此一實例中，相對應之臨界值係介於標準適應路徑與定向 適應路挫間切換滤波。 適應濾波器130係以與具有大梯度強度之邊緣不同的 小梯度強度來處理該等邊緣。比較梯度強度預設臨界值， 若該梯度強度係小於該預設臨界值，則適應濾波器130剔除 一邊緣。 16 15 1287401 由邊緣檢測器120產生之邊緣參數控制適應濾波器130 之頻率響應。首先，AF涵蓋區產生器131藉座標產生器110 之計算決定環繞該映射座標之一 PxQ輸入像素區塊。通常此 等輸入像素並非與ED涵蓋區產生器121產生之輪入像素相 同。濾波器133累加於AF涵蓋區之此等像素，權值係藉邊緣 參數控制。換言之，濾波器133之頻率響應係藉局部邊緣控 帝j，如此局部適合特殊輸入影像環境。 10 15

20 於適應濾波器130之一實例中，橢圓濾波器用於信號放 大與加強。橢圓濾波器具有橢圓頻率響應，有二大截除頻 率：一者係沿邊緣，而另一者係於垂直邊緣方向，如3八圖 所不。橢圓轴長度係由各向異性參數定義，故最終影像之 ^度係由檢測得之邊緣之必然性控制。此較器無法變成 卡兒可分離，但可實作為圓對稱波器，於長袖及 $間有可變之截除頻率。本實例中使用單通再度取樣而 離變數。本實例之優點為輪出影像品質準確且品質 點實作較為_。 f㈣之拷貝故由硬體觀 於適應濾波器130之另一實例中， 蓋區用於㈣放大及加強。本實四邊職波器涵 段鈾〜, τ 中，濾波器133係以二階 奴執仃内插：水平再度取樣，然彳4 平行四邊形涵蓋區。再度，最終影*、向性内插完成 緣之必然性控制。本濾波器133實例、兄度係藉檢測得邊 ―平行四邊形底，如第测所示。^二維頻率響應’有 體觀點較為容^實作，但紐獲得1^樣之優點為由硬 于橢51形單通濾波之品質。 17 • 1287401 於本發明之又_更特定實例中，該實例設計來最佳化 擴圓形濾、波及平行四邊形渡波二者，輸入像素空間劃分成 為由斜率dx/dy定義之有限數目之扭斜方向。邊緣方向性一 旦破定之後’邊緣方向性係藉最接近之扭斜方向性概算。 5此種最加化於運算實作上有其優點，原因在於可讓像素含 括於涵蓋區遠更加容易。例如使用平行四邊形滤波器扭 斜線於各輸入像素列之交叉具有距離最接近之輸入像素之 恆定距離。如此顯著降低運算負荷。 於本平行四邊形滤波器之特例，對各個輸出像素位 10置，來自如第4圖所示之前置處理後之中間影像之四個像素 用來計算下列數量：

SiJ m ^ PiJ d-kQ ， 此處Pij為由前置處理器123所產生之中間影像之亮度 分量。可作水平次取樣及垂直次取樣。然後來自周圍區之 15 局部值〆透過如下方程式而於區W求平均： 此等平均後之梯度值用於整個梯度各向異

Jv^Tv^ 性、及二數量K W一〇及^|以一『)之計算。共 18 1287401 • 同定義一個扭斜值(整數)及低通濾波器控制值(on或off)。 為了檢測邊緣，G及A分別係大於臨界值Gmin及Amin(二 者可調整）。否則將扭斜設定為零，以及將低通運算設定為 Off 〇 5 對應於邊緣方向性之扭斜值（以每列之像素表示）定義 為： 鲁 skew—Rfi 爲 1， 此處Ra為於前置處理器123輸出端該中間影像之水平 解析度與垂直解析度之比(縱橫比）。 1〇 若扭斜值為量化（四捨五入量化）成為數個預定值之 ，則後來的處理變簡單。替代執行前述計算然後才量化 美 °果，較為容易辦法係列舉各個量化臨界值，決定產生該 臨界值之Vx/Vy比。然後，找出量化扭斜變得相當簡單，只 要”平估某種線性函數形式办义+匕、之符號即可。各個函數 • 15係由對應於特定量化臨界值之常數ak，bk定義。 然後假設符合臨界值Gmin及Amin，測定扭斜值及低通濾 波控制信號。低通濾波經常為〇n，但(Vx，Vy)獲得扭斜(=〇) 時例外。於此區段，邊緣接近垂直，且未施加處理。此階 ^又之輸出為·扭斜=0，低通=〇n。 20 ⑨最終邊緣參數評估格式，為了避免-個像素於下- 個像素間扭斜的突然改變，目前像素之初步邊緣概算值係 連同左右二像素之概算值檢查。稱作為「條件步驟」。若獲 得扭斜值為0，則低通控制可為on或Gff。任一種情況下，此 19 1287401 種決疋不讀件步驟的影響。否料算最大扭斜，最大扭 斜為水平相鄰像素於前—階段求出之扭斜值之平均之絕對 值0 、 右㈢ 5

則I扭斜幅度係大於最大扭斜值，則不受條件 步驟影響。若目前像素扭斜幅度超過最大扭斜，則箝制於 本質保有其原先符號。於目前像餘斜於條件步驟前為 非零’最大扭斜為零之情況下，條件化扭斜為零，低通控 制為off。此乃低通控制藉條件步驟修改之唯—情況。 10 15

20 第5圖顯示於本發明之實例當扭斜=0之情況。此種情況 下’各列之樣本關由與輸雌本點相同之水平座標。假 設於水平方向使用2分接(線性)内插，於垂直方向使^分^ (立方)内插’於行训及52〇之8個晝影像素用來產生沿扭斜 線530之四列樣本，最終產生單-輸出樣本540。 第6圖顯示如第5圖所示之相同輸出樣本點，具有扭斜 =_2。此種情況下，本發明之平行四邊形濾波實例之實作為 最重要。由此單純肋組斜㈣樣本點。再度晝影線之 像素用來計算環繞扭斜線63〇之輸峰素伽。各個列樣本 位置係以整數部分‘作說明，其為由基本行⑽之偏位，且 四列各自不同；以及以分數部分、作說明，其對全部四列 皆相同，原因在於扭斜被侷限於一個整數。通常 20 1287401 此處f為0或卜當低通模型變成有效時，使用f=1 ;如 此造成額外半像素移位至左。常數τ為由後文討論之小型 調整。

本實例之濾波器133係由水平及垂直再度取樣階段組 成0 一特定實作中，水平再度取樣階段係基於習知 Bhi_Th0Venaz-UnSer(BTU)「移位線性」内插法。此項技術 經由使用有限脈波響應(IIR)前置濾波器，而模擬内插之高 10頻損耗。前置濾波器於低頻具有相位移位，可藉移位樣本 點來補償。 第7A圖顯示BTU技術如何處理。類似新樣本72〇，一新 樣本集合⑽由輸人心組成’然後介於新樣本間進行線性 内插。新樣本組成，讓yn= r Cn.1+(1_ τ )Cn，此處r為固定設 15計參數及730為内插波形圖。 下一步驟係經由線性内插cn，但於藉r調整至左之位 置，形成輸出樣本。當樣本點係重合係如 上方程式重新組成。中間值可具有超越量等約略重合較高 階濾波方法。此種方法可獲得高品f，同時顯著減少運算。 20前置濾波器係藉遞歸定義 21 • 1287401 C. i * 0 輸入影像樣本於到達時經過前置滤波，儲存作為C。 故由水平濾波H實際上運算之該值為。水平樣本\占 於線性内插法之前向左移位r。 5 _係以兩種模型運算：常模，二相鄰en樣本之簡單 線性内插；及低賴，產生低通濾波效果。 常模係根據下式進行： 此處1為列指數〇···3，ri為列樣本，k為行指數，其它符 10號係如刖文說明（c現在具有列下標）。 、 低通模型於各列使用三個相鄰^^值。為了選擇此三像 素，移位至左之—像素合併於及Δ，χ之計算。故使用方程 式 15 濾波器133之垂直再度取樣階段單純係以來 /**〇 完成’ 此處P為輸出像素，及Α(ΔΥ)為再度取樣濾波器。一特 疋實作中’ '經過量化，然後藉查詢詢查表或類似方式選 擇預先計算值。濾波器可基於n=4之Keys内插器，根據第7-B 20 圖成為 22 ]2874〇i

纹办}«言Δ3 一备Δ2 + J ~ Λ)_，晏43.2Δ2 + 丄Δ 2 2 %0 ^ δ)* ^ δ)^2 第8 Α圖表示根據本發明之一實例藉影像處理系統1 〇 〇 斤執仃之程序步驟。於步驟8〇1，影像處理系統100接收與 鲁 5 8认'像相對應之數位資料。可為圖框或圖場。於步驟 〇，輸出像素之座標映射至輸入影像座標。然後於步驟 S Ο Λ > 選擇％繞步驟810之映射座標之一個輸入Μ χ Ν像素區 塊。於此步驟830，此俸素資料經前置處理來減少雜訊，同 時根據欲檢測邊緣之預定尺度來改變輸影像入之解析度。 、 於步驟840，對區塊中各個經過前置濾波及向下取樣之像 10 ± • ,、’計算局部信號變因。於步驟842,此等局部信號變因用 來'•十异平均k號變因。於步驟85〇，邊緣參數係基於平均信 φ 逮變因測定；根據此等參數，於步驟860，由環繞81〇之映 射座標之原先輸入影像中選出—個PxQ輸入影像像素區 塊。於本區塊之像素數目及濾波器涵蓋區形狀係依據所選 15用之濾波拓撲學來決定’如本揭示之前文說明，為輸出預 定品質與運算次幂間的折衷。於步驟870，經由於所述PxQ 像素區塊内插輸入像素而產生輸出像素。内插之權值係依 據邊緣參數決定。於步驟咖，輪出像素被儲存於輸出圖框 緩衝器内。 20 帛8B圖顯示以邊緣檢測器no之特定實作，與第8_A圖 23 1287401 相同之流程邏輯圖。本圖中，信號變因係計算為梯度平方 張量，如同前文說明之實例，濾波係以二次通過實作。

已經解釋之本發明之細節，現在揭示影像處理系統1〇〇 之若干特定應用。本發明之應用例之一為解交插。有兩種 5基本解交插方法。第一方法中，於奇圖場及偶圖場之線可 相加，稱作為「圖場交插」。第二方法中，經由内插而於各 個圖场產生遺漏線，但未參照另一圖場，稱作為「擺動」。 但由於由交插視訊掃描轉換成為進行視訊掃描，經常需要 同時垂直放大影像。例如若輸入為贈€棚炫插視訊，二 圖場各自有720x240解析度，輸出信號顯示為7卿進行: 汛，該圖框由1280x720解析度。如此，影像必須由每圖場 240線垂直擴充至每圖框72〇線。因交插圖場本質上於垂直 方向之取樣不足，故常模擴大結果導致接近水平軸之邊緣 不整齊，於擴大㈣巾，該不㈣將被放大。 ^ 用於擺動操作且同時擴大至影像處理 糸統觸之-實例之流程邏輯。本發明之此一實例中 20 =Γ於水平:方向及垂直方向，視訊圖場之擺動解 日放大。如刚文說明，「擺動」為各圖場遺漏線藉 内插產生，而未參照其它圖場。如此表示垂直方向之尺声 不僅可為如傳統解交插之2，㈣也可為大於或等於 何數值。影像處理系統100適合 供邊緣定向濾波。U用於任何料尺度，同時提 於步驟901，獲得解交插之圖場數位資料，其含有亮卢 分篁及减分量。於㈣91G，輪出像素賴映射至輸入影 24 1287401 像座標空間。於步驟930,水平低通濾波器應用於輸入像素 之亮度值，來減少雜訊及復置解交插運算之尺度。於步驟 940，計算局部像素亮度差異。於步驟942，基於局部亮度 差異’對各個輸入像素計算局部GST。於步驟944，基於於 5環繞映射輸出像素位置之一像素區塊的局部GST值，求出 平均GST。於步驟950，由平均GST對輸出像素位置測定初 始定向控制及低通濾波控制。於步驟952，對目前輸出像素 及水平相鄰像素之初概算值測定最終定向控制及低通濾波 控制。於步驟960，計算於像素區塊之水平取樣點。此係由 10水平位置及分數垂直位置以及由扭斜測定。於步驟，基 於環繞水平取樣點周圍之輸入像素，求出中間樣本。結果 為列樣本。於步驟980，列樣本使用4分接多相内插濾波器 組合(再度垂直取樣）。相位係使用目前樣本點之垂直座標之 分數部分選定。最後於步驟99〇，於計算全部輸出像素分量 b 後’產生輸出進行掃描圖框。 於解交插用途之一特例中，圖場交插與擺動二者係依 據檢測得之移動強度而選用。首先，介於相鄰圖場間之像 素檢測移動。若檢測得之移動強度係低於預定下限，則圖 %交插用來產生遺漏像素，其中來自相鄰圖場之像素用來 2〇產生一進行掃描圖框。若檢測得之移動強度係高於預定上 限，則使用圖場擺動，其中遺漏像素係經由再度擴充目前 圖場及内插目前圖場而產生。當移動強度係介於二極限間 時，遺漏像素係根據移動強度介於擺動法及交插法二方法 間内插測定。 25 •1287401 如熟諳技藝人士已知，前述結構之各項修改及調整可 未悖離本發明而達成，本發明之範圍係於如下申請專利範 圍界定。 【圖式簡單說明3 5 第1圖表示根據本發明建立之一種影像處理系統； 第2圖表示一種取樣模型之實例； 第3A圖表示橢圓形涵蓋區之適應濾波器之頻率響應之 略圖； 第3B圖表示扭斜矩形涵蓋區之適應濾波器之頻率響應 10 之略圖； 第4圖表示梯度計算之一實例； 第5圖表示扭斜=0之一列取樣圖之實例； 第6圖表不扭斜=-2之一列取樣圖之實例， 第7A圖表示經移位之線性内插演繹法則之一實例； 15 第7B圖表示立方内插演繹法則之一實例； 第8A圖表示根據本發明建立之一種影像處理系統之流 程邏輯； 第8B圖表示根據本發明建立之一種使用梯度平方張量 用於邊緣檢測之系統之一實例之流程邏輯；以及 20 第9圖表示根據本發明建立之一種解除交插系統之流 程邏輯。 【主要元件符號說明】 100.. .影像處理系統 120…邊緣檢測器 110.. .座標產生器 121…邊緣檢測(ED)涵蓋區產生 26 -1287401 器 240、250…輸入像素行 123...前置處理器 260、270…座標 125...局部信號變因計算器 510、520…行 127...平均信號變因計算器 530...扭斜線 129...邊緣參數概算器 540...單一輸出樣本 130...適應濾波器 610...基本行 131...適應濾波器(AF)涵蓋區產生 620...輸出像素 器 630...扭斜線 133…濾波器 720...新樣本 210...樣本點 730...内插波形圖 220、230…輸入像素列 801-880、901-990···步驟 27

Claims (1)

1. • 1287401 十、申請專利範圍： 1·種經由施加適應邊緣内插至輸出像素來擴展與增強 具有輸入像素座標空間之輸入數位影像資料、及產生具 有某種解析度及形狀之輸出像素座標空間之輸出數位 5 影像資料之方法，該方法包含： (a) 獲得該輸入數位影像資料； (b) 映射該輸出像素座標至⑷所得之輸人像素座標 空間； (C)選定環繞該(b)之映射點之Μ x N輸入像素區 10 塊’其巾魏狀雜及大小係基於要求之邊緣解析度 而決定； ⑷對該區塊之輸人像素施加水平低通滤波器及垂 直低通渡波器來減少雜訊，以及向下取樣來變更尺度而 調整縱橫比，以及適應㈣度邊緣檢測； 15 ⑷塊之⑷之各㈣下取樣像素計算局部信 號變因來決定信號的表現； ⑺基於於(e)於該區塊判定之局部信號變因 ，運算 平均信號變因來決定該區塊之平均信號表現； ⑻基於以⑺求出之平均信號變因，測定—邊緣之 2〇 方向性、各向異性及強度； ⑻基於於(g)測得之方向性、各向異性及強度，測 定再度取樣濾波器之頻率響應，及於(b)測定之映射位置 於輸入影像之涵蓋區，·以及 ⑴根據(h)之頻率響應，透過於⑻求出之涵蓋區重 28 • 1287401 新取樣，來判定該輸出像素之值。 2•如中請專利範㈣i項之方法’其⑽之平均信號變因 係透過下列步驟測定·· I·於該MxN區塊之各個輪人像素運算水平梯度及 5 垂直梯度； π·基於「I」之局部梯度，對該區塊之各個輸入像 素運算一局部梯度平方張量；以及 ΙΠ.基於「H」之局部梯度平方張量，對該區塊求出 一平均梯度平方張量。 Π) 3·如帽專利範圍第㈣之方法，其中_邊緣定向係透過 下列步驟概算： (A)於由X軸和y軸特徵化之該輸入像素座標空間預 先界疋-斜率集合’其具有距離各輸人像素列之最近像 素相等截線距離； 15 (B)以不同扭斜線決定此等斜率特性，其中一扭斜 線疋義為具有預设之(Jx/(Jy斜率；以及 (C)以最接近之扭斜線來估計實際邊緣方向性，經 由免除運算邊緣方向性於一輸入像素列交叉之需求，來 輔助輸出像素之内插運算。 20 4·如申請專利範圍第1項之方法，其中於(h)基於邊緣定向 而決定一橢圓形涵蓋區，其長轴及短軸之一係沿該邊緣 定向；以及其中該方法係基於橢圓形頻率響應而使用單 通二維再度取樣濾波器。 5·如申明專利範圍第3項之方法，其中決定一橢圓形涵蓋 29 ' 1287401 ，八長幸由及短轴之一係、、儿 之像素之運算；以料扭斜線來輔助含括於濾波 用單通二維再度取樣麵1係基於橢圓形頻率響應而使 6·如申請專利範圍第1項之方法，1中、、卜 Α 向性之平行四邊形涵蓋 八中&-沿該邊緣方 四邊形頻率響應而使用二通水平及垂直再产= 7·如申請專利範圍第3項之方法，再度取樣。 . 其中決疋一沿該扭斜方

   10 向之千饤四邊形涵蓋區，·該扭斜線將該平行四邊形對半 分割來伽料含括於_ 祕對丰 ^ ^ τ , 心連异，以及其中該方法係 基於平相邊形頻率響應而使用二通水平及垂直再度 取樣。 8.如申請專利範圍第丨項之方法，其係應用於將一交插視 訊輸入轉換成-進行掃描視訊輪出，其中該方法增加垂 直尺度，以及於-圖場内插遺漏線來產生—進行掃描視 訊圖框。 9·如申請專利範圍第1項之方法’其係適用透過下列步驟 來將一交插視訊輸入轉成一進行掃描視訊輸出： (I) 於父插視sfl圖场像素檢測移動強度； (II) 當檢測得之移動強度係低於一預定下限時，、妙 由合併來自二相鄰交插圖場之像素而產生該進行掃描 圖框； (III) 當該檢測得之移動強度係高於預定上限時，係 使用如申請專利範圍第8項之方法經由再度擴展及内插 一單一經交插之圖場，來產生該進行掃描圖框；以及 30 •1287401 (ιν)當該移動強度係介於該下限與上限間時，根據 該移動強度來於(II)與(III)間内插。 10·如申請專利範圍第1項之方法，其中該方法係使用基於 移位後之線性内插而由周圍輸入像素中間水平再度取 5 樣該輸出像素，其決定方式係經由沿連結二相鄰像素值 之該線，移位各像素值達某個量，以及取樣此等新值替 代原先像素值而減輕高頻損耗。 11·如申請專利範圍第1項之方法，其中於(b)之座標映射為 線性擴展。 10 12·如申請專利範圍第1項之方法，其中該於之座標映射 為捲曲。 13.如申請專利範圍第1項之方法，其中於⑴之濾波器之頻 率響應係配合於(g)求出之邊緣強度及各向異性，若邊緣 各向異性及強度係高於一預設限度，則為該輸出影像加 15 強邊緣細節，以及若該邊緣各向異性及強度係低於一預 設限度，則為該輸出影像平順化邊緣細節。 14· 一種經由施加適應邊緣内插至輸出像素來擴展與增強 具有輸入像素座標空間之輸入數位影像資料、及產生具 有某種解析度及形狀之輸出像素座標空間之輸出數仇 20 影像資料之系統，該系統包含： (a) —獲得輸入數位影像資料之介面； (b) 映射該輸出像素座標至該輸入像素座標空間之 一座標產生器； (c) 耦接至該介面及該座標產生器之一第一涵蓋區 31 ^ 1287401 產生器，來選定環繞該映射點之一Μ x N輪入像素區 塊，其中該區塊形狀及大小係基於要求之邊緣解析度決 定； (d) 辆接至該第一涵蓋區產生器之一前置處理器， 5 來施加水平低通濾波器及垂直低通濾波器至該區塊之 輸入像素來減低雜訊，以及向下取樣來改變尺度而調整 縱橫比，以及適應於低角度邊緣檢測； (e) 麵接至該前置處理之一變因計算器，來對兰夕 區塊之各個輸入像素運算局部信號變因，來判定該信號 10 之表現， (f) 耦接至該變因計算器之一積分器，來基於該區 塊之局部信號變因，來運算平均信號變因，來判定該區 塊之平均信號表現； (g) 耗接至該積分器之一邊緣概算器，來基於該積 15 分器所求出之平均信號變因，來判定一邊緣之方向性、 各向異性及強度； (h) 耦接至該介面、該座標產生器、及該邊緣概算 器之第二涵蓋區產生器，來基於由該邊緣概算器所判定 之該邊緣方向性、各向異性及強度，測定一再度取樣濾 10 波器之頻率響應，及其於該映射位置之輸入影像之涵蓋 區，以及 (i) 耦接至該第二涵蓋區產生器及該邊緣概算器之 一濾、波器，來透過於該涵蓋區再度取樣，以及根據由兮 第二涵蓋區產生器求出之頻率響應，來測定該輸出像素 32 •1287401 值。 15·如申請專利範圍第14項之系統，其中該變因計算器及該 積分器係適合透過下列步驟來運算平均信號變因·· I·於該ΜχΝ區塊之各個輸入像素運算水平梯度及 5 垂直梯度； II·基於「I」之局部梯度，對該區塊之各個輸入像 素運算一局部梯度平方張量；以及 III·基於「II」之局部梯度張量，對該區塊求出一平 均梯度平方張量。 10 16·如中請專利範圍第14項之系統，其中該邊緣概算器係適 合透過下列步驟來進行一邊緣定向概算： (Α)於由X轴和y軸特徵化之該輸入像素座標空間預 先界定-斜率集合，其具有距離各輸人像素列之最近像 素相等截線距離； 15 (B)以不同扭斜線決定此等斜率特性，其中一扭斜 線疋義為具有預設之dx/dy斜率；以及 (C)以最接近之扭斜線來估計實際邊緣方向性，經 由免除運算邊緣方向隙於—輸人像素列交叉之需求，來 輔助輸出像素之内插運算。 20 Π.如申請專利範圍第14項之系統，其中該第二涵蓋區產生 器係適S基於該邊緣定向來決定__橢圓形涵蓋區，其長 軸及短轴之—係沿該邊緣定向，以及其t «波器係適 合基於一橢圓形頻率響應函數來使用單通二維再度取 樣0 33 1287401 辱利範圍第16項 器係適合…’其中該第二涵蓋區產生 、口成疋概®形涵蓋區， 係沿該扭斜線來輔助像 〃〃軸及短轴之一 料m态人1 於遽波之運算，以及其中 4濾波Μ適合基於 通二維再度取樣。 丨頻率響應函數來使用單 19.=:·第14項之系統，其中該第二涵蓋區產生 Γ=Γ沿該邊緣定向之平行四邊形涵蓋區，以 適合基於平行四邊形頻率響應來使 用一通水平及垂直再度取樣。 10 15 20 圍第16項之系統，其中該第二涵蓋區產生 =5決疋-沿該扭斜方向之平行四邊形涵蓋區，該 η將該平行四邊形對半分割來輔助像素含括於滤 =運鼻，錢其巾職鞋_合基於平行四邊形頻 率s應來使用一通水平及垂直再声敌嫌 21.如申請專利㈣第14項之系統，純適用於將-交插視 訊輸入轉混成-進行掃描視訊輸出，其中料統增加垂 直尺度’以肢—圖場内插遺漏線來產生-進行掃描視 訊圖框。 &如申請專利範圍第Μ項之系統，錢適料過下列步驟 來將一交插視訊輸入轉成一進行掃描視訊輪出： (I) 於交插視訊圖場像素檢測移動強度； (II) 當檢測得之移動強度係低於—預定下限時，經 由合併來自二相鄰交插圖場之像素而產生該進行掃描 圖框； 34 (III) 當該檢測得之移動強度係高於預定上限時，係 使用如申請專利範圍第8項之方法經由再度擴展及内插 一單一經交插之圖場，來產生該進行掃描圖框；以及 (IV) 當該移動強度係介於該下限與上限間時，根據 該移動強度來於(II)與(III)間内插。 23·如申請專利範圍第14項之系統，其中該系統適合基於移 位後之線性内插，來由周圍輸入像素執行輸出像素之中 間水平再度取樣，其決定方式係經由沿連結二相鄰像素 值之該線，移位各像素值達某個量，以及取樣此等新值 替代原先像素值而減輕高頻損耗。 •如申凊專利nil第14項之系統，其巾該座標產生器係適 用於以線性擴展來執行座標映射。 25·如申請專賴圍第_之系統，其巾該減產生器係適 用於以捲曲來執行座標映射。 如申π專利It圍第14項之系統，其中該遽波器係適應於 -亥邊緣之強度及各向異性，若該邊緣之各向異性及強度 =高於一預定限度則為該輸出影像加強邊緣細節，以及 右該邊緣之各向異性及強度係低於一預設限度則為該 輪出影像平順化邊緣細節。 1287401 ❿

   映射圖

   第 圖 240 250

   2 翳 260 1287401 七、指定代表圖： (一） 本案指定代表圖為：第（1 )圖。 (二) 本代表圖之元件符號簡單說明： 100.. .影像處理系統 110.. .座標產生器 120.. .邊緣檢測器 121.. .邊緣檢測(ED)涵蓋區產生器 123…前置處理器 125.. .局部信號變因計算器 127.. .平均信號變因計算器 129.. .邊緣參數概算器 130.. .適應濾波器 131…適應濾波器(AF)涵蓋區產生器 133.. .濾、波器 八、本案若有化學式時，請揭示最能顯示發明特徵的化學式：