TWI363311B - Method and device for scaling up or scaling down images with the same hardware - Google Patents

Description

1363311 九、發明說明： 【發明所屬之技術領域】 本發明係關於影像處理之方法，更係關於共用硬體進行 影像放大或縮小的方法。 【先前技雜ί】 Φ 卩逍著多媒體的發展，人們對影像處理的需求遽增。而影像 處理包含多種面向’其中之-就是將輸入影像做縮小㈣ing down)或放大(scaling.up)之動作（簡稱影像縮放），而執行該功能 之硬體則為一縮放器（scaler)。 • 對於影像縮放之應用，例如：網路地圖之影像縮放，常要 .求兼顧速度及精確度，是以，如何進行影像縮放且盡可能達到 即時而不失真的要求，則為一重要課題。 然而，進行影像縮放的方法之一’舉例而言，是將影像中 #之所有像素資料完整儲存於高容量之記憶體中，再配合高速處 理器做運算。此舉固然可取得最佳化之影像，然而將大幅增力= 成本，並不符合業界實際需求。此外，業界對於所述影像縮放 的作法各有不同，甚至有將影像縮小與放大交由不同之硬體來 執行的作法，常使得硬體架構變得相當複雜而無效率。 【發明内容】 雕基於上述目的，本發明提供一種影像處理方法，可共用硬 f ^行影像放大(SGalingUP)或縮帅Galingd_)，且其使用極 少1之記憶體即可達到影像放大之功能。該影像具有對應於— SMI-07-025/ 903 l-A41494-TW/Draft-f 5 1363311 ^有複數列及顿行之二維 ，-個列軸，具有至 =方:包 變數及一第二變數，£ 小。其中，當進行影像影像放大或縮 包括將對應該二維陣列… 二轾序，戎縮小程序 該列緩衝kg 1㈣N 2列的魏個像素依序儲存於 一第w列第〕行之彳=:存位置中、將對應該二維陣列之 陣列之-第」/Γ第^於該第一變數中、將對應該二維 -第-演算法依照分別暫二變數中、使用 該第一變數以及該第二變數中之令^^二丁、弟川行、 素、輸出該第一新像素 ；第*=-第-新像 變數中之該像素移位至儲存於該第二 第糾列第j+2行之—像素儲 ，^應该二维陣列之- 演算法依照分㈣存於該舰衝使用該第— 一變數以及該第二變數中之詼 丁第J+2行、該第 輪出該第二新像素。再者，當進疒马^鼻出—第二新像素，並 序’該放大程序包括將對應該二維 夺’執行—放大程 素依序錯存於該列緩衝器之第】 歹，i的複數個像 該二維陣列之一第㈣列第J行之像辛儲I存位置中、將對應 將對應該二維陣列之 篆讀存於該第-變數中、 變數中、制—第二演算法朗分素鱗於該第二 1 丁 IfJ+1行、該第1數以及該第二變數_，緩衝器第j 出一弟—新列像素群，並輸出該第—新2該等像素計算 辦、將上述儲存 SMI 07-〇25/9〇3i-A4l494_TW/Draft_f ^363311 於該第一變數中之該像素移位至該行緩衝器中之第N+j個儲 存位置、將上述儲存於該第二變數中之該像素移位至該第一變 數中、將對應該二維陣列之一第k+Ι列第j+2行之一像素儲存 於該第二變數中、使用該第二演算法依照分別暫存於該列缓衝 器第j+Ι行、第j+2行、該第一變數以及該第二變數中之該等 像素計算出一第二新列像素群，並輸出該第二新列像素群。其 中當執行該放大程序中之當將上述儲存於該第一變數中之 該像素移位至該行緩衝器中之第N+j個儲存位置之步驟 時，更包括當j=N時，則使用該第二演算法依照分別暫存 於該列緩衝器第j行、第j+Ι行、第N+j行、第Ν+j+l行 之該等像素計算出至少一第三新列像素群，並輸出至少該 第三新列像素群。 本發明又提供一種影像處理裝置，可共用硬體進行影 像放大或縮小，該影像具有同上述之複數像素。本發明之 裝置包括一個列緩衝器，具有至少2N個儲存位置、一第 一變數、一第二變數以及一縮放器。該縮放器用以配合該 列缓衝器及該第一、第二變數進行影像放大或縮小。該縮 放器執行上述該縮小程序以將影像縮小，且可執行上述該 放大程序以將影像放大。 【實施方式】 為了讓本發明之目的、特徵、及優點能更明顯易懂， 下文特舉較佳實施例，並配合所附圖做詳細之說明。本發 明說明書提供不同的實施例來說明本發明不同實施方式的 技術特徵。 SMI-07-025/ 9031-A41494-TW/Draft-f 7 1363311 第1圖為依照本發明的影像處理系統100之架構圖。 圖中影像源101提供一影像，該影像具有對應於一具有複 數列與複數行(在本實施例中，舉例而言，具有Μ列N行) 之二維陣列之複數個像素，而該等像素之格式可歸類為 YUV像素格式及RGB格式等，以表達視訊影像中之色彩 濃度與資訊。影像處理器103接收來自影像源101之資料 而對該影像進行各種影像處理功能，然而依據本發明，本 文僅就影像處理功能中之影像縮放功能做說明。影像處理 器103中包括一縮放器108,在本發明中可對該影像進行 放大（scaling up)或縮小（scaling down)之功能，有別於先前 技術，其可共用硬體包括一個列緩衝器102、一第一變數 104及一第二變數106等，如第1圖中所示。經該影像處 理器103處理該影像後產生一新影像，該新影像具有對應 於一具有複數列及複數行（不限定是Μ列N行）之二維陣列 之複數個新像素，可輸出至一顯示裝置105。 為了達成上述在進行影像放大或縮小時可共用硬體之 目的，本發明又提供一方法，如第2圖所示。該方法於步 驟S202中提供一個列緩衝器102、步驟S204中提供一第 一變數104及一第二變數106,並於步驟S206中判斷是進 行影像放大或是影像縮小。本方法又包括當進行影像縮小 時，執行一縮小程序S208，以及當進行影像放大時，執行 一放大程序S210。 第3a圖表示第2圖中該縮小程序S208之方法流程 圖。第3b圖表示具有複數個像素之一影像示意圖，在本實 SMI-07-025/ 903 l-A41494-TW/Draft-f 8 3311 =例中，欲由該縮小程序s地所產生之新像素卜、^ ,亦 W於圖上以方便說明。當進行該縮小程序謂時舉例 ^ ’可以雙線性_法_咖)進行計算，例如，從圖 中俊+ k Jk k+J, a川侍一弟—新像素bl、從圖 素a j+1、a J+2、a j+l和a +\+2取得—第二新像素h， 以此類推’集合所有之新像素可得到一縮小之新影像。告 =步让驟s，=，將對應該二維陣列之—gk列的複數“ ^ ^2、33、…、akj、ak川、‘、…akN依序儲存於 該列緩衝器之複數個儲存位置Di、D2、D3、…qd I、 DJ+2、...DNt ’如第3c圖所示（圖中該等儲存位置僅=示 有Ν個’然而其數量不在此限）。步驟S3〇4中，將對應該 二維陣列之-第k+i列第j行之像素ak+lj儲存於該第;^ 數104中，如第3d圖所示。並於步驟S3〇6中，將對應唁 二維陣狀-第k+1列第j+1行之像素？％儲存於^ -魏1G6中。然:而，值得注意的是，在—般情況下，聲 像處理可從第i行第！列的—像素開始，但為了做更廣義 之說明，本實施例則從第k行第]·列開始，是以第^圖 該等儲存位置Dl、D2、D3至！^已經和料第乂圖; 該等儲存位·存之料像素有所不同，_容後再述。 步驟S308中’該縮放器使用一第一演算法，舉例而令 即前述之該雙線性内插法，依照分別暫存於〇广d +i、^ ^ 一變數104以及該第二變數106中之該等像素二 akJ+1 、ak+1j和ak+1川計算出一第一新像素bi(表示於第外 圖中）’並輸出該第一新像素bl。接下來，於步驟幻1〇中， SMI-07-025/ 903 l-A41494-TW/Draft-f 丄丄 :上述儲存於該第—變數刚中之該 緩衝器m中之第J個儲存位 怎=位至該行 述儲存於該第二變數1Q6k_;^s 2中’將上 變數104中，並 象素a川矛夕位至該第一 T卫於步驟S314中，將對應該二 ^ 上述步驟S3H)、S314、S316可參考第^讀⑽中’ 可說明第3d圖所該等儲存位 ：=二 素何以與第3C圖不同。之一 S308相似，該始长怒，; 之該雔線性内奸° ❹該第—演算法，同步驟S308 又、指内插法，依照分別暫存於Dai、 ^數104二及該第二變數服中之該等像素‘、‘、 並二二第二新像素Μ表示於第％圖中）， 1德去' 2。從本實施例乃從第k列第J行之 "像素a』開始’雖僅列舉計算兩新像仏 ^悉本技藝人士當可依照本發明推廣至所有：二 像?_’匕<副}，而產生，對靖縮 第4:圖表示第2圖中該放大程序21〇之方法流程圖。 σ圖表不具有魏個像素之—影像示意圖。當進行該放 二I二:寺’舉例而言，可以雙線性内插法_η㈣ 進仃计异，例如’從圖中像素akj、‘、ak+'和^+1 得-第-新列像素群Bl(又包括新像素kb)及一第三= 列像素群& (又包括新像素h i、^)，又從圖尹像素〆、 ‘、取得一第二新像素β2(又包括:像 SMI-07-025/ 9031-Α41494-TW/Draft-f 10 二及括新像“,、 新影像。當於步驟像|可得到—放大之 列的複數個像41:= 3+#^)朗緩衝11 之Di 亦有像素儲ί，原=Ν中’如第―4c圖所示’而队至d2N 中，將_二_狀—下推知。步驟讓 存於該第1數1。”，丄：」，素 中，將對應該二維陣列之 圖斤不。並於步驟S406 儲存於該第二變數1Q6W+1列第川行之像素 .情況下，影像;=然而’值得注意的是，在-般 了做更廣義之:明::;：;^ 驟S408中，該縮放器⑽_ 丁弟J列開始。步 同前述之該雙線_插 料法’舉例而言， 第-變數⑽分別暫存於W該 和二1〇6申之該等像素4、 新像“'，表::二 館存位〜、於步:中之軸 :::r素〜位至該第-變第= ==;=二，行二 文數1G6中，上述步驟S410、 SMI.07.025/9031-A41494-TW/Draft-f !363311 S4M、剛可參考第4e圖。之後，步驟Μΐ6盘步驟剛 2似，該縮放器⑽使肋第二演算法，同步驟剛之該 又線性内插法’依照分別暫存於D — " 104 ΐλΆ ^ ^ 、川、Dj+2、該第一變數 … 數106 *之該等像素n :' a/2叶异出一第二新行像素Β2(又包括新像素 b21、b22，表示於第4b圖中)’並輪出該第二新列 b2。在此必須進一步說明，當進行影像放大時，使用内 法可由鄰近之四個像素（如第朴 k+1 k+1 M τ〈 a j+1 、aKj+2 、 圖二厂广而產生本實施例中之四個新像素(如第* ^ 12 31、匕2)，進而集合所有像素及新像素而 達成衫像放大之目的。然而，孰朵 ’、 依照顯示裝置之⑽藝人士可輕易了解， 第扑圖中之二It新像素中位於同一列者(如 A Frh 12 2丨、b22)必需對該顯示裝置整列輪 出後，次列中之新像素(如第4b圖中之b、b h m

才得以輸出。故本發明在執杆b" ^〜W 之方式（如步驟S410)與縮小程序 」傢素 所不同。是以，如坌 方式（如乂驟341〇)有 S4l〇^ 第 圖中，當執行該放大程序中步冑 +賴料該第—變數中之該像素移 二緩“中之第N+j個儲存位 ^ 依照步驟S418，使用η — °括田J'N時， 衝器⑽第j行、第;:】厂笛鼻法依照分別暫存於該列緩 等像素4、以”：:第剛行之該 新列像素群B3(又包括新』傻a J+I)5十异並輸出至少—第三 值得注音r i 3I、b32,表示於第4b圖中）。 ㈣疋’其他複數個與該第三新列像素群處於同列 〇7'〇25/ 903 l-A41494-TW/Draft-f 12 1363311 之所有新像素(-第四新列像素群&中之新像素 即屬之）亦可以上述相似之方式一併計算並輪出，如第4f 圖所示。從本實施例乃從第k列第」行之該像素4開始， 雖僅列舉計算兩新列像素群&、B2、&及&之方法， :然而熟悉本技藝人士#可依照本發明推廣至所有像素卜 丄l = kSM ’ 1$ ’而產生一相對原影像放大之新影 鲁θ本發明已詳細闡述幾個實施例之特徵，而值得注意的 ^熟悉本人士也可在不麟本發明之精神與範圍内 作其他之改變、取代或置換。 【圖式簡單說明】 前技術中的影像處理器之架構圖。 弟2圖為依照本發明進行影像縮放 圖為錢本發日_、料之方料程=圖° 第3b圖為進行本發明缩 Θ 素之示意圖。 又㈣小私序則之像素與之後新像 料示 第3c圖為進行本發明步驟S4〇 意圖。 甲歹】綾衝為之儲存資 第3d圖為進行本發明步驟⑽ 料示意圖。 欸衝态之儲存資 f 3e圖為進行本發明步驟s4 料示意圖。 幻欸衝态之儲存資 程圖 第如圖為依照本發明放大㈣之方法流 SMI-07-025/9031-A4I494-TW/Draft-f 1363311 第4b圖為進行本發明放大程序前之像素與之後新像 素之示意圖。 第4c圖為進行本發明步驟S402中列緩衝器之儲存資 料不意圖。 第4d圖為進行本發明步驟S404中列緩衝器之儲存資 料不意圖。 第4e圖為進行本發明步驟S406中列緩衝器之儲存資 料不意圖。 ® 第4f圖為進行本發明步驟S418中列緩衝器之儲存資 料示意圖。 【主要元件符號說明】 100〜影像處理系統 101〜影像源 102〜列緩衝器 103〜影像處理器 • 104〜第一變數 105〜顯示裝置 106〜第二變數 108〜縮放器 S202〜S210〜步驟 S302〜S316〜步驟 S402〜S418步驟 Di〜Dn〜D2N〜儲存位置 SMI-07-025/ 9031-A41494-TW/Draft-f 14

Claims (1)

1363311 100年11月29曰修正替換頁 第97117808號申請專利範圍修正本 - 十、申請專利範圍： 1. 一種影像處理方法，可共用硬體進行影像放大 (scale up)或縮小（scale down);該影像具有對應於一具有複 . 數列（M列）及複數行(N行）之二維陣列之複數個像素（{akj， l^k^M，IS j^N})，該方法包括： 提供一個列缓衝器，具有至少2N個儲存位置； 提供一第一變數及一第二變數，用以配合該列缓衝器 進行影像放大或縮小；以及 • 當進行影像縮小時，執行一縮小程序，該縮小程序包 括： 將對應該二維陣列之一第k列的複數個像素 ({akj，j = l，2,3,…N})依序儲存於該列緩衝器之第l至第N 個儲存位置中； 將對應該二維陣列之一第k+Ι列第j行之像素 (ak+1j)儲存於該第一變數中； 將對應該二維陣列之一第k+Ι列第j+Ι行之像素 • (ak+1j+1)儲存於該第二變數中； 使用一第一演算法依照分別暫存於該列缓衝器第 j行、第j+Ι行、該第一變數以及該第二變數中之該等像素 (akj 、akj+1 、ak+1j 和 ak+]j+])計算出一第一新像素(bkj)，並 輸出該第一新像素； 將上述儲存於該第一變數中之該像素移位至該列 緩衝器中之第j個儲存位置； 將上述儲存於該第二變數中之該像素移位至該第’ SM]-07-025 9031-A41494丁WFl/Jim 15 u月29日修正替換頁 第971】78G8 U請專概圍修正本 一變數t ; 將對應該二維陣列一裳 素(a%2)儲存於該第二變數列第的行之-像 」，二= = 存於該列緩衝器第 素(‘、‘、以巧，二變數令之該等像 並輪出該第二新像素。川a j+2)計真出-第二新像素， 2.如申請專利範圍第〗項 當進行影像放大時，執行像處理方法，其中 將對庳t t 程序，該放大程序包括： 叫十123二二 之一 * k列的複數個像+ 個儲存位置，中心序儲存於該列緩衝器之第1至第N 將對應該二維陣列之一第 (C)錯存於該第一變數中；之《叫列苐』行之像素 將對應該二維陣列之一第k+】別笛.丄，_ (a 1川)儲存於該第二變數中，· J仃之像素 j行、第二依照分別暫存於該列緩衝器第 輸出該第-新列像素群ad計算出一第一新列像素群，並 缓衝器中謝之該像素移位至該列 一變數中； 將上述儲存料帛二變财找像素移位 至該第 SMI-07-02^903l-A41494TWFl/Jim 16 1363311 第__號申請專利範圍修4 將對應該二維陣列之一笔 (a」+2)儲存於該第二變數中；以及列第 行之像素 —該第二演算法依照分 W行、第j+2行、該第一變數以及=存於該列緩衝器第 素(aV丨、^ 中之該等像 群，並輸出該第二新列像素群。^出第一新列像素 3.如申請專·圍第2項所述之 2行該放大程序令之當將上述錯存;其中 緩衝器中之第N+j ::該 更包括當尸N時，則使用該第二、# K戈驟％ ’ 列缓衝器第j行、第j + 1行 ^^_ '照分別暫存於該 等像素(akj、akj+]、γ k+】"丁、第N+j+1行之該 * , j及a j+】）計算出至少一筮一鉍石I 像素群，並輸出至少該第三新列像素群。 第二新列 該第所述之影像處理方法，其令 αΓ 第H皆可使用雙線性内插法。 令等1項所狀影像處理方法，其中 该尋像素之格式為yuv像素格式。 r 兮等利範圍第1項所述之影像處理方法，其中 該等像素之格式為RGB像素袼式。 丨7.一種影像處理裝置，可制硬體進行影像放大或缩 ::、可共用硬體進行影像放大㈣"P)或縮小(scale 行I ’it像具有對應於—具有減列(町彳)及複數行(n =置=細嶋叫應《，⑷糊， SMI-07-025_903l-A41494TWFl/Jim 17 1363311 WO年11月29日修正替換頁 第97U7808號申請專利範圍修正本 —烟緩衝器，具有至少2N個^^7 -：-變數及-苐二變數；以及 進行影像放大或縮小配° ^列緩衝器及該第一、第二變數 .縮小S包括^_~_序《進行影像縮小，該 將對應該二雄陣列 (心尸U，3，.，依序錯存於該二=複=，素 個儲存位置中； 态之弟1至第N 將對應該二維陣列之一 (ak+1j)儲存於該第一變數中； 列第行之像素 將對應該二維陣列之—筮 (a%⑽存於該第二變數中，^ ^列第川行之像素 使用一第一演算法依昭 第^行、該第_變數以及料“ 器第 (a』·、aj+i和3㈣ 之該荨像素 輸出該第一新像素； 第一新像素(bk」），並 將上述儲存於該第一 缓衝器中之第j個儲存位置； &像素移位至該列 將上述儲存於該第二變數 一變數中； '^像素移位至該第 將對應該二維陣列之一第叫 (a j+2)儲存於該第二變數中；以及 弟J+2行之像素 使用-第1算法依照分 存於垓列緩衝器第 SMI-07-025_903I-A4,494TWFJ/Jim 1363311 第Wimos號申請專利範圍修正本 月29日修正替換頁 W行、第扣行、該苐—變數--- 素（akj+i 、akji2 、^丨 k叫及該第二變數中之該等像 並輪出該第二新像素、3 j+2)計算出—第二新像素， '如申請專利範圍第7項所述 以進行影像放大，該放大程序包 該縮放器執行一放大程序 ’〜之影像處理裝置，其中 括： 個儲存位置t 序館存於該列緩衝器之第1至第N 將對應該二維陣列之一第糾列 (a j)儲存於該第一變數中； J订之像素 將對應該二維陣列之一第k+1列 (a j+i)儲存於該第二變數中； 订之像素 t用-第二演算法依照分別暫 了'第Μ行'該第一變數以及該第 (a i、ak 、<^+丨二k+1 ι默甲之該等像素 ^ J+1 J a的)計算出一第一新列像辛群 輪出該第—新舰素群； 崎素群’並 將上述儲存於該第一變數中 緩衝器中之第則個儲存位置； 像料夕位至該列 -變數中將上述儲存於該第二變數中之該像素移位至該第 將，該二維陣列之一第k+1列第j+2行之—像 '、 j+2)儲存於該第二變數中；以及 使用該第二演算法依照分別暫存於該列緩衝器第 sMI^〇7^〇25^9〇3 1-A41494TWF1 /Jim 19 第97117808號申請專利範圍修正本 — 川行、第卜2行、該第 - 素(aV丨、n = 該#二變數中之該等像 並輸出該第二新像j+2)計算出—第二新像素群， 當該9二專:範圍第8項所述之影像處理裝置，其令 數二 =大程序f之當將上述鍵存於該第-變 步:Γ=:至該列缓衝器中之第w個儲存位置之 暫:二=當j=N時’則使用該第二演算法依照分別 I存於该列缓衝器第j行、案 刀々J .avl. ak+1^ ak+1 列務本被 ·<及a J+])叶异出_第三新 列像素群，並輸出該第三新列像素群。 ㈣月專利乾圍第8項所述之影像處理裝置，其中 U · 1异法及該第二演算法皆可使用雙線性内插法。 健2申請專利範圍第7項所述之影像處理裝置，其中 該專像素之格式為YUV像素格式。 12.如申請專利範圍第7項所述之影 該等像素之格式為RGB料料。—U其中

SM]-07-025_9031-A41494TWF 1/Jim 20