TWI788251B - 超解析度影像的重建方法以及超解析度影像的重建系統 - Google Patents
超解析度影像的重建方法以及超解析度影像的重建系統 Download PDFInfo
- Publication number
- TWI788251B TWI788251B TW111112857A TW111112857A TWI788251B TW I788251 B TWI788251 B TW I788251B TW 111112857 A TW111112857 A TW 111112857A TW 111112857 A TW111112857 A TW 111112857A TW I788251 B TWI788251 B TW I788251B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- super
- coordinates
- ranges
- range
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
超解析度影像的重建方法包含取得複數張原始影像;將該些原始影像定位,以取得複數個移動向量;設定超解析度影像的影像座標,依據該些移動向量,調整超解析度影像的影像座標,以產生複數個更新後的影像座標;設定第一影像範圍;依據該些移動向量,調整第一影像範圍的座標,以產生複數個更新後的第一影像範圍;依據每一個更新後的第一影像範圍,產生對應的複數個第二影像範圍;依據複數個權重、該些更新後的第一影像範圍以及該些第二影像範圍,產生超解析度影像在影像座標上的重建畫素。
Description
本發明描述一種超解析度影像的重建方法以及超解析度影像的重建系統,尤指一種依據時間軸資訊以及移動向量,動態調整權重之超解析度影像的重建方法以及超解析度影像的重建系統。
隨著科技進步,各種條碼逐漸被應用在日常生活中,並慢慢地取代繁雜且易錯誤的文字資訊。例如,一維條碼將寬度不等的多個黑條(Bar)和白條(Space),按照一定的編碼規則(即黑白寬度比例)排列,用以表達一組資訊的圖形識別元。常見的一維條碼是由反射率相差很大的黑條和白條排成的平行線圖案。二維條碼則可為矩形,可視為將一維條碼的影像往另一個軸向延伸的影像,因此可帶有比一維條碼更多的資訊量。條碼可以標出物品的生產國、製造廠家、商品名稱、生產日期、圖書分類號、郵件起止地點、類別、日期等資訊,因而在商品流通、圖書管理、郵政管理、銀行系統等許多領域都得到了廣泛的應用。
一般而言,要識別條碼需要對條碼進行拍照,取得包含條碼內容的影像。並且,識別條碼的精確度取決於影像的清晰度。在目前,利用多張影像合成一張高解析度的影像之技術已經逐漸被應用。然而,攝像鏡頭在取得多張影像時,多張影像內的物件容易受到晃動(例如:手震的影響或是物件本身的偏移)而產生畫素座標位移,或是多張影像的外部光影隨著時間而變化。因此,多張影像在合成一張高解析度的影像時,常常發生計算複雜度較高且合成影像的品質往往不如預期的問題。
本發明之一實施例提出一種超解析度影像的重建方法。超解析度影像的重建方法包含取得複數張原始影像,將該些原始影像定位,以取得複數個移動向量,設定超解析度影像的影像座標,依據該些移動向量,調整超解析度影像的影像座標,以產生複數個更新後的影像座標,設定第一影像範圍,依據該些移動向量,調整第一影像範圍的座標,以產生複數個更新後的第一影像範圍,依據該些更新後的第一影像範圍中的每一個更新後的第一影像範圍,產生對應的複數個第二影像範圍,依據複數個權重、該些更新後的第一影像範圍以及該些第二影像範圍,將該些第一影像對應的複數個畫素線性組合,以產生超解析度影像在影像座標上的重建畫素,以及產生超解析度影像所有的重建畫素,以合成超解析度影像。若第一影像範圍的解析度為N×M,第一影像範圍係對應N×M個第二影像範圍。N及M為兩正整數。
本發明之另一實施例提出一種超解析度影像的重建系統。超解析度影像的重建系統包含影像擷取裝置、記憶體、輸出裝置及處理器。影像擷取裝置,用以取得複數張原始影像。記憶體,用以儲存資料。輸出裝置,用以輸出超解析度影像。處理器,耦接於影像擷取裝置、記憶體及輸出裝置,用以控制影像擷取裝置、記憶體及輸出裝置。影像擷取裝置取得該些原始影像後,處理器將該些原始影像定位,以取得複數個移動向量。處理器設定超解析度影像的影像座標。處理器依據該些移動向量,調整超解析度影像的影像座標,以產生複數個更新後的影像座標。處理器設定第一影像範圍。處理器依據該些移動向量,調整第一影像範圍的座標,以產生複數個更新後的第一影像範圍。處理器依據該些更新後的第一影像範圍中的每一個更新後的第一影像範圍,產生對應的複數個第二影像範圍。處理器依據複數個權重、該些更新後的第一影像範圍以及該些第二影像範圍,將該些第一影像對應的複數個畫素線性組合,以產生超解析度影像在影像座標上的重建畫素。處理器產生超解析度影像所有的重建畫素,以合成超解析度影像。輸出裝置輸出超解析度影像。若第一影像範圍的解析度為N×M,第一影像範圍係對應N×M個第二影像範圍。N及M為兩正整數
第1圖係為本發明之超解析度影像的重建系統100的之實施例的方塊圖。超解析度影像的重建系統100可用於任何在時間軸或是空間軸上拍攝之多張影像合成,而產生超解析度的影像。因此,超解析度影像的重建系統100也可以應用於加強條碼影像的清晰度。為了描述方便,後文的超解析度影像的重建系統100將以條碼影像的應用進行說明。解析度影像的重建系統100包含影像擷取裝置10、記憶體11、輸出裝置12以及處理器13。影像擷取裝置10可為任何種類的攝像鏡頭或是錄影機,用於取得複數張原始影像。記憶體11用以儲存資料。輸出裝置12用以輸出超解析度影像。輸出裝置12可為螢幕、影像輸出用的連接埠、或是投影系統等等。處理器13耦接於影像擷取裝置10、記憶體11及輸出裝置12,用以控制影像擷取裝置10、記憶體11及輸出裝置12。超解析度影像的重建系統100可以利用時間軸上的影像資訊,配合動態定位技術,精確地將複數張原始影像合成,而產生畫質優秀的超解析度影像。並且,超解析度影像的重建系統100無須極高的運算複雜度,即可將複數張原始影像動態定位後再合成,細節說明於後文。
在超解析度影像的重建系統100中,影像擷取裝置10取得該些原始影像後,處理器13可將該些原始影像定位,以取得複數個移動向量。然而,超解析度影像的重建系統100之該些原始影像的取得方式可為影像擷取裝置10在時間軸上對物件連續拍攝而產生。或者,超解析度影像的重建系統100也可用複數個影像擷取裝置對該物件拍攝而產生該些原始影像。任何合理的技術變更都屬於本發明所揭露的範疇。接著,處理器13可以設定超解析度影像的影像座標。應當理解的是,超解析度影像的影像座標係為處理器13利用該些原始影像重建出高解析度影像畫素的對應座標,可表示為二維的座標(x,y)。接著,處理器13可依據該些移動向量,調整超解析度影像的影像座標,以產生複數個更新後的影像座標。此步驟的細節後文詳述。處理器13可設定第一影像範圍。第一影像範圍小於超解析度影像的範圍。第一影像範圍可為鄰域範圍(Neighborhood Range)。處理器13可依據該些移動向量,調整第一影像範圍的座標,以產生複數個更新後的第一影像範圍。接著,處理器13可依據該些更新後的第一影像範圍中的每一個更新後的第一影像範圍,產生對應的複數個第二影像範圍。第二影像範圍可為區塊範圍(Patch Range)。若第一影像範圍的解析度為N×M,第一影像範圍對應N×M個第二影像範圍,且N及M為兩正整數。接著,處理器13可依據複數個權重、該些更新後的第一影像範圍以及該些第二影像範圍,將該些第一影像對應的複數個畫素線性組合,以產生超解析度影像在影像座標(x,y)上的重建畫素。處理器13可以產生超解析度影像所有的重建畫素,以合成超解析度影像。最後,輸出裝置12可輸出超解析度影像。超解析度影像的重建系統100如何由多張原始影像產生超解析度影像的細節於後文詳述。
第2圖係為超解析度影像的重建系統100中,複數張原始影像經過處理後,由輸出裝置12輸出超解析度影像的示意圖。在第2圖中,原始影像Y
0至原始影像Y
F可為影像擷取裝置10在時間軸上對物件連續拍攝而產生。或者,超解析度影像的重建系統100也可用複數個影像擷取裝置對該物件拍攝而產生該些原始影像。F為正整數。舉例而言,影像擷取裝置10可為錄影機,以每秒30幀的速率(30fps)錄製影像。因此,一秒後,影像擷取裝置10可擷取30張原始影像(F=29)。為了說明一般性,處理器13可基於原始影像Y
ref為中心,取樣原始影像Y
ref -k至原始影像Y
ref+k,共計(2k+1)張原始影像。(2k+1)張原始影像可被處理器13用於合成超解析度影像S
ref。應當理解的是,時間軸索引ref是可以調整的(亦會隨時間移動)。時間軸索引ref可隨時間改變,故取樣的滑動影像窗(Sliding Window)之位置也會改變,導致超解析度影像S
ref也會改變。換句話說,超解析度影像的重建系統100是一個可於連續時間產生導致超解析度影像S
ref的系統。超解析度影像S
ref會隨著時間即時(Real-Time)的更新。
第3圖係為超解析度影像的重建系統100中,依據原始影像Y
ref -k至原始影像Y
ref+k中條碼的特徵圖案,產生複數個移動向量V
ref -k至V
ref+k-1的示意圖。如前述提及,超解析度影像的重建系統100可以應用於加強條碼影像的清晰度。在第3圖中,原始影像Y
ref -k至原始影像Y
ref+k中包含條碼的特徵圖案(Finder Patterns)B
ref -k至B
ref+k。並且,處理器13可以依據條碼的特徵圖案B
ref -k至B
ref+k,將該些原始影像Y
ref -k至Y
ref+k定位。例如,處理器13可以取得該些原始影像Y
ref -k至Y
ref+k至少一個參考點的座標。換句話說,在時間軸上該些原始影像Y
ref -k至Y
ref+k的偏移量,可以被處理器13偵測。接著,處理器13可以量化該些原始影像Y
ref -k至Y
ref+k的偏移量。舉例而言,處理器13將原始影像Y
ref -k內的特徵圖案B
ref -k以及原始影像Y
ref-k+1內的特徵圖案B
ref-k+1定位後,可以依此得出移動向量V
ref -k。處理器13將原始影像Y
ref-k+1內的特徵圖案B
ref-k+1以及原始影像Y
ref內的特徵圖案B
ref定位後,可以依此得出移動向量V
ref-k+1。處理器13將原始影像Y
ref內的特徵圖案B
ref以及原始影像Y
ref+k-1內的特徵圖案B
ref+k-1定位後,可以依此得出移動向量V
ref。處理器13將原始影像Y
ref+k-1內的特徵圖案B
ref+k-1以及原始影像Y
ref+k內的特徵圖案B
ref+k定位後,可以依此得出移動向量V
ref+k-1。
第4圖係為超解析度影像的重建系統100中,依據該些移動向量V
ref -k至V
ref+k-1,更新影像座標以及第一影像範圍的示意圖。如前述提及,超解析度影像的影像座標係為處理器13利用該些原始影像Y
ref -k至Y
ref+k重建出高解析度影像畫素的對應座標,可表示為二維的座標(x,y)。該些原始影像Y
ref -k至Y
ref+k可能會因為晃動(例如:手震的影響或是物件本身的偏移)而產生畫素座標位移。然而,由於該些移動向量V
ref -k至V
ref+k-1可以求得,故處理器13可以計算影像座標的偏移量,以更新影像座標的位置。例如,影像點X
ref -k的座標經過了位移後,影像點X
ref -k的座標可以依據移動向量V
ref -k更新為影像點X
ref-k+1的座標。影像點X
ref-k+1的座標經過了位移後,影像點X
ref-k+1的座標可以依據移動向量V
ref-k+1更新為影像點X
ref的座標。影像點X
ref的座標經過了位移後,影像點X
ref的座標可以依據移動向量V
ref更新為影像點X
ref+k-1的座標。影像點X
ref+k-1的座標經過了位移後,影像點X
ref+k-1的座標可以依據移動向量V
ref+k-1更新為影像點X
ref+k的座標。並且,處理器13也可以利用移動向量V
ref -k至V
ref+k-1更新第一影像範圍(鄰域範圍,Neighborhood Range)。舉例而言,原始影像Y
ref -k的第一影像範圍N
ref -k可依據影像點X
ref -k的座標決定。且第一影像範圍N
ref -k的中心點即為影像點X
ref -k。原始影像Y
ref-k+1的第一影像範圍N
ref-k+1可依據影像點X
ref-k+1的座標決定。且第一影像範圍N
ref-k+1的中心點即為影像點X
ref-k+1。原始影像Y
ref的第一影像範圍N
ref可依據影像點X
ref的座標決定。且第一影像範圍N
ref的中心點即為影像點X
ref。原始影像Y
ref+k-1的第一影像範圍N
ref+k-1可依據影像點X
ref+k-1的座標決定。且第一影像範圍N
ref+k-1的中心點即為影像點X
ref+k-1。原始影像Y
ref+k的第一影像範圍N
ref+k可依據影像點X
ref+k的座標決定。且第一影像範圍N
ref+k的中心點即為影像點X
ref+k。換句話說,超解析度影像的影像座標為第一影像範圍的中心點座標,且該些更新後的影像座標對應該些更新後的第一影像範圍的中心點座標。
在超解析度影像的重建系統100中,若該些移動向量為零向量,表示原始影像Y
ref -k至原始影像Y
ref+k中條碼的特徵圖案沒有位移。因此,該些更新後的影像座標(如影像點X
ref-k+1至影像點X
ref+k的座標)相同於超解析度影像的影像座標(如影像點X
ref+k的座標)。也因如此,該些更新後的第一影像範圍相同於第一影像範圍。例如,在第4圖中,若該些移動向量V
ref -k至V
ref+k-1為零向量,則影像點X
ref -k、影像點X
ref-k+1、影像點X
ref、影像點X
ref+k-1以及影像點X
ref+k的座標相同。並且,第一影像範圍N
ref -k、第一影像範圍N
ref-k+1、第一影像範圍N
ref、第一影像範圍N
ref+k-1、第一影像範圍N
ref+k的位置相同。接著,於原始影像Y
ref -k至原始影像Y
ref+k中的第一影像範圍決定後,可以依據第一影像範圍決定第二影像範圍,說明如下。
第5圖係為超解析度影像的重建系統100中,第一影像範圍N
t對應的複數個第二影像範圍的示意圖。於此說明,第一影像範圍N
t表示時間軸之索引為t的原始影像Y
t所對應的第一影像範圍。第一影像範圍N
t以及複數個第二影像範圍可為矩形。並且,如前述提及超解析度影像的重建系統100可應用於條碼影像的超解析度重建。因此,第一影像範圍N
t的尺寸以及該些第二影像範圍的尺寸可由條碼影像的版本、條碼影像的至少一個特徵圖案及/或條碼影像的樣式,經由公式計算或與記憶體11中存之查詢表比對後決定。在第5圖中,處理器可設定第二影像範圍的尺寸。並且,處理器可以依據第一影像範圍N
t的N×M個畫素座標,產生N×M個第二影像範圍。舉例而言,對於在第一影像範圍N
t內座標為(i,j)的畫素。處理器可產生對應的第二影像範圍P
t(i,j)。對於在第一影像範圍N
t內座標為(i’,j’)的畫素。處理器可產生對應的第二影像範圍P
t(i’,j’)。兩第二影像範圍可有部分重疊的畫素。並且,N×M個第二影像範圍之每一個第二影像範圍的中心,對應第一影像範圍N
t的N×M個畫素座標之每一個畫素座標。因此,對於(2k+1)張的原始影像Y
ref -k至原始影像Y
ref+k而言,可對應(2k+1)個第一影像範圍N
ref -k至N
ref+k。每一個第一影像範圍對應N×M個第二影像範圍。換句話說,若P=2k+1,則P張原始影像將會對應P×N×M個第二影像範圍。在超解析度影像的重建系統100中,超解析度影像在影像座標上的重建畫素與P×N×M個第二影像範圍的權重有關。細節如後文詳述。
其中重建畫素S
ref(x,y)的座標為(x,y)。t為時間軸上的索引。N
t(x,y)表示在時間索引t上,中心座標為(x,y)的第一影像範圍。
表示在時間索引t上,中心座標為(x,y)的第一影像範圍內的畫素索引之集合座標。
表示在時間索引t上,畫素座標為(i,j)對應的權重。Y
t(i,j)表示在時間索引t上的原始影像,畫素座標為(i,j)對應的值。由(1)式觀之,重建畫素S
ref(x,y)可由多個時間(2k+1個時間索引)點之原始影像內的第一影像範圍內之畫素,透過對應的權重線性組合而產生。在時間索引t上,畫素座標為(i,j)對應的權重
的產生方式如(2)式:
(2)
在(2)式中,P
ref(x,y)表示在時間索引t=ref上的原始影像,在畫素座標為(x,y)為中心對應的第二影像範圍。P
t(i,j)表示在時間索引t上的原始影像,在畫素座標為(i,j)為中心對應的第二影像範圍。由(2)式觀之,權重
是依據兩第二影像範圍內畫素的差異性而決定。舉例而言,在第5圖中,處理器13可以設定第二影像範圍P
t(x,y)在t=ref時為比較基準。處理器13可在不同時間上,不同位置之第二影像範圍P
t(i,j)與其進行畫素值之距離的比較。若兩第二影像範圍的畫素相似度越高,表示影像在兩第二影像範圍內的特徵越接近。因此,處理器13會設定較大的權重。相反的,若兩第二影像範圍的畫素相似度越低,表示影像在兩第二影像範圍內的特徵相差越多。因此,處理器13會設定較小的權重。應當理解的是,權重可用任何的距離公式或是特徵差異公式計算而得,不限定於使用(2)式。
如前述提及,在超解析度影像的重建系統100中,超解析度影像在影像座標上的重建畫素可利用多個原始畫素經由線性組合而產生。並且,如上述之(1)式以及(2)式的特性,以時間軸索引t=ref之重建畫素的座標(x,y)為中心,若多張原始影像在一個範圍內的畫素相似度越低,則權重越小。若多張原始影像在一個範圍內的畫素相似度越高,則權重越大。換句話說,在超解析度影像的重建系統100中,利用(1)式以及(2)式的特性,重建畫素在線性組合時之主要項(Dominant Term)為高相似度的畫素組合,而次要項為較低相似度的畫素組合。因此超解析度影像的重建系統100在重建畫素時有以下優點。(a)、第一影像範圍以及第二影像範圍可以預先決定,如依據條碼影像的版本、條碼影像的至少一個特徵圖案及/或條碼影像的樣式而決定。因此,即使超解析度影像的尺寸改變,第一影像範圍以及第二影像範圍也可動態調整,降低了計算複雜度。(b)、由於引入了時間軸上的移動向量資訊而動態調整重建畫素座標,故超解析度影像在合成時,會具有更優秀的畫質。(c)、由於超解析度影像的重建系統100引入了範圍畫素相似度的條件來設定權重,故較極端的畫素(如光源瞬間變化或是物件移動)可被忽略,可增加超解析度影像在合成時的可靠度。
第6圖係超解析度影像的重建系統100中,執行超解析度影像的重建方法的流程圖。超解析度影像的重建方法的流程包含步驟S601至步驟S609。任何合理的步驟變更或是技術置換都屬於本發明所揭露的範疇。步驟S601至步驟S609說明如下:
| 步驟S601: | 取得該些原始影像Y ref -k至Y ref+k; |
| 步驟S602: | 將該些原始影像Y ref -k至Y ref+k定位,以取得該些移動向量V ref -k至V ref+k-1; |
| 步驟S603: | 設定超解析度影像S ref的影像座標(x,y); |
| 步驟S604: | 依據該些移動向量V ref -k至V ref+k-1,調整超解析度影像的影像座標(x,y),以產生該些更新後的影像座標; |
| 步驟S605: | 設定第一影像範圍(Neighborhood Range); |
| 步驟S606: | 依據該些移動向量V ref -k至V ref+k-1,調整第一影像範圍的座標,以產生複數個更新後的第一影像範圍; |
| 步驟S607: | 依據該些更新後的第一影像範圍中的每一個更新後的第一影像範圍,產生對應的該些第二影像範圍(Patch Range); |
| 步驟S608: | 依據該些權重、該些更新後的第一影像範圍以及該些第二影像範圍,將該些第一影像對應的該些畫素線性組合,以產生超解析度影像S ref在影像座標(x,y)上的重建畫素S ref(x,y); |
| 步驟S609: | 產生超解析度影像S ref所有的重建畫素,以合成超解析度影像S ref。 |
步驟S601至步驟S609的細節已於前文中詳述,故於此將不再贅述。超解析度影像的重建系統100利用步驟S601至步驟S609可以利用多張在時間軸上之影像資訊,產生超解析度影像。並且,超解析度影像的重建系統100由於利用了時間軸上的移動向量V
ref -k至V
ref+k-1之資訊而動態調整重建畫素座標,故超解析度影像在合成時會具有更優秀的畫質。
綜上所述,本發明描述一種超解析度影像的重建方法以及超解析度影像的重建系統。超解析度影像的重建系統可利用第一影像範圍(Neighborhood Range)以及第二影像範圍(Patch Range),以較低複雜度的方式從多張原始影像合成超解析度影像。本發明的超解析度影像的重建系統的優點如下:(a)、第一影像範圍以及第二影像範圍可以預先決定,如依據條碼影像的版本、條碼影像的至少一個特徵圖案及/或條碼影像的樣式而決定。因此,即使超解析度影像的尺寸改變,第一影像範圍以及第二影像範圍也可動態調整(Scale-Free),降低了計算複雜度。(b)、由於引入了時間軸上的移動向量資訊而動態調整重建畫素座標,故超解析度影像在合成時,會具有更優秀的畫質。(c)、由於超解析度影像的重建系統引入了範圍畫素相似度的條件來設定權重,故較極端的畫素(如光源瞬間變化或是物件移動)可被忽略,可增加超解析度影像在合成時的可靠度。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
100:超解析度影像的重建系統
10:影像處理裝置
11:記憶體
12:輸出裝置
13:處理器
Y0至YF:原始影像
S
ref:超解析度影像
Y
ref -k至Y
ref+k:原始影像
V
ref -k至V
ref-k+1:移動向量
B
ref -k至B
ref+k:特徵圖案
N
t、N
ref -k至N
ref+k:第一影像範圍
X
ref -k至X
ref+k:影像點
Pt(i,j)、Pt(x,y)及Pt(i’,j’):第二影像範圍
S601至S609:步驟
第1圖係為本發明之超解析度影像的重建系統的之實施例的方塊圖。
第2圖係為第1圖之超解析度影像的重建系統中,複數張原始影像經過處理後由輸出裝置輸出超解析度影像的示意圖。
第3圖係為第1圖之超解析度影像的重建系統中,依據該些原始影像中,條碼的特徵圖案,產生複數個移動向量的示意圖。
第4圖係為第1圖之超解析度影像的重建系統中,依據該些移動向量,更新影像座標以及第一影像範圍的示意圖。
第5圖係為第1圖之超解析度影像的重建系統中,第一影像範圍對應的複數個第二影像範圍的示意圖。
第6圖係為第1圖之超解析度影像的重建系統中,執行超解析度影像的重建方法的流程圖。
100:超解析度影像的重建系統
10:影像處理裝置
11:記憶體
12:輸出裝置
13:處理器
Claims (20)
- 一種超解析度影像的重建方法,包含: 取得複數張原始影像; 將該些原始影像定位,以取得複數個移動向量; 設定一超解析度影像的影像座標; 依據該些移動向量,調整該超解析度影像的該影像座標,以產生複數個更新後的影像座標; 設定一第一影像範圍; 依據該些移動向量,調整該第一影像範圍的座標,以產生複數個更新後的第一影像範圍; 依據該些更新後的第一影像範圍中的每一個更新後的第一影像範圍,產生對應的複數個第二影像範圍; 依據複數個權重、該些更新後的第一影像範圍以及該些第二影像範圍,將該些第一影像對應的複數個畫素線性組合,以產生該超解析度影像在該影像座標上的一重建畫素;及 產生該超解析度影像所有的重建畫素,以合成該超解析度影像; 其中若該第一影像範圍的解析度為N×M,該第一影像範圍係對應N×M個第二影像範圍,且N及M為兩正整數。
- 如請求項1所述之方法,其中該些原始影像包含一條碼影像,且將該些原始影像定位,以取得該些移動向量,係依據該條碼影像的至少一個特徵圖案進行定位,以取得該些移動向量。
- 如請求項2所述之方法,其中該第一影像範圍的一尺寸以及該些第二影像範圍的尺寸係由該條碼影像的一版本、該條碼影像的該至少一個特徵圖案及/或該條碼影像的一樣式與一查詢表比對或一公式計算後決定。
- 如請求項1所述之方法,其中依據該些更新後的第一影像範圍中的該每一個更新後的第一影像範圍,產生對應的複數個第二影像範圍包含: 取得該每一個更新後的第一影像範圍的N×M個畫素座標; 設定一第二影像範圍的一尺寸;及 依據該第一影像範圍的N×M個畫素座標,產生符合該尺寸的N×M個第二影像範圍; 其中該N×M的第二影像範圍之每一個第二影像範圍的中心對應該N×M個畫素座標之每一個畫素座標。
- 如請求項1所述之方法,另包含: 設定該些權重; 其中該些權重中之一權重係依據該些複數個第二影像範圍中,兩第二影像範圍內畫素的差異性而決定,該兩第二影像範圍的畫素相似度越高,該權重的值越大,且該兩第二影像範圍的畫素相似度越低,該權重的值越小。
- 如請求項1所述之方法,其中該些張原始影像係為一影像擷取裝置在一時間軸上對一物件連續拍攝而產生,或為複數個影像擷取裝置對該物件拍攝而產生。
- 如請求項1所述之方法,其中若該些原始影像的數量為P且該每一個更新後的第一影像範圍所對應的複數個第二影像範圍的數量為N×M,則該超解析度影像在該影像座標上的該重建畫素係與P×N×M個第二影像範圍所對應的權重有關。
- 如請求項1所述之方法,其中該第一影像範圍以及該些第二影像範圍為矩形。
- 如請求項1所述之方法,其中該超解析度影像的影像座標係為該第一影像範圍的一中心點座標,且該些更新後的影像座標對應該些更新後的第一影像範圍的中心點座標。
- 如請求項1所述之方法,其中若該些移動向量為零向量,則該些更新後的影像座標相同於該超解析度影像的影像座標,且該些更新後的第一影像範圍相同於該第一影像範圍。
- 一種超解析度影像的重建系統,包含: 一影像擷取裝置,用以取得複數張原始影像; 一記憶體,用以儲存資料; 一輸出裝置,用以輸出一超解析度影像;及 一處理器,耦接於該影像擷取裝置、該記憶體及該輸出裝置,用以控制該影像擷取裝置、該記憶體及該輸出裝置; 其中該影像擷取裝置取得該些原始影像後,該處理器將該些原始影像定位,以取得複數個移動向量,該處理器設定一超解析度影像的影像座標,該處理器依據該些移動向量,調整該超解析度影像的該影像座標,以產生複數個更新後的影像座標,該處理器設定一第一影像範圍,該處理器依據該些移動向量,調整該第一影像範圍的座標,以產生複數個更新後的第一影像範圍,該處理器依據該些更新後的第一影像範圍中的每一個更新後的第一影像範圍,產生對應的複數個第二影像範圍,該處理器依據複數個權重、該些更新後的第一影像範圍以及該些第二影像範圍,將該些第一影像對應的複數個畫素線性組合,以產生該超解析度影像在該影像座標上的一重建畫素,該處理器產生該超解析度影像所有的重建畫素,以合成該超解析度影像,該輸出裝置輸出該超解析度影像,若該第一影像範圍的解析度為N×M,該第一影像範圍係對應N×M個第二影像範圍,且N及M為兩正整數。
- 如請求項11所述之系統,其中該些原始影像包含一條碼影像,且將該些原始影像定位,以取得該些移動向量,係依據該條碼影像的至少一個特徵圖案進行定位,以取得該些移動向量。
- 如請求項12所述之系統,其中該第一影像範圍的一尺寸以及該些第二影像範圍的尺寸係由該條碼影像的一版本、該條碼影像的該至少一個特徵圖案及/或該條碼影像的一樣式與該記憶體中存之一查詢表比對或一公式計算後決定。
- 如請求項11所述之系統,其中該處理器設定一第二影像範圍的一尺寸,該處理器依據該第一影像範圍的N×M個畫素座標,產生符合該尺寸的N×M個第二影像範圍,該N×M的第二影像範圍之每一個第二影像範圍的中心對應該N×M個畫素座標之每一個畫素座標。
- 如請求項11所述之系統,其中該處理器設定該些權重,該些權重中之一權重係依據該些複數個第二影像範圍中,兩第二影像範圍內畫素的差異性而決定,該兩第二影像範圍的畫素相似度越高,該權重的值越大,且該兩第二影像範圍的畫素相似度越低,該權重的值越小。
- 如請求項11所述之系統,中該些原始影像係為該影像擷取裝置在一時間軸上對一物件連續拍攝而產生,或為複數個影像擷取裝置對該物件拍攝而產生。
- 如請求項11所述之系統,其中若該些原始影像的數量為P且該每一個更新後的第一影像範圍所對應的複數個第二影像範圍的數量為N×M,則該超解析度影像在該影像座標上的該重建畫素係與P×N×M個第二影像範圍所對應的權重有關。
- 如請求項11所述之系統,其中該第一影像範圍以及該些第二影像範圍為矩形。
- 如請求項11所述之系統,其中該超解析度影像的影像座標係為該第一影像範圍的一中心點座標,且該些更新後的影像座標對應該些更新後的第一影像範圍的中心點座標。
- 如請求項11所述之系統,其中若該些移動向量為零向量,則該些更新後的影像座標相同於該超解析度影像的影像座標,且該些更新後的第一影像範圍相同於該第一影像範圍。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111112857A TWI788251B (zh) | 2022-04-01 | 2022-04-01 | 超解析度影像的重建方法以及超解析度影像的重建系統 |
| US17/888,514 US12307631B2 (en) | 2022-04-01 | 2022-08-16 | Super-resolution image reconstruction method and super-resolution image reconstruction system capable of dynamically adjusting weightings according to temporal information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111112857A TWI788251B (zh) | 2022-04-01 | 2022-04-01 | 超解析度影像的重建方法以及超解析度影像的重建系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI788251B true TWI788251B (zh) | 2022-12-21 |
| TW202341067A TW202341067A (zh) | 2023-10-16 |
Family
ID=85795282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111112857A TWI788251B (zh) | 2022-04-01 | 2022-04-01 | 超解析度影像的重建方法以及超解析度影像的重建系統 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12307631B2 (zh) |
| TW (1) | TWI788251B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024058817A (ja) * | 2022-10-17 | 2024-04-30 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
| JP2024090683A (ja) * | 2022-12-23 | 2024-07-04 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140133780A1 (en) * | 2011-12-14 | 2014-05-15 | Peking University | Nonlocality based super resolution reconstruction method and device |
| CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技(深圳)有限公司 | 一种视频图像超分辨率重建方法及装置 |
| CN107292819A (zh) * | 2017-05-10 | 2017-10-24 | 重庆邮电大学 | 一种基于边缘细节保护的红外图像超分辨率重建方法 |
| TW202018366A (zh) * | 2018-07-03 | 2020-05-16 | 美商奈米創尼克影像公司 | 用於提供超解析度成像之精準度回饋及改良超解析度成像之精準度之系統、裝置及方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010034964A (ja) * | 2008-07-30 | 2010-02-12 | Sharp Corp | 画像合成装置、画像合成方法及び画像合成プログラム |
| US8768069B2 (en) * | 2011-02-24 | 2014-07-01 | Sony Corporation | Image enhancement apparatus and method |
| US9307148B1 (en) * | 2013-05-15 | 2016-04-05 | Amazon Technologies, Inc. | Video enhancement techniques |
| EP3167428A1 (en) * | 2014-07-10 | 2017-05-17 | Thomson Licensing | Method and apparatus for up-scaling an image |
| JP6518115B2 (ja) * | 2015-04-13 | 2019-05-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム |
| JP6960238B2 (ja) * | 2017-04-28 | 2021-11-05 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
| JP2019207611A (ja) * | 2018-05-30 | 2019-12-05 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
| CN111292354B (zh) * | 2020-01-22 | 2023-07-28 | 维沃移动通信有限公司 | 误检测抑制方法及电子设备 |
| CN112184575B (zh) * | 2020-09-16 | 2024-09-13 | 华为技术有限公司 | 图像渲染的方法和装置 |
| JP2023094234A (ja) * | 2021-12-23 | 2023-07-05 | OFILM.Japan株式会社 | 複数画像超解像システム |
-
2022
- 2022-04-01 TW TW111112857A patent/TWI788251B/zh active
- 2022-08-16 US US17/888,514 patent/US12307631B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140133780A1 (en) * | 2011-12-14 | 2014-05-15 | Peking University | Nonlocality based super resolution reconstruction method and device |
| CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技(深圳)有限公司 | 一种视频图像超分辨率重建方法及装置 |
| CN107292819A (zh) * | 2017-05-10 | 2017-10-24 | 重庆邮电大学 | 一种基于边缘细节保护的红外图像超分辨率重建方法 |
| TW202018366A (zh) * | 2018-07-03 | 2020-05-16 | 美商奈米創尼克影像公司 | 用於提供超解析度成像之精準度回饋及改良超解析度成像之精準度之系統、裝置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230316461A1 (en) | 2023-10-05 |
| US12307631B2 (en) | 2025-05-20 |
| TW202341067A (zh) | 2023-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12148123B2 (en) | Multi-stage multi-reference bootstrapping for video super-resolution | |
| TWI788251B (zh) | 超解析度影像的重建方法以及超解析度影像的重建系統 | |
| CN103312970B (zh) | 图像合成设备和图像合成方法 | |
| US7873207B2 (en) | Image processing apparatus and image processing program for multi-viewpoint image | |
| US7764397B2 (en) | Image synthesizing apparatus and image synthesizing method | |
| US8947529B2 (en) | Methods and systems for stabilizing live video in the presence of long-term image drift | |
| KR100513789B1 (ko) | 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라 | |
| US8538192B2 (en) | Image processing device, image processing method and storage medium | |
| EP2845164B1 (en) | Reference card for scene referred metadata capture | |
| CN103168462A (zh) | 图像合成装置、图像合成方法、图像合成程序及记录介质 | |
| WO2019176349A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
| WO2010055625A1 (ja) | 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム | |
| CN110517211A (zh) | 一种基于梯度域映射的图像融合方法 | |
| JPWO2018220711A1 (ja) | 画像処理装置 | |
| CN102387387A (zh) | 图像处理设备和方法 | |
| Xian et al. | Neural lens modeling | |
| CN117156113A (zh) | 一种基于深度学习散斑相机图像矫正方法及装置 | |
| CN109887011A (zh) | 视频稳像方法及装置 | |
| CN111432117A (zh) | 图像矫正方法、装置和电子系统 | |
| Tsai et al. | Arbitrary-resolution and arbitrary-scale face super-resolution with implicit representation networks | |
| WO2013089260A1 (ja) | 画像処理システム及び画像処理方法 | |
| WO2024041318A1 (zh) | 图像集的生成方法、装置、设备和计算机可读存储介质 | |
| JP5151922B2 (ja) | 画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラム | |
| JP6332982B2 (ja) | 画像処理装置およびその方法 | |
| KR20210154903A (ko) | Ai의 기계학습 기반 사물의 단방향(2d) 이미지를 활용한 모든 방향의 입체(3d) 이미지 생성에 관한 방법 |