[go: up one dir, main page]

TWI384865B - 影像處理之方法及電路 - Google Patents

影像處理之方法及電路 Download PDF

Info

Publication number
TWI384865B
TWI384865B TW098108834A TW98108834A TWI384865B TW I384865 B TWI384865 B TW I384865B TW 098108834 A TW098108834 A TW 098108834A TW 98108834 A TW98108834 A TW 98108834A TW I384865 B TWI384865 B TW I384865B
Authority
TW
Taiwan
Prior art keywords
frame
field
interpolation
image processing
circuit
Prior art date
Application number
TW098108834A
Other languages
English (en)
Other versions
TW201036419A (en
Inventor
王甦群
陳仲怡
Original Assignee
晨星半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晨星半導體股份有限公司 filed Critical 晨星半導體股份有限公司
Priority to TW098108834A priority Critical patent/TWI384865B/zh
Priority to US12/631,273 priority patent/US8446523B2/en
Publication of TW201036419A publication Critical patent/TW201036419A/zh
Application granted granted Critical
Publication of TWI384865B publication Critical patent/TWI384865B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

影像處理之方法及電路
本發明是有關於一種用於電視的影像處理方法及電路,且特別是有關於一種對電影畫面(Film Mode)進行影像倍頻輸出時移動插補(Motion Interpolation)的影像處理方法及電路。
一般電視影像資料傳輸時,以視訊畫面(Video Mode)為例,係以交錯(Interlace)圖場(Field)的方式進行傳輸,意即將每一個圖框(Frame)分解成一個奇圖場(Odd Field)及一個偶圖場(Even Field),其中奇圖場僅包含該圖框的奇數線(Odd Line)之像素,而偶圖場僅包含該圖框的偶數線(Even Line)之像素。在傳輸時,奇圖場與偶圖場係交替傳送,緣是此種方式在單位時間內的資料傳輸量可以減半。因此,影像接收端所接收到的影像資料為奇圖場或偶圖場資料,非完整之一圖框畫面,需透過解交錯(De-Interlace)的處理,產生完整的圖框畫面,進而顯示在影像顯示器上。
但在處理電影畫面(Film Mode)時,由於電影畫面係由每秒24/25張畫面所錄製而成,與視訊畫面以每秒50/60張畫面錄製及傳送不同。第1a圖為習知電影下拉2:2(Pull-down 2:2)模式的解交錯處理示意圖。在電視傳送端,如:電視台,第一原始圖框P’1經交錯處理(interlace processing)產生第一偶圖場E1及第一奇圖場O1,而第二原始圖框P’2經交錯處理(interlace processing)產生第二偶圖場E2及第二奇圖場O2,並依序被傳送至電視接收端,如:電視機。電視接收端在解交錯處理(de-interlace processing)時,係將第一偶圖場E1及第一奇圖場O1還原成第一還原圖框P1,由於需將每秒25張的電影畫面轉換成每秒50張電視畫面,故在下一輸出時間,重複輸出第一還原圖框P1;相同地,第二還原圖框P2係由第二偶圖場E2及第二奇圖場O2所還原,並在下一輸出時間,重複輸出第二還原圖框P2。
第1b圖為另一習知電影下拉3:2(Pull-down 3:2)模式的解交錯處理示意圖。此一模式係將每秒24張之電影畫面轉換成每秒60張的電視畫面。電視傳送端進行交錯處理(interlace processing),將第一原始圖框P’1依序生成E1、O1及E1三個圖場,第二原始圖框P’2依序生成O2及E2兩個圖場,而第三原始圖框P’3被依序生成O3、E3及O3三個圖場,並依上述順序傳送至電視接收端。電視接收端進行解交錯處理(de-interlace processing)時,會將圖場E1及圖場O1還原成第一還原圖框P1,由於需將每秒24張的電影畫面轉換成每秒60張電視畫面,故需在其下一及二輸出時間,重複輸出第一還原圖框P1兩次;並將圖場O2及圖場E2還原成第二還原圖框P2,並在接續的輸出時間裡,重複輸出第二還原圖框P2。而第三還原圖框之解交錯處理與第一還原圖框相同,第四還原圖框之解交錯處理與第二還原圖框相同,依此交錯類推。
然而,上述作法無法解決連續圖框間物件移動(motion)所造成的影響。以第1a圖的電影下拉2:2(Pull-down 2:2)模式為例,電視輸出之畫面係為圖框P1、P1、P2、P2...的方式進行。以輸出時序來觀察,前三張圖框P1、P1及P2間有相同輸出時間間隔,但圖框P1、P1及P2錄製時產生時間並非間隔相同時間。因此,在畫面中具有移動物件時,前三張圖框P1、P1及P2在播放時,會有抖動的現象,原因在於:較佳而言,第二張輸出圖框P1應該是第一張輸出圖框P1及第三張輸出圖框P2中間畫面,而非直接重複輸出圖框P1。
然近年來,液晶面板的發展迅速,目前已有可輸出每秒100/120張畫面的液晶面板。倘若電影畫面運用在每秒100/120張畫面的液晶面板上,連續重複的圖框數會到達四張或五張,則畫面亦會有明顯的抖動(不順暢)。因此,本發明提出一具有移動補償的圖框頻率轉換的影像處理電路與方法,以克服上述之缺點。
因此,本發明的目的之一在於提供一種具有移動補償的圖框頻率轉換的影像處理電路與方法,以解決每秒輸出100/120張畫面模式下,畫面明顯抖動問題。
依據本發明的實施例,其係揭露一種影像處理方法,用於處理電影模式之複數連續圖場,其包含有接收一第一圖場及一第二圖場,其中該第一圖場及該第二圖場分別源自連續之兩個電影圖框;根據該第一圖場及該第二圖場,計算複數區塊移動向量;以及根據該第一圖場、該第二圖場及該等移動向量,產生至少一插補圖框。
依據本發明的實施例另揭露一種影像處理電路,用於處理電影模式之複數連續圖場,其中一第一圖場及一第二圖場分別源自連續之兩個電影圖框,其包含有一移動估算電路,用於根據該第一圖場及該第二圖場,進行區塊比對,以產生該至少一區塊移動向量;以及一移動補償電路,用於使用該等移動向量,對該第一圖場及該第二圖場進行移動補償運算,以產生至少一插補圖框。
本發明的實施例另揭露一種影像處理方法,用於接收電影模式之連續圖框,其包含有接收一第一圖框及一第二圖框,其中該第一圖框及該第二圖框分別源自連續之兩個電影圖框;根據該第一圖框及該第二圖框,計算複數區塊移動向量;以及根據該第一圖框、該第二圖框及該等移動向量,產生至少一插補圖框。
本發明的實施例另揭露一種影像處理方法,用於處理電影模式之複數第一圖場和複數第二圖場,其包含有根據該等第一圖場和該等第二圖場,分別產生一第一還原圖框和一第二還原圖框;根據該等第一圖場中之一者與該等第二圖場中之一者,產生至少一區塊移動向量;以及根據該第一圖場、該第二圖場和該等移動向量,產生至少一插補圖框;其中,時序上該插補圖框係插設於該第一還原圖框與該第二還原圖框之間。
本發明的實施例另揭露一種影像處理電路,用於處理電影模式之複數第一圖場和複數第二圖場,其包含有一解交錯電路,用以根據該等第一圖場和該等第二圖場,分別產生一第一還原圖框和一第二還原圖框;以及一移動插補電路,根據該等第一圖場中之一者與該等第二圖場中之一者,產生至少一區塊移動向量,並根據該第一圖場、該第二圖場和該等移動向量,產生至少一插補圖框;其中,時序上該插補圖框係插設於該第一還原圖框與該第二還原圖框之間。
本發明之實施例的優勢在於提供一種具有移動補償的圖框頻率轉換的影像處理電路與方法,依輸出時間的比例,進行影像插補,以解決每秒輸出100/120張畫面模式下,畫面明顯跳動問題。
本發明之一具有移動補償的圖框頻率轉換的影像處理電路係用以接收每秒50/60張電影圖場輸入資料,產生每秒100/120張圖框輸出資料。請參照第2圖之影像處理電路方塊圖,係為本發明一較佳實施態樣。此影像處理電路包括一記憶體21、一解交錯電路22、一移動插補電路23及一圖框處理電路24。其中記憶體21可以為圖場/圖框緩衝器(field/frame buffer)的型式,整合設計於影像處理電路中,亦可不包含在上述影像處理電路,而係以動態記憶體(DRAM)耦接該影像處理電路用以儲存該些圖場資訊,意指影像處理電路與記憶體可不在同一晶片中。記憶體21用以儲存接收單元(未顯示在圖中)所接收的圖場。而解交錯電路22與記憶體21耦接,用以根據記憶體21中的圖場,運算得到一還原圖框。移動插補電路23亦與記憶體21耦接,用以根據記憶體21中的圖場,運算得到一個以上的插補圖框(Interpolation Frame)。圖框處理電路24與解交錯電路22及移動插補電路23耦接,用以根據解交錯電路22產生的該還原圖框及移動插補電路23產生的一個以上的插補圖框,產生輸出圖框。更詳細地說,圖框處理電路24可以是一圖框選擇單元,用以選擇解交錯電路22產生的該還原圖框及移動插補電路23產生的一個以上的插補圖框的其中之一做為圖框資料輸出。圖框處理電路24亦可以是一圖框混合單元,用以依據解交錯電路22產生的該還原圖框及移動插補電路23產生的一個以上的插補圖框,進行混和運算產生圖框輸出。詳細的運作方法,請參照第3a圖及第3b圖。
第3a圖為電影下拉2:2(Pull-down 2:2)模式的影像處理示意圖。此模式係將每秒25張之電影畫面轉換成每秒100張的電視畫面。在電視傳送端,如:電視台,第一原始圖框P’1經交錯處理(interlace processing)產生一第一偶圖場E1及一第一奇圖場O1,而第二原始圖框P’2經交錯處理(interlace processing)產生第二偶圖場E2及第二奇圖場O2,並依序傳送至電視接收端,如:電視機。電視接收端包含一影像處理裝置,如第2圖所示。而輸入圖場E1、O1、E2、O2、E3、O3、E4、…等依序儲存至記憶體21,而以解交錯電路22將第一偶圖場E1及第一奇圖場O1還原成一第一還原圖框P1;爾後依序將第二偶圖場E2及第二奇圖場O2還原成第二還原圖框P2、將第三偶圖場E3及第三奇圖場O3還原成第三還原圖框P3。另根據本發明,移動插補電路23根據第一奇圖場O1及第二偶圖場E2,產生一第一移動向量MV1。該第一移動向量MV1可包含一個以上區塊移動向量分別對應至第一奇圖場O1及第二偶圖場E2之不同區塊。根據第3a圖示實施例,第一移動向量MV1係為第一奇圖場O1及第二偶圖場E2間對應像素的移動方向及距離,然其僅為示例之用,並非用以限定本發明。該第一移動向量MV1估測處理的方式可為找尋第一奇圖場O1的區塊與第二偶圖場E2中最相似的區塊,而搜尋範圍可以是整個圖場,或僅在圖場中相對於目標區塊位置的一個範圍之內,而非整個圖場。在考慮運算量的情形下,其中最佳相似的定義是使得兩個方塊的絕對值誤差總和(Sum of Absolute Difference;SAD)最小,演算法如下:
移動向量為(m,n ),使得i =m,j =n 時的SAD為最小,其中
(1)N代表區塊的長與寬;
(2)C (x +k ,y +l )代表在目標影像圖場中,目標影像區塊中的點;
(3)R (x +i +k ,y +j +l )代表在參考影像圖場中,參考影像區塊中的點;
(4)p代表搜尋範圍。
接著,移動插補電路23再根據該第一移動向量MV1對第一奇圖場O1及第二偶圖場E2,進行移動插補。本實施例係以25Hz電影畫面應用至100Hz面板為例,故根據第一移動向量MV1,係用以產生第一移動插補圖框I1、第二移動插補圖框I2及第三移動插補圖框I3等三個移動插補圖框。更詳細地說,該第一插補圖框I1係使用1/4大小的MV1(意即方向不變,大小為1/4),以3/4第一奇圖場O1及1/4第二偶圖場E2,進行插補所獲得。第一插補圖框I1的任一像素演算法如下:
pI1(x,y)=3/4*pO1(x1,y1)+1/4*pE2(x2,y2),
其中pO1和pE2由MV1對應所獲得。
接著,該第二插補圖框I2係使用2/4大小的MV1(意即方向不變,大小為2/4),以2/4第一奇圖場O1及2/4第二偶圖場E2,進行插補所獲得。最後,該第三插補圖框I3係使用3/4大小的MV1(意即方向不變,大小為3/4),以1/4第一奇圖場O1及3/4第二偶圖場E2,進行插補所獲得。後續圖框P2、I4、I5、I6及P3之產生方法與上述相同。最後,圖框處理電路24依序將圖框P1、I1、I2、I3、P2、I4、I5、I6、P3等以每秒100張的頻率輸出。以上移動插補電路23所使用第一奇圖場O1及第二偶圖場E2可以分別被第一奇圖場O1及第二奇圖場O2或第一偶圖場E1及第二偶圖場E2或第一圖框P1及第二圖框P2或第一偶圖場E1及第二奇圖場O2所替代,用以產生第一移動向量MV1及插補圖框I1、I2、I3等。
另請參照第3b圖為電影下拉2:2(Pull-down 2:2)模式的另一影像處理示意圖。移動插補電路23接收第一奇圖場O1及第二偶圖場E2,並產生一第一移動向量MV1的處理與第3a圖相同。不同之處在於移動插補電路23根據第一奇圖場O1、第二偶圖場E2及第一移動向量MV1,僅產生一插補圖框I1。該插補圖框I1產生方式如下:
pI1(x,y)=1/2*pO1(x1,y1)+1/2*pE2(x2,y2),
其中pO1和pE2由MV1對應所獲得。
接著,圖框處理電路24輸出圖框時,會將解交錯電路22所生成的第一還原圖框P1及移動插補電路23所生成的第一插補圖框I1分別重複輸出或重複選擇輸出,依序為圖框P1、P1、I1、I1、P2、P2、I2、I2、P3、P3、I3、I3等每秒100張的頻率輸出。相同地,以上移動插補電路23所使用第一奇圖場O1及第二偶圖場E2可以分別被第一奇圖場O1及第二奇圖場O2或第一偶圖場E1及第二偶圖場E2或第一圖框P1及第二圖框P2或第一偶圖場E1及第二奇圖場O2所替代,用以產生第一移動向量MV1及插補圖框I1、I2、I3等。
此外,第3a圖及第3b圖為圖框頻率轉換的影像處理電路,在電影下拉2:2模式之其中兩種圖框插補的狀況,但不限只有上述兩種狀況。更詳細地說,在電影下拉2:2模式下,在第一圖框P1至第二圖框P2間為一週期,每一週期輸出四個圖框,由還原圖框及插補圖框所構成,該插補圖框與移動向量有關,原則上與輸出時間成比例關係,但並非唯一限制條件。影像處理電路會依據插補圖框之品質,決定該週期四個圖框之輸出組成、插補圖框數目及插補圖框與移動向量之比例關係。舉例來說,插補圖框之品質參數與移動向量的絕對值誤差總和(Sum of Absolute Difference;SAD)值有關;也就是說,當移動向量的絕對值誤差總和(SAD)太大時,插補所得之圖框品質不好,若置入插補圖框,反而使顯示的效果變差。此時,影像處理電路會選擇輸出較多張還原圖框及較少張插補圖框(如第3b圖之實施例,輸出PI、P1、I1、I1),甚至全部輸出還原圖框,方具有較佳的顯示效果。當然,第3a和3b圖所示之插補方式亦可交互參酌使用。意即,本發明之影像處理電路具有依據插補圖框品質,進行輸出圖框選擇及插補圖框形成。
請參照第3c圖為電影下拉3:2(Pull-down 3:2)模式的影像處理示意圖。此模式係將每秒24張之電影畫面轉換成每秒120張的電視畫面。電視傳送端進行交錯處理(interlace processing),將第一原始圖框P’1依序生成E1、O1及E1三個圖場,第二原始圖框P’2依序生成O2及E2兩個圖場,而第三原始圖框P’3被依序生成O3、E3及O3三個圖場,並依上述順序傳送至電視接收端。電視接收端中之解交錯電路22將圖場E1(二個E1圖場中任一個即可)及圖場O1還原成第一還原圖框P1,並將圖場O2及圖場E2還原成第二還原圖框P2。且移動插補電路23根據第一原始圖框P’1所生成的圖場E1及第二原始圖框P’2所生成的圖場O2,產生一第一移動向量MV1。該第一移動向量MV1可包含一個以上區塊移動向量分別對應至第一偶圖場E1及第二奇圖場O2的不同區塊。該第一移動向量MV1係為圖場E1及圖場O2間對應像素的移動方向及距離。該第一移動向量MV1估測的處理方式,可為找尋圖場E1的區塊與圖場O2中最相似的區塊,而搜尋範圍可以是整個圖場,或僅在圖場中相對於目標區塊位置的一個範圍之內,而非整個圖場。且第一移動向量MV1的計算係採用絕對值誤差總和(Sum of Absolute Difference;SAD)的演算法。接著,移動插補電路23在決定第一移動向量MV1後,再根據該第一移動向量MV1對圖場E1及圖場O2,進行移動插補,產生第一移動插補圖框I1、第二移動插補圖框I2、第三移動插補圖框I3及第四移動插補圖框I4等四個移動插補圖框。更詳細地說,該第一插補圖框I1係使用1/5大小的MV1(意即方向不變,大小為1/5),以4/5圖場E1及1/5圖場O2,進行插補所獲得。第一插補圖框I1的任一像素演算法如下:
pI1(x,y)=4/5*pE1(x1,y1)+1/5*pO2(x2,y2),
其中pE1和pO2由MV1對應所獲得。
接著,該第二插補圖框I2係使用2/5大小的MV1(意即方向不變,大小為2/5),以3/5圖場E1及2/5圖場O2,進行插補所獲得;該第三插補圖框I3係使用3/5大小的MV1(意即方向不變,大小為3/5),以2/5圖場E1及3/5圖場O2,進行插補所獲得;最後,該第四插補圖框I4係使用4/5大小的MV1(意即方向不變,大小為4/5),以1/5圖場E1及4/5圖場O2,進行插補所獲得。後續圖框P2、I5、I6、I7、I8及P3之產生方法與上述相同。最後,圖框處理電路24依序將圖框P1、I1、I2、I3、I4、P2、I5、I6、I7、I8、P3等以每秒120張的頻率輸出。以上移動插補電路23所使用第一偶圖場E1及第二奇圖場O2可以分別被第一奇圖場O1及第二奇圖場O2或第一偶圖場E1及第二偶圖場E2或第一圖框P1及第二圖框P2或第一奇圖場O1及第二偶圖場E2所替代,用以產生第一移動向量MV1與及插補圖框I1、I2、I3、I4等。
請參照第3d圖為電影下拉3:2(Pull-down 3:2)模式下的另一影像處理示意圖。電視接收端中之解交錯電路22將圖場E1(二個E1圖場中任一個即可)及圖場O1還原成第一還原圖框P1,並將圖場O2及圖場E2還原成第二還原圖框P2。且移動插補電路23根據第一原始圖框P’1所生成的圖場E1及第二原始圖框P’2所生成的圖場O2,產生一第一移動向量MV1。前述的處理與第3c圖相同。不同之處在於移動插補電路23根據該第一移動向量MV1對圖場E1及圖場O2,進行移動插補,僅產生一插補圖框I1。該插補圖框I1產生方式如下:
pI1(x,y)=1/2*pE1(x1,y1)+1/2*pO2(x2,y2)
其中pE1和pO2由MV1對應所獲得。
接著,圖框處理電路24輸出圖框時,會將解交錯電路22所生成的第一還原圖框P1及移動插補電路23所生成的插補圖框I1分別重複輸出或重複選擇輸出,依序為圖框P1、P1、P1、I1、I1、P2、P2、P2、I2、I2等每秒120張的頻率輸出。相同地,以上移動插補電路23所使用第一偶圖場E1及第二奇圖場O2可以分別被第一奇圖場O1及第二奇圖場O2或第一偶圖場E1及第二偶圖場E2或第一圖框P1及第二圖框P2或第一奇圖場O1及第二偶圖場E2所替代,用以產生第一移動向量MV1及插補圖框I1、I2、I3、I4等。
此外,第3c圖及第3d圖為電影下拉3:2模式下之其中兩種圖框插補的狀況,但不限只有上述兩種狀況。更詳細地說,在電影下拉3:2模式下,在第一圖框P1至第二圖框P2間為一週期,每一週期輸出五個圖框,由還原圖框及插補圖框所構成,該插補圖框與移動向量有關,原則上與輸出時間成比例關係,但並非唯一限制條件。影像處理電路會依據插補圖框之品質,決定該週期內五個圖框之輸出組成、插補圖框數目及插補圖框與移動向量之比例關係。舉例來說,插補圖框之品質參數與移動向量的絕對值誤差總和(Sum of Absolute Difference;SAD)值有關,當移動向量的絕對值誤差總和(SAD)太大時,插補所得之圖框品質不好,若置入插補圖框,反而使顯示的效果變差。此時,影像處理電路會選擇輸出較多張還原圖框及較少張插補圖框(如第3d圖之實施例,輸出P1、P1、P1、I1、I1),甚至全部輸出還原圖框,方具有較佳的顯示效果。當然第3c和3d圖所示之方式,亦可以交互參的使用。意即,本發明之影像處理電路具有依據插補圖框品質,進行輸出圖框選擇及插補圖框形成。
請參照第4圖,其繪示乃第2圖之移動插補電路23的一實施例方塊圖。移動插補電路23包括移動估算電路231及移動補償電路232。移動估算電路231根據記憶體21中的第一圖場及第二圖場,計算複數個移動向量,其中該第一圖場及該第二圖場分別源自連續之兩個不同的電影圖框,且該些複數移動向量係分別對應至圖場中之複數個區塊。接著,移動補償電路232根據記憶體21中連續的第一圖場及第二圖場,並利用移動估算電路231所產生的該些複數移動向量MV,進行移動插補,產生複數插補圖框。以第3a圖為例,移動估算電路231根據第一奇圖場O1及第二偶圖場E2,產生一第一移動向量MV1(包含一個以上區塊移動向量分別對應至第一奇圖場O1及第二偶圖場E2的不同區塊)。移動補償電路232再根據該第一移動向量MV1對第一奇圖場O1及第二偶圖場E2(或第一還原圖框P1及第二還原圖框P2),進行移動插補,產生第一移動插補圖框I1、第二移動插補圖框I2及第三移動插補圖框I3等三個移動插補圖框。上述移動向量估算及移動插補的演算法請參照第3a圖及第3b圖之對應說明。關於移動插補電路23的詳細技術說明,可參考中華民國發明專利申請號第97100389號案。
請參照第5a圖,其繪示乃第4圖之移動估算電路231的一實施例方塊圖。移動估算電路231包括兩組資料插補電路2311、2312及運算電路2313。此兩組資料插補電路2311、2312分別將連續且源自第一圖框的圖場及第二圖框的圖場,還原成第一圖框及第二圖框。接著運算電路2313根據第一圖框及第二圖框計算移動向量。以第3a圖為例,資料插補電路2311、2312分別將第一奇圖場O1及第二偶圖場E2,還原成第一還原圖框P1及第二還原圖框P2。接著,運算電路2313根據第一還原圖框P1及第二還原圖框P2產生第一移動向量MV1。
請參照第5b圖,其繪示乃第4圖之移動補償電路232的一實施例方塊圖。移動補償電路232包括兩組資料插補電路2321、2322及運算電路2323。兩組資料插補電路2321、2322分別將連續且源自第一圖框的圖場及第二圖框的圖場,還原成第一圖框及第二圖框。接著運算電路2323根據第一圖框及第二圖框,及利用移動估算電路231產生的移動向量,進行移動插補,產生複數個插補圖框。以第3a圖為例,資料插補電路2321、2322分別將第一奇圖場O1及第二偶圖場E2,還原成第一還原圖框P1及第二還原圖框P2。接著,運算電路2323根據該第一移動向量MV1對第一奇圖場O1及第二偶圖場E2(或第一還原圖框P1及第二還原圖框P2),進行移動插補,產生第一移動插補圖框I1、第二移動插補圖框I2及第三移動插補圖框I3等三個移動插補圖框。
請參照第6圖,其繪示乃本發明之另一實施態樣方塊圖。此影像處理電路包括一解交錯電路61、一記憶體62、一移動插補電路63。其中,解交錯電路61將電影模式傳送之圖場還原成圖框,並儲存至記憶體62中。以電影下拉2:2模式為例,解交錯電路61接收每秒50張圖場,並將該些圖場還原成每秒25張圖框。另以電影下拉3:2模式為例,解交錯電路61接收每秒60張圖場,並將該些圖場還原成每秒24張圖框。記憶體62可以為圖框緩衝器(frame buffer),整合設計於影像處理電路中,亦可不包含在上述影像處理電路,而係以動態記憶體(DRAM)耦接該影像處理電路用以儲存該些圖框,意指影像處理電路與記憶體可不在同一晶片中。移動插補電路63與記憶體62耦接,用以根據記憶體中的圖框,運算得到一個以上的插補圖框(Interpolation Frame)。移動插補電路63包括移動估算電路631及移動補償電路632。移動估算電路631根據記憶體62中連續的第一圖框及第二圖框,計算複數個區塊移動向量,且該些複數區塊移動向量係分別對應至第一圖框及第二圖框。接著,移動補償電路632根據記憶體62中連續的第一圖框及第二圖框,並利用移動估算電路631所產生的該些複數區塊移動向量,進行移動插補,產生複數插補圖框。以電影下拉2:2模式為例,移動估算電路631根據第一圖框及第二圖框,利用區塊比對差值的演算法,產生一第一移動向量(包含一個以上區塊移動向量分別對應至第一圖框及第二圖框的不同區塊)。移動補償電路632再根據該第一移動向量對第一圖框及第二圖框,依時間比例進行移動插補,產生第一移動插補圖框、第二移動插補圖框及第三移動插補圖框,並依序輸出第一圖框、第一移動插補圖框、第二移動插補圖框、第三移動插補圖框、第二圖框…。
本發明更揭示一種影像處理方法,用於處理電影模式之複數連續圖場,其包含有接收一第一圖場及一第二圖場,其中該第一圖場及該第二圖場分別源自連續之兩個電影圖框;根據該第一圖場及該第二圖場,計算複數區塊移動向量;根據該第一圖場、該第二圖場及該等移動向量,產生至少一插補圖框;以及產生一還原圖框,該還原圖框係根據該第一圖場和該第一圖場之前一圖場合成處理所獲得,其中該第一圖場和該第一圖場之前一圖場係源自同一電影圖框。其中產生該至少一插補圖框的步驟中,包含產生一品質參數,並據以決定該等插補圖框之生成數目與生成時間。當在電影下拉3:2模式及每秒輸出120張圖框之設定下,產生四個插補圖框,其中該等插補圖框係根據該等移動向量分別以1/5、2/5、3/5及4/5比例,對該第一圖場及該第二圖場合成處理所獲得,或在電影下拉2:2模式及每秒輸出100張圖框之設定下,產生三個插補圖框,其中該等插補圖框係根據該等移動向量分別以1/4、2/4及3/4比例,對該第一圖場及該第二圖場合成處理所獲得。最後根據該品質參數,決定輸出該還原圖框及該等插補圖框之順序。
綜上所述,雖然本發明已以實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
本案圖式中所包含之各元件列示如下:
21、62...記憶體
22、61...解交錯電路
23、63...移動插補電路
24...圖框處理電路
25a、25b...時脈單元
231、631...移動估算電路
232、632...移動補償電路
2311、2312、2321、2322...資料插補電路
2313、2323...運算電路
本案得藉由下列圖式及說明,俾得更深入之了解:
第1a圖為一習知電影下拉2:2模式影像處理示意圖。
第1b圖為一習知電影下拉3:2模式影像處理示意圖。
第2圖為本發明之一具體實施例之電路方塊圖。
第3a圖為本發明之一電影下拉2:2模式影像處理示意圖。
第3b圖為本發明之另一電影下拉2:2模式影像處理示意圖。
第3c圖為本發明之另一電影下拉3:2模式影像處理示意圖。
第3d圖為本發明之另一電影下拉3:2模式影像處理示意圖。
第4圖為第2圖中移動插補電路的一具體實施例之方塊圖。
第5a圖為第4圖中移動估算電路的一具體實施例之方塊圖。
第5b圖為第4圖中移動補償電路的一具體實施例之方塊圖。
第6圖為本發明之另一具體實施例之電路方塊圖。
21...記憶體
22...解交錯電路
23...移動插補電路
24...圖框處理電路
25a、25b...時脈單元

Claims (20)

  1. 一種影像處理方法,用於處理電影模式之複數連續圖場,其包含有:接收一第一圖場及一第二圖場,其中該第一圖場及該第二圖場分別源自連續之兩個電影圖框;根據該第一圖場及該第二圖場,計算複數區塊移動向量;以及根據該第一圖場、該第二圖場及該等移動向量,產生至少一插補圖框。
  2. 如申請專利範圍第1項所述之影像處理方法,其中產生該至少一插補圖框的步驟中,包含產生一品質參數,並據以決定該等插補圖框之生成數目與生成時間。
  3. 如申請專利範圍第2項所述之影像處理方法,該方法更包括產生一還原圖框,該還原圖框係根據該第一圖場和該第一圖場之前一圖場合成處理所獲得,其中該第一圖場和該第一圖場之前一圖場係源自同一電影圖框。
  4. 如申請專利範圍第3項所述之影像處理方法,更包括有:根據該品質參數,決定輸出該還原圖框及該等插補圖框之順序。
  5. 如申請專利範圍第1項所述之影像處理方法,其中該等移動向量係依據該第一圖場和該第二圖場進行區塊比對所獲得。
  6. 如申請專利範圍第1項所述之影像處理方法,其中該等插補圖框係依據該等移動向量的線性比例,對該第一圖場和該第二圖場合成處理所獲得。
  7. 如申請專利範圍第1項所述之影像處理方法,其中產生該至少一插補圖框的步驟中,當在電影下拉3:2模式及每秒輸出120張圖框之設定下,產生四個插補圖框,其中該等插補圖框係根據該等移動向量分別以1/5、2/5、3/5及4/5比例,對該第一圖場及該第二圖場合成處理所獲得。
  8. 如申請專利範圍第1項所述之影像處理方法,其中產生該至少一插補圖框的步驟中,當在電影下拉2:2模式及每秒輸出100張圖框之設定下,產生三個插補圖框,其中該等插補圖框係根據該等移動向量分別以1/4、2/4及3/4比例,對該第一圖場及該第二圖場合成處理所獲得。
  9. 一種影像處理電路,用於處理電影模式之複數連續圖場,其中一第一圖場及一第二圖場分別源自連續之兩個電影圖框,其包含有:一移動估算電路,用於根據該第一圖場及該第二圖場,進行區塊比對,以產生該至少一區塊移動向量;以及一移動補償電路,用於使用該等移動向量,對該第一圖場及該第二圖場進行移動補償運算,以產生至少一插補圖框。
  10. 如申請專利範圍第9項所述之影像處理電路,其中該移動補償電路另產生一品質參數,並據以決定該等插補圖框之生成數目與生成時間。
  11. 如申請專利範圍第10項所述之影像處理電路,更包括有:一解交錯電路,用以根據該第一圖場和該第一圖場之前一圖場,產生一還原圖框,其中該第一圖場和該第一圖場之前一圖場係源自同一電影圖框;以及一圖框處理電路用於根據該品質參數,決定輸出該還原圖框及該等插補圖框之順序。
  12. 如申請專利範圍第9項所述之影像處理電路,其中該移動補償電路,在電影下拉3:2模式及每秒輸出120張圖框之設定下,產生四個插補圖框,其中該等插補圖框係根據該等移動向量分別以1/5、2/5、3/5及4/5比例,對該第一圖場及該第二圖場合成處理所獲得。
  13. 如申請專利範圍第9項所述之影像處理電路,其中該移動補償電路,在電影下拉2:2模式及每秒輸出100張圖框之設定下,產生三個插補圖框,其中該等插補圖框係根據該等移動向量分別以1/4、2/4及3/4比例,對該第一圖場及該第二圖場合成處理所獲得。
  14. 一種影像處理方法,用於接收電影模式之連續圖框,其包含有:接收一第一圖框及一第二圖框,其中該第一圖框及該第二圖框分別源自連續之兩個電影圖框;根據該第一圖框及該第二圖框,計算複數區塊移動向量;以及根據該第一圖框、該第二圖框及該等移動向量,產生至少一插補圖框。
  15. 如申請專利範圍第14項所述之影像處理方法,其中產生該至少一插補圖框的步驟中,包含產生一品質參數,並據以決定該等插補圖框之生成數目與生成時間。
  16. 如申請專利範圍第15項所述之影像處理方法,更包括有:根據該品質參數,決定輸出該第一圖框及該等插補圖框之順序。
  17. 一種影像處理方法,用於處理電影模式之複數第一圖場和複數第二圖場,其包含有:根據該等第一圖場和該等第二圖場,分別產生一第一還原圖框和一第二還原圖框;根據該等第一圖場中之一者與該等第二圖場中之一者,產生至少一區塊移動向量;以及根據該第一圖場、該第二圖場和該等移動向量,產生至少一插補圖框;其中,時序上該等插補圖框係插設於該第一還原圖框與該第二還原圖框之間。
  18. 如申請專利範圍第17項所述之影像處理方法,更包含有產生一品質參數,並據以決定該等插補圖框之生成數目與生成時間及決定輸出該第一圖框及該等插補圖框之順序。
  19. 一種影像處理電路,用於處理電影模式之複數第一圖場和複數第二圖場,其包含有:一解交錯電路,用以根據該等第一圖場和該等第二圖場,分別產生一第一還原圖框和一第二還原圖框;以及一移動插補電路,根據該等第一圖場中之一者與該等第二圖場中之一者,產生至少一區塊移動向量,並根據該第一圖場、該第二圖場和該等移動向量,產生至少一插補圖框;其中,時序上該等插補圖框係插設於該第一還原圖框與該第二還原圖框之間。
  20. 如申請專利範圍第19項所述之影像處理電路,其中移動插補電路更產生一品質參數,並據以決定該等插補圖框之生成數目與生成時間及決定輸出該第一圖框及該等插補圖框之順序。
TW098108834A 2009-03-18 2009-03-18 影像處理之方法及電路 TWI384865B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098108834A TWI384865B (zh) 2009-03-18 2009-03-18 影像處理之方法及電路
US12/631,273 US8446523B2 (en) 2009-03-18 2009-12-04 Image processing method and circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098108834A TWI384865B (zh) 2009-03-18 2009-03-18 影像處理之方法及電路

Publications (2)

Publication Number Publication Date
TW201036419A TW201036419A (en) 2010-10-01
TWI384865B true TWI384865B (zh) 2013-02-01

Family

ID=42737244

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098108834A TWI384865B (zh) 2009-03-18 2009-03-18 影像處理之方法及電路

Country Status (2)

Country Link
US (1) US8446523B2 (zh)
TW (1) TWI384865B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
TWI419570B (zh) * 2011-01-03 2013-12-11 Novatek Microelectronics Corp 多媒體裝置及其移動補償方法
JP2012253667A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像処理装置、画像処理方法、及びプログラム
TWI517715B (zh) * 2011-08-10 2016-01-11 晨星半導體股份有限公司 圖幀速率轉換的方法及影像處理裝置
CN102970509B (zh) * 2011-08-29 2015-11-25 晨星软件研发(深圳)有限公司 图帧速率转换的方法及影像处理装置
US8692933B1 (en) 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
JP6655433B2 (ja) * 2016-03-08 2020-02-26 Hoya株式会社 電子内視鏡システム
CN113542809B (zh) * 2020-04-15 2023-08-04 联咏科技股份有限公司 帧插补方法及其视频处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699499A (en) * 1994-07-25 1997-12-16 Kokusai Denshin Denwa Kabushiki Kaisha Post-processor of motion vectors for field interpolation
CN1536890A (zh) * 2003-05-23 2004-10-13 ��ʢ���ӹɷ����޹�˾ 动态影像的适应性去交错方法及装置
CN1731856A (zh) * 2004-08-05 2006-02-08 中兴通讯股份有限公司 用于提高视频质量的错误掩蔽方法
US7139029B2 (en) * 1999-04-21 2006-11-21 Ascent Media Group, Inc. Methods and apparatus for correction for 2-3 field patterns
CN101192390B (zh) * 2006-11-29 2010-09-08 晨星半导体股份有限公司 消除影像模糊的方法与装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
US5929919A (en) * 1994-04-05 1999-07-27 U.S. Philips Corporation Motion-compensated field rate conversion
DE69720407T2 (de) * 1996-09-11 2004-01-15 Koninkl Philips Electronics Nv Adaptive bildverzögerung
US6542196B1 (en) * 1999-11-05 2003-04-01 Lsi Logic Corporation Adaptive field pairing system for de-interlacing
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
EP1452018A1 (en) * 2001-11-23 2004-09-01 Koninklijke Philips Electronics N.V. Signal processing device for providing multiple output images in one pass
US20040066466A1 (en) * 2002-10-08 2004-04-08 Macinnis Alexander Progressive conversion of interlaced video based on coded bitstream analysis
US7158186B2 (en) * 2003-05-27 2007-01-02 Genesis Microchip Inc. Method and system for changing the frame rate to be optimal for the material being displayed while maintaining a stable image throughout
KR100553893B1 (ko) * 2003-10-14 2006-02-24 삼성전자주식회사 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법
CN1914913A (zh) * 2004-02-04 2007-02-14 皇家飞利浦电子股份有限公司 具有电影模式适应性的运动补偿去交错
US8068543B2 (en) * 2006-06-14 2011-11-29 Samsung Electronics Co., Ltd. Method and system for determining the reliability of estimated motion vectors
JP5001684B2 (ja) * 2006-09-13 2012-08-15 富士通株式会社 走査変換装置
KR100813986B1 (ko) * 2006-10-25 2008-03-14 삼성전자주식회사 움직임 적응적 디인터레이싱 방법 및 그 장치
JP4983362B2 (ja) * 2007-04-16 2012-07-25 ソニー株式会社 フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法
TWI342714B (en) * 2007-05-16 2011-05-21 Himax Tech Ltd Apparatus and method for frame rate up conversion
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
KR20090011515A (ko) * 2007-07-26 2009-02-02 삼성전자주식회사 화질 개선방법, 이를 적용한 영상신호 처리장치 및av기기
US8233730B1 (en) * 2008-04-22 2012-07-31 Marvell International Ltd. Filter bank based phase correlation architecture for motion estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699499A (en) * 1994-07-25 1997-12-16 Kokusai Denshin Denwa Kabushiki Kaisha Post-processor of motion vectors for field interpolation
US7139029B2 (en) * 1999-04-21 2006-11-21 Ascent Media Group, Inc. Methods and apparatus for correction for 2-3 field patterns
CN1536890A (zh) * 2003-05-23 2004-10-13 ��ʢ���ӹɷ����޹�˾ 动态影像的适应性去交错方法及装置
CN1731856A (zh) * 2004-08-05 2006-02-08 中兴通讯股份有限公司 用于提高视频质量的错误掩蔽方法
CN101192390B (zh) * 2006-11-29 2010-09-08 晨星半导体股份有限公司 消除影像模糊的方法与装置

Also Published As

Publication number Publication date
TW201036419A (en) 2010-10-01
US8446523B2 (en) 2013-05-21
US20100238348A1 (en) 2010-09-23

Similar Documents

Publication Publication Date Title
TWI384865B (zh) 影像處理之方法及電路
CN100588239C (zh) 帧速率变换装置和图像显示装置以及帧速率变换方法
TWI398159B (zh) 具動態控制畫質功能的幀率轉換裝置及相關方法
US8284306B2 (en) Method and unit to process an image signal involving frame rate conversion to improve image quality
US7321396B2 (en) Deinterlacing apparatus and method
CN101193252B (zh) 隔行影像生成序列检测方法和隔行/逐行转换方法及装置
US6930728B2 (en) Scan conversion apparatus
US8154654B2 (en) Frame interpolation device, frame interpolation method and image display device
KR20080008952A (ko) 초해상도 기술을 이용한 비비월주사의 방법 및 시스템
TWI246332B (en) Motion compensation device and method thereof
CN100594723C (zh) 具有帧速率转换的图像处理装置及其方法
TWI471010B (zh) 一種具有移動補償的解交錯影像處理裝置及其相關方法
JP4772562B2 (ja) プルダウン信号検出装置およびプルダウン信号検出方法並びに順次走査変換装置および順次走査変換方法
CN1859553B (zh) 执行运动补偿的图像转换设备及其方法
JP2003018552A (ja) 走査線変換回路
CN100440963C (zh) 图像处理设备和图像处理方法
JP4179089B2 (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
JP2011019037A (ja) 画像処理回路および画像処理方法
JP2009135847A (ja) 映像処理装置及びフレームレート変換方法
US9491473B2 (en) Motion compensated de-interlacing and noise reduction
EP1399883B1 (en) Conversion unit and method and image processing apparatus
US20080317130A1 (en) Image converting apparatus
CN100349465C (zh) 基于相位校正场的自适应解隔行方法和设备
CN100385937C (zh) 利用位移向量补偿的影像去交错方法与装置
CN116016831B (zh) 一种低时延的图像去交错方法和装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees