[go: up one dir, main page]

TWI387317B - 產生重新取樣參考畫面之裝置及其方法與影像解碼系統 - Google Patents

產生重新取樣參考畫面之裝置及其方法與影像解碼系統 Download PDF

Info

Publication number
TWI387317B
TWI387317B TW097148283A TW97148283A TWI387317B TW I387317 B TWI387317 B TW I387317B TW 097148283 A TW097148283 A TW 097148283A TW 97148283 A TW97148283 A TW 97148283A TW I387317 B TWI387317 B TW I387317B
Authority
TW
Taiwan
Prior art keywords
picture
resampled
reference picture
pictures
current
Prior art date
Application number
TW097148283A
Other languages
English (en)
Other versions
TW201023624A (en
Inventor
Yen Ju Huang
Chao Tsung Huang
Tze Sing Huang
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to TW097148283A priority Critical patent/TWI387317B/zh
Priority to US12/403,341 priority patent/US8644381B2/en
Publication of TW201023624A publication Critical patent/TW201023624A/zh
Application granted granted Critical
Publication of TWI387317B publication Critical patent/TWI387317B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

產生重新取樣參考畫面之裝置及其方法與影像解碼 系統
本發明是有關於一種影像解碼系統，且特別是有關於一種能夠產生重新取樣參考畫面(Reference Picture Resampling Generation)的影像解碼系統，以及產生重新取樣參考畫面之裝置與其方法。
影像編碼的過程中，影像編碼器通常會先將影像畫面分割成相同大小且單位為16×16個像素的巨區塊(Macro－Block)，其中，各巨區塊間互不重疊。接著，影像編碼器將這些巨區塊作畫面內(Intra)與畫面間(Inter)預測，其中，上述的這兩種預測可用來消除空間及時間上的冗餘。然後，影像編碼器會把預測區塊與原區塊相減後的剩餘值(Residual)做離散餘弦轉換(Discrete Cosine Transform，簡稱為DCT)、量化(Quantization)及熵編碼(Entropy coding)而得到位元流(Bit Stream)。
接著，請參照圖1，圖1是傳統的影像解碼系統10之系統方塊圖。此傳統的影像解碼系統10包括可變長度解碼(Variable Length Decoding，簡稱為VLD)單元11、反量化(Inversed Quantization，簡稱為IQ)單元12、反離散餘弦轉換(Inversed Discrete Cosine Transform，簡稱為IDCT)單元13、加法器14、迴圈內濾波器(In－Loop Filter)15、選擇器16、畫面內預測(Intra Prediction)單元17、移動補償(Motion Compensation)單元18與畫面記憶體19。其中，各元件的耦接關係如同圖1所示，在此便不多贅述。
影像解碼系統10的解碼流程則與前述的編碼過程相反，首先，可變長度解碼單元11會對位元流進行熵解碼。接著，反量化單元12對可變長度解碼單元11的輸出進行反量化，然後，反離散餘弦轉換單元13對反量化單元12的輸出進行反離散餘弦轉換，以得到剩餘值。接著，加法器14將所得到的剩餘值與畫面內或畫面間預測區塊相加，以得到重建(Reconstruct)畫面。其中，畫面內預測單元17用以產生畫面內預測區塊，而移動補償單元18則根據畫面記憶體19內的所儲存的多張影像畫面產生畫面間預測區塊。
最後，影像解碼系統10的迴圈內濾波器15將重建的畫面進行濾波，以得到較平滑無方塊的輸出畫面，並將此輸出畫面傳送至顯示裝置或傳送至畫面記憶體19作為下一次之畫面間預測的參考畫面，其中，作為下一次之畫面間預測的參考畫面必須是I畫面或P畫面。
另外，在多數的影像視訊標準中，不需要參考任何一張畫面而能在解碼過程中被重建的畫面稱為I畫面。在解碼過程中，需要參考前一張非B畫面才能被重建的畫面稱為P畫面，而需要同時參考前一張與後一張非B畫面才能被重建的畫面則稱為B畫面。其中，非B畫面是指I畫面或P畫面。
請參照圖2，圖2是位元流經影像解碼後於顯示裝置 所顯示之畫面與顯示時間的示意圖。如同圖2所示的例子，位元流經過解碼後所顯示於顯示裝置的畫面依序為I畫面I0、B畫面B1~B3、P畫面P4、B畫面B5~B7與P畫面P8。
如同前面所述，I畫面I0並不需要參考任何一張畫面便能夠被重建。P畫面需要參考前一張非B畫面才能被重建，例如，P畫面P4的重建需要參考I畫面I0，P畫面P8的重建需要參考P畫面P4。B畫面需要參考前一張與後一張非B畫面才能被重建，例如，B畫面B1~B3的重建皆參考I畫面I0與P畫面P4，而B畫面B5~B7的重建皆參考P畫面P4與P8。
接著，請參照圖3，圖3是對應於圖2之多個畫面的解碼時間之示意圖。在解碼的過程中，產生重建畫面之順序與在顯示裝置上所顯示之畫面的順序並不一致。位元流經影像解碼後，所產生的第一張畫面為I畫面I0。接著，P畫面P4會參考I畫面I0而被重建。之後，B畫面B1~B3會參考P畫面P4與I畫面I0而被依續地重建。接著，P畫面P8會參考P畫面P4而被重建。然後，B畫面B5~B7會參考P畫面P4與P8而被依續地重建。
在進行影像編碼過程中，有時因通道頻寬不足，而必須調整壓縮率來滿足頻寬限制，常用的方法有調整量化值或降低畫面解析度。然而，在解碼系統端若遇到畫面解析度改變時，則需要先將參考畫面作對應的放大或縮小調整，以適合所需預測之影像大小及形狀。
請參照圖4，圖4是將參考畫面R1調整成參考畫面R2的示意圖。如同前面所述，當下一張畫面的影像大小與形狀與參考畫面R1不同時，就必須改變參考畫面R1之影像大小與形狀。在這個例子中，是假設下一張畫面的影像大小與形狀與參考畫面R2相同，因此，參考畫面R1會被調整成參考畫面R2。
參考畫面重新取樣(Reference Picture Resampling，簡稱為RPR)演算法為提供參考畫面在被參考之前可以先被改變大小或形狀之演算法，以適合所需預測之畫面的大小及形狀。
以加拿大的大不列顛哥倫比亞大學(University of British Columbia)所發展之符合H263＋標準的TMN 3.0解碼程式為例，此TMN 3.0解碼程式在解碼每一張畫面時，若發現目前畫面與參考畫面的解析度不相同，則會先對參考畫面適當地進行重新取樣處理，再將所產生重新取樣參考畫面給目前畫面作為參考畫面來使用。其中，上述之對參考畫面做適當地重新取樣處理是指將參考畫面進行降低取樣(Down Sample)或升取樣(Up Sample)。
請參照圖5，圖5是TMN 3.0解碼程式所採用的演算法的解碼過程之解碼時間與畫面的關係圖。圖5的例子中，位元流僅包括了I畫面與P畫面的資訊。在圖5這個例子的解碼過程中，P畫面P1的重建會參考I畫面I0，P畫面P2與P3的重建則分別參考P畫面P1與P2。要注意的是，P畫面P3與P4的解析度(亦即影像大小)不同，所 以，TMN 3.0解碼程式所採用的演算法會先對P畫面P3進行重新取樣參考畫面的動作，以產生重新取樣參考畫面P3’(亦即P畫面P3’)，然後才讓P畫面P4參考P畫面P3’。其中，在這個例子中，根據P畫面P3進行重新取樣參考畫面是指對P畫面P3進行升取樣，以產生P畫面P3’。
P畫面P5與P6的重建分別要參考P畫面P4與P5，而P畫面P8與P9的重建則分別要參考P畫面P7與P8。因為，P畫面P6與P7的解析度不同，所以，TMN 3.0解碼程式所採用的演算法會先對P畫面P6進行重新取樣參考畫面的動作，以產生重新取樣參考畫面P6’(P畫面P6’)，然後才讓P畫面P7參考P畫面P7’。其中，在這個例子中，根據P畫面P6進行重新取樣參考畫面的動作是指對P畫面P6進行降低取樣，以產生P畫面P6’。
在解碼的過程中，TMN 3.0解碼程式所採用的演算法必須先對P畫面P3與P6進行重新取樣，並獲得適合給P畫面P4與P7參考的P畫面P3’與P6’，才能夠讓P畫面P4與P7可以順利地被重建。因此，在對P畫面P4與P7進行解碼時，TMN 3.0解碼程式會使得執行此解碼程式的計算機裝置增加運算時脈數和記憶體存取次數。
綜上所述，上述之TMN 3.0解碼程式所採用的演算法需耗費額外的時間來計算處理，並且會增加記憶體的存取量。因此，針對即時影像服務來說，若需要改變參考畫面的解析度時，則TMN 3.0解碼程式可能因為需耗費額外的時間，而無法即時地顯示畫面於顯示裝置上。另外，因為 改變參考畫面的解析度時，TMN 3.0解碼程式會增加記憶體的存取量，所以所需要的記憶體頻寬也必須相對地增加。
本發明之示範實施例提供一種產生重新取樣參考畫面之方法、裝置及影像解碼系統。
本發明之示範實施例提供一種產生重新取樣參考畫面的方法，此產生重新取樣參考畫面的方法適用於影像解碼系統。影像解碼系統用以對位元流進行解碼，以得到目前畫面。此產生重新取樣參考畫面的方法包括以下步驟：(a)預看(Look Ahead)位元流中之目前畫面的下x 張畫面之特定信息，其中，x 為自然數；(b)根據下x 張畫面之特定信息決定是否產生重新取樣參考畫面。
本發明之示範實施例提供一種產生重新取樣參考畫面的裝置，此產生重新取樣參考畫面的裝置適用於影像解碼系統。影像解碼系統用以對位元流進行解碼，以得到目前畫面。此產生重新取樣參考畫面的裝置包括標頭預看單元(Header Look Ahead Unit)與重新取樣參考畫面處理單元，標頭預看單元與重新取樣參考畫面處理單元彼此耦接。標頭預看單元用以預看位元流中之目前畫面的下x 張畫面之特定信息，並根據下x 張畫面之特定信息輸出指示信號。其中，x 為自然數。重新取樣參考畫面處理單元根據指示信號決定是否產生重新取樣參考畫面。
本發明之示範實施例提供一種影像解碼系統，此影像 解碼系統包括影像解碼裝置與產生重新取樣參考畫面的裝置。其中，影像解碼裝置與產生重新取樣參考畫面的裝置耦接。產生重新取樣參考畫面的裝置包括標頭預看單元與重新取樣參考畫面處理單元，而且標頭預看單元與重新取樣參考畫面處理單元彼此耦接。影像解碼裝置用以對位元流進行解碼，以得到目前畫面。標頭預看單元用以預看位元流中之目前畫面的下x 張畫面之特定信息，並根據下x 張畫面之特定信息輸出指示信號。其中，x 為自然數。重新取樣參考畫面處理單元根據指示信號決定是否產生重新取樣參考畫面。
本發明之示範實施例所提供之產生重新取樣參考畫面的裝置、方法及影像解碼系統可以並行地產生重新取樣參考畫面，使得影像解碼系統可以在解碼過程中同時產生不同解析度的參考畫面。因此，可以藉此降低計算機裝置的運算時脈數，也可因使用資料再用(Data Reuse)而大量降低對記憶體頻寬的需求。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉示範實施例，並配合所附圖式，作詳細說明如下。
傳統的TMN 3.0解碼程式所採用的演算法需耗費額外的時間來計算處理，並且會增加記憶體的存取量，所以，為了解決上述或其它的問題，本發明之示範實施所提供的產生重新取樣參考畫面之裝置及其方法與影像解碼系統在 畫面之解析度(亦即大小)或形狀改變時可以並行地產生重新取樣參考畫面，使得影像解碼系統可以在解碼過程中同時產生不同解析度的參考畫面。
請參照圖6，圖6是本發明之示範實施所提供產生重新取樣參考畫面之方法示意圖。圖6的例子是所接收到之位元流僅包括I與P畫面的例子，然而，此例子僅為了方便解釋，本發明之示範實施所提供的產生重新取樣參考畫面之裝置及其方法與影像解碼系統並非限定於此示範實施例。換言之，在本發明其他的示範實施例，亦有針對位元流包括I畫面、P畫面與B畫面的情況，提供產生重新取樣參考畫面之方法、裝置與影像解碼系統。
另外，在這個示範實施例中，P畫面P3與P4的解析度不同，且P畫面P6與P7的解析度不同。因此，在對P畫面P3進行重建時，若能先得知下一張P畫面P4的解析度與目前的P畫面P3不同時，則可以先將下一張P畫面P4之解析度的資訊先暫存至儲存裝置。接著，在完成P畫面P3之重建的同時，根據P畫面P4之解析度的資訊來產生一張解析度與P畫面P4相同的P3’畫面，並將此畫面暫存至儲存裝置。接著，在對P畫面P4進行重建時，則P畫面P4就可以直接參考儲存裝置所暫存的P畫面P3’來進行重建。
同理可知，在對P畫面P6進行重建時，若能得知下一張P畫面P7的解析度與P畫面P6的解析度不同時，則可以先將下一張P畫面P7之解析度的資訊先暫存至儲存 裝置。接著，在完成P畫面P6之重建的同時，根據P畫面P7之解析度的資訊來產生一張解析度與P畫面P7相同的P6’畫面，並將此畫面暫存至儲存裝置。接著，在對P畫面P7進行重建時，則P畫面P7就可以直接參考儲存裝置所暫存的P畫面P6’來進行重建。
另外，需要注意的是，雖然圖6的示範實施例是針對畫面解析度改變的情況，但事實上，形狀改變亦須產生重新取樣參考畫面，因此，產生重新取樣參考畫面的情況並非限制於解析度改變的情況。換言之，在下一張畫面之解析度、形狀或色盤等改變時，則目前的畫面就必須需重新取樣以產生對應的重新取樣參考畫面給下一張畫面參考。
接著，請參照圖7，圖7是本發明之示範實施所提供之影像解碼系統70的系統方塊圖。影像解碼系統70包括產生重新取樣參考畫面之裝置700與影像解碼裝置710，解碼裝置更包括可變長度解碼單元71、反量化單元72、反離散餘弦轉換單元73、加法器74、迴圈內濾波器75、選擇器76、畫面內預測單元77、移動補償單元78與畫面記憶體79，而重新取樣參考畫面之裝置700則包括了標頭預看單元701與重新取樣參考畫面處理單元702。
可變長度解碼單元71耦接於反量化單元72，反量化單元72耦接於反離散餘弦轉換單元73，反離散餘弦轉換單元73耦接於加法器74，加法器74耦接於迴圈內濾波器75與選擇器76，選擇器76耦接於畫面內預測單元77與移動補償單元78，迴圈內濾波器75耦接於畫面記憶體79與 產生重新取樣參考畫面之裝置700，畫面記憶體79耦接於移動補償單元78與產生重新取樣參考畫面之裝置700。標頭預看單元701耦接於重新取樣參考畫面處理單元702，重新取樣參考畫面處理單元702耦接於迴圈內濾波器75與畫面記憶體79。
在介紹影像解碼系統70的每一個元件之功能之前，在此說明所接收之位元流所包括的資料。請參照圖8，圖8是位元流中某一畫面之資料格式之示意圖。圖8所示的資料是某一個畫面之資料，所接收的位元流中會包括多個如同圖8之資料。其中，圖8所示的資料包括了起始碼80、相關參數81與畫面資料82等。
起始碼80用以表示其對應之畫面的起始點，位元流中會有多個畫面的資料，因此，起始碼80可以用來表示對應之畫面的起始點，起始碼80甚至可以表示對應之畫面為I、P或B畫面。在起始碼80之後的相關參數81則包括了此對應之畫面的參數，例如此對應之畫面的解析度、形狀、量化表與色盤等資訊。相關參數81所包括的資訊用以提供影像解碼過程所需的資訊，以讓此對應之畫面可以在解碼的過程中被順利地重建。另外，在相關參數之後81的畫面資料82則是用來以在解碼過程中重建對應之畫面的資料。
接著，再回到圖7，影像解碼裝置710用以對位元流進行解碼，以獲得輸出畫面。可變長度解碼單元71會對位元流進行熵解碼，反量化單元72對可變長度解碼單元11的輸出進行反量化。反離散餘弦轉換單元73對反量化單元 72的輸出進行反離散餘弦轉換，加法器74將所得到的剩餘值與畫面內或畫面間預測區塊相加，以得到重建(Reconstruct)的畫面。其中，畫面內預測單元77用以產生畫面內預測區塊，而移動補償單元78則根據畫面記憶體79內的所儲存的多張影像畫面產生畫面間預測區塊。迴圈內濾波器75將重建的畫面進行濾波，以得到較平滑無方塊的輸出畫面，並將此輸出畫面傳送至顯示裝置或傳送至畫面記憶體79作為下一次之畫面間預測的參考畫面。
在此，先將目前的輸出畫面定義為目前畫面，並將位元流中對應於目前畫面之下x 張畫面的起始碼與相關參數定義為特定信息。其中，下x 張畫面中的每一張畫面之相關參數包括解析度資訊或畫面形狀資訊。接著，產生重新取樣參考畫面之裝置700內的各元件功能將介紹如下。
標頭預看單元701用以預看該位元流中之目前畫面的下x 張畫面之特定信息，並根據下x 張畫面之特定信息輸出指示信號。其中，x 為自然數。重新取樣參考畫面處理單元702根據指示信號決定是否產生重新取樣參考畫面。
在此，先以位元流僅包括I與P畫面的示範實施例來說明影像解碼系統70。然而，此示範實施例並非用以限定本發明。當位元流僅包括I與P畫面時，則x 可以設為1。因此，當下一張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與目前畫面不同時，則標頭預看單元701所輸出的指示信號會致能重新取樣參考畫面處理單元702。接著，重新取樣參考畫面處理單元702便會根據目前畫面 與下一張P畫面的特定信息產生重新取樣參考畫面，其中，重新取樣參考畫面的解析度與畫面形狀與下一張P畫面相同。
在此要注意的是，重新取樣參考畫面處理單元702所產生的重新取樣參考畫面可以被儲存在重新取樣參考畫面處理單元702或畫面記憶體79。接著，下一張P畫面在之後的解碼過程中，就能夠直接參考重新取樣參考畫面，而不需再產生重新取樣參考畫面。因此，利用標頭預看單元701來預看下一張P畫面的特定信息就可以讓影像解碼系統70在對目前畫面解碼的同時，並行地產生重新取樣參考畫面，並且能藉此降低運算時脈數與減少畫面記憶體79之頻寬的需求。
另外，若目前畫面的下一張畫面為I畫面時，因為I畫面本身不需要參考任何一張畫面，所以不管下一張I畫面的解析度或畫面形狀是否與目前畫面相等，標頭預看單元701所輸出的指示信號會禁能重新取樣參考畫面處理單元702。若下一張P畫面的解析度與畫面形狀與目前畫面相同，則表示下一張P畫面可以直接參考目前畫面，而不需產生重新取樣參考畫面，因此標頭預看單元701所輸出的指示信號會禁能重新取樣參考畫面處理單元702。
當重新取樣參考畫面處理單元702會處於禁能狀態時，影像解碼系統70之功能會與圖1之傳統的影像解碼系統相似。當重新取樣參考畫面處理單元702處於致能狀態時，重新取樣參考畫面處理單元702會接收迴圈內濾波器 75所輸出的目前畫面與指示信號，其中，指示信號會包括下一張P畫面的特定信息。接著，重新取樣參考畫面處理單元702會根據迴圈內濾波器75所輸出的目前畫面與下一張P畫面的特定信息建立一張重新取樣參考畫面，並將此重新取樣參考畫面送至畫面記憶體79儲存或者自行儲存於重新取樣參考畫面處理單元702。因為，重新取樣參考畫面的解析度與下一張P畫面之解析度相同。因此，下一張P畫面在之後的解碼過程中，便能夠參考重新取樣參考畫面。
接著，請參照圖9，圖9是使用本發明之示範實施所提供的影像解碼系統70之解碼過程中的解碼時間與畫面之關係圖。在使用上述的影像解碼系統70解碼時，影像解碼系統70會先將I畫面I0解出，而在對I畫面I0進行解碼的同時，標頭預看單元701會預看下一張畫面的特定信息，以判斷下一張畫面是否為P畫面，而且其解析度是否與目前畫面不同。因為，I畫面I0與P畫面P1的解析度相同，因此，重新取樣參考畫面處理單元702會處於禁能狀態。
接著，在對P畫面P1解碼時，P畫面P1必須參考I畫面I0才能被順利地解出，而且標頭預看單元701會預看下一張畫面的特定信息，以判斷下一張畫面是否為P畫面，而且其解析度是否與目前畫面不同。因為，P畫面P1與P2的解析度相同，因此，重新取樣參考畫面處理單元702會處於禁能狀態。其餘的P畫面P2、P3的解碼過程亦 可以從上述的敘述得知，故不多介紹。
在對P畫面P4進行解碼時，因為，標頭預看單元會先預看下一張P畫面P5的特定信息，因此可以知道P4與P5畫面的解析度不同。此時，重新取樣參考畫面處理單元702會處於致能狀態，而且重新取樣參考畫面處理單元702在P4畫面進行解碼的同時，會產生解析度與P畫面P5相同的一張重新取樣參考畫面P4’。接著，重新取樣參考畫面P4’會被儲存，並且在對P畫面P5進行解碼時，P畫面P5便會參考重新取樣參考畫面P4’。另外，藉由上述的介紹，此領域具有通常知識者便能夠輕易地知道P畫面P6~P9的解碼過程，因此在此便不再對P畫面P6~P9的解碼過程進行介紹。
接著，請參照圖10，圖10是本發明之示範實施所提供的產生重新取樣參考畫面之方法的流程圖。雖然，圖10是針對位元流中僅包括I與P畫面且x 為1之情況的示範實施例，但是圖10的示範實施例並非用以限定本發明。另外，雖然圖10的示範實施例是針對畫面間之解析度不同的情況來進行參考畫面重新取樣的動作，但是，此領域具有通常知識者可以從上述的介紹知道，圖10的示範實施例經過適當地修正便能夠針對被畫面間之形狀不同的情況來進行參考畫面重新取樣的動作。
首先，在步驟S250中，預看位元流中之下一張畫面的特定信息。其中，下一張畫面之特定信息會包含其解析度資訊或畫面形狀資訊。接著，在步驟S251中，判斷下 一張畫面是否為P畫面且其解析度是否有改變(亦即判斷目前畫面與下一張P畫面的解析度是否相同)。若下一張畫面是I畫面，或者下一張畫面是P畫面但是其解析度與目前畫面相同，則執行步驟S252。若下一張畫面是P畫面且其解析度與目前畫面不同，則執行步驟S253。
在步驟S252中，對目前畫面進行解碼。在步驟S253中，對目前畫面進行解碼，並且產生一張重新取樣參考畫面其中，此張重新取樣參考畫面的解析度與下一張P畫面相同。其中，所產生的重新取樣參考畫面便能夠提供給下一張P畫面在解碼的過程中當作參考畫面。在步驟S254中，判斷位元流是否解碼完畢，若是，則完成位元流的解碼程序；若否，則回到步驟S250。
接著，請參照圖11與圖12，圖11是位元流經影像解碼後於顯示裝置所顯示之畫面與顯示時間的示意圖，而圖12是對應於圖11之多個畫面的解碼時間之示意圖。其中，部分的畫面與其參考畫面之解析度不同。如同圖11與12所示，此位元流中包括了I畫面I0、P畫面P4、P8、P9、P13與B畫面B1~B3、B5~B7與B10~B12。其中，各畫面的顯示順序與解碼順序如圖11與12所示。
然而，值得一提的是，位元流中的P畫面P8與P9的解析度不同。因此，在對P畫面P8與B畫面B5~B7解碼的過程中，就必須產生一張P畫面P8’，以藉此讓P畫面P9可以在解碼的過程中參考P畫面P8’。
圖7之示範實施例所提供之影像解碼系統70對對位 元流中包括I畫面、P畫面與B畫面的情況，依然可以適用。請再回去參照圖7，以下將說明在上述之情況下，產生重新取樣參考畫面的裝置700與影像解碼系統70的運作過程。另外，在不失一般性的前提下，下面的說明是將x 的值設定為5的示範實施例。然而，x 的值並非用以限定本發明。
若當目前畫面為非B畫面，下5張畫面不全為B畫面，且下5張畫面中的第一張非B畫面為P畫面，且此P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與目前畫面不同時，則標頭預看單元701會輸出指示信號將重新取樣參考畫面處理單元702致能。重新取樣參考畫面處理單元702根據目前畫面與下5張畫面中的此P畫面之特定信息產生重新取樣參考畫面。其中，重新取樣參考畫面的解析度與畫面形狀與下5張畫面中的此P畫面相同。
若目前畫面為非B畫面且下5張畫面皆為B畫面時，標頭預看單元701會輸出指示信號將重新取樣參考畫面處理單元702致能，重新取樣參考畫面處理單元702則會因此儲存目前畫面的位元流於特定空間位址上，並將重新取樣旗標的值設為真。其中，此特定空間位址可以是重新取樣參考畫面處理單元702本身的儲存裝置，或者是外接的一個記憶體等。
當目前畫面為B畫面且下5張畫面皆為B畫面時，標頭預看單元701會輸出指示信號將重新取樣參考畫面處理單元702禁能。此時，影像解碼裝置710的運作與圖1所 述之傳統的影像解碼系統10相似。
若目前畫面為B畫面，下5張畫面不全為B畫面，且下一張畫面為P畫面，且此P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面不同時，標頭預看單元701會輸出指示信號將重新取樣參考畫面處理單元702致能。重新取樣參考畫面處理單元702接著判斷重新取樣旗標的值是否為真，若重新取樣旗標的值為真，則重新取樣參考畫面處理單元702根據對應於目前畫面的前一張非B畫面(亦即之前儲存於特定空間位址的畫面位元流)與下一張此P畫面之特定信息產生重新取樣參考畫面，並接著將重新取樣旗標的值設為非真；若重新取樣旗標的值是為非真，則重新取樣參考畫面處理單元702不產生重新取樣參考畫面。其中，重新取樣參考畫面的解析度與畫面形狀與下一張此P畫面相同。若下一張畫面為I畫面或下一張此P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與目前畫面相同時，標頭預看單元701會輸出指示信號將重新取樣參考畫面處理單元702禁能，並將重新取樣旗標的值設定為非真。若下一張畫面為B畫面時，標頭預看單元701會輸出指示信號將重新取樣參考畫面處理單元702禁能，影像解碼裝置710會依據一般解碼流程進行畫面解碼，且此時重新取樣參考畫面處理單元702不產生重新取樣參考畫面，並保留目前重新取樣旗標的值。
接著，請參照圖13，圖13是本發明之示範實施所提供的產生重新取樣參考畫面之方法的流程圖。圖13是針對 位元流中包括I畫面、P畫面與B畫面之情況的示範實施例。此產生重新取樣參考畫面之方法用於影像解碼系統，影像解碼系統會接收位元流，並根據位元流解碼得到多個重建畫面，在此，將目前的重建畫面稱為目前畫面。其中，x 的值可以由使用者根據不同的需求而改變。在不失一般性的前提下，下面的說明是將x 的值設定為5的示範實施例。然而，x 的值並非用以限定本發明。
首先在步驟S500中，設定重新取樣旗標為0。接著，在步驟S501中，判斷目前畫面是否為I畫面或P畫面，也就是判斷目前畫面是否為非B畫面。若是，則執行步驟S502；若否，則執行步驟S503。
若目前畫面為非B畫面，則在步驟S502中，預看下5張畫面的特定信息。接著，在步驟S509中，判斷下5張畫面是否皆為B畫面。若是，則執行步驟S510；若否，則執行步驟S511。若下5張畫面不全為B畫面，則在步驟S511中，判斷下5張畫面中的第一張非B畫面是否為P畫面且此P畫面的解析度是否與目前畫面不同。
若上述判斷條件為否，則執行步驟S512。若上述判斷條件為真，則執行步驟S513。在步驟S513中，影像解碼系統依然會對位元流解碼產生重建畫面，而此產生重新取樣參考畫面的方法會在解碼的同時，根據目前畫面與此張P畫面的特定信息產生重新取樣參考畫面。其中，重新取樣參考畫面的解析度與畫面形狀與此張P畫面相同。接著，執行步驟S508。
若下5張畫面皆為B畫面，則在步驟S510中，儲存目前畫面的位元流於特定空間位址，並將重新取樣旗標設為1。之後，在步驟S512中，影像解碼系統會進行正常的解碼程序，而不會產生重新取樣參考畫面。接著，執行步驟S508。
若目前畫面為B畫面，則在步驟S503中，預看下5張畫面的特定信息。之後，在步驟S504中，判斷下5張畫面是否皆為B畫面。若是，則執行步驟S505；若否，則執行步驟S506。若下5張畫面皆為B畫面，則在步驟S505中，會讓影像解碼系統進行正常的影像解碼程序，而不會產生重新取樣參考畫面。接著，執行步驟S508。
若下5張畫面不全為B畫面，則在步驟S506中，判斷下一張畫面是否為P畫面。若下一張畫面是P畫面，則在步驟S507中，判斷此P畫面的解析度是否與目前畫面不同。若此P畫面的解析度與目前畫面不同，則在步驟S514中，判斷重新取樣旗標是否為1。若重新取樣旗標為1，則緊接著進行步驟S515。若下一張畫面不是P畫面，則執行步驟S517，判斷下一張畫面是否為B畫面，若下一張畫面為B畫面，則在步驟S505中，會讓影像解碼系統進行正常的影像解碼程序，而不會產生重新取樣參考畫面，且保留目前重新取樣旗標的值。若下一張畫面既不為P畫面亦不為B畫面(亦即，下一張畫面為I畫面)，則執行步驟S516，將重新取樣旗標設為0，且緊接著執行步驟S505，會讓影像解碼系統進行正常的影像解碼程序。
換言之，只有在下一張畫面是P畫面，其解析度與目前畫面不同，且重新取樣旗標為真的情況下，才會執行步驟S515。
在步驟S515中，讀取先前儲存於特定空間位址的畫面位元流，也就是讀取目前畫面的前一張非B畫面，接著，影像解碼系統會對此非B畫面的位元流解碼並產生重建畫面，而此產生重新取樣參考畫面的方法會在解碼的同時，根據此非B畫面與下一張P畫面的特定信息產生重新取樣參考畫面，並且將重新取樣旗標設為0。其中，重新取樣參考畫面的解析度與畫面形狀與下一張P畫面相同。接著，執行步驟S508。然而要注意的是，在此方法中，重新取樣旗標的值為0表示為非真，而重新取樣旗標的值為1表示為真。然而，重新取樣旗標的值為非真與真的表示方式不限定於此。
在步驟S508中，判斷位元流中的每一個畫面是否解碼完畢。若是，則結束整此產生重新取樣參考畫面的方法；若否，則回到步驟S501。
綜上所述，本發明之示範實施例所提供之產生重新取樣參考畫面的裝置、方法及影像解碼系統可以並行地產生重新取樣參考畫面，使得影像解碼系統可以在解碼過程中同時產生不同解析度的參考畫面。因此，可以藉此降低計算機裝置的運算時脈數，也可因使用資料再用而大量降低對記憶體頻寬的需求。
另外，本發明示範實施例所提供之產生重新取樣參考 畫面的裝置、方法及影像解碼系統適用於位元流中包括I畫面、P畫面與B畫面，而且上述之x 的值更可以根據編碼器或使用者的需求而有所不同。甚至，在位元流僅包括I畫面與P畫面的情況下，上述之x 的值可以為1，而成為一個計算複雜度更低之產生重新取樣參考畫面的方法、裝置及其影像解碼系統。
雖然本發明已以示範實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧傳統的影像解碼系統
11‧‧‧可變長度解碼單元
12‧‧‧反量化單元
13‧‧‧反離散餘弦轉換單元
14‧‧‧加法器
15‧‧‧迴圈內濾波器
16‧‧‧選擇器
17‧‧‧畫面內預測單元
18‧‧‧移動補償單元
19‧‧‧畫面記憶體
70‧‧‧影像解碼系統
71‧‧‧可變長度解碼單元
72‧‧‧反量化單元
73‧‧‧反離散餘弦轉換單元
74‧‧‧加法器
75‧‧‧迴圈內濾波器
76‧‧‧選擇器
77‧‧‧畫面內預測單元
78‧‧‧移動補償單元
79‧‧‧畫面記憶體
700‧‧‧產生重新取樣參考畫面的裝置
701‧‧‧標頭預看單元
702‧‧‧重新取樣參考畫面處理單元
710‧‧‧影像解碼裝置
S250~S254‧‧‧步驟流程
S500~S517‧‧‧步驟流程
R1、R2‧‧‧參考畫面
I0‧‧‧I畫面
P1~P9、P13、P3’、P6’、P8’‧‧‧P畫面
B1~B3、B5~B7、B10~B12‧‧‧B畫面
圖1是傳統的影像解碼系統10之系統方塊圖。
圖2是位元流經影像解碼後於顯示裝置所顯示之畫面與顯示時間的示意圖。
圖3是對應於圖2之多個畫面的解碼時間之示意圖。
圖4是將參考畫面R1調整成參考畫面R2的示意圖。
圖5是TMN 3.0解碼程式所採用的演算法的解碼過程之解碼時間與畫面的關係圖。
圖6是本發明之示範實施所提供產生重新取樣參考畫面之方法示意圖。
圖7是本發明之示範實施所提供的影像解碼系統70之系統方塊圖。
圖8是位元流中某一畫面之資料格式之示意圖。
圖9是使用本發明之示範實施所提供的影像解碼系統70之解碼過程中的解碼時間與畫面之關係圖。
圖10是本發明之示範實施所提供的產生重新取樣參考畫面之方法的流程圖。
圖11是位元流經影像解碼後於顯示裝置所顯示之畫面與顯示時間的示意圖，其中，部分的畫面與其參考畫面之解析度不同。
圖12是對應於圖11之多個畫面的解碼時間之示意圖。
圖13是本發明之示範實施所提供的產生重新取樣參考畫面之方法的流程圖。
70‧‧‧影像解碼系統
71‧‧‧可變長度解碼單元
72‧‧‧反量化單元
73‧‧‧反離散餘弦轉換單元
74‧‧‧加法器
75‧‧‧迴圈內濾波器
76‧‧‧選擇器
77‧‧‧畫面內預測單元
78‧‧‧移動補償單元
79‧‧‧畫面記憶體
700‧‧‧產生重新取樣參考畫面的裝置
701‧‧‧標頭預看單元
702‧‧‧重新取樣參考畫面處理單元
710‧‧‧影像解碼裝置

Claims (30)

  1. 一種產生重新取樣參考畫面的方法，適用於一影像解碼系統，該影像解碼系統用以對一位元流進行解碼，以得到一目前畫面，而該產生重新取樣參考畫面的方法包括：預看該位元流中之目前畫面的下x 張畫面之特定信息，其中，x 為自然數；以及根據下x 張畫面之特定信息決定是否產生一重新取樣參考畫面。
  2. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，下x 張畫面之特定信息包括對應於下x 張畫面中的每一張畫面之起始碼與相關參數，其中，下x 張畫面中的每一張畫面之相關參數包括一解析度資訊或一畫面形狀資訊。
  3. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，當該位元流所包含的畫面皆為非B畫面，x 為1，且下一張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與目前畫面不同時，該產生重新取樣參考畫面的方法更包括：根據該目前畫面與下一張P畫面的特定信息產生該重新取樣參考畫面，其中，該重新取樣參考畫面的解析度與畫面形狀與下一張P畫面相同。
  4. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，當該位元流所包含畫面皆為非B畫面，x 為1，且下一張P畫面之特定信息所包含的解析度資訊與 畫面形狀資訊與目前畫面相同時，則不產生該重新取樣參考畫面。
  5. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，當該目前畫面為非B畫面，下x 張畫面不全為B畫面，下x 張畫面中的第一張非B畫面為P畫面，且該張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面不同時，則根據該目前畫面與下x 張畫面中的該張P畫面之特定信息產生該重新取樣參考畫面，其中，該重新取樣參考畫面的解析度與畫面形狀與下x 張畫面中的該張P畫面相同。
  6. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，當該目前畫面為非B畫面且下x 張畫面皆為B畫面時，則該產生重新取樣參考畫面的方法更包括：儲存該目前畫面的位元流於一特定空間位址，並將一重新取樣旗標(Flag)的值設為真(True)。
  7. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，當該目前畫面為B畫面且下x 張畫面皆為B畫面時，則該產生重新取樣參考畫面的方法將不產生該重新取樣參考畫面，並讓該影像系統依據一般解碼流程對該位元流進行畫面解碼。
  8. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，當該目前畫面為B畫面，下x 張畫面不全為B畫面，下一張畫面為P畫面，且該張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與目前畫面不同 時，則該產生重新取樣參考畫面的方法更包括：判斷一重新取樣旗標的值是否為真；以及若該重新取樣旗標的值為真，則根據對應於該目前畫面的前一張非B畫面與該張P畫面之特定信息產生該重新取樣參考畫面，並將該重新取樣旗標的值設為非真(False)，其中，重新取樣參考畫面的解析度與畫面形狀與此P畫面相同。
  9. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，當該目前畫面為B畫面，下x 張畫面不全為B畫面，若下一張畫面為I畫面，或者下一張畫面為P畫面，但該張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面相同時，則該產生重新取樣參考畫面的方法更包括：讓該影像系統依據一般解碼流程對該位元流進行畫面解碼，並將一重新取樣旗標的值設為非真。
  10. 如申請專利範圍第1項所述之產生重新取樣參考畫面的方法，其中，當該目前畫面為B畫面，下x 張畫面不全為B畫面，若下一張畫面為B畫面，則該產生重新取樣參考畫面的方法更包括：讓該影像系統依據一般解碼流程對該位元流進行畫面解碼，並保留一目前重新取樣旗標的值。
  11. 一種產生重新取樣參考畫面的裝置，適用於一影像解碼系統，該影像解碼系統用以對一位元流進行解碼，以得到一目前畫面，該產生重新取樣參考畫面的裝置包括： 一標頭預看單元，用以預看該位元流中之目前畫面的下x 張畫面之特定信息，並根據下x 張畫面之特定信息輸出一指示信號，其中，x 為自然數；以及一重新取樣參考畫面處理單元，耦接於該標頭預看單元，根據該指示信號決定是否產生一重新取樣參考畫面。
  12. 如申請專利範圍第11項所述之產生重新取樣參考畫面的裝置，其中，下x 張畫面之特定信息包括對應於下x 張畫面中的每一張畫面之起始碼與相關參數，其中，下x 張畫面中的每一張畫面之相關參數包括一解析度資訊或一畫面形狀資訊。
  13. 如申請專利範圍第11項所述之產生重新取樣參考畫面的裝置，其中，當該位元流所包含的畫面皆為非B畫面，x 為1，且下一張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與目前畫面不同時，該指示信號致能該重新取樣參考畫面處理單元，該重新取樣參考畫面處理單元根據該目前畫面與下一張P畫面的特定信息產生該重新取樣參考畫面，其中，該重新取樣參考畫面的解析度與畫面形狀與下一張P畫面相同。
  14. 如申請專利範圍第11項所述之產生重新取樣參考畫面的裝置，其中，當該位元流所包含的畫面皆為非B畫面，x 為1，且下一張P畫面之特定信息所包含的解析度資訊與畫面形狀資訊與目前畫面相同時，該指示信號禁能該重新取樣參考畫面處理單元。
  15. 如申請專利範圍第11項所述之產生重新取樣參考 畫面的裝置，其中，當該目前畫面為非B畫面，下x 張畫面不全為B畫面，下x 張畫面中的第一張非B畫面為P畫面，且該張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面不同時，則指示信號致能該重新取樣參考畫面處理單元，該重新取樣參考畫面處理單元根據該目前畫面與下x 張畫面中的該張P畫面之特定信息產生該重新取樣參考畫面，其中，該重新取樣參考畫面的解析度與畫面形狀與下x 張畫面中的該張P畫面相同。
  16. 如申請專利範圍第11項所述之產生重新取樣參考畫面的裝置，其中，當該目前畫面為非B畫面且下x 張畫面皆為B畫面時，則該重新取樣參考畫面處理單元儲存該目前畫面的位元流於一特定空間位址，並將該重新取樣旗標的值設為真。
  17. 如申請專利範圍第11項所述之產生重新取樣參考畫面的裝置，其中，當該目前畫面為B畫面且下x 張畫面皆為B畫面時，則該指示信號禁能重新取樣參考畫面處理單元，並且讓該影像解碼系統依據一般解碼流程對該位元流進行畫面解碼。
  18. 如申請專利範圍第11項所述之產生重新取樣參考畫面的裝置，其中，當該目前畫面為B畫面時，下x 張畫面不全為B畫面，下一張畫面為P畫面，且該張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面不同時，則該指示信號致能該重新取樣參考畫面處理單元，該重新取樣參考畫面處理單元判斷一重新取樣旗標的 值是否為真；若該重新取樣旗標的值為真，則該重新取樣參考畫面處理單元根據對應於目前畫面的前一張非B畫面與下一張P畫面之特定信息產生該重新取樣參考畫面，並將該重新取樣旗標的值設為非真，其中，該重新取樣參考畫面的解析度與畫面形狀與下一張P畫面相同。
  19. 如申請專利範圍第11項所述之產生重新取樣參考畫面的裝置，其中，當該目前畫面為B畫面時，下x 張畫面不全為B畫面，若下一張畫面為I畫面，或者下一張畫面為P畫面但其特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面相同時，則該指示信號禁能該重新取樣參考畫面處理單元，該影像解碼系統則依據一般解碼流程對該位元流進行畫面解碼，而該重新取樣參考畫面處理單元將一重新取樣旗標的值設為非真。
  20. 如申請專利範圍第11項所述之產生重新取樣參考畫面的裝置，其中，當該目前畫面為B畫面時，下x 張畫面不全為B畫面，若下一張畫面為B畫面，則該指示信號禁能該重新取樣參考畫面處理單元，該影像解碼系統則依據一般解碼流程對該位元流進行畫面解碼，而該重新取樣參考畫面處理單元保留一目前重新取樣旗標的值。
  21. 一種影像解碼系統，包括：一影像解碼裝置，用以對一位元流進行解碼，以得到一目前畫面；以及一產生重新取樣參考畫面的裝置，耦接於該影像解碼裝置，包括： 一標頭預看單元，用以預看該位元流中之目前畫面的下x 張畫面之特定信息，並根據下x 張畫面之特定信息輸出一指示信號，其中，x 為自然數；一重新取樣參考畫面處理單元，耦接於該標頭預看單元，根據該指示信號決定是否產生一重新取樣參考畫面。
  22. 如申請專利範圍第21項所述之影像解碼系統，其中，下x 張畫面之特定信息包括對應於下x 張畫面中的每一張畫面之起始碼與相關參數，其中，下x 張畫面中的每一張畫面之相關參數包括一解析度資訊或一畫面形狀資訊。
  23. 如申請專利範圍第21項所述之影像解碼系統，其中，當該位元流所包含的畫面皆為非B畫面，x 為1，且下一張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與目前畫面不同時，該指示信號致能該重新取樣參考畫面處理單元，該重新取樣參考畫面處理單元根據該目前畫面與下一張P畫面的特定信息產生該重新取樣參考畫面，其中該重新取樣參考畫面的解析度與畫面形狀與下一張P畫面相同。
  24. 如申請專利範圍第21項所述之影像解碼系統，其中，當該位元流所包含的畫面皆為非B畫面，x 為1，且下一張P畫面之特定信息所包含的解析度資訊與畫面形狀資訊與目前畫面相同時，該指示信號禁能該重新取樣參考畫面處理單元。
  25. 如申請專利範圍第21項所述之影像解碼系統，其中，當該目前畫面為非B畫面，下x 張畫面不全為B畫面，下x 張畫面中的第一張非B畫面為P畫面，且該張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面不同時，則指示信號致能該重新取樣參考畫面處理單元，該重新取樣參考畫面處理單元根據該目前畫面與下x 張畫面中的該張P畫面之特定信息產生該重新取樣參考畫面，其中，該重新取樣參考畫面的解析度與畫面形狀與下x 張畫面中的該張P畫面相同。
  26. 如申請專利範圍第21項所述之影像解碼系統，其中，當該目前畫面為非B畫面且下x 張畫面皆為B畫面時，則該重新取樣參考畫面處理單元儲存該目前畫面的位元流於一特定空間位址，並將該重新取樣旗標的值設為真。
  27. 如申請專利範圍第21項所述之影像解碼系統，其中，當該目前畫面為B畫面且下x 張畫面皆為B畫面時，則該指示信號禁能重新取樣參考畫面處理單元，並且讓該影像解碼系統依據一般解碼流程對該位元流進行畫面解碼。
  28. 如申請專利範圍第21項所述之影像解碼系統，其中，當該目前畫面為B畫面時，下x 張畫面不全為B畫面，下一張畫面為P畫面，且該張P畫面之特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面不同時，則該指示信號致能該重新取樣參考畫面處理單元，該重新取樣參考畫面處理單元判斷一重新取樣旗標的值是否為真；若該 重新取樣旗標的值為真，則該重新取樣參考畫面處理單元根據對應於目前畫面的前一張非B畫面與下一張P畫面之特定信息產生該重新取樣參考畫面，並將該重新取樣旗標的值設為非真，其中，該重新取樣參考畫面的解析度與畫面形狀與下一張P畫面相同。
  29. 如申請專利範圍第21項所述之影像解碼系統，其中，當該目前畫面為B畫面時，下x 張畫面不全為B畫面，若下一張畫面為I畫面，或者下一張畫面為P畫面但其特定信息所包含的解析度資訊或畫面形狀資訊與該目前畫面相同時，則該指示信號禁能該重新取樣參考畫面處理單元，該影像解碼系統則依據一般解碼流程對該位元流進行畫面解碼，而該重新取樣參考畫面處理單元將一重新取樣旗標的值設為非真。
  30. 如申請專利範圍第21項所述之影像解碼系統，其中，當該目前畫面為B畫面時，下x 張畫面不全為B畫面，若下一張畫面為B畫面，則該指示信號禁能該重新取樣參考畫面處理單元，該影像解碼系統則依據一般解碼流程對該位元流進行畫面解碼，且保留一目前重新取樣旗標的值。
TW097148283A 2008-12-11 2008-12-11 產生重新取樣參考畫面之裝置及其方法與影像解碼系統 TWI387317B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097148283A TWI387317B (zh) 2008-12-11 2008-12-11 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
US12/403,341 US8644381B2 (en) 2008-12-11 2009-03-12 Apparatus for reference picture resampling generation and method thereof and video decoding system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097148283A TWI387317B (zh) 2008-12-11 2008-12-11 產生重新取樣參考畫面之裝置及其方法與影像解碼系統

Publications (2)

Publication Number Publication Date
TW201023624A TW201023624A (en) 2010-06-16
TWI387317B true TWI387317B (zh) 2013-02-21

Family

ID=42240489

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097148283A TWI387317B (zh) 2008-12-11 2008-12-11 產生重新取樣參考畫面之裝置及其方法與影像解碼系統

Country Status (2)

Country Link
US (1) US8644381B2 (zh)
TW (1) TWI387317B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
KR101590633B1 (ko) * 2008-11-11 2016-02-02 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
US20120169763A1 (en) * 2010-12-30 2012-07-05 Zebra Imaging, Inc. Preprocessing a Current Frame According to Next Frames
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
CN105187824A (zh) * 2014-06-10 2015-12-23 杭州海康威视数字技术股份有限公司 图像编码方法和装置以及图像解码方法和装置
KR20240024335A (ko) 2018-11-22 2024-02-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
WO2020141260A1 (en) * 2019-01-02 2020-07-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2020245498A1 (en) 2019-06-03 2020-12-10 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11032548B2 (en) * 2019-06-24 2021-06-08 Tencent America LLC Signaling for reference picture resampling
CN120915941A (zh) * 2019-06-24 2025-11-07 阿里巴巴集团控股有限公司 视频处理中的自适应分辨率改变
MY210356A (en) * 2019-08-06 2025-09-13 Op Solutions Llc Implicit signaling of adaptive resolution management based on frame type
WO2021026334A1 (en) * 2019-08-06 2021-02-11 Op Solutions Adaptive resolution management signaling
EP4011083A4 (en) 2019-08-06 2023-06-28 OP Solutions, LLC Block-based adaptive resolution management
PH12022550290A1 (en) * 2019-08-06 2022-11-21 Op Solutions Adaptive resolution management signaling
JP7716760B2 (ja) 2019-08-06 2025-08-01 オーピー ソリューションズ， エルエルシー 適応分解能管理予測再スケーリング
CN114208184B (zh) 2019-08-13 2025-01-07 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
WO2021052507A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Sub-picture coding and decoding of video
CN110572673B (zh) 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
KR20220092962A (ko) 2019-11-08 2022-07-04 오피 솔루션즈, 엘엘씨 적응적 크롭핑을 위한 방법들 및 시스템들
US11438611B2 (en) * 2019-12-11 2022-09-06 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
US11563947B2 (en) 2019-12-31 2023-01-24 Tencent America LLC Signaling output picture size for reference picture resampling
US11445176B2 (en) 2020-01-14 2022-09-13 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
WO2023274734A1 (en) * 2021-06-28 2023-01-05 Nokia Technologies Oy Head motion dependent viewport region modification for omnidirectional conversational vdd

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
TW200417939A (en) * 2002-11-25 2004-09-16 Casio Computer Co Ltd Image signal generator, digital camera and image signal generationg method
US20040213345A1 (en) * 2002-09-04 2004-10-28 Microsoft Corporation Multi-resolution video coding and decoding
US20050123274A1 (en) * 2003-09-07 2005-06-09 Microsoft Corporation Signaling coding and display options in entry point headers
US6996178B1 (en) * 2001-08-27 2006-02-07 Cisco Technology, Inc. Look ahead motion compensation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493392B1 (en) 1999-12-27 2002-12-10 Hyundai Electronics Industries Co., Ltd. Method for coding digital interlaced moving video
KR100586883B1 (ko) * 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
WO2005098753A1 (ja) * 2004-04-09 2005-10-20 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
CN101690220B (zh) * 2007-04-25 2013-09-25 Lg电子株式会社 用于解码/编码视频信号的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
US6996178B1 (en) * 2001-08-27 2006-02-07 Cisco Technology, Inc. Look ahead motion compensation
US20040213345A1 (en) * 2002-09-04 2004-10-28 Microsoft Corporation Multi-resolution video coding and decoding
TW200417939A (en) * 2002-11-25 2004-09-16 Casio Computer Co Ltd Image signal generator, digital camera and image signal generationg method
US20050123274A1 (en) * 2003-09-07 2005-06-09 Microsoft Corporation Signaling coding and display options in entry point headers

Also Published As

Publication number Publication date
US8644381B2 (en) 2014-02-04
US20100150231A1 (en) 2010-06-17
TW201023624A (en) 2010-06-16

Similar Documents

Publication Publication Date Title
TWI387317B (zh) 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
JP7578660B2 (ja) 参照画像リサンプリングのためのシグナリング
KR102589711B1 (ko) 인터 예측 및 표시를 위한 적응적인 영상 해상도 리스케일링
JP2025013369A5 (zh)
JP6854795B2 (ja) 補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダ
JP2022008296A (ja) 省略符号化を用いた映像符号化及び復号化装置及びその方法
US11843790B2 (en) Adaptive resolution change in video processing
JP7436602B2 (ja) エンコーディングされたビデオビットストリームをデコーディングする方法、装置、およびコンピュータプログラム
JP7368498B2 (ja) コーディング方法、装置、及びコンピュータ・プログラム
WO2010092740A1 (ja) 画像処理装置、画像処理方法、プログラムおよび集積回路
JP2007525067A (ja) 低複雑性空間スケーラブル符号化のための方法および装置
JP7408673B2 (ja) ビデオビットストリームにおけるインターレイヤ予測のシグナリング
JP7682242B2 (ja) 参照ピクチャー再サンプリングがある場合のラップアラウンド動き補償に関する方法、装置、コンピュータ・プログラム
KR100963424B1 (ko) 스케일러블 영상 복호화기 및 그 제어 방법
CN101584220B (zh) 对视频信号进行编码的方法和系统、编码的视频信号、对视频信号进行解码的方法和系统
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
US20060067403A1 (en) Information processing device and information processing method
CN101765014B (zh) 产生重新取样参考画面的装置及其方法与影像解码系统
JP7391994B2 (ja) 参照ピクチャー再サンプリングのための出力ピクチャー・サイズの信号伝達に関する方法、装置およびコンピュータ・プログラム
US20170374381A1 (en) Lossy Channel Video Blur Avoidance
JP2007329678A (ja) 輝度マスキング及び輝度補償を用いた超解像処理方法及び装置
JP5332329B2 (ja) 特定領域を等倍出力する機能を持ったダウンデコード装置
HK40047926B (zh) 对视频比特流进行编码的方法、设备和介质
HK40057575B (zh) 对编码视频码流进行解码的方法和设备以及介质
HK40065782A (zh) 视频解码的方法和装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees