TWI888891B - 運動補償邊界填充 - Google Patents
運動補償邊界填充 Download PDFInfo
- Publication number
- TWI888891B TWI888891B TW112131333A TW112131333A TWI888891B TW I888891 B TWI888891 B TW I888891B TW 112131333 A TW112131333 A TW 112131333A TW 112131333 A TW112131333 A TW 112131333A TW I888891 B TWI888891 B TW I888891B
- Authority
- TW
- Taiwan
- Prior art keywords
- picture
- block
- dimension
- boundary
- image
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明提供一種用於產生包括用至少一第一運動向量及一第二運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之方法。該方法包括:基於該第一運動向量來判定一第一參考區塊之一位置,其中該第一參考區塊定位於一第一參考圖片內。該方法包括判定一第一距離,該第一距離係自該第一參考區塊之一邊界至該第一參考圖片之一對應邊界之一距離。該方法包括基於該第一距離來判定該擴展圖片區域內一圖片填充區塊之一第一候選維度。該方法包括基於該第二運動向量來判定一第二參考區塊之一位置。該方法包括判定一第二距離,該第二距離係自該第二參考區塊之一邊界至該第二參考區塊所在之一參考圖片之一對應邊界之一距離。該方法包括基於該第二距離來判定該圖片填充區塊之一第二候選維度。該方法包括自一組兩個或更多個候選維度選擇一候選維度,該組兩個或更多個候選維度包含該第一候選維度及該第二候選維度。該方法包括若該選定候選維度大於0,則基於與該選定候選維度相關聯之一運動向量來判定該圖片填充區塊之至少一個樣本。
Description
所揭示實施例係關於視訊編碼及解碼。
1. 多功能視訊編碼(VVC)
多功能視訊編碼(VVC)及其前身高效視訊編碼(HEVC)係由ITU-T及MPEG共同標準化及開發之基於區塊之視訊編解碼器。編解碼器利用時間及空間兩種預測。VVC及HEVC之諸多態樣類似。空間預測使用來自當前圖片內之圖框內(I)預測來達成。時間預測使用來自先前經解碼參考圖片之區塊位準之單向(P)或雙向圖框間(B)預測來達成。
在編碼器中,原始樣本資料與預測樣本資料之間的差(指稱殘差)經變換成頻域,經量化且接著在與所需預測參數(諸如預測模式及運動向量)一起傳輸之前經熵編碼,所需預測參數亦經熵編碼。解碼器執行熵解碼、逆量化及逆變換以獲得殘差且接著將殘差添加至一圖框內或圖框間預測以重建一圖片。
VVC版本1規格如2020年之Rec. ITU-T H.266 | ISO/IEC 23090-3之「Versatile Video Coding」所公開。MPEG及ITU-T一起在聯合視訊探索團隊(JVET)內用於HEVC及VVC之更新版本及VVC之後繼者,即,下一代視訊編解碼器。
2. 分量
一視訊序列由一系列圖片組成,其中各圖片由一或多個分量組成。一視訊序列中之一圖片有時表示為「影像」或「圖框」。一圖片中之各分量可描述為樣本值(或簡言之,「樣本」)之一二維矩形陣列。一視訊序列中之一圖片通常由三個分量組成;其中樣本值係亮度值之一個亮度分量Y及其中樣本值係色度值之兩個色度分量Cb及Cr。其他常見表示包含ICtCb、IPT、恆定亮度YCbCr、YCoCg及其他。色度分量之維度亦通常比亮度分量小沿各維度之2之一因數。例如,一HD圖片之亮度分量之大小將為1920×1080且色度分量將各具有960×540之維度。分量有時指稱「色彩分量」,且有時指稱「通道」。
3. 編碼單元及編碼區塊
在諸如HEVC及VVC之諸多視訊編碼標準中,一圖片之各分量分成區塊且經編碼視訊位元串流由一系列經編碼區塊組成。一區塊係一二維樣本陣列。在視訊編碼中,圖片通常分成涵蓋圖片之一特定區域之單元。
各單元由來自組成該特定區域之所有分量之所有區塊組成且各區塊完全屬於一個單元。H.264中之巨集區塊及HEVC及VVC中之編碼單元(CU)係單元之實例。在VVC中,CU可遞迴分成較小CU。頂部位準處之CU指稱編碼樹單元(CTU)。
一CU通常含有三個編碼區塊,即,針對亮度之一個編碼區塊及針對色度之兩個編碼區塊。亮度編碼區塊之大小與CU相同。最大CU大小(最大CU寬度)在一參數組中傳信。在當前VVC (即,版本1)中,CU可具有4×4且高達128×128之大小。
4. 參數組、切片標頭及圖片標頭
VVC指定三種類型之參數組:圖片參數組(PPS)、序列參數組(SPS)及視訊參數組(VPS)。PPS含有整個圖片共有之資料,SPS含有一經編碼層視訊序列(CLVS)共有之資料,且VPS含有多個CLVS共有之資料,例如,用於位元串流中多個層之資料。
切片之概念將圖片分成獨立編碼之切片,其中一圖片中一個切片之解碼獨立於相同圖片之其他切片。各切片具有包括語法元素之一切片標頭。當解碼切片時,使用來自此等語法元素之經解碼切片標頭值。
在VVC中,一經編碼圖片含有一圖片標頭。圖片標頭含有經編碼圖片之所有切片共有之參數。
5. 圖框內預測
在圖框內預測(亦稱為空間預測)中,使用相同圖片內之先前經解碼區塊來預測一區塊。來自相同圖片內先前經解碼區塊之樣本用於預測當前區塊內之樣本。僅由圖框內預測區塊組成之一圖片指稱一圖框內圖片。
6. 圖框間預測
在圖框間預測(亦稱為時間預測)中,使用來自先前經解碼圖片之區塊來預測當前圖片之區塊。來自先前經解碼圖片中區塊之樣本用於預測當前區塊內之樣本。
允許圖框間預測區塊之一圖片指稱一圖框間圖片。用於圖框間預測之先前經解碼圖片指稱參考圖片。
參考圖片內參考區塊之位置使用一運動向量(MV)來指示。各MV由表示當前區塊與參考區塊之間沿x或y維度之位移之x及y分量組成。一分量之值可具有比一整數位置更精細之一解析度。當情況如此時,進行一濾波(通常為內插)以計算用於預測之值。圖7展示用於當前區塊C之一MV之一實例。
一圖框間圖片可使用若干參考圖片。參考圖片通常放入兩個參考圖片列表:L0及L1。在當前圖片之前輸出之參考圖片通常為L0中之第一圖片。在當前圖片之後輸出之參考圖片通常為L1中之第一圖片。
圖框間預測區塊可使用兩種預測類型之一者:單及雙預測。單預測區塊自一個參考圖片(使用L0或L1)預測。雙預測自兩個參考圖片(來自L0之一者及來自L1之另一者)預測。圖8展示預測類型之一實例。
7. 分率MV、內插濾波器
一運動向量(MV)之x或y分量之值可對應於一樣本位置,其具有比整數(樣本)位置更精細之粒度。該等位置亦指稱分率(樣本)位置。
在VVC中,MV可處於1/16樣本位置。圖9A描繪沿水平(x)維度之若干分率位置。實方區塊表示整數位置。圓圈表示1/16位置。例如,MV=(4, 10)意謂x分量處於4/16位置,y分量處於10/16位置。
當一MV處於一分率位置時,進行濾波(通常為內插)以計算該等位置處之樣本值。在VVC中,亮度分量之內插濾波器之長度(濾波器分接點之數目)係8,如下表中所展示。
| 分率樣本位置p | 內插濾波器係數 | |||||||
| f L[ p ][ 0 ] | f L[ p ][ 1 ] | f L[ p ][ 2 ] | f L[ p ][ 3 ] | f L[ p ][ 4 ] | f L[ p ][ 5 ] | f L[ p ][ 6 ] | f L[ p ][ 7 ] | |
| 1 | 0 | 1 | -3 | 63 | 4 | -2 | 1 | 0 |
| 2 | -1 | 2 | -5 | 62 | 8 | -3 | 1 | 0 |
| 3 | -1 | 3 | -8 | 60 | 13 | -4 | 1 | 0 |
| 4 | -1 | 4 | -10 | 58 | 17 | -5 | 1 | 0 |
| 5 | -1 | 4 | -11 | 52 | 26 | -8 | 3 | -1 |
| 6 | -1 | 3 | -9 | 47 | 31 | -10 | 4 | -1 |
| 7 | -1 | 4 | -11 | 45 | 34 | -10 | 4 | -1 |
| 8 | -1 | 4 | −11 | 40 | 40 | −11 | 4 | −1 |
| 9 | −1 | 4 | −10 | 34 | 45 | −11 | 4 | −1 |
| 10 | −1 | 4 | −10 | 31 | 47 | −9 | 3 | −1 |
| 11 | −1 | 3 | −8 | 26 | 52 | −11 | 4 | −1 |
| 12 | 0 | 1 | −5 | 17 | 58 | −10 | 4 | −1 |
| 13 | 0 | 1 | −4 | 13 | 60 | −8 | 3 | −1 |
| 14 | 0 | 1 | −3 | 8 | 62 | −5 | 2 | −1 |
| 15 | 0 | 1 | −2 | 4 | 63 | −3 | 1 | 0 |
8. 參考圖片重取樣(RPR)
RPR係一VVC工具,其可用於在不對具有一圖框內圖片之一新序列之一啟動編碼之情況下實現在一視訊位元串流之不同解析度之間切換。此使得更靈活地適調解析度以控制可用於(例如)視訊會議或自適應串流中之位元率。RPR可藉由將先前經編碼圖片(其具有比當前圖片更低或更高之解析度)重縮放至當前圖片之解析度來利用先前經編碼圖片作為當前圖片之圖框間預測之部分。
9. 運動補償圖片邊界填充
在VVC中,在對一圖片編碼或解碼之後,圖片可用於預測另一圖片之參考,且圖片可用一擴展圖片區域(針對一實例,參閱圖9B)來擴展以藉此產生一擴展圖片。擴展圖片區域係沿圖片邊界之各方向之圖片周圍之一區域。擴展區域之一維度(樣本中之寬度或高度)通常經設定具有(最大CU寬度+16)之一大小。擴展區域中之樣本藉由重複邊界填充來導出。換言之,其係圖片邊界樣本之一列或一行之一重複複製。
當一參考區塊部分或完全在圖片邊界外定位時,重複填充樣本用於運動補償(MC),其提供比不允許參考此等區塊更好之預測效率。此意謂僅增大參考圖片之大小,使得一當前圖片之MC可參考一擴展圖片區域來代替一先前圖片之實際圖片區域。此可在參考一先前圖片時即時執行或在將當前圖片儲存於經解碼圖片緩衝器中用於參考之前作為當前圖片之一預運算。
當前增強型壓縮模型(ECM)包含稱為「運動補償圖片邊界填充」之一方法。方法試圖自一參考圖片找到一樣本群組且使該等樣本用於填充或擴展當前圖片。動機在於來自參考圖片之樣本可含有比來自一當前圖片之圖片邊界之重複圖片填充之樣本更多之結構資訊。為實現此,較佳地在對當前圖片編碼及解碼且基本上執行一些額外MC以產生當前圖片之一擴展之後如此做,使得其可用於依解碼順序之後續圖片之圖框間預測之參考。
針對運動補償圖片邊界填充,一4×4圖片邊界區塊之MV用於導出一M×4或4×M運動補償(MC)圖片填充區塊。值M經導出為參考區塊至參考圖片邊界之距離L。圖10展示一圖片邊界區塊(表示為「A」),其具有與當前圖片之左邊界碰撞之其左邊界(即,區塊A之左邊界與當前圖片之左邊界之一部分同延)。如圖10中所展示,參考圖片中之參考區塊表示為「B」。圖10中所展示之距離L量測為自參考區塊B之左邊界至當前圖片之左邊界之距離(樣本中)。參考圖片中用B_R標記之一區域(亦稱,「參考填充區塊」)內之樣本接著用於產生與圖片邊界區塊A (或「邊界區塊A」或「區塊A」)相關聯之一運動補償圖片填充區塊A_P。
圖11展示一圖片邊界區塊C,其具有與當前圖片之頂部邊界碰撞之其頂部邊界。參考圖片中區塊C之參考區塊係D。距離L量測為自參考區塊D之頂部邊界至參考圖片之頂部邊界之距離(在樣本中)。參考圖片中參考填充區塊(表示為D_R)內之樣本接著用於產生與邊界區塊C相關聯之一運動補償圖片填充區塊C_P。如圖10及圖11中所繪示,參考填充區塊係直接相鄰於參考區塊且朝向對應參考圖片邊界延伸之一區塊(即,參考填充區塊及參考區塊共用與對應參考圖片邊界平行之一邊界)。
若M小於所要擴展圖片區域大小,則擴展圖片區域之剩餘部分由重複填充樣本填充。當圖片邊界區塊經圖框內編碼時,則其MV不可用且將M設定為等於0。當圖片邊界區塊係一雙預測圖框間區塊時,沿填充方向指向距參考圖片中圖片邊界更遠之樣本位置之其MV用於運動補償圖片邊界填充。
當前存在特定挑戰。例如,當參考區塊來自具有不同於當前圖片之一圖片解析度之一參考圖片時(即,在RPR情境下),既有運動補償邊界填充不適合。
因此,在一個態樣中,提供一種用於產生包括用至少一第一運動向量及一第二運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之方法。該方法包括基於該第一運動向量來判定一第一參考區塊之一位置,其中該第一參考區塊定位於一第一參考圖片內。該方法亦包括判定一第一距離,該第一距離係自該第一參考區塊之一邊界至該第一參考圖片之一對應邊界之一距離。該方法亦包括基於該第一距離來判定該擴展圖片區域內一圖片填充區塊之一第一候選維度(寬度或高度)。該方法亦包括基於該第二運動向量來判定一第二參考區塊之一位置。該方法亦包含判定一第二距離,該第二距離係自該第二參考區塊之一邊界至該第二參考區塊所在之一參考圖片(例如,該第二參考區塊定位於一第二參考圖片或可能該第一參考圖片內)之一對應邊界之一距離。該方法亦包括基於該第二距離來判定該圖片填充區塊之一第二候選維度(寬度或高度)。該方法亦包括自一組兩個或更多個候選維度選擇一候選維度,該組兩個或更多個候選維度包含該第一候選維度及該第二候選維度。該方法亦包括若該選定候選維度大於零,則基於與該選定候選維度相關聯之一運動向量來判定該圖片填充區塊之至少一個樣本。
在另一態樣中,提供一種用於產生包括用一單一運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之方法。該方法包括基於該運動向量來判定一參考區塊之一位置,其中該參考區塊定位於一參考圖片內。該方法亦包括判定一距離,該距離係自該參考區塊之一邊界至該參考圖片之一對應邊界之一距離。該方法亦包括基於該距離來判定該擴展圖片區域內一圖片填充區塊之一維度(寬度或高度)。該方法亦包括若該維度大於零,則基於該運動向量來判定該圖片填充區塊之至少一個樣本。
在另一態樣中,提供一種用於產生一當前圖片之一擴展圖片區域之方法,該當前圖片包括a)用一組一或多個運動向量來編碼且b)與該當前圖片之一圖片邊界碰撞之一圖片邊界區塊,其中該組運動向量包括一第一運動向量。該方法包括判定對應於該第一運動向量之一第一參考填充區塊是否滿足一第一條件,其中判定該第一參考填充區塊是否滿足該第一條件包括判定該第一參考填充區塊是否延伸超過一第一對應參考圖片邊界,該第一對應參考圖片邊界係與對應於該當前圖片之該圖片邊界之該第一運動向量相關聯之一第一參考圖片之一邊界。該方法亦包括在判定該第一參考填充區塊滿足該第一條件(例如,該第一參考填充區塊不延伸超過該第一對應參考圖片邊界)之後,使用該第一參考填充區塊來判定該擴展圖片區域內之一圖片填充區塊之至少一個樣本。
在另一態樣中,提供一種包括指令之電腦程式,該等指令在由一設備之處理電路系統執行時引起該設備執行本文中所揭示之任何方法。在一個實施例中,提供一種含有該電腦程式之載體,其中該載體係一電子信號、一光學信號、一無線電信號及一電腦可讀儲存媒體之一者。在另一態樣中,提供一種經組態以執行本文中所揭示之方法之設備。該設備可包含記憶體及經耦合至該記憶體之處理電路系統。
本文中所揭示之實施例之一優點係其在該參考區塊來自具有不同於該當前圖片之一圖片解析度之一參考圖片時實現運動補償圖片邊界填充。
圖1繪示根據一實施例之一系統100。系統100包含一編碼器102及一解碼器104,其中編碼器102經由一網路110 (例如網際網路或其他網路)與解碼器104通信。即,編碼器102將一源視訊序列101編碼成包括一經編碼視訊序列之一位元串流且經由網路110將位元串流傳輸至解碼器104。在一些實施例中,不是將位元串流傳輸至解碼器104,而是將位元串流儲存於一資料儲存單元中。解碼器104對包含於經編碼視訊序列中之圖片解碼以產生視訊資料用於顯示及/或後期處理。因此,解碼器104可為具有一顯示裝置105或經連接至一顯示裝置之一裝置103之部分。裝置103可為一行動裝置、一數位視訊轉換裝置、一頭戴式顯示器或任何其他裝置。另外,如圖1中所展示,裝置103可包含自解碼器104接收經解碼圖片之一後濾波器(PF) 166。在所展示實施例中,後濾波器166與解碼器104分離,但在其他實施例中,後濾波器166可為解碼器104之一組件。
圖2繪示根據一些實施例之編碼器102之功能組件。應注意,編碼器可不同地實施,因此可使用除此具體實例之外的實施方案。編碼器102採用一減法器241來產生一殘差區塊,其係一輸入區塊與一預測區塊(即,一選擇器251之輸出,其係由一圖框間預測器250 (亦稱,運動補償器)輸出之一圖框間預測區塊或由一圖框內預測器249輸出之一圖框內預測區塊)之間的樣本值之差。接著對殘差區塊執行一順變換242及順量化243,如當前技術中所熟知。此產生變換係數,其接著由編碼器244 (例如一熵編碼器)編碼成位元串流,且自編碼器102輸出具有經編碼變換係數之位元串流。接著,編碼器102使用變換係數來產生一重建區塊。此藉由先將逆量化245及逆變換246應用於變換係數以產生一重建殘差區塊且使用一加法器247來將預測區塊添加至重建殘差區塊來完成,藉此產生重建區塊,其儲存於重建圖片緩衝器(RPB) 266中。應用藉由一迴路濾波器(LF)級267之迴路濾波且將最終經解碼圖片儲存於一經解碼圖片緩衝器(DPB) 268中,其中其可接著由圖框間預測器250用於產生一圖框間預測區塊用於待處理之下一圖片。LF級267可包含三個子級:i)一解塊濾波器;ii)一樣本自適應偏移(SAO)濾波器;及iii)一自適應迴路濾波器(ALF)。在一些實施例中,一填充模組(PM) 299包含於LF 267與DPB 268之間,其中PM 299將一擴展圖片區域添加至一圖片以產生一擴展圖片(作為一實例,參閱圖9B中所展示之擴展圖片)(即,PM 299可為一ECM組件)。替代地,PM 299可放置於DPB 268與圖框間預測模組250之間。
圖3繪示根據一些實施例之解碼器104之功能組件。應注意,解碼器104可不同地實施,因此可使用除此具體實例之外的實施方案。解碼器104包含自一區塊之位元串流變換係數值解碼之一解碼器模組361 (例如一熵解碼器)。解碼器104亦包含一重建級398,其中變換係數值經受一逆量化程序362及逆變換程序363以產生一殘差區塊。將此殘差區塊輸入至加法器364,其使殘差區塊及自選擇器390輸出之一預測區塊相加以形成一重建區塊。選擇器390選擇輸出一圖框間預測區塊或一圖框內預測區塊。重建區塊儲存於一重建圖片緩衝器(RPB) 365中。圖框間預測區塊由圖框間預測模組350產生且圖框內預測區塊由圖框內預測模組369產生。在重建級398之後,一迴路濾波器級367應用迴路濾波且最終經解碼圖片可儲存於一經解碼圖片緩衝器(DPB) 368中且經輸出至顯示器105及/或PF 166。圖片出於兩個主要原因而儲存於DPB中:1)等待圖片輸出及2)在對未來圖片解碼時用於參考。在一些實施例中,一PM 399包含於LF 367與DPB 368之間,其中PM 399擴展一圖片以產生一擴展圖片(作為一實例,參閱圖9B中所展示之擴展圖片)。替代地,PM 399可放置於DPB 368與圖框間預測模組350之間。
如上文所描述,當前存在一挑戰,因為當參考區塊來自具有不同於當前圖片之一圖片解析度之一參考圖片時(即,在RPR情境下),既有運動補償邊界填充不適合。本發明藉由提供在啟用RPR時實現使用運動補償邊界填充之一程序來克服此挑戰。例如,本發明描述在考量當前圖片解析度與參考圖片解析度之間的差(或替代地,RPR縮放比)時判定填充區塊之大小。
在一個實施例中,存在一程序用於判定當前圖片內一圖片邊界區塊A之一運動補償圖片填充區塊A_P,其中區塊A具有與當前圖片邊界碰撞之至少一個其邊界。當在對一當前圖片解碼或編碼之後執行圖片填充時,可執行程序。程序包含以下步驟:
步驟1:判定是否用至少一個運動向量來對圖片邊界區塊A編碼。換言之,判定是否存在與圖片邊界區塊A相關聯之至少一個運動向量。在此,用語「相關聯」意謂運動向量用於產生圖片邊界區塊A之預測樣本。
步驟2:判定與區塊A相關聯之一圖片填充區塊A_P之一維度(寬度或高度)。在一個實施例中,此步驟包含針對與圖片邊界區塊A相關聯之各運動向量之以下步驟(例如,假定N個運動向量與區塊A相關聯,則執行以下步驟群組N次,各運動向量一次):
步驟2a:基於運動向量(mv_i)來判定一參考圖片中一參考區塊(B)之位置。
步驟2b:判定自參考區塊之一邊界至參考圖片之一對應邊界之一距離(dist_i)(例如自參考區塊之左邊界至參考圖片之左邊界之距離或自參考區塊之頂部邊界至參考圖片之頂部邊界之距離)。
在一些實施例中,參考區塊之一邊界至參考圖片之對應邊界之距離(dist_i)之判定係基於圖片邊界區塊A相對於當前圖片邊界之位置。
當區塊A具有與當前圖片邊界碰撞之其左邊界時,dist_i判定為自參考區塊之左邊界至參考圖片之左邊界之距離(在樣本中),如圖12中所繪示。
當區塊A具有與當前圖片邊界碰撞之其右邊界時,距離dist_i判定為自參考區塊之右邊界至參考圖片之右邊界之距離(在樣本中),如圖13中所繪示。
當區塊A具有與當前圖片邊界碰撞之其頂部邊界時,距離dist_i判定為自參考區塊之頂部邊界至參考圖片之頂部邊界之距離(在樣本中),如圖14中所繪示。
當區塊A具有與當前圖片邊界碰撞之其底部邊界時,距離dist_i判定為自參考區塊之底部邊界至參考圖片之底部邊界之距離(在樣本中),如圖15中所繪示。
步驟2c:基於dist_i、當前圖片解析度及參考圖片解析度來判定圖片填充區塊A_P之一候選維度(cand_i)。
在執行步驟2A至2C N次之後,將存在N個候選維度(即,cand_i,針對i=1、2、…、N)。
步驟3:選擇N個候選維度之一者。例如,選擇大於其他候選維度之候選維度(例如,選擇max(cand_1、cand_2、…、cand_N))。
步驟4:將填充區塊之一第一維度(例如寬度或高度)設定為等於選定候選維度且將第二維度(例如高度(若第一維度係寬度)或寬度(若第一維度係高度))設定為一預定值(例如4),藉此建立圖片填充區塊A_P之維度。
步驟5:回應於判定圖片填充區塊A_P之選定候選維度係非0,基於與選定候選維度相關聯之運動向量(給出所有cand_i中最大值之運動向量)使用圖框間預測來進一步判定相關聯圖片填充區塊A_P內之至少一個樣本。
使用圖框間預測之至少一個樣本之判定可如下:
A_P(x,y)=r(x'+mvX, y'+mvY),其中x,y係當前圖片座標中圖片填充區塊A_P之一座標,x'及y'係參考圖片座標中之對應座標,mvX係參考圖片座標中運動向量之水平運動向量分量,mvY係參考圖片座標中運動向量之垂直運動向量分量且r(x'+mvX, y'+mvY)係參考圖片之一樣本。若運動向量分量對應於一非整數值,則需要使用濾波器之內插。下式展示首先水平及接著對水平濾波之輸出垂直濾波之一實例。
a.
t(x'',y'')係水平濾波之後的一樣本之一值,x係當前圖片中一樣本之一水平座標且y係一垂直座標,x'係參考圖片中一樣本之一水平座標且y'係一垂直座標,x''係時間緩衝器t中一樣本之一水平座標且y''係一垂直座標,mvXInt及mvYInt係用於判定參考圖片r中用於濾波之樣本之整數解析度中之運動向量,f_i係對應於mvX之分率位置(相位)之子樣本濾波器且f_i (n)係該濾波器之位置n處之濾波器係數,f_j係對應於mvY之分率位置(相位)之子樣本濾波器且f_j (n)係該濾波器之位置n處之濾波器係數,r(A,B)係位置(A,B)處之參考圖片中一樣本之值且N係濾波器長度(即,分接點之數目)。P及R係用於移位之常數。
r''(x,y)係已經水平及垂直兩種濾波之一樣本,例如,使用圖框間預測所獲得之一樣本,其係基於來自一參考圖片(先前重建圖片)之樣本之分率樣本內插。如上文所展示,在應用垂直濾波之前,針對垂直濾波所需之所有樣本應用水平濾波。
cand_i之判定
在一個實施例中,若當前圖片解析度不同於參考圖片之解析度,則將cand_i設定為0。否則(當前圖片解析度及參考圖片解析度相同),將候選寬度或高度cand_i判定為dist_i。例如,若當前區塊A具有僅一個MV且MV具有一縮放參考圖片(當前圖片解析度不同於參考圖片解析度),則其將意謂運動補償圖片填充(因為相關聯圖片填充區塊之寬度或高度將為0)不用於擴展當前區塊A附近之區域而是代以使用重複填充。作為另一實例,若當前區塊A具有兩個運動向量(Mv0及MV1)(即,MV0具有一縮放參考圖片,MV1具有一非縮放參考圖片),則MV0之候選寬度或高度cand_0將為0,MV1之cand_1將為dist_1。此意謂MV1優先用於運動補償圖片填充(因為cand_1將為dist_1且一最大運算用於基於所有cand_i來選擇使用哪個MV)。
在另一實施例中,當區塊A具有與當前圖片邊界碰撞之其左或右邊界時,若當前圖片之寬度不同於參考圖片之寬度,則將cand_i設定為0。在此實施例中,cand_i係一寬度維度。
在另一實施例中,當區塊A具有與當前圖片邊界碰撞之其頂部或底部邊界時,若當前圖片之高度不同於參考圖片之高度,則將cand_i設定為0。在此實施例中,cand_i係一高度維度。
在另一實施例中,當區塊A具有與圖片邊界碰撞之左邊界或右邊界時,基於dist_i及當前圖片寬度與參考圖片寬度之間的比(亦稱,RPR縮放比)來導出cand_i。
在另一實施例中,cand_i等於T=dist_i*CurD/RefD,其中CurD係當前圖片之一維度(例如高度或寬度)且RefD係參考圖片之一對應維度。更具體言之,若候選維度(cand_i)係一寬度值,則CurD及RefD分別係當前圖片及參考圖片之寬度。類似地,若候選維度(cand_i)係一高度值,則CurD及RefD分別係當前圖片及參考圖片之高度。
在另一實施例中,將cand_i設定為(Floor(T/X)*X)。換言之,將cand_i設定為等於或小於T且可由X整除之一整數值。在一個實例中,X=4。
額外實施例
在另一實施例中,針對與圖片邊界區塊(例如圖10中所展示之區塊A或圖11中所展示之區塊C)相關聯之各運動向量,存在一檢查以判定對應於運動向量之參考填充區塊(即,由運動向量識別之相鄰於參考區塊之參考填充區塊(例如圖10中所展示之區塊B_R或圖11中之區塊D_R))是否延伸超過「對應參考圖片邊界」,即,對應於圖片邊界區塊與其碰撞之當前圖片之邊界之參考區塊(即,含有參考區塊之至少一部分之區塊)之邊界。例如,若圖片邊界區塊與當前區塊之左邊界碰撞,則對應參考圖片邊界係參考區塊之左邊界。同樣地,若圖片邊界區塊與當前區塊之右/頂部/底部邊界碰撞,則對應參考圖片邊界分別係參考區塊之右/頂部/底部邊界。
此狀況可使用正交於圖片邊界區塊與其碰撞之當前圖片邊界之當前圖片解析度中之運動向量之分量來檢查。即,若圖片邊界區塊與當前圖片之左或右邊界碰撞,則運動向量之水平(或「x」)分量正交於圖片邊界區塊與其碰撞之當前圖片邊界。類似地,若圖片邊界區塊與當前圖片之頂部或底部邊界碰撞,則運動向量之垂直(或「y」)分量正交於圖片邊界區塊與其碰撞之當前圖片邊界。
針對此討論,吾人假定水平運動向量之一正值意謂向右移位與值成正比之一量且一負值意謂與值成正比之一向左移位,且垂直運動向量之一正值意謂與值成正比之一向下移位且一負值意謂與值成正比之一向上移位。
使用此假定,若圖片邊界區塊與左邊界碰撞且當前圖片解析度中MV之x分量大於或等於圖片填充區塊之寬度,則判定對應於MV之參考填充區塊不延伸超過對應參考圖片邊界;且若圖片邊界區塊與右邊界碰撞且當前圖片解析度中MV之x分量小於或等於圖片填充區塊之(-1*寬度),則判定對應於MV之參考填充區塊不延伸超過對應參考圖片邊界。
在一個實施例中,圖片填充區塊之寬度預定為16或至少內插濾波器長度除以2,且圖片填充區塊之高度係4或至少不小於最小區塊大小。在另一實施例中,若圖片邊界區塊與左邊界碰撞且若x分量小於4,則圖片填充區塊之寬度(W)設定為0;若圖片邊界區塊與左邊界碰撞且若x分量不小於4,則W設定為:min(16, x);若圖片邊界區塊與右邊界碰撞且若x分量大於-4,則圖片填充區塊之寬度(W)設定為0;若圖片邊界區塊與右邊界碰撞且若x分量不大於-4,則W設定為:-1*max(-16, x)。
類似地,鑑於以上假定,若圖片邊界區塊與頂部邊界碰撞且當前圖片解析度中MV之y分量大於或等於圖片填充區塊之高度,則判定對應於MV之參考填充區塊不延伸超過對應參考圖片邊界;且若圖片邊界區塊與底部邊界碰撞且當前圖片解析度中MV之y分量小於或等於圖片填充區塊之(-1*高度),則判定對應於MV之參考填充區塊不延伸超過對應參考圖片邊界。
在一個實施例中,圖片填充區塊之高度預定為16或至少內插濾波器長度除以2,且圖片填充區塊之寬度係4或至少不小於最小區塊大小。在另一實施例中,若圖片邊界區塊與頂部邊界碰撞且y分量小於4,則圖片填充區塊之高度(H)設定為0,否則H設定為:min(16, y)。若圖片邊界區塊與底部邊界碰撞,若y分量大於-4,則圖片填充區塊之高度(H)設定為0,否則H設定為:-1*max(-16, y)。
在一個實施例中,若至少一個參考填充區塊不延伸超過對應參考圖片邊界,則基於MC來填充圖片填充區塊,否則使用重複填充。因此,在此實施例中,用於判定對應圖片邊界區塊(例如分別地,A、B、C或D)之圖片填充區塊(例如A_P、B_P、C_P或D_P)之程序包含以下步驟:
步驟1:判定是否用至少一個運動向量來對圖片邊界區塊編碼。換言之,判定是否存在與圖片邊界區塊相關聯之至少一個運動向量。
步驟2:針對與圖片邊界區塊相關聯之各運動向量,判定由運動向量識別之對應於參考區塊之參考填充區塊是否延伸超過對應參考圖片邊界。在一個實施例中,此步驟可如上文所描述般執行。
步驟3:若參考填充區塊之一或多者不延伸超過其對應參考圖片邊界,則基於該一或多個參考填充區塊之至少一者使用圖框間預測來判定填充區塊之至少一個樣本。例如,在一個實施例中,使用僅一單一參考填充區塊。在其中使用僅一單一參考填充區塊之實施例中,若兩個或更多個參考填充區塊(RPB)不延伸超過其對應參考圖片邊界,則選擇在具有相同於當前圖片之解析度之參考圖片中之一RPB,否則使用編碼器及解碼器兩者已知之一規則來選擇RPB。一個實例性規則可為選擇對應於在時間上靠近當前圖片之參考圖片之運動向量。
若你具有延伸超過其對應參考圖片邊界之兩個(或更多個)參考填充區塊,則吾人可基於來自兩個或更多個參考填充區塊之樣本之一平均數來判定一填充樣本。
使用圖框間預測來判定填充區塊A_P之至少一個樣本可如下:
A_P(x,y)=r(x'+mvX, y'+mvY),x,y係當前圖片座標中圖片填充區塊A_P之一座標,x'及y'係參考圖片座標中之對應座標,mvX係參考圖片座標中運動向量mv_i之水平運動向量分量,mvY係參考圖片座標中運動向量mv_i之垂直運動向量分量,且r(x'+mvX, y+mvY)係參考圖片之一樣本。若運動向量分量對應於一非整數值,則需要使用濾波器之內插。下式展示首先水平及接著對水平濾波之輸出垂直濾波之一實例。
a.
b.
t(x'',y'')係水平濾波之後的一樣本之一值,x係當前圖片中一樣本之一水平座標且y係一垂直座標,x'係參考圖片中一樣本之一水平座標且y'係一垂直座標,x''係時間緩衝器t中一樣本之一水平座標且y''係一垂直座標,mvXInt及mvYInt係用於判定參考圖片r中用於濾波之樣本之整數解析度中之運動向量,f_i係對應於mvX之分率位置(相位)之子樣本濾波器且f_i (n)係該濾波器之位置n處之濾波器係數,f_j係對應於mvY之分率位置(相位)之子樣本濾波器且f_j (n)係該濾波器之位置n處之濾波器係數,r(A,B)係位置(A,B)處之參考圖片中一樣本之值且N係濾波器長度(即,分接點之數目)。P及R係用於移位之常數。
r''(x,y)係已經水平及垂直兩種濾波之一樣本,例如,使用圖框間預測所獲得之一樣本,其係基於來自一參考圖片(先前重建圖片)之樣本之分率樣本內插。如上文所展示,在應用垂直濾波之前,針對垂直濾波所需之所有樣本應用水平濾波。
在一個實施例中,步驟3經修改使得基於該一或多個參考填充區塊之至少一者來判定填充區塊A_P之至少一個樣本之步驟僅在不延伸超過其對應參考圖片邊界之RPB之至少一者在具有相同於當前圖片之解析度之一參考圖片中時執行,否則使用重複填充。
步驟4:若無參考填充區塊在參考圖片內,則使用重複填充。
區塊A_P之大小可為(例如) 4×4、4×8、8×4、4×16、16×4、8×8或16×16之一者。
圖4係繪示用於產生包括用至少一第一運動向量及一第二運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之一程序400的一流程圖。程序400可開始於步驟s402。
步驟s402包括基於第一運動向量來判定一第一參考區塊之一位置,其中第一參考區塊定位於一第一參考圖片內。
步驟s404包括判定一第一距離,第一距離係自第一參考區塊之一邊界至第一參考圖片之一對應邊界之一距離。
步驟s406包括基於第一距離來判定擴展圖片區域內一圖片填充區塊之一第一候選維度(寬度或高度)。
步驟s408包括基於第二運動向量來判定一第二參考區塊之一位置。
步驟s410包括判定一第二距離,第二距離係自第二參考區塊之一邊界至第二參考區塊所在之一參考圖片(例如第二參考區塊定位於一第二參考圖片或可能第一參考圖片內)之一對應邊界之一距離。
步驟s412包括基於第二距離來判定圖片填充區塊之一第二候選維度(寬度或高度)。
步驟s414包括自一組兩個或更多個候選維度選擇一候選維度,該組兩個或更多個候選維度包含第一候選維度及第二候選維度。
步驟s416包括若選定候選維度大於0,則基於與選定候選維度相關聯之一運動向量來判定圖片填充區塊之至少一個樣本。
圖5係繪示用於產生包括用一單一運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之一程序500的一流程圖。程序500可開始於步驟s502。
步驟s502包括基於運動向量來判定一參考區塊之一位置,其中參考區塊定位於一參考圖片內。
步驟s504包括判定一距離,該距離係自參考區塊之一邊界至參考圖片之一對應邊界之一距離。
步驟s506包括基於距離來判定擴展圖片區域內之一圖片填充區塊之一維度(寬度或高度)。
步驟s508包括若維度大於0,則基於運動向量來判定圖片填充區塊之至少一個樣本。
圖6係繪示用於產生一當前圖片之一擴展圖片區域之一程序600的一流程圖,當前圖片包括a)用一組一或多個運動向量來編碼且b)與當前圖片之一圖片邊界碰撞之一圖片邊界區塊,其中該組運動向量包括一第一運動向量。程序600可開始於步驟s602。
步驟s602包括判定對應於第一運動向量之一第一參考填充區塊是否滿足一第一條件,其中判定第一參考填充區塊是否滿足第一條件包括判定第一參考填充區塊是否延伸超過一第一對應參考圖片邊界,第一對應參考圖片邊界係與對應於當前圖片之圖片邊界之第一運動向量相關聯之一第一參考圖片之一邊界。
步驟s604包括在判定第一參考填充區塊滿足第一條件(例如判定第一參考填充區塊不延伸超過第一對應參考圖片邊界)之後,使用第一參考填充區塊來判定擴展圖片區域內一圖片填充區塊之至少一個樣本。
圖16係根據一些實施例之用於實施編碼器102或解碼器104之一設備1600之一方塊圖。如圖16中所展示,設備1600可包括:處理電路系統(PC) 1602,其可包含一或多個處理器(P) 1655 (例如一通用微處理器及/或一或多個其他處理器,諸如一專用積體電路(ASIC)、場可程式化閘陣列(FPGA)及其類似者),該等處理器可共定位於一單一外殼或一單一資料中心中或可經地理分佈(即,設備1600可為一分佈式運算設備);至少一個網路介面1648,其包括使設備1600能夠將資料傳輸至經連接至一網路160 (例如一網際網路協定(IP)網路)之其他節點及自該等其他節點接收資料之一傳輸器(Tx) 1645及一接收器(Rx) 1647,網路介面1648經連接(直接或間接)至網路160 (例如,網路介面1648可經無線連接至網路160,在該情況中,網路介面1648經連接至一天線配置);及一儲存單元(亦稱,「資料儲存系統」) 1608,其可包含一或多個非揮發性儲存裝置及/或一或多個揮發性儲存裝置。在其中PC 1602包含一可程式化處理器之實施例中,可提供一電腦可讀儲存媒體(CRSM) 1642。CRSM 1642儲存包括電腦可讀指令(CRI) 1644之一電腦程式(CP) 1643。CRSM 1642可為一非暫時性電腦可讀儲存媒體,諸如磁性媒體(例如一硬碟)、光學媒體、記憶體裝置(例如隨機存取記憶體、快閃記憶體)及其類似者。在一些實施例中,電腦程式1643之CRI 1644經組態使得當由PC 1602執行時,CRI引起設備1600執行本文中所描述之步驟(例如本文中參考流程圖所描述之步驟)。在其他實施例中,設備1600可經組態以執行本文中所描述之步驟且無需編碼。即,例如,PC 1602可僅由一或多個ASIC組成。因此,本文中所描述之實施例之特徵可實施於硬體及/或軟體中。
各種實施例之概述
A1. 一種用於產生包括用至少一第一運動向量及一第二運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之方法400 (參閱圖4),其包括:
基於該第一運動向量來判定一第一參考區塊之一位置,其中該第一參考區塊定位於一第一參考圖片內;
判定一第一距離,該第一距離係自該第一參考區塊之一邊界至該第一參考圖片之一對應邊界之一距離;
基於該第一距離來判定該擴展圖片區域內一圖片填充區塊之一第一候選維度(寬度或高度);
基於該第二運動向量來判定一第二參考區塊之一位置;
判定一第二距離,該第二距離係自該第二參考區塊之一邊界至該第二參考區塊所在之一參考圖片(例如該第二參考區塊定位於一第二參考圖片或可能該第一參考圖片內)之一對應邊界之一距離;
基於該第二距離來判定該圖片填充區塊之一第二候選維度(寬度或高度);
自一組兩個或更多個候選維度選擇一候選維度,該組兩個或更多個候選維度包含該第一候選維度及該第二候選維度;及
若該選定候選維度大於0,則基於與該選定候選維度相關聯之一運動向量來判定該圖片填充區塊之至少一個樣本。
A2. 如實施例A1之方法,其進一步包括:
將該填充區塊之一第一維度設定為等於該選定候選維度(例如,設定該填充區塊之寬度使得該寬度等於該選定候選維度);及
將該填充區塊之一第二維度(例如高度(若第一維度係寬度)或寬度(若第一維度係高度))設定為一預定值(例如4)。
A3. 如實施例A1或A2之方法,其中判定該第一候選維度包括若判定該當前圖片之解析度不同於該第一參考圖片之解析度,則將該第一候選維度設定為0。
A4. 如實施例A1或A2之方法,其中判定該第一候選維度包括若i)判定該當前圖片之該寬度不同於該第一參考圖片之該寬度且ii)判定該圖片邊界區塊具有與該當前圖片之一邊界碰撞之其左或右邊界,則將該第一候選維度設定為0。
A5. 如實施例A1或A2之方法,其中判定該第一候選維度包括若i)判定該當前圖片之該高度不同於該第一參考圖片之該高度且ii)判定該圖片邊界區塊具有與該當前圖片之一邊界碰撞之其頂部或底部邊界,則將該第一候選維度設定為0。
A6. 如實施例A1或A2之方法,其中判定該第一候選維度包括將該第一候選維度設定為使用該第一距離、該當前圖片之一維度(例如該當前圖片之該寬度)及該第一參考圖片之一維度所導出之一值。
A7. 如實施例A6之方法,其中該值等於:
dist_1*CurD/RefD,其中
CurD係該當前圖片之一維度(例如高度或寬度),
RefD係該第一參考圖片之一對應維度,且
dist_1係該第一距離。
A8. 如實施例A6之方法,其中該值等於
Floor((dist_1*CurD/RefD)/X)*X,其中
CurD係該當前圖片之一維度(例如高度或寬度),
RefD係該第一參考圖片之一對應維度,
dist_1係該第一距離,且
X係一預定整數(例如X=4)。
A9. 如實施例A1至A8中任一項之方法,其中自一組兩個或更多個候選維度選擇該候選維度包括:
比較該第一候選維度與該第二候選維度;
若該第一候選維度大於該第二候選維度,則選擇該第一候選維度;
若該第二候選維度大於該第一候選維度,則選擇該第二候選維度;及
若該第一候選維度等於該第二候選維度,則選擇該第一候選維度或該第二候選維度。
B1. 一種用於產生包括用一單一運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之方法500 (參閱圖5),其包括:
基於該運動向量來判定一參考區塊之一位置,其中該參考區塊定位於一參考圖片內;
判定一距離,該距離係自該參考區塊之一邊界至該參考圖片之一對應邊界之一距離;
基於該距離來判定該擴展圖片區域內一圖片填充區塊之一維度(寬度或高度);
若該維度大於0,則基於該運動向量來判定該圖片填充區塊之至少一個樣本。
B2. 如實施例B1之方法,其進一步包括:
將該填充區塊之一第一維度設定為等於經判定維度(例如設定該填充區塊之寬度使得該寬度等於該判定維度);及
將該填充區塊之一第二維度(例如高度(若該第一維度係寬度)或寬度(若該第一維度係高度))設定為一預定值(例如4)。
B3. 如實施例B1或B2之方法,其中判定該維度包括若判定該當前圖片之該解析度不同於該參考圖片之該解析度,則將該維度設定為0。
B4. 如實施例B1或B2之方法,其中判定該維度包括若i)判定該當前圖片之該寬度不同於該參考圖片之該寬度且ii)判定該圖片邊界區塊具有與該當前圖片之一邊界碰撞之其左或右邊界,則將該維度設定為0。
B5. 如實施例B1或B2之方法,其中判定該維度包括若i)判定該當前圖片之該高度不同於該參考圖片之該高度且ii)判定該圖片邊界區塊具有與該當前圖片之一邊界碰撞之其頂部或底部邊界,則將該維度設定為0。
B6. 如實施例B1或B2之方法,其中判定該維度包括將該維度設定為使用該距離、該當前圖片之一維度(例如該當前圖片之該寬度)及該參考圖片之一維度所導出之一值。
B7. 如實施例B6之方法,其中該值等於:
dist*CurD/RefD,其中
CurD係該當前圖片之一維度(例如高度或寬度),
RefD係該參考圖片之一對應維度,且
dist係該距離。
B8. 如實施例B6之方法,其中該值等於
Floor((dist*CurD/RefD)/X)*X,其中
CurD係該當前圖片之一維度(例如高度或寬度),
RefD係該參考圖片之一對應維度,
dist係該距離,且
X係一預定整數(例如X=4)。
C1. 一種用於產生一當前圖片之一擴展圖片區域之方法600 (參閱圖6),該當前圖片包括a)用一組一或多個運動向量來編碼且b)與該當前圖片之一圖片邊界碰撞之一圖片邊界區塊,其中該組運動向量包括一第一運動向量,該方法包括:
判定對應於該第一運動向量之一第一參考填充區塊是否滿足一第一條件,其中判定該第一參考填充區塊是否滿足該第一條件包括判定該第一參考填充區塊是否延伸超過一第一對應參考圖片邊界,該第一對應參考圖片邊界係與對應於該當前圖片之該圖片邊界之該第一運動向量相關聯之一第一參考圖片之一邊界;及
在判定該第一參考填充區塊滿足該第一條件(例如,該第一參考填充區塊不延伸超過該第一對應參考圖片邊界)之後,使用該第一參考填充區塊來判定該擴展圖片區域內之一圖片填充區塊之至少一個樣本。
C2. 如實施例C1之方法,其進一步包括在判定該第一參考填充區塊滿足該第一條件之後及在使用該第一參考填充區塊來判定該擴展圖片區域內一圖片填充區塊之至少一個樣本之前,判定該第一參考圖片是否具有相同於該當前圖片之解析度。
C3. 如實施例C2之方法,其中使用該第一參考填充區塊來判定該擴展圖片區域內該圖片填充區塊之至少一個樣本之步驟係由於判定以下而執行:a)該第一參考填充區塊滿足該第一條件及b)該第一參考圖片具有相同於該當前圖片之該解析度。
C4. 如實施例C1、C2或C3之方法,其中
該圖片邊界區塊與該當前圖片之該左邊界碰撞,
該第一運動向量包括一水平分量x及一垂直分量y,且
判定該第一參考填充區塊是否滿足該第一條件包括比較x與該圖片填充區塊之該寬度(例如,在一個實施例中,若x≥寬度,則該第一參考填充區塊滿足該第一條件)。
C5. 如實施例C1、C2或C3之方法,其中
該圖片邊界區塊與該當前圖片之該右邊界碰撞,
該第一運動向量包括一水平分量x及一垂直分量y,且
判定該第一參考填充區塊是否滿足該第一條件包括比較x與該圖片填充區塊之該寬度之負值(例如,在一個實施例中,若x≤-寬度,則該第一參考填充區塊滿足該第一條件)。
C6. 如實施例C1至C5中任一項之方法,其進一步包括在判定該第一參考填充區塊是否滿足該第一條件之前,設定該圖片填充區塊之該寬度W,其中設定該圖片填充區塊之該寬度包括:
若該圖片邊界區塊與該左圖片邊界碰撞,則若x小於4,則設定W=0,否則設定W=min(16,x),或
若該圖片邊界與該右圖片邊界碰撞,則若x大於-4,則設定W=0,否則設定W=-max(-16, x)。
C7. 如實施例C1、C2或C3之方法,其中
該圖片邊界區塊與該當前圖片之該頂部邊界碰撞,
該第一運動向量包括一水平分量x及一垂直分量y,且
判定該第一參考填充區塊是否滿足該第一條件包括比較y與該圖片填充區塊之該高度(例如,在一個實施例中,若y≥高度,則該第一參考填充區塊滿足該第一條件)。
C8. 如實施例C1、C2或C3之方法,其中
該圖片邊界區塊與該當前圖片之該底部邊界碰撞,
該第一運動向量包括一水平分量x及一垂直分量y,且
判定該第一參考填充區塊是否滿足該第一條件包括比較y與該圖片填充區塊之該高度之負值(例如,在一個實施例中,若y≤-高度,則該第一參考填充區塊滿足該第一條件)。
C9. 如實施例C1、C2、C3、C7或C8之方法,其進一步包括在判定該第一參考填充區塊是否滿足該第一條件之前,設定該圖片填充區塊之該高度H,其中設定該圖片填充區塊之該高度包括:
若該圖片邊界區塊與該頂部圖片邊界碰撞,則若y小於4,則設定H=0,否則設定H=min(16, y),或
若該圖片邊界區塊與該底部圖片邊界碰撞,則若y大於-4,則設定H=0,否則設定H=-max(-16, y)。
D1. 一種包括指令(1644)之電腦程式(1643),該等指令在由一設備(1600)之處理電路系統(1602)執行時引起該設備執行上述實施例之任何者之方法。
D2. 一種含有實施例D1之電腦程式之載體,其中該載體係以下之一者:一電子信號、一光學信號、一無線電信號及一電腦可讀儲存媒體(1642)。
E1. 一種設備(1600),其經組態以執行上述實施例之任何者之方法。
儘管從VVC方面描述本發明之術語,但本發明之實施例亦應用於任何既有或未來編解碼器,其可使用一不同但等效術語。
儘管本文中描述各種實施例,但應理解,其僅依舉實例而非限制方式呈現。因此,本發明之廣度及範疇不應該受限於上文所描述之例示性實施例之任何者。此外,除非本文中另有指示或另與內文明確矛盾,否則上文所描述之元件之其所有可能變動之任何組合由本發明涵蓋。
另外,儘管上文所描述及圖式中所繪示之程序展示為一步驟序列,但如此做僅為了說明。因此,可考量,可添加一些步驟,可省略一些步驟,可重排步驟之順序且可並行執行一些步驟。
100:系統
101:源視訊序列
102:編碼器
103:裝置
104:解碼器
105:顯示裝置
110:網路
160:網路
166:後濾波器(PF)
241:減法器
242:順變換
243:順量化
244:編碼器
245:逆量化
246:逆變換
247:加法器
249:圖框內預測器
250:圖框間預測器/運動補償器
251:選擇器
266:重建圖片緩衝器(RPB)
267:迴路濾波器(LF)級
268:經解碼圖片緩衝器(DPB)
299:填充模組(PM)
350:圖框間預測模組
361:解碼器模組
362:逆量化程序
363:逆變換程序
364:加法器
365:RPB
367:LF級
368:DPB
369:圖框內預測模組
390:選擇器
398:重建級
399:PM
400:程序/方法
500:程序/方法
600:程序/方法
1600:設備
1602:處理電路系統(PC)
1608:儲存單元/資料儲存系統
1642:電腦可讀儲存媒體(CRSM)
1643:電腦程式(CP)
1644:電腦可讀指令(CRI)
1645:傳輸器(Tx)
1647:接收器(Rx)
1648:網路介面
1655:處理器(P)
A:圖片邊界區塊
A_P:運動補償圖片填充區塊
B:參考區塊
B_P:運動補償圖片填充區塊
C:圖片邊界區塊
C_P:運動補償圖片填充區塊
D:參考區塊
Dist_i:距離
D_R:參考填充區塊
L:距離
M:值
MV:運動向量
MV_i:運動向量
s402:步驟
s404:步驟
s406:步驟
s408:步驟
s410:步驟
s412:步驟
s414:步驟
s416:步驟
s502:步驟
s504:步驟
s506:步驟
s508:步驟
s602:步驟
s604:步驟
併入於本文中且形成本說明書之部分之附圖繪示各種實施例。
圖1繪示根據一實施例之一系統。
圖2係根據一實施例之一編碼器之一示意方塊圖。
圖3係根據一實施例之一解碼器之一示意方塊圖。
圖4係繪示根據一實施例之一程序的一流程圖。
圖5係繪示根據一實施例之一程序的一流程圖。
圖6係繪示根據一實施例之一程序的一流程圖。
圖7繪示一運動向量。
圖8繪示預測類型。
圖9A繪示沿水平(x)維度之若干分率位置。
圖9B繪示一擴展圖片區域。
圖10展示一圖片邊界區塊A,其具有與當前圖片之左邊界碰撞之其左邊界。
圖11展示一圖片邊界區塊C,其具有與當前圖片之頂部邊界碰撞之其頂部邊界。
圖12展示一圖片邊界區塊A,其具有與當前圖片之左邊界碰撞之其左邊界。
圖13展示一圖片邊界區塊A,其具有與當前圖片之右邊界碰撞之其右邊界。
圖14展示一圖片邊界區塊A,其具有與當前圖片之頂部邊界碰撞之其頂部邊界。
圖15展示一圖片邊界區塊A,其具有與當前圖片之底部邊界碰撞之其底部邊界。
圖16係根據一實施例之一設備之一方塊圖。
400:程序
s402:步驟
s404:步驟
s406:步驟
s408:步驟
s410:步驟
s412:步驟
s414:步驟
s416:步驟
Claims (26)
- 一種用於在參考圖片重取樣(RPR)情境下產生包括用至少一第一運動向量及一第二運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之方法(400),該方法包括: 基於該第一運動向量來判定一第一參考區塊之一位置,其中該第一參考區塊定位於一第一參考圖片內; 判定一第一距離,該第一距離係自該第一參考區塊之一邊界至該第一參考圖片之一對應邊界之一距離; 基於該第一距離來判定該擴展圖片區域內一圖片填充區塊之一第一候選維度; 基於該第二運動向量來判定一第二參考區塊之一位置; 判定一第二距離,該第二距離係自該第二參考區塊之一邊界至該第二參考區塊所在之一參考圖片之一對應邊界之一距離; 基於該第二距離來判定該圖片填充區塊之一第二候選維度; 自一組兩個或更多個候選維度選擇一候選維度,該組兩個或更多個候選維度包含該第一候選維度及該第二候選維度;及 若該選定候選維度大於0,則基於與該選定候選維度相關聯之一運動向量來判定該圖片填充區塊之至少一個樣本, 其中判定該第一候選維度包括將該第一候選維度設定為使用該第一距離、該當前圖片之一維度及該第一參考圖片之一維度所導出之一值。
- 如請求項1之方法,其進一步包括: 將該填充區塊之一第一維度設定為等於該選定候選維度;及 設定該填充區塊之一第二維度。
- 如請求項1或2之方法,其中判定該第一候選維度包括若判定該當前圖片之解析度不同於該第一參考圖片之解析度,則將該第一候選維度設定為0。
- 如請求項1或2之方法,其中判定該第一候選維度包括若i)判定該當前圖片之該寬度不同於該第一參考圖片之該寬度且ii)判定該圖片邊界區塊具有與該當前圖片之一邊界碰撞之其左或右邊界,則將該第一候選維度設定為0。
- 如請求項1或2之方法,其中判定該第一候選維度包括若i)判定該當前圖片之該高度不同於該第一參考圖片之該高度且ii)判定該圖片邊界區塊具有與該當前圖片之一邊界碰撞之其頂部或底部邊界,則將該第一候選維度設定為0。
- 如請求項1之方法,其中該值等於: dist_1*CurD/RefD,其中 CurD係該當前圖片之一維度, RefD係該第一參考圖片之一對應維度,且 dist_1係該第一距離。
- 如請求項1之方法,其中該值等於: Floor((dist_1*CurD/RefD)/X)*X,其中 CurD係該當前圖片之一維度, RefD係該第一參考圖片之一對應維度, dist_1係該第一距離,且 X係一預定整數。
- 如請求項1或2之方法,其中自一組兩個或更多個候選維度選擇該候選維度包括: 比較該第一候選維度與該第二候選維度; 若該第一候選維度大於該第二候選維度,則選擇該第一候選維度; 若該第二候選維度大於該第一候選維度,則選擇該第二候選維度;及 若該第一候選維度等於該第二候選維度,則選擇該第一候選維度或該第二候選維度。
- 一種用於在參考圖片重取樣(RPR)情境下產生包括用一單一運動向量來編碼之一圖片邊界區塊之一當前圖片之一擴展圖片區域之方法(500),該方法包括: 基於該運動向量來判定一參考區塊之一位置,其中該參考區塊定位於一參考圖片內; 判定一距離,該距離係自該參考區塊之一邊界至該參考圖片之一對應邊界之一距離; 基於該距離來判定該擴展圖片區域內一圖片填充區塊之一維度; 若該維度大於0,則基於該運動向量來判定該圖片填充區塊之至少一個樣本, 其中判定該維度包括將該維度設定為使用該距離、該當前圖片之一維度及該參考圖片之一維度所導出之一值。
- 如請求項9之方法,其進一步包括: 將該填充區塊之一第一維度設定為等於該經判定維度;及 設定該填充區塊之一第二維度。
- 如請求項9或10之方法,其中判定該維度包括若判定該當前圖片之該解析度不同於該參考圖片之該解析度,則將該維度設定為0。
- 如請求項9或10之方法,其中判定該維度包括若i)判定該當前圖片之該寬度不同於該參考圖片之該寬度且ii)判定該圖片邊界區塊具有與該當前圖片之一邊界碰撞之其左或右邊界,則將該維度設定為0。
- 如請求項9或10之方法,其中判定該維度包括若i)判定該當前圖片之該高度不同於該參考圖片之該高度且ii)判定該圖片邊界區塊具有與該當前圖片之一邊界碰撞之其頂部或底部邊界,則將該維度設定為0。
- 如請求項9之方法,其中該值等於: dist*CurD/RefD,其中 CurD係該當前圖片之一維度, RefD係該參考圖片之一對應維度,且 dist係該距離。
- 如請求項9之方法,其中該值等於 Floor((dist*CurD/RefD)/X)*X,其中 CurD係該當前圖片之一維度, RefD係該參考圖片之一對應維度, dist係該距離,且 X係一預定整數。
- 一種用於在參考圖片重取樣(RPR)情境下產生一當前圖片之一擴展圖片區域之方法(600),該當前圖片包括a)用一組一或多個運動向量來編碼且b)與該當前圖片之一圖片邊界碰撞之一圖片邊界區塊,其中該組運動向量包括一第一運動向量,該方法包括: 判定對應於該第一運動向量之一第一參考填充區塊是否滿足一第一條件,其中判定該第一參考填充區塊是否滿足該第一條件包括判定該第一參考填充區塊是否延伸超過一第一對應參考圖片邊界,該第一對應參考圖片邊界係與對應於該當前圖片之該圖片邊界之該第一運動向量相關聯之一第一參考圖片之一邊界; 在判定該第一參考填充區塊滿足該第一條件之後,使用該第一參考填充區塊來判定該擴展圖片區域內之一圖片填充區塊之至少一個樣本;及 在判定該第一參考填充區塊滿足該第一條件之後及在使用該第一參考填充區塊來判定該擴展圖片區域內一圖片填充區塊之至少一個樣本之前,判定該第一參考圖片是否具有相同於該當前圖片之解析度。
- 如請求項16之方法,其中使用該第一參考填充區塊來判定該擴展圖片區域內該圖片填充區塊之至少一個樣本之步驟係由於判定以下而執行:a)該第一參考填充區塊滿足該第一條件及b)該第一參考圖片具有相同於該當前圖片之該解析度。
- 如請求項16或17之方法,其中 該圖片邊界區塊與該當前圖片之該左邊界碰撞, 該第一運動向量包括一水平分量x及一垂直分量y,且 判定該第一參考填充區塊是否滿足該第一條件包括比較x與該圖片填充區塊之該寬度。
- 如請求項16或17之方法,其中 該圖片邊界區塊與該當前圖片之該右邊界碰撞, 該第一運動向量包括一水平分量x及一垂直分量y,且 判定該第一參考填充區塊是否滿足該第一條件包括比較x與該圖片填充區塊之該寬度之負值。
- 如請求項16或17之方法,其進一步包括在判定該第一參考填充區塊是否滿足該第一條件之前,設定該圖片填充區塊之該寬度W,其中設定該圖片填充區塊之該寬度包括: 若該圖片邊界區塊與該左圖片邊界碰撞,則若x小於4,則設定W=0,否則設定W=min(16,x),或 若該圖片邊界與該右圖片邊界碰撞,則若x大於-4,則設定W=0,否則設定W=-max(-16, x)。
- 如請求項16或17之方法,其中 該圖片邊界區塊與該當前圖片之該頂部邊界碰撞, 該第一運動向量包括一水平分量x及一垂直分量y,且 判定該第一參考填充區塊是否滿足該第一條件包括比較y與該圖片填充區塊之該高度。
- 如請求項16或17之方法,其中 該圖片邊界區塊與該當前圖片之該底部邊界碰撞, 該第一運動向量包括一水平分量x及一垂直分量y,且 判定該第一參考填充區塊是否滿足該第一條件包括比較y與該圖片填充區塊之該高度之負值。
- 如請求項16或17之方法,其進一步包括在判定該第一參考填充區塊是否滿足該第一條件之前,設定該圖片填充區塊之該高度H,其中設定該圖片填充區塊之該高度包括: 若該圖片邊界區塊與該頂部圖片邊界碰撞,則若y小於4,則設定H=0,否則設定H=min(16, y),或 若該圖片邊界區塊與該底部圖片邊界碰撞,則若y大於-4,則設定H=0,否則設定H=-max(-16, y)。
- 一種包括指令(1644)之電腦程式(1643),該等指令在由一設備(1600)之處理電路系統(1602)執行時引起該設備執行如請求項1至23中任一項之方法。
- 一種含有如請求項24之電腦程式之載體,其中該載體係以下之一者:一電子信號、一光學信號、一無線電信號及一電腦可讀儲存媒體(1642)。
- 一種運算設備(1600),其經組態以執行如請求項1至23中任一項之方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263373092P | 2022-08-22 | 2022-08-22 | |
| US63/373,092 | 2022-08-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202425623A TW202425623A (zh) | 2024-06-16 |
| TWI888891B true TWI888891B (zh) | 2025-07-01 |
Family
ID=90013705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112131333A TWI888891B (zh) | 2022-08-22 | 2023-08-21 | 運動補償邊界填充 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4578187A4 (zh) |
| TW (1) | TWI888891B (zh) |
| WO (1) | WO2024043813A1 (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190082193A1 (en) * | 2017-09-08 | 2019-03-14 | Qualcomm Incorporated | Motion compensated boundary pixel padding |
| KR20200096551A (ko) * | 2018-01-02 | 2020-08-12 | 삼성전자주식회사 | 움직임 예측에 의한 패딩 기법을 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| TWI752739B (zh) * | 2019-11-27 | 2022-01-11 | 聯發科技股份有限公司 | 視訊編解碼系統中的視訊處理方法和裝置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110122950A1 (en) * | 2009-11-26 | 2011-05-26 | Ji Tianying | Video decoder and method for motion compensation for out-of-boundary pixels |
| CN118042156A (zh) * | 2017-12-28 | 2024-05-14 | 韩国电子通信研究院 | 图像编码和解码的方法和装置以及存储比特流的记录介质 |
| KR102549936B1 (ko) * | 2018-03-29 | 2023-07-03 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 패딩을 위한 화면내-예측 모드 선택을 위한 장치 |
| US10904576B2 (en) * | 2018-04-27 | 2021-01-26 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method for generating a prediction image using a plurality of pixels generated outside of a boundary of a reference picture on which smoothing has been performed |
| EP4037320A1 (en) * | 2021-01-29 | 2022-08-03 | Lemon Inc. | Boundary extension for video coding |
| WO2023239147A1 (ko) * | 2022-06-07 | 2023-12-14 | 현대자동차주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
-
2023
- 2023-07-31 EP EP23857822.3A patent/EP4578187A4/en active Pending
- 2023-07-31 WO PCT/SE2023/050761 patent/WO2024043813A1/en not_active Ceased
- 2023-08-21 TW TW112131333A patent/TWI888891B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190082193A1 (en) * | 2017-09-08 | 2019-03-14 | Qualcomm Incorporated | Motion compensated boundary pixel padding |
| KR20200096551A (ko) * | 2018-01-02 | 2020-08-12 | 삼성전자주식회사 | 움직임 예측에 의한 패딩 기법을 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| TWI752739B (zh) * | 2019-11-27 | 2022-01-11 | 聯發科技股份有限公司 | 視訊編解碼系統中的視訊處理方法和裝置 |
Non-Patent Citations (1)
| Title |
|---|
| 網路文獻 F. Le Léannec et al., "EE2-2.2: Motion compensated picture boundary padding," Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29, 27th Meeting, by teleconference, 13–22 July 2022. Document: JVET-AA0096 (version 1 - date 2022-07-06 18:07:02) https://jvet-experts.org/doc_end_user/current_document.php?id=11772 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4578187A1 (en) | 2025-07-02 |
| EP4578187A4 (en) | 2025-12-17 |
| TW202425623A (zh) | 2024-06-16 |
| WO2024043813A1 (en) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113875250B (zh) | 通过参考图片重采样从时域块进行运动预测 | |
| JP7305873B2 (ja) | ビデオ処理方法、ビデオ・データ処理装置、記憶媒体及び記憶方法 | |
| TWI752739B (zh) | 視訊編解碼系統中的視訊處理方法和裝置 | |
| KR102737934B1 (ko) | 비디오 코딩에서 레퍼런스 샘플 위치 유도 | |
| JP7324940B2 (ja) | ビデオコーディングにおけるスケーリングウインドウ | |
| JP7482218B2 (ja) | ビデオコーディングにおける予測タイプシグナリング | |
| KR102762340B1 (ko) | 비디오 코딩 툴들을 위한 상위 레벨 신택스 | |
| CN114556955A (zh) | 参考图片重采样与视频编解码工具之间的相互作用 | |
| CN110677659A (zh) | 对于dmvr的块尺寸限制 | |
| JP2022550897A (ja) | 映像コーディングツールのレベルベースシグナリング | |
| WO2010143583A1 (ja) | 画像処理装置および方法 | |
| TW201639368A (zh) | 於視訊寫碼中針對子區塊推導運動資訊 | |
| CN114600461B (zh) | 用于多编解码工具的计算 | |
| CN113875232A (zh) | 视频编解码中的自适应颜色格式转换 | |
| WO2022174784A1 (en) | On boundary padding motion vector clipping in image/video coding | |
| JP2022553363A (ja) | ビデオ・データを処理する方法、装置及び記憶媒体 | |
| TW202236852A (zh) | 高效視訊編碼器架構 | |
| CN113545038B (zh) | 依赖于尺寸的帧间编解码 | |
| JP7555430B2 (ja) | ビデオビットストリームの各レイヤ表現のための値の導出 | |
| TWI888891B (zh) | 運動補償邊界填充 | |
| CN119452644A (zh) | 使用自适应跨分量滤波的色度运动补偿的方法和设备 | |
| RU2824188C2 (ru) | Способ определения позиций опорных отсчетов при кодировании видео | |
| CN120513625A (zh) | 用于自适应运动补偿滤波的方法和装置 | |
| CN120958798A (zh) | 用于自适应运动补偿滤波的方法和装置 | |
| CN120982091A (zh) | 用于自适应运动补偿滤波的方法和装置 |