[go: up one dir, main page]

TWI411305B - 動態參照訊框選擇方法和系統 - Google Patents

動態參照訊框選擇方法和系統 Download PDF

Info

Publication number
TWI411305B
TWI411305B TW96103752A TW96103752A TWI411305B TW I411305 B TWI411305 B TW I411305B TW 96103752 A TW96103752 A TW 96103752A TW 96103752 A TW96103752 A TW 96103752A TW I411305 B TWI411305 B TW I411305B
Authority
TW
Taiwan
Prior art keywords
frame
reference frames
blocks
frames
previously encoded
Prior art date
Application number
TW96103752A
Other languages
English (en)
Other versions
TW200731807A (en
Inventor
Kopparapu Suman
Pallapothu Shyam Sundera Bala Koteswara Gupta
Ramkishor Korada
Raghu Tippuru Srikantharao
Original Assignee
Flextronics Ap Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flextronics Ap Llc filed Critical Flextronics Ap Llc
Publication of TW200731807A publication Critical patent/TW200731807A/zh
Application granted granted Critical
Publication of TWI411305B publication Critical patent/TWI411305B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/557Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

動態參照訊框選擇方法和系統
本發明大致有關視頻壓縮方法,更詳而言之,係有關於有效的動態參照訊框選擇方法和系統。
視頻壓縮係使用於需要視頻資訊的傳送及/或儲存之應用。視頻資訊係組織成具有訊框群組的層。訊框之各群組包括一系列的單一訊框,而各單一訊框具有一靜止影像。當單一訊框被處理時,該等單一訊框係被處理以一起執行並形成連續移動的影像,而以數位格式來模擬一移動訊框。於該系列的訊框中之各影像訊框係分成數個大區塊,而各大區塊包括數個區塊。於一大區塊內之各區塊包括數個像素,而於各區塊中之像素的數量係根據視頻壓縮格式的類型以及所使用的解析度。
H.264是最新的視頻壓縮格式,其在各式各樣的多媒體市場迅速被接受。H.264類似於MPEG(動畫專家群組;Moving Frams Experts Group)標準,除了H.264係用於4x4的像素編碼單元。
就彈性而言,相較於之前的格式以及編解碼器的選擇,該H.264格式被認為具有很高的壓縮效能。然而,歸因於該H.264之該特殊的壓縮效能會有增加計算複雜性的成本,特別是於視頻壓縮系統中的編碼器模組。就可使用的參照訊框之數量而言,由H.264所提供的彈性使得最佳移動向量方法的搜尋非常複雜。舉例來說,JM參照碼版本對於H.264格式之不同的參照訊框執行一徹底的搜尋。此搜尋涉及非常高的計算複雜性,其會使H.264標準難以利用於即時應用。為了減少此複雜性,已有許多快速演算法供更有效率的移動向量搜尋。
這些提出的演算法藉由使用區塊層級選擇決定程序而減少不同的參照訊框之間的選擇之複雜性。舉例來說,用於各區塊之參照訊框係藉由分析鄰近的區塊或於所有參照訊框中之排列的區塊之"子像素位置"的參照訊框而被預測。
對各區塊選擇最佳參照訊框之一已知方法減少在壓縮期間所評估的參照訊框之數量。該待評估之參照訊框的數量係根據最遠的參照訊框(其係藉由看著鄰近的區塊以及一預先選擇的加法因子)來決定。此方法遭遇到沒有超出於參數組中所指定的最大參照訊框之數量的情形。
另一已知方法涉及對各區塊選擇參照訊框。對於每一區塊,"子像素位置"係根據於該最接近的參照訊框之該參照區塊的子像素位置以及有關該最接近的參照訊框之子像素移動向量而決定。早期終止檢查可應用於移動估計程序。舉例來說,若該區塊與該最接近的參照訊框之間的絕對誤差和(SAD)計算滿足一期望的值或若該區域是"單調的(flat)",則不會對其他參照訊框執行進一步的搜尋。若沒有滿足這些早期退出條件,則對所有的其他參照訊框執行移動估計。該方法分析排列至在不同的參照訊框中之目前的區塊之該等區塊的子像素位置,而僅其中子像素位置不同的參照訊框被選擇以供移動向量搜尋。若於兩個參照訊框中之排列的區塊具有相同的子像素位置,則選擇較靠近該目前的訊框者。此減少了搜尋所考慮到的參照訊框之數量。
雖然先前方法達成計算複雜性的減少,卻留下許多供進一步減少的範疇。舉例來說,在該方法(其對於目前的區塊之參照訊框之數量係根據選擇供鄰近區塊之最佳參照訊框與一預先選擇的加法因子來決定)中,該加法因子之值應至少為1,以使該機制適應良好。此將意指即使不需要多於一個的參照訊框之訊框,至少要使用一個額外的訊框。同樣地,於一訊框內,一些區塊可能僅需要一個參照圖片來考慮,而其他的者需要更多。於此情形中,參照圖片之最小數量則由使用的預先決定的加法因子所限制,其導致複雜性減少的次最佳化。
應用子像素位置以減少複雜性之該方法非常依靠移動向量搜尋機制。當移動向量搜尋本身具有次最佳化(如在即時應用的情形)時,該方法之效能會大大地減少。該方法亦需要相當多的額外儲存空間以供儲存所有像素之子像素位置。
因此,需要一種系統與方法,其可動態地且有效地決定有效地編碼影像訊框所需之參照訊框的數量。
本發明揭示一種用於決定參照訊框有效數量之系統與方法,該等參照訊框係藉由使用訊框層級適用技術來評估一影像。該系統與方法決定與更新參照訊框的數量,該等參照訊框的數量係根據先前經編碼的訊框之參照訊框選擇統計來搜尋。較佳地,當區塊的一第一期望的數量參照該最遠的參照訊框時,本發明增加參照訊框的數量。當區塊的一第二期望的數量參照該最遠的參照訊框時,本發明減少參照訊框的數量。當增加參照訊框的數量時,考慮到移動值。本發明評估是否部分的影像訊框為靜止,從而終止移動向量搜尋該部分。
此處之內文係說明本發明之具體實施例,其包括一編碼器之視頻壓縮系統。對於所屬技術領域具有習知技術者而言,以下本發明之詳細說明僅為說明用,而非限制用。透過說明書的揭露,對於所屬技術領域具有習知技術者而言,很容易能啟發本發明之其他具體實施例。本發明之詳細實施現在將透過所附圖式來顯示做為參考。相同的元件符號將使用於圖式中,且相同或類似部分將參照以下詳細說明。
為了清楚的目的,將不會顯示與說明此處所描述的實施之全部的一般特徵。當然,應瞭解到,於任何實際的實施之開發中,為了達成開發者的特定目的,例如應用之順應性與有關頻寬的限制,必須做出各式各樣的特定實施選擇,以及這些特定的目的將隨著各個實施與各個開發者而改變。再者,應瞭解到,此一開發效果可能會是複雜的且耗時的,不過對於得益於此說明書的揭露之所屬技術領域具有習知技術者,將是工程的例行公事。根據本發明,元件、處理步驟、及/或資料結構將藉由使用各種類型的作業系統、計算平台、電腦程式、及/或通用機器來實施。此外,所屬技術領域具有習知技術者將瞭解到:在不超出此處所揭露之本發明的概念之範疇與精神下,亦可使用例如硬接線的裝置、場可程式化閘極陣列(FPGA)、特殊應用積體電路(ASIC)、或類似物。
本發明大致係有關於一種供動態地決定最大數量的參照訊框之系統與方法,對於一影像之所有的大區塊,該等參照訊框較佳係藉由使用一訊框層級選擇技術與一大區塊/區塊層級選擇技術來評估。雖然區塊或大區塊係使用區塊層級選擇技術來評估,為了簡潔說明的目的,大區塊/區塊層級選擇技術後文中將參照為區塊層級選擇技術。該系統與方法決定且因此更新待搜尋之參照訊框的數量,該等參照訊框的數量,其係根據先前經編碼的訊框之參照訊框選擇統計以及將使用於各區塊/大區塊之參照訊框的數量。該系統與方法亦考慮到該內容以及各區塊的移動並沒有在訊框之間實質地改變。因此,在許多情況中,對於目前的影像訊框中之區塊,於先前的影像訊框中之區塊的統計可被假設為相同。雖然本發明之系統與方法可使用其他的標準,本發明之系統與方法較佳係使用H.264標準。
第1圖顯示根據本發明之具體實施例,使用於一視頻移動搜尋期間之一視頻序列的影像訊框之群組的範例示意圖。如第1圖之範例所示,視頻序列100具有n個沿著時間流向水平地排列之訊框。在此範例中,影像訊框122係表示目前正被評估的訊框,而訊框118,116,114等為在時間上處於目前的訊框122之前,而訊框124為在時間上處於目前的訊框122之後。
如第1圖所示之目前的訊框122包括數個區塊123,其中各區塊含有一矩陣的像素。該等區塊可被組成一或多個的大區塊之組。舉例來說,該等訊框可包括一或多個16x16的大區塊,而根據所使用的視頻編碼標準之類型,該等大區塊可更進一步劃分成尺寸為16x8,8x16,8x8,8x4,4x8或4x4之區塊。
該系統與方法使用二層級方式來減少在移動估計期間,待評估之參照訊框的數量。該系統與方法較佳使用一訊框層級(此處亦參照為訊框層級選擇技術)或其適應,以決定對於目前的訊框中所有區塊之參照訊框的最大數量。該系統亦執行一區塊層級選擇決定技術,以獨立地決定對於目前的訊框中各區塊之待評估的參照訊框之最大數量。
該訊框層級選擇方式對於下列訊框有優勢:將對該訊框之所有區塊評估之參照訊框的最佳數量為1。因此,由於訊框層級選擇將表示於目前的訊框中之所有區塊將使用一個(最近的)參照訊框,故不會有位元浪費在編碼該參照訊框指標於該區塊層級。舉例來說,當將評估該目前的影像之該參照影像的數量被決定為1時,於片標頭之語法元素‘num_ref_idx_10_active_minusl’(其為可允許之參照訊框的最大數量)可被設為0。如將被討論者,於該訊框所做出的訊框層級選擇亦具有下列優勢:若該序列的移動太快或太慢,則減少參照訊框的數量至1。
第2圖顯示根據本發明之具體實施例的系統之一編碼器的示意圖。應瞭解的是,於第2圖中之編碼器200係一簡化示意圖,並沒有圖示出編碼器200之所有元件。如第2圖所示,編碼器200接收一輸入訊號202,該輸入訊號202代表一影像訊框之序列,如第1圖所顯示之範例,其中所接收的影像訊框較佳係一個接著一個地傳送至目前的訊框緩衝器模組204,並儲存於其中。各影像訊框較佳係從訊框緩衝器模組204傳送至訊框編碼器模組206,並於其中將該目前的訊框編碼。
訊框編碼器模組206將該目前的訊框編碼,以產生位元流。其亦執行類似一解碼器之解碼操作以重建該訊框,使得未來將被編碼之該訊框能使用該訊框作為一參照訊框。此重建迴路之實行係針對該編碼器希望在未來使用作為參照之訊框。假設所有該等訊框接標示為參照訊框。一旦該訊框被編碼及重建,則該位元流被傳送至輸出緩衝器214且該經重建的訊框被儲存於參照訊框記憶體216。任何特定參照圖片的使用次數之統計係收集於參照訊框統計收集器210。移動向量統計係計算於移動值計算器208。當下一張圖片抵達時,對於將使用的參照訊框之最大數量(NumRefs)的該訊框層級選擇係使用從參照訊框統計收集器210與移動值計算器208所儲存/獲得之資料而於參照訊框估計器212中取得。
輸出緩衝器214透過一或多個有線及/或無線媒體輸出該經壓縮的訊號至一解碼模組(未圖示)。該解碼模組(未圖示)接收並重建該經壓縮的訊框且傳送該經重建的訊框至一電視、PDA、行動電話、視頻電話、電腦、手持電腦、伺服器及/或顯示螢幕。
第2圖為一功能方塊圖,其中於第2圖之方塊係根據其功能來分開。該等方塊實際上(以具體實施而言)無法以此相同的方式來分開。
如前所述,該系統與方法較佳亦於訊框122之移動估計期間執行一區塊層級選擇技術於該目前的訊框122本身。訊框編碼器206較佳利用該移動估計器/補償器模組(未圖示),以執行此方法。如將於後文所討論者,訊框編碼器206可進一步減少該NumRefs值(見後文)至一較小值,以增加該系統的效率。應瞭解的是,訊框編碼器206包括本領域所熟知之額外的組件,此處不詳細討論。
第3A圖顯示根據本發明之一具體實施例的方法之流程圖,該方法動態地決定對於該目前的影像之參照訊框的有效數量。於步驟302中,接收目前的訊框122。若該目前的訊框為一經在內編碼的(infra-coded)訊框,則根據定義參照訊框的數量為0。因此沒有進行第3A圖之程序。應注意的是,該序列之第一訊框總是經在內編碼的訊框。
於一實施例中,如於步驟304所示,該系統與方法使用該訊框層級選擇技術來評估先於該目前的訊框之該訊框的參照訊框統計。若先前的訊框120為一經在內編碼的訊框,則由於經在內編碼的訊框沒有使用參照訊框,故沒有可用的參照訊框統計。因此對於該目前的訊框,參照訊框的數量被直接設為1且沒有進行第3A圖之程序。此外,對於目前的訊框122,供選擇參照訊框的數量之訊框層級選擇較佳係根據先於目前的訊框122之訊框(於第1圖中之訊框120)的統計。替代地或額外地,該訊框層級選擇係根據後於目前的訊框122之訊框124的統計。使用以執行該訊框層級選擇技術之該統計為參照(該先前的訊框所參照的所有參照訊框之)該最遠的參照訊框之該先前的訊框中的區塊之數量。舉例來說,如第1圖所示,雖然非為必要,與先前的訊框120最遠的該參照訊框可為訊框102。該等區塊(參照此最遠的參照訊框)的數量在本方法中被稱做Farthestblocks值。該訊框層級選擇亦利用於該先前的訊框中之區塊的總數量(後文中被稱做Totalblocks)。
於本發明之另一具體實施例中,Farthestblocks可被計算為於該先前的訊框中之區塊的平均數量,該先前的訊框參照一或多個最遠的參照訊框。
於本發明之又一具體實施例中,Farthestblocks可藉由平均於一或多個先前的訊框中之區塊的數量而獲得,該先前的訊框參照該等先前經編碼的訊框之一或多個最遠的參照訊框。
應瞭解的是,於較佳實施例中,該先前的訊框意指暫時地先前的訊框(於顯示次序)。然而,本發明之其他具體實施例可使用任何先前經編碼的訊框(暫時地先前或暫時地未來)以計算該Farthestblocks值。
在根據大區塊來決定該Farthestblocks與Totalblocks值方面,16x16的大區塊將被指定為1單位;16x8或8x16的區塊將被指定為0.5單位;8x8的區塊將被指定為0.25單位等。本發明之訊框層級選擇技術亦利用參照訊框的數量NumRefs,其係參照該先前的訊框。此外,該訊框層級技術亦利用該先前的訊框之平均移動AvgMotion。該Totalblocks值較佳係於該訊框中之大區塊的總數量與被編碼為在內訊框(infra-frame)大區塊之大區塊的數量之差。
如前所述,雖然該等參照訊框係在時間上先於該目前的訊框,該等參照訊框可在時間上後於目前的訊框122。因此,該NumRefs與Farthestblocks值係方向敏感的且應指示於該先前的訊框中之後於參照訊框及/或區塊的數量。
於步驟304中評估該目前的訊框,決定了該Totalblocks/Numrefs的比例(後文中稱做RATIO)。該RATIO值為於該先前的訊框中之該等區塊的數量,其參照該最遠的參照訊框使所有的參照訊框平均地參照。
本發明之該系統與方法考慮該RATIO值以提供應用於該Farthestblocks值之較高與較低臨限限制。這些權重值於此標示為ThrRatio1與ThrRatio2且被使用以決定用於該目前的訊框之參照訊框之有效數量。很顯然的,在不超出本發明之精神與範疇的情形下,亦可使用其他適當的方法以決定用於該影像訊框之參照訊框之有效數量。
如於步驟308所示,該系統與方法決定是否太多或太少於該先前的訊框中之區塊參照該最遠的參照訊框。特別地,該Farthestblocks值可相比與從該先前的訊框之Totalblocks與Numrefs值所獲得的臨限比例ThrRatio1與ThrRatio2。該ThrRatio1與ThrRatio2值係藉由考慮加權RATIO與一實驗因子而獲得。於一具體實施例中,該ThrRatio1值係藉由將RATIO乘以因子0.5而獲得,而該ThrRatio2值係藉由將RATIO乘以因子0.15而獲得。亦可考慮以其他的值用於該ThrRatio1與ThrRatio2值。
如第3A圖所示,於步驟308,該系統與方法比較該Farthestblocks值與該ThrRatio1值。特別地,若該Farthestblocks值小於該ThrRatio1值,則該系統將接著比較該Farthestblocks值與該ThrRatio2(步驟314)。該ThrRatio2值係作為一較高參數限制,於該限制做出關於是否參照訊框的數量應減少在編碼的目前的訊框122之選擇。該ThrRatio2值係被實驗地決定且與使用該系統與方法之應用有關。
若於步驟314決定該Farthestblocks值沒有大於該ThrRatio2值,則該系統將推斷於參照該最遠的參照訊框之先前的訊框120中之區塊的總數量有太少的區塊。於此情形中,該系統與方法較佳以值為1來減少參照訊框的數量(步驟316),其中該經更新的參照訊框之數量(NewNumRefs)為目前的訊框122之任何區塊可使用之參照訊框的最大數量。減少用於目前的訊框122之參照訊框的最大數量將不會影響其預測效率,此係因為於該目前的訊框中之多數的區塊參照一較近的參照訊框。雖然參照訊框的數量以值為1來減少,應瞭解的是,參照訊框的數量可以大於或小於1之值來減少。
然而,如於第3A圖之步驟314所示,若決定該Farthestblocks值大於該ThrRatio2值且小於該ThrRatio1值,則以最大參照訊框的最佳值將該先前的訊框編碼。因此,該系統與方法將更新該NewNumRefs值不增加或減少,而使用於目前的訊框122中之任何區塊的參照訊框之最大數量將與使用於先前的訊框120之值相同。
參考回步驟308,若決定該Farthestblock值係大於ThrRatio1,則該系統與方法將決定於參照該最遠的參照訊框之該先前的訊框之區塊的顯著數量及參照訊框的數量可被增加。然而,該系統與方法較佳亦決定是否該先前的訊框之平均移動係於一期望的範圍之內,使得該訊框之移動不會太快或太慢。
於一具體實施例中,如第3A圖所示,於步驟310中,該系統與方法較佳決定是否於該先前的訊框之大區塊的移動向量之值大於或小於一移動值標準。應瞭解的是,於一實施例中,當該大區塊被評估於移動向量預測時,則步驟310可於步驟304內執行。可考慮到,在不超出本發明之精神與範疇的情況下,步驟310可替代地發生於一不同的步驟。
該系統與方法決定是否該等移動向量係在該預定的移動值標準之內,此係由於當該等區塊的移動太快或太慢時,增加參照訊框的數量將不會產生任何效率的增益。但是,若決定於該影像中之區塊的移動值係在該預定的移動值標準之內時,則該系統與方法將增加參照訊框的數量(步驟310)。因此,該系統與方法監視該影像區塊的移動,以避免無關的計算同時保持低的品質損失。
於一具體實施例中,關於最接近之參照訊框的所有大區塊之所有移動向量係較佳透過整個訊框來計算與平均,以計算於該訊框中之平均移動的值。該平均移動值係於此處被參照為AvgMotion。於一具體實施例中,先前的影像120之16x16的大區塊移動向量被平均,以獲得對於目前的訊框122之該平均移動值。於一具體實施例中,該系統利用該等大區塊分割以及子分割的移動向量以計算該平均移動值。應瞭解的是,該系統與方法能使用任何適合的方法來計算該平均移動值,而不被此處所揭露之特定計算方法所限制。舉例來說,對於一或多個其參照訊框,一或多個先前經編碼的訊框之移動向量可被使用以計算該平均移動值。同樣地,對於一或多個其參照訊框,目前的訊框之移動向量亦可被使用。
於一具體實施例中,該系統與方法形成AvgMotion值與該訊框之寬度與長度的和之一比例。此比例值於此被參照為MotionRatio。於步驟310,該系統與方法分別比較MotionRatio及較高與較低臨限值ThrMotion1與ThrMotion2,以決定是否該移動太高或太低。該等ThrMotion1與ThrMotion2值係根據該影像的大小以及格式的類型(例如CIF,QCIF等)。因此,該系統與方法可被應用於任何大小與格式之訊框。該等ThrMotion1與ThrMotion2值亦有關於該訊框之像素解析度。
如所述,該AvgMotion值係根據有關該最接近的參照訊框之該等向量的移動。在一具體實施例中,於該最接近的參照訊框不是立即在目前的訊框之情況下,該平均移動係使用介於該等兩個訊框之間的時間距離來常態化。常態化該平均移動之一種方法係將該平均移動值除以兩個連續不斷的影像訊框之時間距離。然而,應注意的是,任何其他已知的計算該平均移動之方法皆可考慮於本發明。舉例來說,可使用子大區塊/子區塊分割移動向量。替代地,可使用有關任何參照訊框之移動向量,其中移動向量可被按比例縮放以計算該平均移動。
於一具體實施例中,若該AvgMotion值大於ThrMotion1,則該系統與方法決定該訊框之移動太高。於一具體實施例中,若該AvgMotion小於ThrMotion2,則該系統與方法決定該訊框之移動太低。於任一情況下,該Numrefs值係不改變且程序前進至步驟318。
然而,若該系統與方法決定該AvgMotion值小於ThrMotion1且大於ThrMotion2,則該Numrefs值較佳係以值為1來增加(步驟312)。應瞭解的是,雖然參照訊框之數量較佳係以值為1來增加,參照訊框之數量可以大於或小於1之值來增加。
一旦更新了該NumRefs值,該系統與方法開始移動估計該目前的訊框。此可使用區塊或大區塊層級選擇決定來完成。當處理各區塊或大區塊時,將對於區塊或大區塊來評估的參照訊框之數量可被減少至一較小的值。
第3B圖顯示根據本發明執行區塊層級選擇技術的一種方法,以決定是否可做出一提早的終止選擇。如第3B圖所示,移動估計係執行於該目前的訊框,較佳於一大區塊層級(步驟402)。如步驟404所示,該移動估計以參照訊框0開始,其係該最接近的參照訊框。同樣地,為了說明的目的,使用等級搜尋機制於16x16的分割移動搜尋,其後跟著子區塊移動向量搜尋。然而,可使用其他搜尋機制於此相同的方法。如步驟406所示,移動估計係使用任何適合的技術而執行於16x16的大區塊矩陣。
如步驟408所示,該系統與方法利用適合的絕對誤差和(SAD)計算以決定是否該早期終止條件適用於該特定的大區塊或區塊。對於各大區塊,該系統將決定是否對該大區塊所獲得之該SAD值小於一臨限SAD值,後文中稱做ThrSAD。雖然編碼器200使用16x16(大區塊)SAD值(在執行子分割移動估計之前),可替代地使用該大區塊之子分割SAD之和來做出該大區塊層級選擇(在執行子分割移動估計之後)。亦應注意的是,雖然於一具體實施例中,編碼器200利用SAD測量,在不超出本發明之精神與範疇的情形下,該編碼器能根據碼率失真損失或其他適合的測量來代替SAD計算而替代地執行該大區塊層級選擇。
該ThrSAD值係較佳根據該訊框之影像品質以及編碼器200之期望的效能來決定。一相對小的ThrSAD值不會顯著地改進編碼系統之計算效能,也不會減少該訊框之影像品質。對比之下,一相對大的ThrSAD值會顯著地改進編碼系統之計算效能,但亦會減少該訊框之影像品質。該ThrSAD值可介於384與512之間,然而根據使用編碼器200之應用,亦可使用其他的值。
於步驟306,若該系統與方法決定該SAD值小於該ThrSAD值,則對於該大區塊而言,不需考慮進一步的參照訊框。對於所有的分割(16x8,8x16,8x8等)之移動估計係針對給定的參照訊框來實行(步驟410)。該目前的大區塊之移動估計結束(步驟418),而對於該下一個大區塊之移動估計則開始(步驟402)。然而,若該SAD值大於該ThrSAD值,則對於該大區塊,有關給定的參照訊框,完成分割移動搜尋,且有關該下一個參照訊框之移動估計(為最大的NumRefs)係對於該相同的大區塊而實行(步驟406)。
如第3B圖所示,該系統與方法比較(步驟414)該參照訊框數量與使用於由使用訊框-層級機制所決定之目前的訊框122之該最大參照訊框數量,且若所評估的參照訊框數量小於該最大參照訊框數量,列增加參照訊框數量(步驟416)並完成對於該下一個參照訊框之移動估計(步驟406)。此外,該目前的大區塊之移動估計結束(步驟418),而對於該下一個大區塊之移動估計則開始(步驟402)。
應瞭解的是,揭露於第3B圖之區塊層級技術係作為區塊層級流程之一種類型的範例。因此,本發明之該系統與方法並不限於第3B圖所顯示之程序,且在不超出本發明之精神與範疇的情形下,可使用任何其他的區塊層級技術。
對於在目前的訊框122中之特定的大區塊,該評估終止條件避免搜尋任何額外的參照影像訊框。此一條件可適合於下列情形:該大區塊沒有改變或移動(例如為一靜止區域,如該影像的背景)。該早期終止條件亦可儲存計算資源於下列情形:該目前的訊框之一些部分正在移動且需要一較大的參照訊框之數量,其中一些部分為靜止而需要一小的參照訊框之數量。於一早期終止條件存在的情形中,該系統將終止該大區塊的評估並評估該下一個大區塊。
以下所顯示之表1與表2顯示分別對於共用中間格式(CIF)與四分之一共用中間格式(QCIF)序列使用JM7.4參照軟體所執行的實驗。該PSNR值係藉由致能所有的工具來計算,以達成最佳的品質於該參照軟體。該實驗係以H.264基線規模(baseline profile)實行。然而,該設計亦可使用其他的規模。於各序列中,以每秒序列為30訊框,對於CIF序列之位元率為512 kbps而對於QCIF序列之位元率為128 kbps。於下列範例中,該最大參照訊框之數量被設為5。
於表1與表2可知,該系統與方法對於該等序列使用較多的參照訊框,使用多個參照訊框產生實質的增益。對於快移動與慢移動的序列,本發明動態地更新使用的參照訊框之數量,導致計算複雜性明顯的降低。相較於沒有使用該演算法者,該系統與方法達成於計算複雜性達到75%的減少,而使用該方法於品質的損失量相比之下明顯的小(約0.1 dB)。
第4圖至第8圖顯示對於表1之該CIF序列的編碼系統之碼率失真效能的圖式。第9圖至第13圖顯示對於表2之該QCIF序列的編碼系統之碼率失真效能的圖式。水平軸表示位元率,而垂直軸表示峰訊號雜訊比PSNR(亦即失真)。於第4圖至第8圖中,所考慮的位元率為256 kbps,384 kbps,512 kbps,768 kbps與1024 kbps。於第9圖至第13圖中,所估計的位元率為64 kbps,128 kbps,192 kbps,256 kbps與384 kbps。每秒為30訊框之訊框率係使用於所有的序列。如第4圖至第13圖所示,圖式表示:相較於現有的壓縮演算法,由於本發明之該PSNR損失在一大範圍的位元率中顯得相當小。
雖然已顯示及揭露本發明之具體實施例與應用,於對於得益於此說明書之所屬技術領域者而言,在不偏離本發明之概念的情形下,較上述更多之許多的修改係可能的。因此,本發明並非用以限制,除了涵蓋於後附申請專利範圍之精神者。
100...視頻序列
200...編碼器
102...訊框
202...輸入訊號
114...訊框
204...訊框緩衝器模組
116...訊框
206...訊框編碼器模組
118...訊框
208...移動值計算器
120...訊框
210...參照訊框統計收集器
122...訊框
212...參照訊框估計器
123...區塊
214...輸出緩衝器
124...訊框
216...參照訊框記憶體
所附圖示(結合且為此說明書之一部分,說明本發明之一或多個具體實施例)以及詳細說明係用以說明本發明之觀念與實施。
其中:第1圖顯示根據本發明之具體實施例,影像訊框之群組的示意圖。
第2圖顯示板據本發明之具體實施例的系統之一視頻壓縮編碼器的方塊圖。
第3A圖顯示根據本發明之一具體實施例的編碼方法之訊框層級技術的流程圖。
第3B圖顯示根據本發明之一具體實施例的編碼方法之大區塊/區塊層級技術的流程圖。
第4圖至第8圖顯示對於不同的CIF序列的編碼發明之碼率失真效能的圖式。
第9圖至第13圖顯示對於不同的QCIF序列的編碼發明之碼率失真效能的圖式。
200...編碼器
202...輸入訊號
204...訊框緩衝器模組
206...訊框編碼器模組
208...移動值計算器
210...參照訊框統計收集器
212...參照訊框估計器
214...輸出緩衝器

Claims (25)

  1. 一種有效地評估一目前的訊框以用於移動估計之方法,該方法實施在一視頻壓縮系統,該視頻壓縮系統包含一編碼器,該方法包括:決定參照訊框之數量,該等參照訊框係被一先前經編碼的訊框參照;決定該先前經編碼的訊框之區塊的數量,該先前經編碼的訊框係參照一最遠的參照訊框;比較該參照該最遠的參照訊框之該先前經編碼的訊框之區塊的數量與一期望的臨限範圍;以及當該等區塊的數量係在該期望的臨限範圍之內時,更新將與該目前的訊框使用之該等參照訊框的數量。
  2. 如申請專利範圍第1項所述之方法,其中該更新之步驟另包括:當該等區塊的數量係大於一較高臨限值時,增加該等參照訊框的數量。
  3. 如申請專利範圍第1項所述之方法,其中該更新之步驟另包括:當該等區塊的數量係小於一較低臨限值時,減少該等參照訊框的數量。
  4. 如申請專利範圍第2項所述之方法,其中該較高臨限值另包括該先前經編碼的訊框之區塊的總數量與一使 用於該先前經編碼的訊框之參照訊框的總數量之比例,其中該比例乘以一第一權重值。
  5. 如申請專利範圍第3項所述之方法,其中當該等區塊的數量係大於該較低臨限值且小於一較高臨限值時,對於該目前的訊框,不改變該參照訊框的數量。
  6. 如申請專利範圍第3項所述之方法,其中該較低臨限值另包含一先前的訊框之區塊的總數量與一使用於該先前經編碼的訊框之參照訊框的總數量之比例,其中該比例乘以一第二權重值。
  7. 如申請專利範圍第1項所述之方法,其中該更新之步驟另包括:不改變將與該目前的訊框使用之參照訊框的數量。
  8. 如申請專利範圍第1項所述之方法,另包括決定是否滿足一早期終止條件。
  9. 如申請專利範圍第2項所述之方法,另包括計算該先前經編碼的訊框之平均移動,其中當該先前經編碼的訊框之區塊的數量係大於該較高臨限值且該平均移動係於一移動臨限範圍之內時,增加參照訊框的數量。
  10. 如申請專利範圍第9項所述之方法,其中該平均移動係使用該先前經編碼的訊框之移動向量來計算。
  11. 如申請專利範圍第9項所述之方法,其中該平均移動係使用針對一或多個參照訊框之一或多個先前經編碼的訊框之移動向量來計算。
  12. 如申請專利範圍第9項所述之方法,其中該平均移動係使用該目前的訊框之移動向量來計算。
  13. 如申請專利範圍第1項所述之方法,其中與該期望的臨限範圍相比,該等區塊的數量係一平均數量的區塊。
  14. 如申請專利範圍第1項所述之方法,其中該等先前經編碼的訊框之顯示次序在該目前的訊框之前。
  15. 如申請專利範圍第1項所述之方法,其中該等先前經編碼的訊框之顯示次序在該目前的訊框之後。
  16. 如申請專利範圍第1項所述之方法,另包括在更新參照訊框的數量之後,於該目前的訊框執行一區塊層級選擇技術。
  17. 一種包含一編碼器的數位視頻壓縮系統,該數位視頻 壓縮系統經調適以接收一經數位化的視頻訊號,包括:一第一模組,該第一模組用以決定參照訊框之數量,該等參照訊框係被先於一目前的訊框之一訊框所參照;一第二模組,該第二模組用以決定先前經編碼的訊框之區塊的數量,該先前經編碼的訊框係參照一最遠的參照訊框;以及一第三模組,該第三模組用以當參照該最遠的參照訊框之該先前經編碼的訊框的該等區塊的數量係在一期望的臨限範圍之內時,更新將與該目前的訊框使用之該等參照訊框的數量。
  18. 如申請專利範圍第17項所述之系統,其中該目前的訊框係利用該經更新的參照訊框之數量來編碼。
  19. 如申請專利範圍第17項所述之系統,其中當該目前的訊框之平均移動係於一期望的移動值範圍之內時,增加該等參照訊框的數量。
  20. 如申請專利範圍第17項所述之系統,其中當該等區塊的數量係小於一較低臨限比例時,減少該等參照訊框的數量。
  21. 如申請專利範圍第17項所述之系統,其中該編碼器使 用一訊框層級方式來評估該目前的訊框。
  22. 一種用於將一具有複數個區塊之目前的訊框編碼之方法,該方法包括:評估先於該目前的訊框之一訊框;以及根據先於該目前的訊框之該訊框來決定將使用於該目前的訊框之參照訊框的一最大數量,其中參照訊框的該最大數量係使用一訊框層級選擇方式來計算。
  23. 如申請專利範圍第22項所述之方法,另包括使用一區塊層級選擇方式來決定於該目前的訊框中每個區塊將使用之參照訊框的數量,其中該區塊層級選擇方式係於該訊框層級選擇方式之後執行。
  24. 如申請專利範圍第22項所述之方法,另包括決定是否適用一早期終止條件。
  25. 一種經調適以用於一數位視頻壓縮系統之編碼器,該編碼器經調適以用於接收一具有一序列的訊框之視頻訊號,該編碼器包括:用以決定參照訊框之數量之元件,該等參照訊框係被一先前經編碼的訊框參照;用以決定該先前經編碼的訊框之區塊的數量之元件,該先前經編碼的訊框係參照一最遠的參照訊框;以及 更新元件,當該等區塊的數量在一期望的臨限範圍之內時,用以更新將使用於一目前的訊框之該等參照訊框的數量。
TW96103752A 2006-02-01 2007-02-01 動態參照訊框選擇方法和系統 TWI411305B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/346,619 US9137537B2 (en) 2006-02-01 2006-02-01 Dynamic reference frame decision method and system

Publications (2)

Publication Number Publication Date
TW200731807A TW200731807A (en) 2007-08-16
TWI411305B true TWI411305B (zh) 2013-10-01

Family

ID=38322081

Family Applications (1)

Application Number Title Priority Date Filing Date
TW96103752A TWI411305B (zh) 2006-02-01 2007-02-01 動態參照訊框選擇方法和系統

Country Status (3)

Country Link
US (1) US9137537B2 (zh)
TW (1) TWI411305B (zh)
WO (1) WO2007089916A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165209B2 (en) * 2007-09-24 2012-04-24 General Instrument Corporation Method and apparatus for providing a fast motion estimation process
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
US20090238268A1 (en) * 2008-03-20 2009-09-24 Mediatek Inc. Method for video coding
CN102387361B (zh) * 2010-09-02 2016-06-01 乐金电子(中国)研究开发中心有限公司 视频编解码的参考帧处理方法及视频编解码器
US10602175B2 (en) * 2012-12-21 2020-03-24 Nvidia Corporation Using an average motion vector for a motion search
KR101621854B1 (ko) * 2014-02-21 2016-05-17 연세대학교 산학협력단 Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US6052417A (en) * 1997-04-25 2000-04-18 Sharp Kabushiki Kaisha Motion image coding apparatus adaptively controlling reference frame interval
US20020172284A1 (en) * 2001-03-29 2002-11-21 Koninklijke Philips Electronics N. V. Scalable MPEG-2 video decoder with selective motion compensation
US20030215014A1 (en) * 2002-04-10 2003-11-20 Shinichiro Koto Video encoding method and apparatus and video decoding method and apparatus
US20050135481A1 (en) * 2003-12-17 2005-06-23 Sung Chih-Ta S. Motion estimation with scalable searching range
US20050152452A1 (en) * 2002-07-15 2005-07-14 Yoshinori Suzuki Moving picture encoding method and decoding method
US20050175105A1 (en) * 2004-02-06 2005-08-11 Industrial Technology Research Institute Block matching method for video compression

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782052B2 (en) * 2001-03-16 2004-08-24 Sharp Laboratories Of America, Inc. Reference frame prediction and block mode prediction for fast motion searching in advanced video coding
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
KR100510138B1 (ko) * 2003-05-01 2005-08-26 삼성전자주식회사 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US6052417A (en) * 1997-04-25 2000-04-18 Sharp Kabushiki Kaisha Motion image coding apparatus adaptively controlling reference frame interval
US20020172284A1 (en) * 2001-03-29 2002-11-21 Koninklijke Philips Electronics N. V. Scalable MPEG-2 video decoder with selective motion compensation
US20030215014A1 (en) * 2002-04-10 2003-11-20 Shinichiro Koto Video encoding method and apparatus and video decoding method and apparatus
US20050152452A1 (en) * 2002-07-15 2005-07-14 Yoshinori Suzuki Moving picture encoding method and decoding method
US20050135481A1 (en) * 2003-12-17 2005-06-23 Sung Chih-Ta S. Motion estimation with scalable searching range
US20050175105A1 (en) * 2004-02-06 2005-08-11 Industrial Technology Research Institute Block matching method for video compression

Also Published As

Publication number Publication date
TW200731807A (en) 2007-08-16
WO2007089916A2 (en) 2007-08-09
US20070177666A1 (en) 2007-08-02
US9137537B2 (en) 2015-09-15
WO2007089916A3 (en) 2008-02-21

Similar Documents

Publication Publication Date Title
US9071841B2 (en) Video transcoding with dynamically modifiable spatial resolution
US7843995B2 (en) Temporal and spatial analysis of a video macroblock
JP5535618B2 (ja) 動き予測検索範囲及び拡張動きベクトルの範囲の動的選択
CN101321287B (zh) 基于运动目标检测的视频编码方法
KR100667806B1 (ko) 영상 부호화 및 복호화 방법 및 장치
US8571106B2 (en) Digital video compression acceleration based on motion vectors produced by cameras
US9936217B2 (en) Method and encoder for video encoding of a sequence of frames
WO2021114846A1 (zh) 一种视频降噪处理方法、装置及存储介质
CN106537923A (zh) 自适应视频流的技术
KR101459397B1 (ko) 움직임 보상 비디오 코딩에 있어서, 이미지 블록들을 비교하기 위한 메트릭을 결정하는 방법 및 시스템
JP2014150568A (ja) 画像の符号化および復号化
JP2011512047A (ja) メタデータを使用してより低い複雑さの複数ビットレートビデオ符号化を実行する方法及び装置
TWI411305B (zh) 動態參照訊框選擇方法和系統
Liu et al. Enlarged motion-aware and frequency-aware network for compressed video artifact reduction
WO2017101350A1 (zh) 变分辨率的编码模式预测方法及装置
CN108401185B (zh) 参考帧选择方法、视频转码方法、电子设备和存储介质
Liu et al. H. 264/AVC video error concealment algorithm by employing motion vector recovery under cloud computing environment
CN116320529B (zh) 视频码率控制方法及装置、计算机可读存储介质
US20120195364A1 (en) Dynamic mode search order control for a video encoder
WO2025036071A1 (zh) 视频编码方法、装置、设备、存储介质及程序产品
Saha et al. A neighborhood elimination approach for block matching in motion estimation
CN110278434A (zh) 一种快速多复合帧视频编码的方法、装置及存储介质
US12166997B2 (en) Perceptually-aware online per-title encoding for live video streaming
JP4216769B2 (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN111541898B (zh) 一种编码模式的确定方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees