TW201029475A - Intelligent frame skipping in video coding based on similarity metric in compressed domain - Google Patents
Intelligent frame skipping in video coding based on similarity metric in compressed domain Download PDFInfo
- Publication number
- TW201029475A TW201029475A TW098125608A TW98125608A TW201029475A TW 201029475 A TW201029475 A TW 201029475A TW 098125608 A TW098125608 A TW 098125608A TW 98125608 A TW98125608 A TW 98125608A TW 201029475 A TW201029475 A TW 201029475A
- Authority
- TW
- Taiwan
- Prior art keywords
- frame
- current video
- threshold
- video
- similarity measure
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 98
- 238000011524 similarity measure Methods 0.000 claims description 152
- 239000013598 vector Substances 0.000 claims description 58
- 238000004891 communication Methods 0.000 claims description 53
- 238000012805 post-processing Methods 0.000 claims description 53
- 238000013139 quantization Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000000153 supplemental effect Effects 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 3
- 230000008602 contraction Effects 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 abstract description 15
- 238000006731 degradation reaction Methods 0.000 abstract description 15
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 239000000463 material Substances 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000831576 Chlorophthalmus acutifrons Species 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
201029475 六、發明說明: 【發明所屬之技術領域】 本發明係關於數位視訊編碼,且更特定言之係關於用於 視訊編碼或視訊解碼中之訊框跳略的技術。 本專利申請案主張2008年7月29曰申請的臨時申請案第 61/084,534號之優先權,該案已讓與給其受讓人,且在此 以引用之方式明確地併入本文中。 【先前技術】
已開發了許多不同視訊編碼技術以用於數位視訊序列之 編碼及解碼。舉例而言,動晝專業團體(MpEG)已開發了 若干種編碼標準,其包括mpeg]、厘托〇_2及141>£(5_4。 其他實例編碼技術包括在由國際電信聯盟(ITU)開發之標 準(諸如!TU-T Η.263標準與ITU_T Η 264標準及其對應物 ISO/IEC MPEG-4第1G部分(亦即,進階視訊編碼(Avc)))中 所陳述的編碼技術。此等及其他視訊編碼技術支援藉由以 壓縮方式來編碼資料而有效傳輸視訊序列。壓縮減少了需 要在器件之間傳輸以便傳達—給定視訊序列之資料的量。 視訊壓縮可涉及空間及/或時間預測以減少視訊序列中 所固有之冗餘。訊框内編碼使用空間預測以減少同一視訊 訊框内之視訊區塊的空間冗餘。訊框間編碼使用時間預測 以減少連續視訊訊框t之視訊區塊之間的時間冗餘。對於 訊框間編碼而言,視訊編碼器執行運動料以產生指示視 訊區塊相對於一或多個參考訊框 中之對應預測視訊區塊之 移位的運動向量。視訊編碼器執行運動補償以自參考訊框 142288.doc 201029475 產生一預測視訊區塊,且藉由自經編碼之原始視訊區塊減 去該預測視訊區塊而形成一剩餘視訊區塊。 訊框跳略通常由編碼器件及解碼器件出於多種不同原因 實施。大體而言,訊框跳略指代在編碼器處或在解碼器處 故意避免-或多個訊框之處理、編碼、解碼、傳輸或顯示 的技術。當使用訊框跳略時,與視訊序列相關聯之訊框速 率可能減小,此通常在某程度上使視訊序列之品質降級。 舉例而言,視訊編碼應用可實施訊框跳略以便滿足與一視 訊序列之通信相關聯的低頻寬要求。或者,視訊解碼應用 可實施訊框跳略以便減少解碼器件之功率消耗。 【發明内容】 本發明提供一種智慧型訊框跳略技術,其可由編碼器件 或解碼器件使用從而以可有助於最小化歸因於訊框跳略之 '«質降級的方式來促進訊桓跳略。詳言之,所描述之技術 可實施一經設計以識別訊框跳略之良好候選訊框的相似性 量度。根據所揭示之技術,可相對於習知訊框跳略技術減 少如由視訊序列之檢視器所察覺到的由訊框跳略引起之顯 著視訊品質降低。可由編碼器實施所描述之技術以便減少 發送一視訊序列所需的頻寬。或者,可由解碼器實施所描 述之技術以便減少功率消耗。在解碼器之狀況下,可實施 該等技術以完全跳略一或多個訊框之解碼或僅跳略一或多 個訊框之後處理及顯示。 所描述之技術在壓縮域中有利地操作。詳言之,該等技 術可依賴於壓縮域中之經編碼資料以便作出訊框跳略決 142288.doc 201029475 策。此資料可包括識別視訊區塊類型之編碼語法以及其他 語法(諸如識別運動向量之量值及方向的運動資訊)。另 外’此資料可包括與視訊區塊相關聯之係數值(亦即,變 換係數值)。基於壓縮域中之此資訊,定義並接著使用相 似性量度以促進選擇性訊框跳略。以此方式,本發明之技 術在壓縮域中而非在經解碼像素域中執行訊框跳略決策, 並促進將大體上不使所察覺到的視訊序列品質降級的訊框 跳略。 9 在一實例中,本發明提供一種方法,其包含:產生一相 似性量度,該相似性量度量化一視訊序列之一當前視訊訊 框與一鄰近訊框之間的相似性,其中該相似性量度係基於 壓縮域内各示该當前訊框與該鄰近訊框之間的差異之資 料,及在相似性量度滿足一臨限值的條件下,跳略該當前 視訊訊框。 在另一實例中,本發明提供一種裝置,其包含一訊框跳 • <單元’該訊框跳略單元:產生-相似性量度,該相似性 量度量化一視訊序列之一當前視訊訊框與一鄰近訊框之間 的相似性,其中該相似性量度係基於壓縮域内指示該當前 • m框與該鄰近訊框之間的差異之資料;且使該裝置在相似 • ’欧量度滿足-臨限值的條件下跳略該當前視訊訊框。 在另-實例中,本發明提供—種器件,其包含:用於產 生一相似性量度的構件,該相似性量度量化一視訊序列之 -當前視訊訊框與-鄰近訊框之㈣相似性,其中該相似 性量度係基於壓縮域内指示該當前訊框與該鄰近訊框之間 142288.doc 201029475 的差異之資料;及用於在相似性量度滿足一臨限值的條件 下跳略該當前視訊訊框的構件。 在另一實例中’本發明提供一種編碼器件,其包含:一 訊框跳略單元,其產生一相似性量度,該相似性量度量化 一視訊序列之一當前視訊訊框與一鄰近訊框之間的相似 性’其中該相似性量度係基於壓縮域内指示該當前訊框與 該鄰近訊框之間的差異之資料;及一通信單元,其在相似 性量度滿足一臨限值的條件下跳略該當前視訊訊框之傳 輸。 在另一實例中,本發明提供一種解碼器件,其包含:一 通信單元’其接收一視訊序列之壓縮視訊訊框;及一訊框 跳略單元,該訊框跳略單元產生一相似性量度,該相似性 量度量化該視訊序列之一當前視訊訊框與一鄰近訊框之間 的相似性,其中該相似性量度係基於麼縮域内指示該當前 訊框與該鄰近訊框之間的差異之資料,且該訊框跳略單元 使β亥器件在相似性量度滿足一臨限值的條件下跳略該當前 視訊訊框。 可以硬體、軟體、韌體或其組合來實施本發明中所描述 之技術。若以軟體實施,則可由一或多個處理器來執行軟 體。軟體可最初儲存於電腦可讀媒體中並由處理器載入以 供執行。因此’本發明預期包含指令之電腦可讀媒體該 等指令用以使一或多個處理器執行如本發明中所描述之技 術。 舉例而言’在一些態樣中’本發明提供一種包含指令之 142288.doc • 6 - 201029475 電腦可讀媒體,該等指令在執行時使一器件:產生一相似 性量度,該相似性量度量化一視訊序列之一當前視訊訊框 與一鄰近訊框之間的相似性,其中該相似性量度係基於壓 縮域内指示該當前訊框與該鄰近訊框之間的差異之資料; .及在相似性量度滿足一臨限值的條件下跳略該當前視訊訊 框。 所揭示之技術之一或多個態樣的細節陳述於下文之隨附 Φ 圖式及描述中。其他特徵、目標及優勢將自該描述及該等 圖式以及自申請專利範圍顯而易見。 【實施方式】 本發明提供一種智慧型訊框跳略技術,其可由編碼器件 或解碼器件使用,從而以一可有助於最小化歸因於訊框跳 略之品質降級的方式來促進訊框跳略。詳言之,本發明描 述一經设si*以識別訊框跳略之良好候選訊框之相似性量度 的使用。在一般意義上,可使用相似性量度來識別充分類 Φ 似於未被跳略之鄰近訊框的訊框。該等鄰近訊框可為一序 列之先前或後續訊框,其在時間上鄰近於所考慮之當前訊 框。藉由識別當前訊框是否為訊框跳略之良好候選者,訊 框跳略可僅對所顯示之視訊序列之品質產生可忽略的影 響。此外’藉由使用相似性量度來促進訊框跳略決策,可 相對於習知訊框跳略技術減小如由視訊序列之檢視器所察 覺到之由訊框跳略引起的顯著視訊品質降低。 可由編碼器實施所描述之技術以減少發送一視訊序列所 需的頻寬。或者,可由解碼器實施所描述之技術以減少功 142288.doc 201029475 率消耗。對於解碼器處之功率減少而言,可實施該等技術 以完全跳略一或多個訊框之解碼,或僅跳略一或多個已被 解碼之訊框的後處理及/或顯示。後處理可具有極高功率 捃集性。因此,即使訊框已被解碼,仍可能需要跳略此等 訊框之後處理及顯示以減少功率消耗。 所描述之技術在壓縮域中有利地操作。壓縮域中之視訊 資料可包括各種語法元素(諸如識別視訊區塊類型、運動 向量量值及方向以及視訊區塊之其他特性的語法)。此 外,在壓縮域中,視訊資料可包含壓縮變換係數而非未壓 縮像素值。變換係數(諸如離散餘弦變換(DCT)係數或概念 上相似之係數)可包含頻域中一組像素值之一集體表示。 在任何狀況下,本發明之技術可依賴於壓縮域中之編碼資 料以作出訊框跳略決策。詳言之,基於壓縮域中之此資 訊,定義一訊框之相似性量度,且接著將該相似性量度與 一或多個臨限值相比較,以判定是否應跳略彼訊框。在一 些狀況下,可使用基於壓縮域中之資料而定義的相似性量 度,以促進在經解碼之非壓縮域中之訊框跳略決策(例 如’藉由在解碼過程之後控制訊框跳略)。 圖1為說明與本發明一致之一視訊編碼及解碼系統1〇的 方塊圖’該視訊編碼及解碼系統1 0經組態以在視訊解碼器 器件22中實施訊框跳略。如圖i中所示,系統1〇可包括視 訊編碼益件12及視訊解碼器器件22,通常可將該視訊編 碼器器件12及該視訊解碼器器件22中之每一者稱作視訊編 碼器器件。在圖1之實例中’視訊編碼器器件12對輸入視 142288.doc 201029475 訊訊框14進行編碼以產生經編碼視訊訊框18。詳言之,編 碼早兀16可執行_或多種視訊編碼技術(諸如對輸入訊框 14執行訊框内預測編碼或訊框間預測編碼)。編碼單元又6 亦可執行或多個變換、量化操作及熵編碼過程。通信單 . & 19可經由通信頻道B將經編碼視訊訊框18傳輸至視訊解 碼器器件22之通信單元2 1。 _視訊解碼器器件22接收可能包括—或多個已惡化訊框之 籲 mil忙24 ’該等經編碼訊框24可包含自源器件12發送 之經編碼訊框18。在圖丨之實例中,視訊解碼器器件22包 括訊框跳略單元26,該訊框跳略丨元26執行本#明之訊框 跳略技術以便節約視訊解碼器器件22中之功率。訊框跳略 單元26識別可被跳略之一或多個訊框。此訊框跳略可涉及 跳略由解碼單元28對一或多個訊框之解碼。或者,訊框跳 略可涉及在由解碼單元28解碼一或多個訊框之後跳略該等 訊框之後處理及/或顯示。在任一狀況下,至經編碼訊框 ❿ 24中之一或多者在輸出訊框29之解碼、後處理及/或顯示 中被跳略的程度,輸出訊框29可包括經編碼訊框24之一子 集。 • 如下文所更詳細地概述,可基於壓縮資料(例如,與經 -編碼訊框24相關聯之資料)來執行訊框跳略決策。再次, 此資料可包括語法且可能包括與經編碼訊框24相關聯之變 換係數。訊框跳略單元26可基於經編碼資料產生一相似性 量度以便判定一當前訊框是否充分類似於視訊序列中之先 前訊框,此可指示是否可在不引起實質品質降級的情況下 142288.doc 201029475 跳略該當前訊框。 經編碼§fl框24可定義一訊框速率(例如,15、30或60訊 框/秒(fps))。訊框跳略單元26可藉由使一或多個訊框被跳 略而相對於經編碼訊框24來有效地減小與輸出訊框29相關 聯之訊框速率。再次,訊框跳略可涉及跳略一或多個訊框 之解碼、在解碼所有訊框之後跳略一或多個訊框之任何後 處理或可能地在解碼及後處理所有訊框之後跳略一或多個 訊框之顯示。出於簡單性起見,圖1中並未說明後處理單 元’但在下文更詳細地論述該等後處理單元。 通信單元19可包含調變器及傳輸器,且通信單元21可包 含解調器及接收器。經編碼訊框1 8可根據一通信標準(例 如分碼多重存取(CDMA)或者另一通信標準或技術)來調 變,並經由通信單元19而被傳輸至目的地器件通信單元 21。通信單元19及21可包括各種混頻器、濾波器' 放大器 或被設計用於信號調變之其他組件以及被設計用於傳輸資 料之電路(包括放大器、慮波器及一或多個天線)。可將通 信單元19及21設計為以對稱之方式工作以支援器件12與22 之間的雙向通信。器件12及22可包含任何視訊編碼或解石馬 器件。在一實例中,器件12及22包含無線通信器件手機 (諸如所謂之蜂巢式或衛星無線電電話)。在器件12與22之 間的互逆雙向通信之狀況下,器件12及22之編碼單元16與 解碼單元28可各自包含一能夠編碼及解碼視訊序列之編碼 器/解碼器(CODEC)。 通信頻道15可包含任何無線或有線通信媒體(諸如射頻 142288.doc -10· 201029475 ⑽)譜或-或多個實體傳輸線,或者無線與有線媒體之任 何組合)。通信頻道15可包括基於封包之網路,諸如區域 網路、廣域料或全球、料(諸如崎㈣)。η卜,通信 頻道15可包括無線蜂巢式通信網路,該無線蜂巢式通信網 路包^基地台或被設利於在使用者器件之間傳達資訊的 其他又備基本上’通彳§頻道15表示任何合適之通信媒體 或者不同通信媒體、器株式甘从__ 益件或其他兀件之集合,其用於將視
訊資料自視訊編碼器器件12傳輸至視訊解碼器器件22。 可將視I編碼器器件12及視訊解碼器器件22實施為一或 户個微處理器、數位信號處理器(Dsp)、特殊應用積體電 路(SIC) 可程式化閑陣列(fpga) '離散邏輯、軟體、 硬體、韌體或其任何組合。 圖為”兒月與本發明一致之一視訊編碼及解碼系統3 〇的 。塊圖1¾視。代編碼及解碼系統3〇經組態以在視訊編碼器 ’牛2中實施訊框跳略。圖2之系統類似於圖1之系統 然而在系統30中,訊框跳略單元37被包括於視訊編 碼器器件咖非視贿碼器时42巾。在此狀況下,視訊 碼器器件32執行訊框跳略以便減少發送一視訊序列所需 的頻寬詳^之,藉由在視訊編碼器器件32中執行智慧型 *跳略可減少經由通信頻道3 5發送之視訊資料的量, 同時減輕品質降級。 、§編碼器器件32調用編碼單元36以對輸入訊框34進行 編碼。訊框跳略單元37在壓縮域中執行訊框跳略以便自經 、"§杧38移除—或多個訊框。通信單元39調變經編碼訊 142288.doc -11 - 201029475 框38並經由通信頻道35將其傳 信單元41。 輸至視訊解碼器器件42之通 視訊解碼器器件42 _ . 解碼早70 46以解碼可能歸因於在 傳達訊框期間之資訊損失 有對訊框中之-或多者造成 之心化的所接收之訊框44 肩4所接收之訊框44對應於經 編碼訊框3 8。輪^屮h ^, 出框48可由視訊解碼器器件42輸出(例 如’經由顯示器)。可在# ]在輸出讯框48之輸出之前執行後處 理,但出於簡單性起見在圖2中並未說明後處理組件。圖2
中所示之各種單元及元件可與圖1中之類似命名之元件(其 在上文得到更詳細解釋)相似或相同。
系統H)及30可經組態用於視訊電話、視訊串流、視訊廣 播或其類似物。因此,可在編碼器件12、及解碼器件 22、42中之每-者中提供互逆編碼、解碼、多叫及 解多工(DEMUX)組件。在一些實施中,編碼器件12、似 解碼器件22、42可包含視訊通信器件,諸如經配備以用於 視甙串流、視訊廣播接收及/或視訊電話(諸如所謂之無線 視訊電話或帶相機之電話)之無線行動終端機。 此等無線通信器件包括用以支援無線通信、音訊編碼、 視訊編碼及使用者介面特徵之各種組件。舉例而言,無線 通信器件可包括一或多個處理器、音訊/視訊編碼器/解碼 器(CODEC)、記憶體、一或多個數據機、傳輸·接收 (TX/RX)電路(諸如放大器、頻率轉換器、濾波器及其類似 物)。另外,無線通信器件可包括影像及音訊俘獲器件、 影像及音訊輸出器件、相關聯驅動器、使用者輸入媒體及 142288.doc • J2- 201029475 其類似物。圖1及圖2中所說明之組件僅為解釋本發明之智 慧型訊框跳略技術所需的組件’但編碼器件12、32及解碼 器件22、42可包括許多其他組件。 編碼器件12、32及解碼器件22、42或兩者可包含如上文 . 所描述之無線或有線通信器件或可被併入如上文所描述之 無線或有線通信器件中。又,可將編碼器件12、32及解碼 器件22、42或兩者實施為積體電路器件(諸如積體電路晶 φ 片或晶片組),該等積體電路器件可被併入於無線或有線 通信器件中,或可被併入於支援數位視訊應用的另一類型 之器件(諸如數位媒體播放器、個人數位助理(pDA)、數位 電視或其類似物)中。 系統10及30可根據會話起始協定(SIp)、ITU T H 323標 準、ITU-T H.324標準或其他標準來支援視訊電話。編碼 器件12、;32可根據視訊壓縮標準(諸如肘卩£〇-2、;\4?丑0-4、ITU-T H.263、ITU-T H.264 或 MPEG-4 第 10部分)而產生 Φ 經編碼視訊資料。儘管圖1及圖2中未展示,但編碼器件 12、32及解碼器件22、42可包含整合之音訊編碼器及解碼 器,且可包括適當之用以處置資料流之音訊部分與視訊部 分兩者的硬體及軟體組件。 圖1及圖2中所說明之各種視訊訊框可包括訊框内(1訊 框)、預測訊框(P訊框)及雙向預測訊框(B訊框)^〗訊框為 使用空間編碼技術來完全編碼所有視訊資訊的訊框,而p 訊框及B訊框為預測編碼訊框之實例,其係基於時間編碼 技術來編碼的。經編碼訊框可包含描述形成一訊框之一系 142288.doc •13- 201029475 列視訊區塊的資訊。該等視訊區塊可包括定義像素值(例 如,在免度(γ)、色度紅色(Cr)及色度藍色(cb)色彩頻道 中)之位元,該等視訊區塊可包含16x16巨集區塊、較小巨 集區塊分區或其他視訊資料區塊。為預測訊框之訊框通常 充當用於解碼視訊序列中之其他訊框間編碼訊框的參考訊 框(亦即,充當一用於另一訊框之運動估計及運動補償的 參考)。取決於編碼標準,任何訊框可為用以預測其他訊 框之寅料的預測訊框。然而,在一些標準中,僅〗訊框及p 訊框可為預測訊框,且B訊框包含無法用以預測其他訊框 之資料的非預測訊框。 在任何編碼過程之後,可將定義視訊區塊之像素值的位 元轉換為共同表示頻域中之像素值的變換係數。經壓縮訊 框之經壓縮視訊區塊可包含表示剩餘資料之變換係數的區 塊。經壓縮視訊區塊亦包括識別視訊區塊之類型的語法且 對於訊框間編碼區塊而言包括識別運動向量量值及方向的 語法。運動向量識別預測區塊,預測區塊為了經解碼之視 訊區塊起見可與像素域中之剩餘資料组合。 對於在任何功率受限之器件上進行視訊播放而言,功率 消耗係一顯者關注之問題。圖3為此功率受限之解瑪件 50之例示性方塊圖。器件50包括解碼單元52、内部記憶體 緩衝器54、後處理單元56及顯示單元58。另外,器件5〇包 括訊框跳略單元55 ’該訊框跳略單元55執行本發明之技術 中之一或多者以便跳略訊框而節約功率。器件5 〇可為電、、也 供電器件,在此狀況下,一或多個電池(未圖示)向圖3中所 142288.doc -14- 201029475 說明之各種單元提供功率。器件5〇亦可包括一自另—器件 接收經編碼資料之位元流的通信單元(未圖示)。 解碼早兀52接收一位元流(例如,自與器件5〇相關聯之 通信單元)。在解碼及重新建構過程期間,解碼單元Μ可 . 自外部記憶體(未圖示)提取任何參考訊框並將其保存至内 部記憶體緩衝器54。在記憶體緩衝器54可與解碼單元挪 . 成於同一積體電路上(此與可與解碼單元52形成於不同積 • 冑電路上的所謂之「外部記憶體」相反)的程度上,將其 稱為「内部的」。然❿’在不同實例及實施中,記憶體之 位置及格式可不同。 在接收到一位元流後,位元流剖析器62即剖析該位元 流,該位元流包含壓縮域中之經編碼視訊區塊。舉例而 言,位元流剖析器62可識別位元流之經編碼語法及經編碼 係數。熵解碼器64執行位元流之熵解碼(例如,藉由執行 内容自適應可變長度編碼(CAVLC)技術、上下文自適應Z • 進位算術編碼(CABAC)技術或其他可變長度編碼技術)。 逆量化及逆變換單元66可將資料自頻域變換回至像素域, 且可對像素值進行逆量化。 預測解碼器68執行基於預測之解碼技術(諸如訊框内編 碼視訊區塊之基於空間之解碼及訊框間編碼視訊區塊之基 於時間之解碼)。預測解碼器68可包括各種基於空間之組 件’該等組件(例如)基於視訊區塊之訊框内模式產生基於 空間之預測資料,其可由語法來識別。預測解碼器68亦可 包括各種基於時間之組件(諸如運動估計及運動補償單 142288.doc -15· 201029475 元)’該等組件(例如)基於運動向量或其他語法產生基於時 間之預測資料。預測解碼器68基於語法來識別預測區塊, 並藉由將該預測區塊加至包括於所接收位元流中之資料的 經編碼剩餘區塊來重新建構原始視訊區塊。預測解碼器68 可預測性地解碼一訊框之所有視訊區塊以便重新建構該訊 框。 後處理單元56對重新建構之訊框執行任何後處理。後處 理單元56可包括用於廣泛多種後處理任務中之任一者的組 件。後處理任務可包括諸如以下之事件:按比例調整、摻 合、修剪、旋轉、清晰化、變焦、濾波、去閃爍、去環 (de-dnging) '解塊、重定尺寸、解交錯、去雜訊或在重新 建構視訊訊框之後可能需要之任何其他成像效應。在由後 處理單元56進行之後處理之後,影像訊框被暫時儲存於記 憶體緩衝器54中,並被顯示於顯示單元58上。 根據本發明’器件50包括訊框跳略單元55。訊框跳略單 元55識別可被跳略之一或多個訊框。詳言之,訊框跳略單 元5 5檢驗經接收及剖析之位元流(例如,由位元流剖析器 62剖析)。此時’接收之位元流仍處於壓縮域中。再次, 此資料可包括語法且可能包括與經編碼訊框相關聯的變換 係數。訊框跳略單元55可基於經編碼資料產生一相似性量 度。訊框跳略單元5 5可將該相似性量度與一或多個臨限值 相比較’以便判定該相似性量度是否滿足該等臨限值(例 如’通常藉由將相似性量度與一或多個臨限值相比較以判 定該相似性量度是否超過該等臨限值中之一或多者)。以 142288.doc • 16 · 201029475 此方式’相似性量度係允許訊框跳略單元55量化一當前訊 框是否充分類似於視訊序列中之先前未被跳略訊框的一機 制,此可指示是否可在不引起實質品質降級的情況下跳略 當前訊框。 訊框跳略可涉及跳略由預測解碼器68對一或多個訊框之 解碼。在此狀況下,訊框跳略單元55可將控制信號發送至
預測解碼器68以中止對由訊框跳略單元55識別之該一或多 個訊框的解碼。或者,訊框跳略可涉及在解碼訊框之後跳 略對一或多個訊框之後處理。在此狀況下,訊框跳略單元 55可將控制信號發送至後處理單元%以中止對由訊框跳略 早兀55識別之該一或多個訊框的後處理。在此等狀況中之 母一者下,亦中止由顯示單元58對該一或多個被跳略訊框 之顯示。若需要’則亦可將控制信號提供至顯示單元58, 以便引起由顯不單元58進行之訊框跳略U ,顯示單元 58可能不f要控制信號,尤其係在訊框之處理被較早地中 止(例如’藉由中止彼訊框之解碼或後處理)的情況下。儘 管如此’本發明仍預期在預測解碼㈣、後處理單元⑽ 顯示單元55處之訊框跳略’且可將控制信號自訊框跳略單 元55提供至此等單元巾之任—相產生此訊框跳略。 在-些實例中’訊框跳略單元55可識別訊框跳略之良 候選者,且可向預測解竭器68、後處理單心或兩者通 〜等良好候選者。在此狀況下,預測解碼器μ及/或後 理單兀56可實際上執行是否跳略訊框之決策(例如,基 可用之功率)°因此’訊框跳略單元55可識別訊框财 142288.doc 201029475 良好候選者,且可錢由其料元(諸如㈣解碼請、 後處理單元56或兩者)作出之精明的訊框跳略決策。 有時,直至已由預測解碼器68重新建構訊框之視訊區塊 之後才決定或才知曉是否應執行訊框跳略。在此等狀況 下,後處理單元56處之訊框跳略可仍然達成實質及所需之 功率節約。根據本發明之技術,訊框跳略單元55可在解碼 及重新建構訊框之前判定此等訊框是否為訊框跳略之良好 候選者。在訊框解碼之前或在一些狀況下在訊框解碼之後 可使用此等判定。訊框跳略單元55在處理此等訊框甲非常 早地對壓縮域中之資料進行操作◎若需要節約功率,則可 在稍後之處理的任何階段使用由訊框跳略單元55對訊框跳 略之良好#選者的識另〇。在任何狀況τ,針董十訊框跳略決 策而在壓縮域中操作可使用比在非壓縮域中操作所使用之 功率少的功率。因&,即使在解㈣資料之後發生訊框跳 略,仍可能需要基於未壓縮資料來作出訊框跳略決策。 在一實例中,由預測解碼器68重新建構之資料訊框可包 含1.5x訊框速率下之32〇像素χ24〇像素訊框其中X為實 數。假定單元56之後處理執行自之按比例調 整,則後處理單元56之輸出可包含3χ訊框速率下之64〇像 素Χ480像素訊框。在此狀況下,後處理可消耗顯著功率。 因此,在訊框之預測解碼之後中止後處理並跳略一訊框可 仍為需要的,尤其係當直至預測解碼過程之後才知曉是否 應跳略訊框時。此外,由於顯示單元58對訊框之顯示亦消 耗顯著量之功率,因此減少所顯示之訊框的數目可為減少 142288.doc •18· 201029475 器件50中之功率消耗的一良好方式(即使當直至預測解碼 過程之後才知曉是否應跳略訊框時)。 在一實例中’解碼器單元52可遵守ITU_T H.264標準, 且接收之位元流可包含一符合玎丨丁 h_264之位元流。位 70流剖析器62剖析接收之位元流以將語法與位元流分離, 且可變長度解碼器64執行位元流之可變長度解碼以產生與 •剩餘視訊區塊相關聯之經量化之變換係數。可經由直接記 _ 憶體存取(DMA)而將該等經量化之變換係數儲存於記憶體 緩衝器54中。記憶體緩衝器54可包含一 CODEC處理器核心 之一部分。亦可將運動向量及其他控制或語法資訊寫入至 記憶體緩衝器中(例如’使用所謂之DSP EXP介面)。 逆量化及逆變換單元66對資料進行逆量化,並將資料轉 換至像素域。預測解碼器68執行運動估計補償(MEC),且 可能可執行解塊濾波。預測解碼器68接著將經重新建構之 訊框寫回至a己憶體緩衝器68。在整個過程期間,器件5〇可 φ 經程式化以藉由跳略一或多個訊框而節省功率,如本文中 所描述。視訊解碼器52之功率消耗可約略地與再現之訊框 速率成比例。 解碼、後處理及/或顯示的訊框愈少,則節省的功率愈 夕。然而,當顯示較少訊框時,發生視訊品質降級。換令 之,假定剩餘視訊特性相似,則具有較低訊框速率之重現 之序列相對於處於相較而言更高之訊框速率下的序列通常 具有較低之品質。本發明之技術可減少或消除在發生訊框 跳略時的此等品質降低》 142288.doc -19- 201029475 本文中所描述之技術的一個基本目標係藉由在不招致視 覺品質之實質損失的情況下減小顯示訊框速率來節省功 率。為限制品質降級,所提議之功率節省訊框選擇方案使 用一相似性量度以便作出訊框跳略決策。 訊框跳略技術可遵循以下規則中之一些或全部以便就消 除品質降級而言使訊框跳略有效。對於由預測解碼器68進 行之訊框跳略而言,可存在一些基本規則。第一,若訊框 為一並非用於預測其他訊框之非參考訊框,且若放棄該訊 框並不引起品質降級(例如,無急動(jerkiness)),則預測解 碼器68可在訊框跳略單元η之指導下跳略該訊框。第二, 若訊框為一用以預測另一訊框之參考訊框但嚴重惡化,則 預測解碼器68可在訊框跳略單元55之指導下跳略該訊框。 另外,預測解碼器68可解碼並重新建構一訊框之所有視訊 區塊以便重新建構該訊框。 對於訊框顯示而言,亦可存在基本規則。舉例而言,訊 框跳略單元55可檢查一待顯示之訊框相對於一鄰近訊框 (例如,視訊序列之一先前顯示的訊框或一隨後顯示的訊 框)之相似性。若該待顯示之訊框非常類似於鄰近未被跳 略之訊框’則可避免由解碼單元68進行之解碼,可避免由 後處理單元56進行之後處理及/或可避免由顯示單元58顯 不該待顯示之訊框。下文予以更詳細論述之相似性量度可 促進此相似性檢查’且在一些狀況下可用以促進預測解碼 器68及後處理早元56之訊框跳略決策β然而,可能需要不 連續地跳略大於一經定義數目之訊框,且因此,器件5〇之 142288.doc •20· 201029475 組件可定義一較低訊框速率臨限值。在此狀況下,若任何 訊框跳略將導致訊框速率降至此較低訊框速率臨限值以 下貝J Dfl框跳略單元55可不引起此訊框跳略。又,即使在 給定訊框速率T ’亦可Μ要㈣略敎綠目之訊框, 因為即使㈣職料㈣相對較高,此仍可產生急動。 訊框跳略單元55可判定此等狀況,並可以促進視訊品質之 方式來控制訊框跳略。 在某種程度上,包括訊框跳略單元55增加了器件5〇之功 率消耗。因此’為減輕由訊框跳略決策產生之此功率消 耗’待顯示之訊框與先前顯示之訊框之間的相似性檢查應 相對較簡單。—種使此檢查保持簡單之方法係、僅基於壓縮 域參數來執行相似性比較。在此狀況下,可基於壓縮語法
元素(諸如指示視訊區塊類型及運動向量量值與方向的資 料)來完成待顯示之訊框與先前顯示之訊框之間的相似性 檢查。若針對相似性檢查來檢驗剩餘資料,則可基於變換 域中之壓縮變㈣數而非未壓縮像素值來進行相似性檢 查。所揭示之技術可能僅需要對一訊框中之非零係數的數 目進行計冑,因Α此可提供關於該純是否類似於一鄰近 訊框之有用輸入。因此,任何非零係數之實際值對於訊框 跳略單元55而言可能不重要;相反地,訊框跳略單元_ 簡單地對非零係數之數目進行計數。 兩個相鄰訊框之間的差異通常係由運動或場景改變引起 的。藉由跳略具有類似於先前訊框之内容的訊框,可限制 感知品質降級。可使用任何多種以下資訊來促進相似性檢 142288.doc •21· 201029475 查,以使訊框跳略單元5 5識別訊框跳略之良好候選者。可 基於以下因素中之一或多者來定義一相似性量度。 訊框類型及視訊區塊類型係可被包括於一相似性量度中 的兩個因素,該相似性量度量化鄰近訊框之間的相似性並 促進智慧型訊框跳略決策。舉例而言,可能需要總是謹慎 地保持任何I訊框(亦即’避免任何〗訊框之跳略)。又,若 任何P訊框或B訊框具有大的百分比的訊框内編碼巨集區 塊,則此通常忍s胃此等p訊框或B訊框為訊框跳略的不良候 選者’且可具有不同於先前訊框的内容。 在MPEG-2或MPEG-4編瑪中,被跳略巨集區塊之一大的 百分比可指示一當前訊框非常類似於先前訊框。一經編碼 訊框内之被跳略巨集區塊被指示為由於被「跳略」而不發 送剩餘資料的區塊。可由語法來定義被跳略巨集區塊。對 於此等類型之區塊而言,可在無剩餘資料之幫助的情況 下’於解碼器處執行内插、外推或其他類型之資料重新建 構。然而,在ITU-T 264中,被跳略巨集區塊之一大的 數目僅意謂此等巨集區塊的運動類似於其相鄰的巨集區 塊。在此狀況下,可將相鄰之巨集區塊的運動歸因於被跳 略巨集區塊。根據本發明’可考慮被跳略巨集區塊之數目 及對應之運動方向以偵測運動平滑性。若視訊序列定義緩 慢但為平移(panning)之運動’則人眼可容易注意到訊框跳 略的效應。因此’緩慢平移運動通常是調用視訊訊框跳略 的不良情境。 亦可由訊框跳略單元5 5使用運動類型以促進訊框跳略決 142288.doc -22- 201029475 策對於運動類型而言,訊框跳略單元55可檢查運動向量 里值及運動向量方向以有助於決定是否應跳略該訊框。通 常,緩慢運動序列對訊框跳略較不敏感。然而,如先前所 緩1¾平移序列對訊框跳略係敏感的。訊框跳略單元 55亦可在進行訊框跳略決策中考慮每一非訊框内編碼巨集 區塊之非零係數的數目’且可將對非零係數之數目的檢查 集區塊之量化參數值組合,因為較高量化級別自然地 Φ 導致較多零值係數及較少非零係數。 若對於給疋巨集區塊而言,量化參數值不大,且非零 係數之數目係小的,則此趨向於指示該巨集區塊非常類似 於其協同定位之預測區塊。若巨集區塊之量化參數值係小 的,但非零係數之數目係大的,則其意謂運動向量並不非 吊可罪或此巨集區塊非常不同於其協同定位之預測區塊。 可由訊框跳略單元55使用與一訊框之不同視訊區塊相關聯 的量化參數之分布以有助於判定是否應將訊框跳略用於彼 參訊框。若量化參數對於一特定巨集區塊而言太高,則自彼 巨集區塊之壓縮域獲得的資訊對於幫助相似性檢查而言可 能並不足夠精確。因此,可能需要將-量化參數臨限值強 加於里化參數使得僅考慮使用一充分低之量化參數來編碼 的巨集區塊並將其用於相似性量度計算中。 訊框速率係可由訊框跳略單元55使用以有助於判定是否 應使用訊框跳略的另一因素。訊框速率愈高,則器件50消 耗愈多功率用於訊框之解碼、後處理及顯示。與位元流具 有低訊框速率(例如,小於30訊框/秒)時相比,若位元流具 142288.doc -23· 201029475 車3°:框,秒或更高),擇性訊框跳 錢多的功^換言之,較高訊框速率可向訊框跳 十邱供較大的靈活性來在器件⑼省功率。舉例而 。右》fl框速率之下限為15訊框/秒,則與對3㈣框/秒之 一原始視訊序列起作科可節省的功率相比,當對60訊框/ 秒之一原始視訊序列起作㈣,訊框跳略單元啊具有較 大的靈活性來在器件50中節省功率。 亦可由訊框跳略單元55使用補充資訊以有助於判定是否 應使用訊框跳略。在圖3之說明中,將補充資訊展示為至 訊框跳略單元55之可選輸人n實例,可與視訊訊框 一起發送上層資訊(諸如與用以傳達資料之調變相關聯的 控制層資訊)以指示一或多個訊框是否已惡化。若一訊框 惡化(例如,如由此補充資訊所判定),則訊框跳略單元器 件50可偏好於訊框跳略而非解碼、後處理及/或顯示彼訊 框。 考慮上文所論述之全部此等因素,訊框跳略單元5 5可定 義並使用一相似性量度(「SM」)。詳言之,該相似性量度 量化視訊序列之待顯示之當前視訊訊框與先前視訊訊框之 間的相似性以便判定彼當前訊框是否為訊框跳略之良好候 選者。當相似性量度滿足一或多個臨限值時,跳略當前訊 框。通常定義該相似性量度及該等臨限值使得當相似性量 度之值超過一給定臨限值之值時相似性量度之值滿足該給 定臨限值。然而’或者,可以其他方式來定義相似性量度 及臨限值(例如’使得當相似性量度之值小於給定臨限值 142288.doc -24- 201029475 之值時相似性量度之值滿足該給定臨限值)。 相似性量度可基於與訊框之視訊區塊相關聯的百分比。 舉例而言,相似性量度可基於:當前視訊訊框中之訊框内 編碼視訊區塊的一百分比;當前視訊訊框中具有超過一運 動向量量值臨限值之運動向量的視訊區塊之一百分比;當 前視訊訊框中具有如由一運動向量方向臨限值所量化在方 向上充分相似之運動向量的視訊區塊之一百分比;及當前 視訊訊框中包括比一或多個非零係數臨限值少之非零變換 係數的視訊區塊之一百分比。此外,該一或多個非零係數 臨限值可隨與當前視訊訊框中之視訊相關聯的一或多個量 化參數而定。 在一實例中,由訊框跳略單元55產生之相似性量度(SM) 包含: SM=W 1 *IntraMBs% + W2*MVs_Magnitude%+W3 *MV s_ Samedirection%+W4*Nz%。 φ W1、W2、W3及W4為可被定義並應用於相似性量度之不 同項的加權因數。IntraMBs%可定義當前視訊訊框中之訊 框内編碼視訊區塊的百分比。MVs_Magnitude%可定義與 _ 當前視訊訊框相關聯之超過運動向量量值臨限值的運動向 •量之百分比。訊框跳略單元55可對具有超過一預定義運動 向量量值臨限值之量值的運動向量進行計數以便定義 MVs_Magnitude%。 MVs_Samedirection%可定義與當前視訊訊框相關聯之如 由運動向量方向臨限值所量化彼此充分相似的運動向量之 142288.doc -25- 201029475 百分比。⑯同運動向量量值臨限值’運動向量方向臨限值 可為默義i運動向量方向臨限值確定與訊框内之運動 向量相關聯的相似性水準’例如,角度差,可針對其認為 兩個或兩個以上之運動向量具有相似之方向。 nz%可定義當前視訊絲巾包括比該―或多彳目非零係數 臨限值少之非零變換係數的視訊區塊之百分比。如同與相 似性量度相關聯之其他臨限值,可預μ料係數臨限 值。此外’非零係數臨限值可隨與當前視訊訊框中之視訊 區塊相關聯的一或多個量化參數而定。Νζ%可由項 ί〇Ρ(ηΖ)%來代替以指示ηΖ取決於由一或多個量化參數定義 之臨限值。 加權因數Wl、W2、 W3及W4可基於對一或多個測試視 訊序列中之訊框跳略的分析而被預定義。在—些狀況下, 基於一或多個測試視訊序列中之翊裢 7 ν τ < Λ框跳略之分析而將
Wl W2 W3及W4預定義為針對不同類型之視訊運動具 有不同值。因此,訊框跳略單元55可檢驗視訊序列之視訊 運動範圍’並基於此運動來選擇該等加權因數。可使用測 試序列以根據經驗來定義-或多個加權因數wi、w2、w3 及W4, I可能針對不同運動水準定義不同因數。以此方 式’可以一就對稱量纟能夠識別對於人類觀測者而言看上 去相似之視訊訊框而言促進該有效對稱量度的方式來定義 加權因數。相似性量度之各個項及加權因數可考慮上文所 論述之各種因素及考慮。 右需要,則相似性量度亦可基於當前視訊訊框中包含該 142288.doc -26 - 201029475 备刖視訊訊框内之被跳略視訊區塊的視訊區塊之百分比。 此外’可使用上文所論述之其他因數或值來定義相似性量 度。在任何狀況下,相似性量度均量化一當前視訊訊框與 先前視訊訊框(或其他鄰近視訊訊框)之間的相似性。隨著 相似性量度之值增加,此增加可對應於相似性。因此,較 馬之相似性量度值可對應於較佳之訊框跳略候選者。 根據本發明,若相似性量度之值大於第一相似性臨限值 φ 丁1 ’則訊框跳略單元5 5可使此訊框被跳略而不管該訊框之 類i。在此狀況下,訊框跳略單元5 5可將一控制信號發送 至預測解碼器68以使彼訊框之解碼被跳略,或可將一控制 L號發送至後處理單元5 6以使彼訊框之後處理被跳略。當 後處理被跳略時,永不自後處理單元56發送該訊框來驅動 顯示單元5 8。當解碼被跳略時,永不將該訊框發送至後處 理單元56或發送至顯示單元58。 若相似性量度小於臨限值τ】,則訊框跳略單元55可進一 ® Y檢查以查看相似性量度是否大於第二相似性臨限值τ2, 其申Τ2<Τ!。若相似性量度小於臨限值τ2,則此可指示當 前訊框非常不同於先前訊框(例如,一訊框序列之先前未 被跳略訊框)且即使彼當前訊框為參考訊框仍應跳略當前 訊框。然而,若相似性量度小於臨限值T1且大於臨限值 丁2,則訊框跳略單元55可進—步判定當前訊框是否為參考 浚框。右當前訊框為具有一大於臨限值了2之相似性量度的 參考訊框,則器件50可重新建構、後處理及顯示彼訊框。 若當前訊框並非參考訊框且具有一小於臨限值丁!且大於臨 142288.doc •27· 201029475 限值T2之相似性量度,則器件50可避免解碼、重新建構、 後處理及顯示彼訊框。在此狀況下,若訊框跳略單元55判 定當前訊框並非參考訊框且具有一小於臨限值凡且大於臨 限值I之相似性量度,則訊框跳略單元55可發送一或多個 控制信號以使預測解碼器68、後處理單元56及顯示單元兄
跳略彼訊框。以此方式,較高之臨限值τ丨適用於所有訊框 (包括非參考訊框)’且較低之臨限值丁2僅適用於非參考訊 框。此使得較不可能跳略參考訊框及較有可能跳略非參考 訊框,除非當前非參考訊框非常不同於鄰近訊框。 在一些狀況下,可將功率資訊提供至訊框跳略單元55以 便關於訊框跳略作出較精明之決策。舉例而言,若器件5〇
之力率為低的’貝可能較需要在訊框跳略方面具有積極七 =便節約功率。另—方面’若器件5Q具有㈣之功率或遺 前正藉由外部電源再充電,則可能較不需要實施訊㈣ 略。儘官圖3中未說明電源,但可認為功率資訊為圖3中月 不之「補充資訊」的-部分。在此狀況下,「補充資訊」 °括可用於器件5〇之當前功率之一量測且可能包括當背 功率使用率之一量測。在此狀況下,可基於可用於器件5 之::來定義或調節臨限值MT2。若可用功率足以支指 =常兩之訊框速率,則可增加臨限值ML以使訊框跳味 較不可能發生。另-古品 # + ,右可用功率為低的,則可降炎 相:如2以促進功率節約。以此方式,與相似性量方 較之-或多個相似性臨限值可為一基於解碼器件測 可用電池功率來調節的可調節臨限值。 142288.doc -28· 201029475 此外’在一些狀況下’解碼器件5 〇可判定視訊序列之訊 框速率。在此狀況下,僅當視訊序列之訊框速率超過一訊 框速率臨限值時,訊框跳略單元55才可產生相似性量度並 在相似性量度滿足臨限值的條件下引起當前視訊訊框之跳 略。以此方式,器件5 0可確保針對訊框速率確定一下限, 使知在低於一特定訊框速率的情況下避免訊框跳略。因 此僅4跳略^ Α視sfl訊框將不使訊框速率降低至一訊框 φ 速率臨限值以下時,訊框跳略單元55才可使器件50在相似 性量度滿足臨限值的條件下跳略當前視訊訊框。此外,在 些狀況下,可由訊框跳略單元5 5使用與視訊序列相關聯 之位元速率以便作出訊框跳略決策。在此狀況下,可將位 元速率與位元速率臨限值相比較,在低於該位元速率臨限 值的情況下,避免訊框跳略。位元速率可不同於訊框速 率,尤其係當訊框係以不同量化水準來編碼時或當訊框定 義導致不同訊框之位元速率大體上在訊框間變化之不同運 動水準時。 如所註,所說明之「補充資訊」可包含可用電池功率之 一指示。然而,「補充資訊」可包含廣泛多種其他資訊 (諸如對惡化之訊框之指示)。在此狀況下,訊框跳略單元 55可識別與當前視訊訊框相關聯之指示當前訊框惡化的補 充資訊,且可在補充資訊指示當前訊框惡化時使器件50跳 略當前視訊訊框。舉例而言,可藉由一通信單元(諸如圖丄 之通馆單το 21)判定所接收之資料不遵守一預期資料格式 來判疋訊框惡化或可以其他方式來判定訊框惡化。 142288.doc -29- 201029475 圖3之,述通常適用於解碼器。然而,亦可在如同圖2之 系統的系統中使用類似於上文所描述之相似性量度的相似 f量度在該系統中,由編碼器件使用訊框跳略以便識別 在傳輸視訊序列中待跳略之訊框。在編碼器件之狀況 下編碼器件中之訊框跳略單元可促進對待跳略之訊框之 智慧型選擇(例如’使得編碼器件可滿足針對-經編碼視 訊序列之傳輸的頻寬限制)。 圖4為一說明可在解碼器器件(諸如圖丨之視訊解碼器器 件22或圖3之解碼器件5〇)中執行之訊框跳略技術的流程 圖出於例示性之目的,圖4之論述將參考圖丨之視訊解碼 器器件22 ^ 如圖4中所示,視訊解碼器器件22之通信單元21接收一 包含壓縮視訊訊框之位元流(4〇1)。訊框跳略單元%產生一 相似性量度(諸如上文所論述之相似性量度),以便量化一 當前訊框與一鄰近訊框之間的差異(4〇2)。舉例而言,該鄰 近訊框可包含視訊序列中在時間上鄰近於當前訊框之先前 讯框。若相似性量度超過一相似性臨限值,則訊框跳略單 元26發送一或多個控制信號以使視訊解碼器器件22跳略當 前訊框之解碼、後處理及/或顯示(4〇3)。以此方式,相似 性量度促進視訊解碼器器件22中之智慧型訊框跳略決策。 圖5為一說明可在編碼器器件(諸如圖2之視訊編碼器器 件32)中執行之訊框跳略技術的流程圖。如圖$中所示,視 訊編碼器器件32之編碼單元36壓縮視訊訊框以產生一經編 碼位元流(501)。訊框跳略單元37產生一量化壓縮域中該經 142288.doc •30- 201029475 編碼位70流之一當前訊框與一鄰近訊框之間的差異之相似 性量度(502)。若相似性量度超過一相似性臨限值,則訊框 跳略單疋37接著使器件32之通信單元39跳略當前訊框之傳 輸(503)。以此方式,本發明之技術可允許編碼器件在無視 訊品質之實質降級的情況下減小編碼訊框速率以促進頻寬 之有效使用。 亦可將本發明之各種訊框跳略技術用於譯碼應用中。在 φ 此狀況下,可根據一種標準(例如,MPEG-2)來對一壓縮位 凡流進行編碼,但該壓縮位元流可經解碼且接著可根據第 二標準(例如,ITU-T Η.264)來重新編碼。在此狀況下,出 於在解碼器級處之訊框速率功率節省原因或出於在編碼器 級處之資源或頻寬限制,可使用本發明之訊框跳略技術以 避免一些訊框之解碼及/或重新編碼。 圖6為說明一種用於產生一例示性相似性量度並基於該 相似性量度執行訊框跳略的技術之流程圖。圖6之技術可 φ 由視訊編碼器器件(如圖2之器件32)或可由視訊解碼器器件 (諸如圖1之器件22或圖3之解碼器件50)來執行。出於解釋 之目的,將自圖3之解碼器件50的觀點來描述圖6之技術。 如圖6中所示’位元流剖析器62剖析一包含壓縮視訊訊 框之經編碼位元流(601)。此剖析識別壓縮域中之經編碼位 元流的語法及/或資料。訊框跳略單元55使用壓縮域中之 經剖析資料以便產生一指示一當前訊框與一鄰近於該當前 訊框之訊框之間的相似性之相似性量度《詳言之,訊框跳 略單元55判定一訊框中包含訊框内編瑪區塊之區塊的百分 M2288.doc -31 - 201029475 比Pl(602)。訊框跳略單元55亦判定該訊框中具有超過一運 動向量量值臨限值之運動向量的區塊之百分比p2(6〇3), 且判定該訊框中具有如由一運動向量方向臨限值所量化之 相似運動向量的區塊之百分比P3(6〇4)。另外,訊框跳略 單元55判定該訊框中具有比一非零係數臨限值少之非零變 換係數的區塊之百分比P4(6〇4)。視情況’訊框跳略單元 55亦可判定該訊框中包含該訊框中之被跳略視訊區塊的區 塊之百分比P5(605)。 使用此等百分比(Ρ1、Μ、Ρ3、Η及Μ)中之一些或全 _ 部’訊框跳略單元55計算一量化一當前訊框與一鄰近訊框 之間的差異之相似性量度(6〇6)。產生ρι、p2、p3、以及 P5所需的所有資訊可包含壓縮域中之經編碼位元流的資 料’其包括語法與壓縮變換係數。因此,不需要將資料解 碼至像素域而產生相似性量度。在一些狀況下相似性量 度可具有指派給由訊框跳略單元5 5判定之不同百分比的加 權因數。上文論述了一相似性量度之較詳細實例。 在任何狀況下,若相似性量度超過一相似性臨限值,則Φ 訊框跳略單元可使器件5〇跳略訊框(6〇7)。舉例而言訊框 跳略單凡55可將控制信號發送至預測解碼器68以使預測解 碼器68跳略訊框之解碼,或可將控制信號發送至後處理單 疋56以使後處理單元56跳略訊框之後處理。在前者之狀況 下,避免了訊框之解碼、後處理及顯示。在後者之狀況 下,執行了訊框之解碼,但避免了訊框之後處理及顯示。 在此等兩種狀況下,藉由訊框跳略促進了功率節約,且針 142288.doc •32- 201029475 匕λ杧跳略之讯框選擇可減小歸因於此訊框跳略之品質
編碼資料及語法)。接著, 然而,在解碼之後,若需要功 1解碼之訊框的後處理及顯示。 &決策(例如,基於未壓縮之經 即使在解碼彼資料之後,仍可 ❹ 能需要對訊框之後處理及顯示的訊框跳略。 圖為說明可由解碼器器件(諸如圖1之視訊解碼器器 件22或圖3之解碼器件50)執行之訊框跳略技術的流程圖。 出於例示性之目的,圖7之論述將參考圖3之解碼器件%。 如圖7中所示,解碼器件5〇之訊框跳略單元“計算一指 不一當前訊框與一鄰近於該當前訊框之訊框之間的相似性 之相似]生里度(7〇 1)。如本文中所描述,相似性量度可僅基 於當前訊框之壓縮資料(例如,壓縮域中之資料,諸如關 • 力視訊區塊類型、運動向量量值及方向之語法、用於編碼 中之置化參數及與視訊區塊相關聯之量化之剩餘變換係 數)。 訊框跳略單元5 5判定相似性量度是否滿足第一臨限值τ j (702)。若相似性量度滿足第一臨限值T1(7〇2為「是」), 則訊框跳略單元55將控制信號發送至預測解碼器68,該等 控制信號使器件50跳略訊框之解碼(706)且因此亦跳略訊框 之後處理及顯示(7〇8)。詳言之,回應於來自訊框跳略單元 55之跳略命令’預測解碼器68跳略彼訊框之解碼(7〇6)。在 142288.doc •33· 201029475 此狀況下’後處理單元56及顯示單元58永不接收該訊框之 資料’且因此不後處理該訊框且不顯示彼訊框(7〇8)。 若相似性量度不滿足第一臨限值T1(7〇2為「否」),則 訊框跳略單元55判定相似性量度是否滿足第二臨限值Τ2 (704)。在此狀況下,若相似性量度不滿足第二臨限值Τ2 (7〇4為否」),則解碼 '後處理及顯示該訊框(7〇7)。詳 言之,若相似性量度不滿足第二臨限值Τ2(7〇4為「否」),
則該訊框可由預測解碼器68解碼,由後處理單元%後處 理’且由顯示單元58顯示。 若相似性量度滿足第二臨限值Τ2(7〇4為「是」),則訊 框跳略單元55判定訊框是否為參考訊框。若為如此(7〇5為 疋」),則解碼、後處理及顯示該訊框(7〇7)。詳言之, 限值Τ2(704為「是」)且訊框為 則該訊框可由預測解碼器68解 若相似性量度滿足第二臨 參考訊框(705為「是」), 碼,由後處理單元56後處理,且由顯示單元58顯示
然而,若相似性量度滿足第二臨限值Τ2(7〇4為「是」), 但訊框並非參考訊框⑽為4」),則使器㈣跳略訊框 之解碼(706)且跳略訊框之後處理及顯示(7〇8卜因此,不 解碼、後處理或顯示相似性量度不滿足第一臨限值丁1(7们 為「否」)但確實滿足第二臨限值(7〇4為「是」)的非參考 訊框。以此方式,争交高之臨限值7】適用於所有訊框(包括 非參考訊框)’且較低之臨限值了2僅適用於非參考訊框。 此使得較不可能跳略參考訊框且較有可能跳略非參考訊 框’除非當前非參考訊框㈣不同於鄰近訊框。由於使用 142288.doc -34- 201029475 參考訊框來對其他訊框進行編碼,所以可能較不需要參考 訊框之訊框跳略。因此,可僅在參考訊框具有一超過較高 之臨限值!^的相似性量度時才進行參考訊框之訊框跳略, 而可在非參考訊框具有一超過任一臨限值1或丁2之相似性 量度的情況下對其加以跳略。 通常定義相似性量度及臨限值使得當相似性量度之值超 過一給定臨限值之值時相似性量度之值滿足該給定臨限 ❿ 值。然而,或者,可定義相似性量度及臨限值使得當相似 性量度之值小於給定臨限值之值時相似性量度之值滿足該 給定臨限值。 在其他實例中,可基於本發明之教示來實施關於被跳略 之特定訊框及如何跳略此等訊框的其他變化。圖7之流程 圖僅為一個實例。此外,可在由預測解碼器68解碼之後在 後處理早70 56中發生訊框跳略,或可在由預測解碼器⑼預 測解碼及由後處理單元56後處理之後在顯示單心中發生 狀跳略在此等狀況下,M縮域中之資料促進解碼及未 壓縮域中之訊框跳略。 可乂硬體軟體、勒體或其任何组合來實施本文中所描 述之技術。可將被描述為模組、單元或組件之任何特徵_ 同實施於整合式邏輯器件中或獨立地實施為離散但可交互 操作之邏輯器件。在一此 二狀況下,可將各種特徵實施為積 體電路器件(諸如積體雷 曰 償體電路a日片或晶片組)。若以硬體實 施,則本發明可針辦一 褒置諸如處理器或積體電路器件 (诸如積體電路晶片或 " 片、·且)。其他或另外,若以軟體實 142288.doc •35- 201029475 施,則可至少部分地藉由包含在執行時使處理器執行上文 所描述之方法中之一或多者的指令之電腦可讀媒體來實現 該等技術。舉例而言,電腦可讀媒體可儲存此等指令。 電腦可讀媒體可形成電腦程式產品之—部分,腦程 式產品可包括封裝材料。電腦可讀媒體可包含電腦資料儲 存媒體,諸如隨機存取記憶體(RAM)、同步動態隨機存取 記憶體(SDRAM)、唯讀記憶體(麵)、非揮發性隨機存取 記憶體(NVRAM)、電子可抹除可程式化唯讀記憶體 (EEPROM)、FLASH記憶體、磁性或光學資料儲存媒體及 其類似物。另夕卜或其Μ,可至少料地藉由電腦可讀通信 媒體來實現該等技術,該電腦可讀通信媒體以指令或資料 結構之形式載運或傳達程式碼,且可由電腦存取、讀取及/ 或執行。 抑可由-或多個處理器(諸如—或多個D s ρ、豸用微處理 器、ASIC、場可程式化邏輯陣列(FpGA)或其他等效之整 合式或離散邏輯電路)來執行程式碼或指令。因此,如本 文中所使用的術語「處理器」可指代上述結構中之任一者 或適合用於實施本文中所描述之技術的任何其他結構。另 外,在一些態樣中,可將本文中所描述之功能性提供於專 用軟體模組或硬體模組内。本發明亦預期多種積體電路器 件中之任一者,該等積體電路器件包括用以實施本發明中 所描述之技術中之一或多者的電路。可將此電路提供於單 一積體電路晶片中或提供於位於所謂之晶片組令的多個可 交互操作之積體電路晶片中。可將此等積體電路器件用於 142288.doc •36· 201029475 多種應用中,該等應用中之一些可包括在無線通信器件 (諸如行動電話手機)中之使用。 已描述了所揭示之技術之各種態樣。此等及其他態樣係 在以下申請專利範圍之範疇内。 【圖式簡單說明】 圖1為說明一與本發明一致之視訊編碼及解碼系統的方 塊圖’該視訊編碼及解碼系統經組態以在解碼器器件中實 施訊框跳略; 圖2為說明一與本發明一致之視訊編碼及解碼系統的方 塊圖,該視訊編碼及解碼系統經組態以在編碼器器件中實 施訊框跳略; 圖3為說明根據本發明之技術之一經組態以實施訊框跳 略之視訊解碼器器件之一實例的方塊圖; 圖4為一說明可在解碼器器件中執行之訊框跳略技術的 流程圖; ❿ 圖5為一說明可在編碼器器件中執行之訊框跳略技術的 流程圖; 圖6為說明一種用於產生一例示性相似性量度並基於該 相似性量度來執行訊框跳略之技術的流程圖;及 圖7為一說明可由解碼器器件執行之訊框跳略技術的流 程圖。 【主要元件符號說明】 12 視訊編碼器器件 14 輸入視訊訊框 142288.doc -37· 201029475 15 通信頻道 16 編碼早元 18 經編碼視訊訊框 19 通信單元 21 通信單元 22 視訊解碼器器件 24 經編碼訊框 26 訊框跳略單元 28 解碼單元 29 輸出訊框 30 視訊編碼及解碼系統 32 視訊編碼器器件 34 輸入訊框 35 通信頻道 36 編碼早兀 37 訊框跳略單元 38 經編碼訊框 39 通信單元 41 通信單元 42 視訊解碼器器件 44 所接收之訊框 46 解碼單元 48 輸出訊框 50 功率受限之解碼器件 142288.doc -38- 201029475 52 解碼單元 54 内部記憶體緩衝器 55 訊框跳略單元 56 後處理單元 58 顯示單元 62 位元流剖析器 64 熵解碼器 66 逆量化及逆變換單元 68 預測解碼器
142288.doc -39·
Claims (1)
- 201029475 七、申請專利範圍·· 1. 一種方法,其包含: 產生相似性量度,其量化一視訊序列之一當前視訊 訊框與-鄰近訊框之間的相⑽,其中該相似性量度係 土於I 缩域内指不該當前訊框與該鄰近訊框之間之差 異的資料;及 ❿ 在该相似性量度滿足一臨限值的條件下,跳略該當前 視訊訊框。 月长項1之方法’其中該方法係一編碼方法,且其中 跳略該當前視訊隸包含跳略該當前視訊純至另一器 件之傳輸β 3.如請求们之方法,其中該方法係—解碼方法,且其中 跳略該當前視訊訊框包含跳略該當前視訊訊框之預測解 碼。 4·如請求項1之方法’其中該方法係一解碼方法,且其中 跳略該當前視訊訊框包含跳略該當前視訊訊框之後處 理。 5·如請求項1之方法,其中該方法係一解碼方法,且其中 跳t该當前視訊訊框包含跳略該當前視訊訊框之顯示。 6.如晴求項!之方法,纟中該相似性量度係基於: 該當前視訊訊框中之訊框内編碼視訊區塊之一百分 比; 該當前視訊訊框中具有超過—運動向量量值臨限值之 運動向量之視訊區塊之一百分比; 142288.doc 201029475 該當前視訊訊框中具有如由一運動向量方向臨限值所 量化在方向上充分相似之運動向量之視訊區塊之一百分 比;及該當前視訊訊框中包括比一或多個非零係數臨限 值少之非零變換係數之視訊區塊之一百分比。 7. 如請求項6之方法,其中該一或多個非零係數臨限值係 隨與該當前視訊訊框中之該等視訊區塊相關聯的一或多 個量化參數而定。 8. 如請求項6之方法,其中該相似性量度(SM)包含: SM=W 1 *IntraMBs%+W2*MVs_Magnitude%+W3 *MVs Samedirection%+W4*Nz% 其中W1、W2、W3及W4係加權因數, 其中IntraMBs%係該當前視訊訊框中之訊框内編碼視 訊區塊之該百分比, 其中MVs_Magnitude%係與該當前視訊訊框相關聯之 超過該運動向量量值臨限值之運動向量之該百分比, 其中MVs_Samedirection%係與該當前視訊訊框相關聯 之如由該運動向量方向臨限值所量化充分相似之運動向 量之該百分比;且 Nz%係該當前視訊訊框中包括比該一或多個非零係數 臨限值少之非零變換係數之視訊區塊之該百分比。 9. 如請求項8之方法,其中Wl、W2、W3及W4基於對一或 多個測試視訊序列中之訊框跳略的分析而被預定義。 10. 如請求項9之方法,其中Wl、W2、W3及W4基於對一或 多個測試視訊序列中之訊框跳略的分析而被預定義為針 142288.doc 201029475 對不同類型之視訊運動具有不同值。 U.如凊求項6之方法,其中該相似性量度係基於該當前視 讯訊框中包含該當前視訊訊框内之被跳略視訊區塊之視 訊區塊之一百分比。 12.如請求項丨之方法,其中該方法係一解碼方法,且其中 跳略該當前視訊訊框包含:田該相似性量度大於一第一臨限值時,跳略該當前視 訊訊框;及 當該相似性量度大於一第二臨限值且該當前視訊訊框 並非一用於一或多個其他訊框之預測編碼的參考訊框 時’跳略該訊框。 13_如叫求項1之方法,其中該方法係一由一解碼器件實施 之解碼方法’且其中該臨限值係一基於該解碼器件中之 可用電池功率來調節的可調節臨限值。 14.如請求項!之方法,進一步包含: 判定該視訊序列之一訊框速率;及 僅當該視訊序列之該訊框速率超過一訊框速率臨限值 時產生該相似性量度,並在該相似性量度滿足該臨限值 的條件下跳略該當前視訊訊框。 15·如請求項1之方法,進一步包含: 識別與該當前視訊訊框相關聯之指示該當前訊框惡化 的補充資訊;及 當該補充資訊指示該當前訊框惡化時,跳略該當前視 訊訊框。 142288.doc 201029475 16. 如清求項1之方法,進一步包含 僅當跳略該當前視訊訊框將不使一訊框速率降低至一 訊框速率臨限值以下時,在該相似性量度滿足該臨限值 的條件下跳略該當前視訊訊框。 17. —種裝置,其包含: 一訊框跳略單元,該訊框跳略單元產生一相似性量 度,該相似性量度量化一視訊序列之一當前視訊訊框與 一鄰近訊框之間的相似性,其中該相似性量度係基於一 壓縮域内指示該當前訊框與該鄰近訊框之間之差異的資 料,且該訊框跳略單元使該裝置在該相似性量度滿足一 臨限值的條件下跳略該當前視訊訊框。 18. 如請求項17之裝置,其中該裝置係一編碼裝置,其中該 讯框跳略單元產生一使一通信單元跳略該當前視訊訊框 至另一器件之傳輸的控制信號。 19. 如請求項π之裝置,其中該裝置係一解碼裝置,其中該 讯框跳略單元產生一使一預測解碼器跳略該當前視訊訊 框之預測解碼的控制信號。 20. 如請求項17之裝置,其中該裝置係一解碼裝置,其中該 讯框跳略單元產生一使一後處理單元跳略該當前視訊訊 框之後處理的控制信號。 21. 如請求項π之裝置,其中該裝置係一解碼裝置,其中該 訊框跳略單元產生一使一顯示單元跳略該當前視訊訊框 之顯示的控制信號。 22. 如請求項17之裝置,其中該相似性量度係基於: 142288.doc -4- 201029475 該當前視訊訊框中之訊框内編碼視訊區塊之一百分 比; 該當前視訊訊框中具有超過一運動向量量值臨限值之 運動向量之視訊區塊之一百分比; 該當前視訊訊框中具有如由一運動向量方向臨限值所 量化在方向上充分相似之運動向量之視訊區塊之一百分 ’比;及該當前視訊訊框中包括比一或多個非零係數臨限 值少之非零變換係數之視訊區塊之一百分比。 23. 如請求項22之裝置,其中該一或多個非零係數臨限值係 隨與該當前視訊訊框中之該等視訊區塊相關聯的一或多 個量化參數而定。 24. 如請求項22之裝置,其中該相似性量度(SM)包含: SM=Wl*IntraMBs%+W2*MVs_Magnitude%+W3*MVs_ Same dir ection%+W4*Nz% 其中W1、W2、W3及W4係加權因數, φ 其中IntraMBs%係該當前視訊訊框中之訊框内編碼視 訊區塊之該百分比, 其中MVs_Magnitude%係與該當前視訊訊框相關聯之 超過該運動向量量值臨限值之運動向量之該百分比, •其中MVs_Samedirection°/〇係與該當前視訊訊框相關聯 之如由該運動向量方向臨限值所量化充分相似之運動向 量之該百分比;且 Nz%係該當前視訊訊框中包括比該一或多個非零係數 臨限值少之非零變換係數之視訊區塊之該百分比。 142288.doc 201029475 25. 如請求項24之裝置,其中W1、W2、W3及W4基於對—或 多個測試視訊序列中之訊框跳略的分析而被預定義。 26. 如請求項25之裝置,其中Wl、W2、W3及W4基於對—或 多個測試視訊序列中之訊框跳略的分析而被預定義為針 對不同類型的視訊運動具有不同值。 27. 如請求項22之裝置,其中該相似性量度係基於該當前視 訊訊框中包含該當前視訊訊框内之被跳略視訊區塊之視 區塊之一百分比。 28. 如請求項17之裝置,其中該裝置係一解碼裝置,且其中 該訊框跳略單元使一預測編碼單元:在該相似性量度大 於一第一臨限值時,跳略該當前視訊訊框之預測編碼; 及在該相似性量度大於一第二臨限值且該當前視訊訊框 並非一用於一或多個其他訊框之預測編碼的參考訊框 時’跳略該訊框之預測解碼。 29·如明求項17之裝置,其中該裝置係一解碼裝置,且其中 該臨限值係一基於該解碼裝置中之可用電池功率來調節 的可調節臨限值。 3 0.如晴求項17之裝置’其中該訊框跳略單元: 判定該視訊序列之一訊框速率;且 僅¥該視戒序列之該訊框速率超過一訊框速率臨限值 時,在該相似性量度滿足該臨限值的條件下引起該當前 視訊訊框之跳略。 3 1.如請求項17之裝置,其中該訊框跳略單元·· 識別與該當前視訊訊框相關聯之指示該當前訊框惡化 142288.doc 201029475 的補充資訊;及 备該補充資訊指示該當前訊框惡化時,引起該當前視 訊訊柢之跳略。 32.如請求項17之裝置,其中該訊框跳略單元: .僅當跳略該當前視訊訊框將不使一訊框速率降低至一 .訊框速率臨限值以下時,在該相似性量度滿足該臨限值 的條件下引起該當前視訊訊框之跳略。 • 33·如請求項17之裝置,其中該裝置包含一積體電路。 34.如請求項17之裝置,其中該裝置包含一微處理器。 35_ —種器件’其包含: 用於產生一相似性量度的構件,該相似性量度量化一 視Λ序列之一當前視訊訊框與一鄰近訊框之間的相似 性,其中該相似性量度係基於一壓縮域内指示該當前訊 框與該鄰近訊框之間之差異的資料;及 用於在該相似性量度滿足一臨限值的條件下跳略該當 φ 前視訊訊框的構件。 36.如請求項35之器件,其中該相似性量度係基於: 該當前視訊訊框中之訊框内編碼視訊區塊之一百分 比; 該當前視訊訊框中具有超過—運動向量量值臨限值之 相關聯運動向量之視訊區塊之一百分比; 該當前視訊訊框中具有如由一運動向量方向臨限值所 量化在方向上充分相似之運動向量之視訊區塊之一百分 比;及該當前視訊訊框中包括比_或多個非零係、數臨限 142288.doc 201029475 值少之非零變換係數之視訊區塊之一百分比。 37.如請求項36之器件,其中該一或多個非零係數臨限值係 隨與該當前視訊訊框中之該等視訊區塊相關聯的一或多 個量化參數而定。 3 8.如請求項36之器件,其中該相似性量度(SM)包含: SM=Wl*IntraMBs%+W2*MVs_Magnitude%+W3*MVs_ Same dir ection%+W4*Nz% 其中W1、W2、W3及W4係加權因數, 其中IntraMBs%係該當前視訊訊框中之訊框内編碼視 訊區塊之該百分比, 其中MVs_Magnitude%係與該當前視訊訊框相關聯之 超過該運動向量量值臨限值之運動向量之該百分比, 其中MVs_Samedirection%係與該當前視訊訊框相關聯 之如由該運動向量方向臨限值所量化充分相似之運動向 量之該百分比;且 Nz%係該當前視訊訊框中包括比該一或多個非零係數 臨限值少之非零變換係數之視訊區塊之該百分比。 39.如請求項35之器件,其中該器件係一解碼器件,且其中 用於跳略該當前視訊訊框的構件包含: 用於在該相似性量度大於一第一臨限值時跳略該當前 視訊訊框的構件;及 用於在該相似性量度大於一第二臨限值且該當前視訊 訊框並非一用於一或多個其他訊框之預測編碼的參考訊 框時跳略該訊框的構件。 142288.doc 201029475 如請求項35之器件,其中該器件係—解碼器件,且其中 該臨限值係一基於該解碼器件中之可用電池功率來調節 的可調節臨限值。 41. 一種包含指令之電腦可讀媒體,該等指令在執行時使一 器件: * 產生一相似性量度,其量化一視訊序列之一當前視訊 訊框與一鄰近訊框之間的相似性,其中該相似性量度係 • 基於—壓縮域内指示該當前訊框與該鄰近訊框之間之差 異的資料;且 在該相似性量度滿足一臨限值的條件下跳略該當前視 訊訊框。 42. 如請求項41之電腦可讀媒體,其中該相似性量度係基 於: 该當前視訊訊框中之訊框内編碼視訊區塊之一百分 比; 參 °亥^剷視訊訊框中具有超過一運動向量量值臨限值之 相關聯運動向量之視訊區塊之一百分比; 該當前視訊訊框中具有如由一運動向量方向臨限值所. 量化在方向上充分相似之運動向量之視訊區塊之一百分 比,及該當前視訊訊框中包括比一或多個非零係數臨限 值少之非零變換係數之視訊區塊之一百分比。 43. 如請求項42之電腦可讀媒體,其中該相似性量度(SM)包 含: SM=W1 *IntraMBs%+W2*MVs_Magnitude%+W3*MVs 142288.doc 201029475 Samedirection%+W4*Nz% 其中W1、W2、W3及W4係加權因數, 其中IntraMBs%係該當前視訊訊框中之訊框内編碼視 訊區塊之該百分比, 其中MVs_Magnitude°/〇係與該當前視訊訊框相關聯之 超過該運動向量量值臨限值之運動向量之該百分比, 其中MVs—Samedirection%係與該當前視訊訊框相關聯 之如由該運動向量方向臨限值所量化充分相似之運動向 量之該百分比;且 Nz%係該當前視訊訊框中包括比該一或多個非零係數 臨限值少之非零變換係數之視訊區塊之該百分比。 44. 如請求項41之電腦可讀媒體,其中該器件係一解碼器 件,其中該等指令使該器件: 在該相似性量度大於一第一臨限值時,跳略該當前視 訊訊框之預測編碼、後處理及顯示;且 在該相似性量度大於一第二臨限值且該當前視訊訊框 並非一用於一或多個其他訊框之預測編碼的參考訊框 時’跳略該訊框之預測解碼、後處理及顯示。 45. 如請求項41之電腦可讀媒體,其中該器件係一解碼器 件,且其中該臨限值係一基於該解碼器件中之可用電池 功率來調節的可調節臨限值。 46. 如請求項41之電腦可讀媒體,其中該等指令使該器件: 判定該視訊序列之一訊框速率;且 僅當該視訊序列之該訊框速率超過一訊框速率臨限值 142288.doc ιΠ 201029475 時,在該相似性量度滿足該臨限值的條件下跳略該當前 視訊訊框。 47. —種編碼器件,其包含: 一訊框跳略單元,其產生一相似性量度,該相似性量 度量化一視訊序列之一當前視訊訊框與一鄰近訊框之間 的相似性,其中該相似性量度係基於一壓縮域内指示該 '當前訊框與該鄰近訊框之間之差異的資料;及 一通信單元,其在該相似性量度滿足一臨限值的條件 W 下跳略該當前視訊訊框之傳輸。 48. 如請求項47之編碼器件,其中該器件包含一無線通信手 機。 4 9. 一種解碼器件,其包含: 一通信單元,其接收一視訊序列之壓縮視訊訊框;及 一訊框跳略單元,其: 產生一相似性量度,該相似性量度量化該視訊序列 φ 之一當前視訊訊框與一鄰近訊框之間的相似性,其中 該相似性量度係基於一壓縮域内指示該當前訊框與該 鄰近訊框之間之差異的資料;且 在該相似性量度滿足一臨限值的條件下使該器件跳 略β亥4 4丨』視訊訊框。 50.如請求項49之解碼器件’其中該器件包含一無線通信手 機。 -Π - 142288.doc
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US8453408P | 2008-07-29 | 2008-07-29 | |
| US12/248,825 US20100027663A1 (en) | 2008-07-29 | 2008-10-09 | Intellegent frame skipping in video coding based on similarity metric in compressed domain |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201029475A true TW201029475A (en) | 2010-08-01 |
Family
ID=41608337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW098125608A TW201029475A (en) | 2008-07-29 | 2009-07-29 | Intelligent frame skipping in video coding based on similarity metric in compressed domain |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20100027663A1 (zh) |
| EP (1) | EP2321971A2 (zh) |
| JP (1) | JP2011530221A (zh) |
| KR (1) | KR20110045026A (zh) |
| CN (1) | CN102113329A (zh) |
| TW (1) | TW201029475A (zh) |
| WO (1) | WO2010014759A2 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI491262B (zh) * | 2010-09-14 | 2015-07-01 | Alpha Imaging Technology Corp | 影像編碼積體電路及其影像編碼資料傳輸方法 |
| US10116952B2 (en) | 2015-11-30 | 2018-10-30 | Mstar Semiconductor, Inc. | Bitstream decoding method and bitstream decoding circuit |
Families Citing this family (84)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8254449B2 (en) * | 2008-08-29 | 2012-08-28 | Georgia Tech Research Corporation | Video traffic bandwidth prediction |
| US8400918B2 (en) * | 2009-08-06 | 2013-03-19 | Georgia Tech Research Corporation | Video traffic smoothing |
| US8254445B2 (en) * | 2009-08-06 | 2012-08-28 | Georgia Tech Research Corporation | Video transmission using video quality metrics |
| US8848799B2 (en) * | 2009-09-02 | 2014-09-30 | Sony Computer Entertainment Inc. | Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder |
| US9877033B2 (en) * | 2009-12-21 | 2018-01-23 | Qualcomm Incorporated | Temporal and spatial video block reordering in a decoder to improve cache hits |
| TWI421682B (zh) * | 2010-03-08 | 2014-01-01 | Novatek Microelectronics Corp | 記憶體控制系統及方法 |
| US10104391B2 (en) | 2010-10-01 | 2018-10-16 | Dolby International Ab | System for nested entropy encoding |
| US20120082228A1 (en) | 2010-10-01 | 2012-04-05 | Yeping Su | Nested entropy encoding |
| US8966036B1 (en) * | 2010-11-24 | 2015-02-24 | Google Inc. | Method and system for website user account management based on event transition matrixes |
| WO2012089116A1 (zh) * | 2010-12-27 | 2012-07-05 | 汉王科技股份有限公司 | 扫描识别装置和方法 |
| JP2012165071A (ja) * | 2011-02-03 | 2012-08-30 | Sony Corp | 撮像装置、受信装置、映像送信システムおよび映像送信方法 |
| WO2012121802A1 (en) | 2011-03-10 | 2012-09-13 | Vidyo, Inc. | Render-orientation information in video bitstream |
| US20120230594A1 (en) * | 2011-03-10 | 2012-09-13 | Jill Boyce | Adaptive picture rotation |
| JP5812634B2 (ja) * | 2011-03-17 | 2015-11-17 | キヤノン株式会社 | 送信装置及び送信方法、並びにプログラム |
| US9826238B2 (en) | 2011-06-30 | 2017-11-21 | Qualcomm Incorporated | Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit |
| US9723315B2 (en) | 2011-07-01 | 2017-08-01 | Apple Inc. | Frame encoding selection based on frame similarities and visual quality and interests |
| US8787454B1 (en) * | 2011-07-13 | 2014-07-22 | Google Inc. | Method and apparatus for data compression using content-based features |
| KR101549914B1 (ko) * | 2011-10-17 | 2015-09-03 | 주식회사 케이티 | 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치 |
| FR2982446A1 (fr) | 2011-11-07 | 2013-05-10 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
| FR2982447A1 (fr) | 2011-11-07 | 2013-05-10 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
| JPWO2014057555A1 (ja) * | 2012-10-10 | 2016-08-25 | 富士通株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法 |
| US10095663B2 (en) | 2012-11-14 | 2018-10-09 | Amazon Technologies, Inc. | Delivery and display of page previews during page retrieval events |
| US9558043B2 (en) * | 2013-01-25 | 2017-01-31 | Cisco Technology Inc. | System and method for abstracting and orchestrating mobile data networks in a network environment |
| US9282244B2 (en) | 2013-03-14 | 2016-03-08 | Microsoft Technology Licensing, Llc | Camera non-touch switch |
| US9578333B2 (en) | 2013-03-15 | 2017-02-21 | Qualcomm Incorporated | Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames |
| US9712634B2 (en) | 2013-03-15 | 2017-07-18 | Cisco Technology, Inc. | Orchestrating mobile data networks in a network environment |
| US8979398B2 (en) | 2013-04-16 | 2015-03-17 | Microsoft Technology Licensing, Llc | Wearable camera |
| US9066007B2 (en) | 2013-04-26 | 2015-06-23 | Skype | Camera tap switch |
| US10091419B2 (en) | 2013-06-14 | 2018-10-02 | Qualcomm Incorporated | Computer vision application processing |
| US10154265B2 (en) | 2013-06-21 | 2018-12-11 | Nvidia Corporation | Graphics server and method for streaming rendered content via a remote graphics processing service |
| US9270709B2 (en) | 2013-07-05 | 2016-02-23 | Cisco Technology, Inc. | Integrated signaling between mobile data networks and enterprise networks |
| US10863387B2 (en) | 2013-10-02 | 2020-12-08 | Cisco Technology, Inc. | System and method for orchestrating policy in a mobile environment |
| US9414215B2 (en) | 2013-10-04 | 2016-08-09 | Cisco Technology, Inc. | System and method for orchestrating mobile data networks in a machine-to-machine environment |
| CN104618662B (zh) * | 2013-11-05 | 2019-03-15 | 富泰华工业(深圳)有限公司 | 视频播放系统及方法 |
| GB2525208B (en) * | 2014-04-15 | 2020-04-08 | Advanced Risc Mach Ltd | Method of and apparatus for generating an encoded frame |
| US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
| US9639742B2 (en) | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
| US9723377B2 (en) | 2014-04-28 | 2017-08-01 | Comcast Cable Communications, Llc | Video management |
| US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
| US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
| US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
| US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
| US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
| US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
| US9451178B2 (en) | 2014-05-22 | 2016-09-20 | Microsoft Technology Licensing, Llc | Automatic insertion of video into a photo story |
| US11169666B1 (en) | 2014-05-22 | 2021-11-09 | Amazon Technologies, Inc. | Distributed content browsing system using transferred hardware-independent graphics commands |
| US11184580B2 (en) | 2014-05-22 | 2021-11-23 | Microsoft Technology Licensing, Llc | Automatically curating video to fit display time |
| US9503644B2 (en) | 2014-05-22 | 2016-11-22 | Microsoft Technology Licensing, Llc | Using image properties for processing and editing of multiple resolution images |
| US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
| US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
| US9460493B2 (en) | 2014-06-14 | 2016-10-04 | Microsoft Technology Licensing, Llc | Automatic video quality enhancement with temporal smoothing and user override |
| US9454515B1 (en) | 2014-06-17 | 2016-09-27 | Amazon Technologies, Inc. | Content browser system using graphics commands and native text intelligence |
| US9373179B2 (en) | 2014-06-23 | 2016-06-21 | Microsoft Technology Licensing, Llc | Saliency-preserving distinctive low-footprint photograph aging effect |
| CN105323592A (zh) * | 2014-07-11 | 2016-02-10 | 中兴通讯股份有限公司 | 一种码率控制方法及装置 |
| US9672626B2 (en) * | 2014-12-08 | 2017-06-06 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Method and system for generating adaptive fast forward of egocentric videos |
| KR102372026B1 (ko) * | 2015-05-29 | 2022-03-11 | 삼성디스플레이 주식회사 | 표시 장치 및 이를 포함하는 전자 시스템 |
| KR20170007665A (ko) * | 2015-07-10 | 2017-01-19 | 삼성전자주식회사 | 스킵 모드 정보를 이용한 레이트 조절 인코딩 방법 및 그에 따른 인코딩 장치 |
| US10257528B2 (en) * | 2015-10-08 | 2019-04-09 | Electronics And Telecommunications Research Institute | Method and apparatus for adaptive encoding and decoding based on image quality |
| KR102602690B1 (ko) * | 2015-10-08 | 2023-11-16 | 한국전자통신연구원 | 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치 |
| DE102015121148A1 (de) | 2015-12-04 | 2017-06-08 | Technische Universität München | Reduzieren der Übertragungszeit von Bildern |
| US10368074B2 (en) | 2016-03-18 | 2019-07-30 | Microsoft Technology Licensing, Llc | Opportunistic frame dropping for variable-frame-rate encoding |
| US20180213150A1 (en) * | 2017-01-24 | 2018-07-26 | Qualcomm Incorporated | Adaptive buffering rate technology for zero shutter lag (zsl) camera-inclusive devices |
| CN106851282A (zh) * | 2017-02-15 | 2017-06-13 | 福建时迅信息科技有限公司 | 一种vdi协议中减少视频图像编码数据量的方法和系统 |
| US10462512B2 (en) * | 2017-03-31 | 2019-10-29 | Gracenote, Inc. | Music service with motion video |
| CN110113600B (zh) * | 2018-02-01 | 2022-08-26 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机可读存储介质和计算机设备 |
| US20190379926A1 (en) * | 2018-06-06 | 2019-12-12 | Microsoft Technology Licensing, Llc | Method of optimizing media used to display moving images |
| CA3070812A1 (en) * | 2019-03-13 | 2020-09-13 | Alexander GILADI | Method and apparatus for content-adaptive frame duration extension |
| US11259035B2 (en) * | 2019-03-15 | 2022-02-22 | Ati Technologies Ulc | Macroblock coding type prediction |
| CN110113610B (zh) * | 2019-04-23 | 2021-04-20 | 西安万像电子科技有限公司 | 数据传输方法及装置 |
| US10997731B2 (en) * | 2019-06-14 | 2021-05-04 | Rockwell Collins, Inc. | Motion vector vision system integrity monitor |
| CN112819021B (zh) * | 2019-11-15 | 2024-05-07 | 北京地平线机器人技术研发有限公司 | 图像检测方法及装置、电子设备和存储介质 |
| US10923158B1 (en) | 2019-11-25 | 2021-02-16 | International Business Machines Corporation | Dynamic sequential image processing |
| US11570477B2 (en) * | 2019-12-31 | 2023-01-31 | Alibaba Group Holding Limited | Data preprocessing and data augmentation in frequency domain |
| US11276204B1 (en) * | 2020-08-31 | 2022-03-15 | Protein Metrics Inc. | Data compression for multidimensional time series data |
| US11741712B2 (en) | 2020-09-28 | 2023-08-29 | Nec Corporation | Multi-hop transformer for spatio-temporal reasoning and localization |
| WO2022108472A1 (en) | 2020-11-20 | 2022-05-27 | Huawei Technologies Co., Ltd | Device and method for optimizing power consumption during frames rendering |
| CN113301332B (zh) * | 2021-04-12 | 2024-06-21 | 阿里巴巴创新公司 | 视频解码方法、系统和介质 |
| CN113691756B (zh) * | 2021-07-15 | 2025-01-10 | 维沃移动通信(杭州)有限公司 | 视频播放方法、装置及电子设备 |
| CN114430488A (zh) * | 2022-04-01 | 2022-05-03 | 深圳市华曦达科技股份有限公司 | 一种视频编码和视频解码的方法及装置 |
| CN115499707B (zh) * | 2022-09-22 | 2024-08-06 | 上海联屏文化科技有限公司 | 视频相似度的确定方法和装置 |
| US12316886B2 (en) * | 2023-01-23 | 2025-05-27 | Proximie Inc. | Hybrid media distribution for telehealth sessions |
| US12417851B2 (en) * | 2023-01-23 | 2025-09-16 | Proximie Inc. | Hybrid media distribution for telehealth sessions |
| CN116761036B (zh) * | 2023-08-21 | 2023-11-14 | 北京中关村科金技术有限公司 | 视频编码方法及装置、电子设备、计算机可读存储介质 |
| WO2025206652A1 (en) * | 2024-03-23 | 2025-10-02 | Samsung Electronics Co., Ltd. | Method for aesthetic-based image capture and electronic device |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5530477A (en) * | 1994-04-29 | 1996-06-25 | Intel Corporation | Method and apparatus for selectively omitting video frames during playback |
| US6549948B1 (en) * | 1994-10-18 | 2003-04-15 | Canon Kabushiki Kaisha | Variable frame rate adjustment in a video system |
| US5903313A (en) * | 1995-04-18 | 1999-05-11 | Advanced Micro Devices, Inc. | Method and apparatus for adaptively performing motion compensation in a video processing apparatus |
| US5883977A (en) * | 1996-12-30 | 1999-03-16 | Daewoo Electronics Co., Ltd. | Method and apparatus for encoding a video signal of a contour of an object |
| US6385345B1 (en) * | 1998-03-31 | 2002-05-07 | Sharp Laboratories Of America, Inc. | Method and apparatus for selecting image data to skip when encoding digital video |
| US6393054B1 (en) * | 1998-04-20 | 2002-05-21 | Hewlett-Packard Company | System and method for automatically detecting shot boundary and key frame from a compressed video data |
| US6452610B1 (en) * | 1998-12-16 | 2002-09-17 | Intel Corporation | Method and apparatus for displaying graphics based on frame selection indicators |
| JP4140202B2 (ja) * | 2001-02-28 | 2008-08-27 | 三菱電機株式会社 | 移動物体検出装置 |
| US7017053B2 (en) * | 2002-01-04 | 2006-03-21 | Ati Technologies, Inc. | System for reduced power consumption by monitoring video content and method thereof |
| US7630569B2 (en) * | 2002-02-26 | 2009-12-08 | Decegama Angel | Real-time software video/audio transmission and display with content protection against camcorder piracy |
| US7483487B2 (en) * | 2002-04-11 | 2009-01-27 | Microsoft Corporation | Streaming methods and systems |
| US6710578B1 (en) * | 2002-08-27 | 2004-03-23 | Motorola, Inc. | Power resource management in a portable communication device |
| US7095786B1 (en) * | 2003-01-11 | 2006-08-22 | Neo Magic Corp. | Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low |
| JP3997171B2 (ja) * | 2003-03-27 | 2007-10-24 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
| US7483484B2 (en) * | 2003-10-09 | 2009-01-27 | Samsung Electronics Co., Ltd. | Apparatus and method for detecting opaque logos within digital video signals |
| KR100597402B1 (ko) * | 2003-12-01 | 2006-07-06 | 삼성전자주식회사 | 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치 |
| WO2005065030A2 (en) * | 2004-01-08 | 2005-07-21 | Videocodes, Inc. | Video compression device and a method for compressing video |
| KR100621581B1 (ko) * | 2004-07-15 | 2006-09-13 | 삼성전자주식회사 | 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치 |
| US7596143B2 (en) * | 2004-12-16 | 2009-09-29 | Alcatel-Lucent Usa Inc. | Method and apparatus for handling potentially corrupt frames |
| US9025673B2 (en) * | 2006-04-05 | 2015-05-05 | Qualcomm Incorporated | Temporal quality metric for video coding |
| US8582660B2 (en) * | 2006-04-13 | 2013-11-12 | Qualcomm Incorporated | Selective video frame rate upconversion |
| KR100819404B1 (ko) * | 2006-10-27 | 2008-04-04 | 삼성전자주식회사 | 휴대용 단말기에서 부화면 디코딩 방법 및 장치 |
| KR100800815B1 (ko) * | 2006-11-21 | 2008-02-01 | 삼성전자주식회사 | 디지털 방송을 수신하는 이동 단말기 및 방법 |
| US7387228B2 (en) * | 2006-11-22 | 2008-06-17 | Apach Industrial Co., Ltd. | Magazine with positioning device for nail gun |
| US20090097546A1 (en) * | 2007-10-10 | 2009-04-16 | Chang-Hyun Lee | System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate |
-
2008
- 2008-10-09 US US12/248,825 patent/US20100027663A1/en not_active Abandoned
-
2009
- 2009-07-29 EP EP09790957A patent/EP2321971A2/en not_active Withdrawn
- 2009-07-29 TW TW098125608A patent/TW201029475A/zh unknown
- 2009-07-29 JP JP2011521301A patent/JP2011530221A/ja active Pending
- 2009-07-29 KR KR1020117004626A patent/KR20110045026A/ko not_active Ceased
- 2009-07-29 CN CN2009801298265A patent/CN102113329A/zh active Pending
- 2009-07-29 WO PCT/US2009/052165 patent/WO2010014759A2/en not_active Ceased
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI491262B (zh) * | 2010-09-14 | 2015-07-01 | Alpha Imaging Technology Corp | 影像編碼積體電路及其影像編碼資料傳輸方法 |
| US10116952B2 (en) | 2015-11-30 | 2018-10-30 | Mstar Semiconductor, Inc. | Bitstream decoding method and bitstream decoding circuit |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110045026A (ko) | 2011-05-03 |
| JP2011530221A (ja) | 2011-12-15 |
| WO2010014759A2 (en) | 2010-02-04 |
| WO2010014759A3 (en) | 2010-05-20 |
| CN102113329A (zh) | 2011-06-29 |
| EP2321971A2 (en) | 2011-05-18 |
| US20100027663A1 (en) | 2010-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TW201029475A (en) | Intelligent frame skipping in video coding based on similarity metric in compressed domain | |
| RU2498523C2 (ru) | Быстрое принятие решения о дельте параметра квантования макроблока | |
| JP6921873B2 (ja) | ディスプレイストリーム圧縮のためのサブストリーム多重化 | |
| US10284849B2 (en) | Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure | |
| US10244255B2 (en) | Rate-constrained fallback mode for display stream compression | |
| US7978920B2 (en) | Method and system for processing an image, method and apparatus for decoding, method and apparatus for encoding, and program with fade period detector | |
| JP6449329B2 (ja) | ディスプレイストリーム圧縮(dsc)において量子化パラメータ(qp)を選択するためのシステムおよび方法 | |
| US10631005B2 (en) | System and method for coding in block prediction mode for display stream compression (DSC) | |
| US9936203B2 (en) | Complex region detection for display stream compression | |
| JP2009523395A (ja) | 精細粒度空間スケーラビリティによるビデオ符号化 | |
| JP6453360B2 (ja) | ディスプレイストリーム圧縮(dsc)のためのラグランジュパラメータ計算のためのシステムおよび方法 | |
| JP2019512970A (ja) | ディスプレイストリーム圧縮における量子化パラメータの適応計算のための装置および方法 | |
| JP6644766B2 (ja) | ディスプレイストリーム圧縮のためにバッファ満杯を決定するためのシステムおよび方法 | |
| US10356428B2 (en) | Quantization parameter (QP) update classification for display stream compression (DSC) | |
| US20070031050A1 (en) | Method and apparatus for bit rate control for image encoding |