[go: up one dir, main page]

TWI575939B - 基於策略的影像編碼 - Google Patents

基於策略的影像編碼 Download PDF

Info

Publication number
TWI575939B
TWI575939B TW104129655A TW104129655A TWI575939B TW I575939 B TWI575939 B TW I575939B TW 104129655 A TW104129655 A TW 104129655A TW 104129655 A TW104129655 A TW 104129655A TW I575939 B TWI575939 B TW I575939B
Authority
TW
Taiwan
Prior art keywords
image data
image
encoder
data
quality
Prior art date
Application number
TW104129655A
Other languages
English (en)
Other versions
TW201626799A (zh
Inventor
保羅 戴芬堡
廖懿婷
史蒂芬 麥卡文
維拉柏傑席拉 索瑪雅斯洛
尼亞那達 傑葛納森
貝瑞 歐曼亨尼
克里斯多夫 弗萊明
Original Assignee
英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾股份有限公司 filed Critical 英特爾股份有限公司
Publication of TW201626799A publication Critical patent/TW201626799A/zh
Application granted granted Critical
Publication of TWI575939B publication Critical patent/TWI575939B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

基於策略的影像編碼
本公開一般關於影像編碼。更具體地，本公開描述了使用基於策略的方法的影像編碼。
計算裝置越來越多地被用來與計算裝置相關聯的顯示裝置上觀看影像。例如，影像數據可以藉由圖形處理單元，或與作業系統合作以在無線顯示裝置進行顯示而被呈現。在某些情況下，影像數據由具有要提供給外部顯示裝置的編碼器的顯示系統分封化。分封化的顯示系統的一些例子可以包括無線顯示系統，其中計算裝置可經由無線通信協議，如無線保真度(Wireless Fidelity；WiFi)，無線十億比(Wireless Gigabit；WiGig)等提供的影像數據到外部顯示器。其他分封化的顯示系統可以包括通用序列匯流排(Universal Serial Bus；USB)協議顯示系統。在大量的數據必須發送到顯示裝置之處，發送該數據之時間和在系統上放置的負載增加，造成在使用該系統的裝置和使用可用帶寬中的低效率。
102‧‧‧計算裝置
104‧‧‧處理器
106‧‧‧儲存裝置
108‧‧‧記憶體裝置
110‧‧‧顯示系統
112‧‧‧呈現模組
114‧‧‧捕獲和通知模組
116‧‧‧編碼器
118‧‧‧分封化器
120‧‧‧策略引擎
122‧‧‧外部顯示裝置
124‧‧‧網路介面控制器
126‧‧‧網路
128‧‧‧虛線
130‧‧‧USB驅動器
132‧‧‧USB端口
134‧‧‧系統匯流排
206‧‧‧方塊
208‧‧‧方塊
500‧‧‧顯示器
502‧‧‧區域
504‧‧‧區域
506‧‧‧區域
602‧‧‧階段
604‧‧‧階段
606‧‧‧階段
608‧‧‧階段
710‧‧‧方塊
712‧‧‧策略引擎
804‧‧‧方塊
806‧‧‧方塊
808‧‧‧方塊
900‧‧‧計算機可讀媒體
902‧‧‧處理器
904‧‧‧計算機匯流排
906‧‧‧策略應用程式
圖1是具有基於策略顯示編碼系統的計算裝置的方塊圖；圖2是示出應用於視訊數據的策略處理的處理流程圖；圖3是示出使用框內(intraframe；i-Frame)或預測框(predictive frame；p-Frame)的技術的策略處理的處理流程圖；圖4是示出具有漸進發送的策略處理的處理流程圖；圖5是示出多區更新的圖。
圖6是示出監視編碼的更新的影像品質的圖。
圖7是示出了基於策略的影像編碼的功能部件的流程圖；圖8是示出基於策略的影像編碼的方法的方塊圖；和圖9是描繪被配置為實現基於策略的影像編碼的計算機可讀媒體的例子的方塊圖。
【發明內容及實施方式】
所公開的標的在此相關於使用策略為基礎的方法的影像編碼技術。如上所討論的，分封化的顯示系統可以編碼和發送影像數據到顯示裝置。在許多情況下，帶寬可以被限制，因此，要發送大量數據可能增加發送的潛 時以及由於增加的負載而增加功耗。本文描述的技術包括基於策略的方法來編碼和影像數據發送到顯示器。當要被發送的數據是視訊數據，或換句話說，是經常變化的數據時，第一策略可能相較於更高的影像品質而傾向低潛時發送。當要被發送的數據是非視訊數據，或換句話說，是不經常變化的數據時，第二策略可能相較於低潛時而傾向更高的影像品質。
術語“低潛時”和“經常”可以是相對的術語。然而，如果影像品質是被傾向的對於給定的經常變化的影像數據的類型，即，視訊數據，其潛時會是較高的，如在本文中稱為術語“低潛時”是相比於前者更低的潛時。例如，如果相較於潛時影像品質被優先化用於視訊數據，連續的編碼和發送的框之間的時間可能增加。因此，術語低潛時可以被理解為對於如果影像品質係被優先化或需要在一定的閾值所需要的潛時的比較。在一些情況下，術語“低潛時”可以基於指示低於該發送的潛時被認為是低的時間段的預定閾值。
如本文提及的術語“經常”，可指閾值改變速率，高於其則該影像數據可被認為是高的。在一些情況下，術語“經常”可由被發送的一類型數據來決定。例如，無論改變速率是否滿足或超過上述討論的閾值，是視訊數據的影像數據可以被分類為經常變化的影像數據。如本文所指的視訊數據可以包括與被經常變化超過給定閾值的數據相關聯的自然視訊數據。相反的，非視訊數據可以包括 低於給定閾值的數據，並且可以包括與在生產率圖形變化相關的數據。例如，當比較於視訊數據時，改變至文字處理器應用程式可以是相對不經常的。改變至文字處理器應用程式相關的影像數據可以是生產率圖形發生的變化之例子之一。生產率的圖形的變化的其他例子可以包括發生在檔案視窗應用程式中的變化，簡報應用程式，文件查看器應用程式，等等。
相較於在靜態或非視訊影像數據中較低的影像品質，使用者可能以較少的檢查方式查看視訊中較低的影像品質。例如，相較於如果影像品質被要求保持在設定的閾值可能發生的潛時，由於視訊數據的每一框的內容可以與每個連續框改變，基於策略的編碼可快速提供編碼框。相反的，由於非視訊數據的每一框，此框包括要被顯示的文字處理器文件不經常變化，基於策略的編碼可能相較於低潛時而傾向影像品質。在這種情況下，文字處理器文件影像內顯示的對象可以以高影像品質，甚至以較高的潛時為代價被呈現。但是，因為變化很少發生於文字處理器文件影像中，影像可能以相比於視訊影像數據是仍然相對較低的潛時而被編碼並發送到顯示裝置，其中視訊影像是傾向低潛時的。
在任何情況下，這裡描述的技術包括基於策略的編碼系統，其中，優先化可以基於要被編碼之影像數據的類型，或者要被編碼之影像數據的變化的頻率而改變。其他實施例中，在下面更詳細討論的包括選擇性地更 新框的一部分，逐步更新框或框的一部分，多區域的更新，品質指示符追蹤，進度指示追蹤，分佈式反饋，分佈式控制和類似者。
圖1是具有基於策略顯示編碼系統的計算裝置的方塊圖。計算裝置102可以包括處理器104，儲存裝置106，和記憶體裝置108，儲存裝置106包括非暫態計算機可讀媒體。計算裝置102可以包括顯示系統110，被配置在與影像顯示相關聯的部件，如呈現模組112，捕獲和通知模組114，編碼器116，分封化器118，和類似者以實現策略決定。策略引擎120在給定的策略實施期間可藉由顯示系統110而引用。策略引擎120可以是策略架構，其中分封化數據流可以取決於影像數據的特徵而被不同地編碼，以便保持能量、提高影像品質、更低的潛時和類似者。在一些情況下，策略引擎可以被配置為儲存在儲存裝置106上，並經過處理器104而由顯示系統110引用。在任何情況下，顯示系統被配置以編碼和發送影像數據到一個或多個外部顯示裝置122。
顯示裝置122可以透過網路介面控制器(Network interface controller；NIC)124，以及網路126經由無線連接而通信地耦合到計算裝置102。在一些情況下，在此所討論的技術可以在如虛線128所指示之有線通信中實現，其中，影像數據經由通用序列匯流排(Universal Serial Bus；USB)驅動器130和USB端口132提供到外部顯示裝置122。
在實施例中，顯示系統110的元件可以被實現為邏輯，硬體邏輯，或者軟體，配置以由處理裝置104來進行。然而在其它實施例中，顯示系統110的元件可以是硬體，軟體和韌體的組合。顯示系統110的元件可以被配置為獨立地操作、平行地操作、分佈地操作或作為更廣泛處理中的一部分。顯示系統110的元件可以被認為是單獨的模組或主模組的子模組。其他模組也可以被包括在內。
在一些情況下，顯示系統110的元件可以在計算裝置102的其他元件中來實現。例如，呈現模組112可以在計算裝置的作業系統中實現，並且被配置來呈現用於編碼影像數據。同樣地，捕獲和通知模組114可以在作業系統中實現，或者可以是圖形堆疊的一部分，配置為識別當影像數據是視訊數據還是非視訊數據時，並通知編碼器116。視訊與非視訊數據之這先驗知識可以由編碼器使用以根據一個或多個策略來編碼影像數據。
如上所述，策略可以包括第一策略，其中編碼器116是相較於編碼影像品質而要優先化發送，即，低潛時，在用於是視訊數據的影像數據時。換句話說，第一策略可以是潛在的較低的影像品質為代價發送影像數據，該影像數據是在發送鏈路的可用帶寬約束內經常變化。在第二策略中，編碼器116是要相較於低潛時而優先化對用於非視訊數據的影像品質。換句話說，第二策略將推遲發送，直到影像品質的一定程度被滿足，或者尋求在比瞬時 可用之更高的帶寬來發送，從而犧牲為沒有頻繁改變的影像數據的影像品質的低潛時。其他策略可被實現，然而，第一和第二策略被實現為提供高影像品質至使用者用於是不經常改變的影像數據，例如文字處理器文件的影像數據，和用於是頻繁改變諸如視訊的影像數據的低潛時。編碼器116編碼影像數據之後，分封化器118可分封化影像數據發送到一個或多個外部顯示裝置。
處理器104可以是適於執行所儲存的指令的主處理器。處理器104可以是單核處理器、多核處理器、計算集群或任何數量的其它配置。處理器104可被實現為複雜指令集計算機(Complex Instruction Set Computer；CISC)或精簡指令集計算機(Reduced Instruction Set Computer；RISC)處理器、x86指令集兼容的處理器、多核心或任何其它微處理器或中央處理單元(Central processing unit；CPU)。
記憶體裝置108可以包括隨機存取記憶體(RAM)(例如，靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、零電容器RAM、矽-氧化物-氮化物-氧化物-矽SONOS、嵌入式DRAM、延長數據輸出RAM、雙倍數據速率(DDR)RAM、電阻隨機存取記憶體(RRAM)、參數隨機存取記憶體(PRAM)等)、唯讀記憶體(ROM)(例如，掩模ROM、可程式化唯讀記憶體(PROM)、可擦除可程式化唯讀記憶體(EPROM)、唯讀記憶體(EEPROM電可擦 除可程式化)等)、快閃記憶體或任何其它合適的記憶體系統。主處理器104可藉由系統匯流排134(例如，外圍部件互連(PCI)、工業標準架構(ISA)、PCI-Express中、HyperTransport®、NUBUS等)連接至部件，包括記憶體108和儲存裝置106。
圖1的方塊圖並不旨在指示計算裝置102是包括所有在圖1中所示的部件。此外，計算裝置102可以包括任何數目的圖1中未示出的附加部件，取決於特定實現的細節。
圖2是示出應用於視訊數據的策略處理的處理流程圖。如上關於圖2所述，第一策略配置為優先化用於是視訊數據的影像數據之影像發送。例如，在202，影像數據可被接收。該影像數據可以由作業系統來接收。在204，做出關於該影像數據是否是視訊還是非視訊之判定。該判定可以由作業系統、圖形堆疊等之一或多個而做出。在任何情況下，做出判定為先驗以提供影像數據和影像數據類型的指示至編碼器。上面所討論的先驗判定從編碼器卸載影像數據類型判定，並允許具有更多處理能力的部件，如圖形堆疊、作業系統等以執行該判定。
在實施例中，影像數據由在影像數據內的變化的頻率的判定而被判定為視訊或非視訊。例如，影像數據的變化率可以與預定的閾值比較。高於閾值的影像數據可以被分類為視訊數據，而低於閾值的影像數據可被分類為非視訊數據。
在方塊206，如果影像數據是視訊數據，圖1的編碼器116將優先化影像發送，並可能潛在地允許影像品質降低。在方塊208，如果影像數據是非視訊數據，編碼器116優先化影像品質，並可能潛在地允許發送的潛時增加。
圖3是示出使用框內(intraframe；i-Frame)或預測框(predictive frame；p-Frame)的技術的策略處理的處理流程圖。在一些情況下，第一或第二策略可以根據在要被顯示的區域的足夠小的部分中是否發生檢測到的變化而不同地實現。如該圖3所示，影像數據在指示從先前發送的框中的影像數據的變化之302被接收，並且對於改變的區域是否高於在304的預定閾值而作出判定。
例如，影像數據可以指示在總顯示框的僅20%的部分中的變化。如果改變僅影響總顯示框的一小百分比，第一策略，其中，相較於低潛時發送而影像品質被優先化。在圖3，如果該部分低於如在306指示的預定的閾值，框內(i-Frame)可被產生以用於發送。i-Frame發送可提供比在308產生的p-frame編碼發送還更高品質之要顯示的影像。當i-Frame發送可以是典型地的高帶寬發送時，如果僅僅已改變影像數據的一小部分，帶寬會相對地小。因此，在圖3中所示策略可利用更高品質的更新為優點，其即使鑒於帶寬約束，仍可迅速發送。另外，由於僅發生小的變化，發送i-Frame可以減少圖1的編碼器116的計算負載，因為p-Frame編碼需要參考以前框以判定準 確的p-Frame編碼的發送。
圖4是示出具有漸進發送的策略處理的處理流程圖。如上關於圖3所述，在一些情況下，根據檢測到的變化是否發生在要顯示的區域的足夠小的部分，可以不同地執行第一或第二策略。如圖4所示，影像數據在402接收，並且在404判定改變的影像數據是否高於區域閾值。如果該區域是高於閾值，並且判定在406影像數據是視訊數據，根據關於圖1和圖2上面討論，及於408指示的第一個策略而編碼和發送影像數據。如果影像數據不是視訊，但仍高於該改變區域閾值，根據410所指示的第二策略而編碼和發送影像數據。
如果已改變的區域是不高於閾值，那麼可採用第二策略而產生基底發送，相較於低潛時而優先化影像品質，如在412指示。在一些情況下，基底發送可以達到所需的影像品質。然而，如果基底發送沒有達到所需的影像品質，逐步更新可能被編碼和發送，直到達到所希望的影像品質，如在414指示。在某些情況下，期望的品質可能與預定值相關聯，並且作為影像數據被編碼和發送的任何給定的影像的品質可能被追蹤。品質指標，如下面更詳細討論的，可用於追蹤被編碼和發送的影像的品質。
基地發送和逐步更新可能使用可縮放視訊編碼(Scalable Video Coding；SVC)而被編碼。例如，當區域成為靜態時，SVC保真度增強層可以是使用提供逐步更新。另外地或替代地，在一些情況下，基底發送與逐步 更新可以使用高級視訊編解碼器(Advanced Video Codec；AVC)使用對應的框級精化而被編碼。
如上所述，更新可以是當前顯示的影像的僅一部分已經改變的結果。改變的部分可以在本文中被稱為改變的“區域”。上面所討論的選擇性區域更新可以由邏輯追蹤，如圖1的顯示系統110。
圖5是示出多區更新的圖。本文描述的技術包括經由SVC層或AVC框而更新多個區域。根據定義，如果與給定區域相關聯的影像數據沒有改變，區域可以需要不同類型的更新，或完全不更新。
如該圖5所示，顯示器500可以包括三個區域，包括區域502、區域504以及區域506。區域502可以是剩餘顯示區域，而區域504和506可能需要影像數據的更新。如圖5中所示，區域504可以提供基底更新，而區域506提供了逐步更新。對區域506的逐步更新和區域504的基底更新可以被多工用於發送作為在前一框的時間期間發生改變的結果。隨著時間之選擇性和多區域的更新的知識和追蹤致能圖1的編碼器116執行特定區域的更新。另外，區域的具體知識和追蹤，也可以由圖1的顯示系統110實現以判定區域是否沒有變化，因此，編碼器116可以去能用於不變區域的運動搜索，並採用用於與不變區域相關聯的宏塊跳過模式。
圖6是示出監視編碼的更新的影像品質的圖。如上所述，邏輯，諸如圖1顯示系統110可以被配置 為追蹤用於區域，其包括一組宏塊、掃描線和類似者的更新。圖1編碼器116可以進一步配置為追蹤區域的時間和空間特性及其關聯更新。當檢測到所顯示的影像的區域之改變並變為主動內容時，更新一般可能開始。當所顯示的影像的區域之改變結束並變成靜態內容時或者當該區域已達到了目標影像品質時，更新可以結束。
本文描述的技術包括用於追蹤影像品質和影像數據與相關聯的更新的進展元數據。圖6示出四個階段包括階段602、階段604、階段606和階段608，作為接收更新給定的顯示區域之內的區域的例子，並且其中任何給定的區域的影像品質被追蹤。例如，在階段602中，區域A具有為0的影像品質值，而區域Z具有3的影像品質值。在這個例子中，為3的影像品質值是目標影像品質值，其中編碼器可判定沒有進一步更新的必要。在隨後的階段，例如階段604，區域A具有1的值，區域Z繼續有3的值，以及新的區域-區域B-具有0的值。進一步階段606和608示出了區域A，B和Z被監測，直到針對每個區域達到目標值3。
在一些情況下，零的影像品質值可以指示給定的區域的內容最近已在關於圖2，3和4上面所討論的每一選擇性更新而改變。1的影像品質值可以是基底更新而2或更高的值可指示已經由編碼器116編碼的逐步更新的次數。
在實施例中，SVC可用於致能更細的粒度。 具體來說，基底更新可能包括每一框的時間內之逐步多個更新。注意，在圖6中，沒有更新被編碼、分封化或發送用於背景區域，如區域Z，其表示所有區域駐留在給定之目標品質等級3。
在實施例中，元數據可以由顯示系統110收集以追蹤每個區域何時已經被編碼、分封化、發送和類似者，以改善顯示系統116的耐用性和調試能力。具體地，元數據指示任何給定的更新進度可被追蹤。例如，在給定的框中分封化或發送經編碼的更新之失敗可以在下一框的開始處由編碼器116檢測並處理。在SVC的背景下，這可以應用在子框和框邊界兩者。
圖7是示出了基於策略的影像編碼的功能部件的流程圖。顯示系統，如圖1的顯示系統110，可實現影像數據編碼和發送管線。如圖7中所示，影像數據可以在702被編碼。在影像數據在706被編碼前，在改變中或被指示為視訊數據的影像數據，在704被捕獲且編碼器116被通知。編碼的影像數據是在708分封化並在710發送。當進度和影像品質數據被監視以實現策略，如以上所討論的第一和第二策略，策略引擎712可以藉由顯示系統110而使用。
此外，顯示系統110可以被配置以致能局部控制在每個功能方塊和相關聯的部件，如在714表示。例如，發送方塊710可以與NIC相關聯，如NIC 124，被配置為發送編碼和分封化影像數據的更新。利用NIC 124上 的熱約束可能會導致NIC 124從發送位元流取消逐步更新以減少無線發送帶寬。該NIC 124可經配置以基於與策略引擎712相關聯的整體的系統目標而選擇哪些封包要被取消。
在一些情況下，局部控制可經由更新之間的優先化而實現。例如，每當系統以對於靜態區域的高保真度為代價而被約束以確保低潛時和平滑時，基底更新可能會在多區域的更新中的框/層兩者內相較於逐步更新，而被優先化。在這種情況下，編碼器116被配置來封裝和標誌不同的更新類型的區域。下游部件，如分封化器118和NIC 124，可被配置為識別並解析標誌的區域，並基於被標誌的區域而執行局部化操作，如封包取消。
此外，在功能部件方塊之間可以提供反饋。例如，該NIC 124可藉由防止分封化更新的發送的熱條件而被約束。如果條件持續超過可配置的時間週期，NIC 124可通知編碼器116，如在716所指示。通知可指示逐步更新將被取消，以避免不必要的後續的逐步更新的編碼和分封化。
在一般情況下，顯示系統110可以被配置，以判定給定的約束的淨衝擊，如從給定約束的功耗衝擊、熱衝擊、帶寬衝擊等等。例如，在無線帶寬中的持續下降可能負面衝擊使用者感知的品質，其中逐步更新被取消的。從NIC 124給編碼器116的反饋可避免如上所討論的產生逐步更新。更整合的方法也可被實現，其中檢測到約 束且編碼器116被相應地調整。例如，編碼器116可經配置以在否則將發生之帶寬持續下降的期間產生較小的但相對更逐步的更新。
圖8是示出基於策略的影像編碼的方法的方塊圖。在802，影像數據被提供給用於發送到顯示器的編碼器。在方塊804，影像數據的至少一個部分是視訊數據還是非視訊數據的指示被提供。在編碼器實現第一策略，在對是視訊數據的影像數據相對於編碼影像品質而優先化影像數據之低潛時發送，如方塊806所示。在方塊808，第二策略在編碼器處可對非視訊數據實現，其中，第二策略相對於低潛時發送而優先化編碼影像品質。
圖9是描繪被配置為實現基於策略的影像編碼的計算機可讀媒體的例子的方塊圖。計算機可讀媒體900可以由在計算機匯流排904上的處理器902存取。在一些例子中，計算機可讀媒體900可以是一種非暫態計算機可讀媒體。在一些例子中，計算機可讀媒體可以是儲存媒體，但不包括載波、信號和類似者。此外，計算機可讀媒體900可以包括計算機可執行指令以引導處理器902執行當前方法的步驟。
此處所討論的各種軟體部件可被儲存在有形的、非暫態性的計算機可讀媒體900上，如圖9所示。例如，策略應用程式906可以被配置為提供影像數據至用於發送到顯示器的編碼器，並提供至少所述影像數據的一部分是否是視訊數據或非視訊數據的指示。策略應用程式 906還可以被配置為在編碼器處實現第一策略，在用於為非視訊數據的影像數據，相較於編碼影像品質而優先化影像數據的發送，以及在編碼器處實現第二策略，在用於為非視訊數據的影像數據，相較於發送而優先化編碼影像品質。
例子可包括標的，如為方法、用於執行該方法的裝置，包括指令之至少一個機器可讀媒體，當由機器執行指令時使機器執行該方法。
例子1包括一種用於基於策略的顯示編碼的系統。系統包含邏輯，該邏輯至少部分地包含硬體邏輯，以提供影像數據至用於發送到顯示器的編碼器和提供所述影像數據的至少一部分是否是視訊數據或非視訊數據的指示。該邏輯更配置為在用於是視訊數據的影像數據實現在該編碼器的相較於編碼影像品質而優先化發送該影像數據的第一策略和在用於非視訊數據的影像數據實現在該編碼器相較於發送而優先化編碼影像品質的第二策略。
例子2包括一種用於基於策略的顯示編碼的方法。該方法包含提供影像數據至用於發送到顯示器的編碼器和提供所述影像數據的至少一部分是否是視訊數據或非視訊數據的指示。該方法包含在用於是視訊數據的影像數據實現在該編碼器的相較於編碼影像品質而優先化發送該影像數據的第一策略和在用於非視訊數據的影像數據實現在該編碼器相較於發送而優先化編碼影像品質的第二策略。在一些情況下，計算機可讀媒體可以被實現為執行例 子2的方法。
例子3包括一種計算機可讀媒體，包括代碼，當被執行時，用以使處理裝置提供影像數據至用於發送到顯示器的編碼器。該代碼可被實現以提供影像數據的至少一部分是否是視訊數據或非視訊數據的指示和在用於是視訊數據的影像數據實現在該編碼器的相較於編碼影像品質而優先化發送該影像數據的第一策略。該代碼更配置為在用於非視訊數據的影像數據實現在該編碼器相較於發送而優先化編碼影像品質的第二策略。
例子4包括一種裝置，包含用於實現影像策略的裝置。該裝置是用以提供影像數據至用於發送到顯示器的編碼器和提供影像數據的至少一部分是否是視訊數據或非視訊數據的指示。該裝置更配置為在用於是視訊數據的影像數據實現在該編碼器的相較於編碼影像品質而優先化發送該影像數據的第一策略和在用於非視訊數據的影像數據實現在該編碼器相較於發送而優先化編碼影像品質的第二策略。
例子5包括一種裝置，包含邏輯，至少部分包含用於實現影像策略的硬體邏輯。該邏輯是用以提供影像數據至用於發送到顯示器的編碼器和提供影像數據的至少一部分是否是視訊數據或非視訊數據的指示。該邏輯更配置為在用於是視訊數據的影像數據實現在該編碼器的相較於編碼影像品質而優先化發送該影像數據的第一策略和在用於非視訊數據的影像數據實現在該編碼器相較於發送 而優先化編碼影像品質的第二策略。
實施例是一種實現或例子。參考在說明書中對“實施例”、“一個實施例”、“一些實施例”、“各種實施例”或“其他實施例”是指結合該實施例描述的特定特徵、結構或特性被包括在至少一些實施例中，但不一定是本技術的所有實施例中。“實施例”、“一個實施例”或“一些實施例”的各種出現不一定全部指的是相同的實施例。
並非所有在此描述和示出的部件、特徵、結構、特性等需要被包含在一個特定的實施方案或實施例。如果說明書陳述部件、特徵、結構或特性“可”、“可能”、“可以”或“能”被包括，例如，特定的部件、特徵、結構或特性不必要被包括。如果說明書或申請專利範圍引用“一”或“一個”元件，這並不意味著只存在一個元件。如果說明書或申請專利範圍提到“附加的”元件，這並不排除存在多於一個另外的元件。
但應該指出的是，雖然一些實施例已參照特定的實施進行了說明，根據一些實施例的其它實施也是可能的。此外，在附圖中示出和/或本文描述的佈置和/或電路元件或其它特徵的順序不必以示出和描述的特定方式佈置。許多根據一些實施例的其他佈置也是可能的。
在一個圖中所示的各系統中，在某些情況下，元件可以各自具有相同的參考標號或不同的參考標號以表明可以表示是不同的和/或類似的元件。然而，元件可以足夠靈活以有不同的實現和與一些或全部示出或描述 於此的系統作用。在圖中所示的各種元件可以是相同的或不同的。哪一個稱作第一元件以及哪一個被稱為第二元件是任意的。
但是應該理解的是，在上述的實施例的細節可以在一個或多個實施例中的任何地方使用。例如，上述的計算裝置的所有可選功能也可相對於在此描述的任一方法或計算機可讀媒體實現。此外，儘管可能已在本文中用於描述實施例的流程圖和/或狀態圖，所述技術不限於那些圖或此處相應的描述。例如，流程不需要經過每個示出的方塊或狀態，或以完全相同的順序如示出和描述般的移動。
本技術不限於本文中列出的具體細節。事實上，本領域具有本公開的益處的技術人員將理解，從前面的描述和附圖之許多其它變型可以在本技術的範圍內進行。因此，是下面的申請專利範圍包括其上限定的本技術的範圍的任何修正。
102‧‧‧計算裝置
104‧‧‧處理器
106‧‧‧儲存裝置
108‧‧‧記憶體裝置
110‧‧‧顯示系統
112‧‧‧呈現模組
114‧‧‧捕獲和通知模組
116‧‧‧編碼器
118‧‧‧分封化器
120‧‧‧策略引擎
122‧‧‧外部顯示裝置
124‧‧‧網路介面控制器
126‧‧‧網路
128‧‧‧虛線
130‧‧‧USB驅動器
132‧‧‧USB端口
134‧‧‧系統匯流排

Claims (22)

  1. 一種用於基於策略的顯示編碼的系統，包含邏輯，該邏輯至少部分地包含硬體邏輯，以：提供影像數據至用於發送到顯示器的編碼器；提供該影像數據的至少一部分是否是視訊數據或非視訊數據的指示；在用於是視訊數據的影像數據實現在該編碼器之相較於編碼影像品質而優先化發送該影像數據的第一策略；和在用於非視訊數據的影像數據實現在該編碼器之相較於發送而優先化編碼影像品質的第二策略，其中該邏輯的至少一部分在該編碼器實現，其中當該影像數據的該部分低於其中該影像數據是要被顯示所在的總顯示區域的閾值時，該編碼器邏輯是用以實現該第二策略。
  2. 如申請專利範圍第1項所述之系統，其中該指示是從以下的一或多者所提供：作業系統，與用於基於策略的影像編碼之該系統相關聯；該系統的圖形堆疊，與用於基於策略的影像編碼之該系統相關聯；或它們的任意組合。
  3. 如申請專利範圍第1項所述之系統，其中只要該影像數據的該部分低於該閾值，該編碼器邏輯是藉由產生相對於預測框(predictive frame；p-Frame)的用於發送 之框內(intraframe；i-Frame)而實現該第二策略。
  4. 如申請專利範圍第1項所述之系統，其中鑑於施加限制在最大影像品質編碼上的系統約束，該編碼器邏輯是藉由提供具有最大影像品質的初始更新而實現該第二策略。
  5. 如申請專利範圍第4項所述之系統，其中該編碼器邏輯是用以逐步更新編碼影像品質，直至以下一或多者：達到目標品質；在達到該目標品質之前，該顯示的影像之改變繼續發生；和系統約束在後續更新上施加限制。
  6. 如申請專利範圍第5項所述之系統，其中該編碼器邏輯是用以同步提供用於複數個區域的影像品質更新。
  7. 如申請專利範圍第1項所述之系統，其中該邏輯的至少一部分在該編碼器實現，其中該編碼器邏輯是用以：追蹤用於要被顯示的該影像數據的給定部分所達到的品質指示；追蹤用於該影像的該給定部分所達到的進展指示。
  8. 如申請專利範圍第1項所述之系統，其中該邏輯是用以：接收來自該編碼器的下游部件之反饋，該反饋指示影像品質更新是否要被下游部件取消； 在下游部件實現額外的策略，基於以下的因素，包含：該第一和第二策略，系統約束，來自下游部件的該反饋；或它們的任意組合。
  9. 如申請專利範圍第1項所述之系統，其中該邏輯的至少一部分在該編碼器實現，其中該編碼器邏輯是用以基於要被下游部件可讀的優先化而標誌編碼數據。
  10. 一種用於基於策略的顯示編碼的方法，該方法包含：提供影像數據至用於發送到顯示器的編碼器；提供該影像數據的至少一部分是否是視訊數據或非視訊數據的指示；在用於是視訊數據的影像數據實現在該編碼器之相較於編碼影像品質而優先化發送該影像數據的第一策略；在用於非視訊數據的影像數據實現在該編碼器之相較於發送而優先化編碼影像品質的第二策略；和當該影像數據的該部分低於其中該影像數據是要被顯示所在的總顯示區域的閾值時，實現該第二策略。
  11. 如申請專利範圍第10項所述之方法，其中該指示是從以下的一或多者所提供：作業系統，與用於基於策略的影像編碼之該系統相關聯； 該系統的圖形堆疊，與用於基於策略的影像編碼之該系統相關聯；或它們的任意組合。
  12. 如申請專利範圍第10項所述之方法，更包含只要該影像數據的該部分低於該閾值，藉由產生相對於預測框(predictive frame；p-Frame)的用於發送之框內(intraframe；i-Frame)而實現該第二策略。
  13. 如申請專利範圍第10項所述之方法，更包含鑑於施加限制在最大影像品質編碼上的系統約束，藉由提供具有最大影像品質的初始更新而實現該第二策略。
  14. 如申請專利範圍第13項所述之方法，更包含逐步更新該編碼影像品質，直至以下一或多者：達到目標品質；在達到該目標品質之前，該顯示的影像之改變繼續發生；和系統約束在後續更新上施加限制。
  15. 如申請專利範圍第14項所述之方法，更包含：同步提供用於複數個區域的影像品質更新。
  16. 如申請專利範圍第10項所述之方法，更包含：追蹤用於要被顯示的該影像數據的給定部分所達到的品質指示；追蹤用於該影像的該給定部分所達到的進展指示。
  17. 如申請專利範圍第10項所述之方法，更包含：接收從來自該編碼器的下游部件之反饋，該反饋指示 影像品質更新是否要被下游部件取消；在下游部件實現額外的策略，基於以下的因素，包含：該第一和第二策略，系統約束，來自下游部件的該反饋；或它們的任意組合。
  18. 如申請專利範圍第10項所述之方法，更包含基於要被下游部件可讀的優先化而標誌編碼數據。
  19. 一種計算機可讀媒體，包括代碼，當被執行時，用以使處理裝置以：提供影像數據至用於發送到顯示器的編碼器；提供該影像數據的至少一部分是否是視訊數據或非視訊數據的指示；在用於是視訊數據的影像數據實現在該編碼器之相較於編碼影像品質而優先化發送該影像數據的第一策略；和在用於非視訊數據的影像數據實現在該編碼器之相較於發送而優先化編碼影像品質的第二策略，其中當該代碼被執行時，用以使該處理裝置在當該影像數據的該部分低於其中該影像數據是要被顯示所在的總顯示區域的閾值時，實現該第二策略。
  20. 如申請專利範圍第19項所述之計算機可讀媒體，其中當該代碼被執行時，用以使該處理裝置在只要該影像數據的該部分低於該閾值，藉由產生相對於預測框 (predictive frame；p-Frame)的用於發送之框內(intraframe；i-Frame)而實現該第二策略。
  21. 如申請專利範圍第19項所述之計算機可讀媒體，其中當該代碼被執行時，用以使該處理裝置在鑑於施加限制在最大影像品質編碼上的系統約束，藉由提供具有最大影像品質的初始更新而實現該第二策略。
  22. 如申請專利範圍第21項所述之計算機可讀媒體，其中當該代碼被執行時，用以使該處理裝置逐步更新該編碼影像品質，直至以下一或多者：達到目標品質；在達到該目標品質之前，該顯示的影像之改變繼續發生；和系統約束在後續更新上施加限制。
TW104129655A 2014-10-15 2015-09-08 基於策略的影像編碼 TWI575939B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/515,175 US20160112707A1 (en) 2014-10-15 2014-10-15 Policy-based image encoding

Publications (2)

Publication Number Publication Date
TW201626799A TW201626799A (zh) 2016-07-16
TWI575939B true TWI575939B (zh) 2017-03-21

Family

ID=55747124

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104129655A TWI575939B (zh) 2014-10-15 2015-09-08 基於策略的影像編碼

Country Status (7)

Country Link
US (1) US20160112707A1 (zh)
EP (1) EP3207703A4 (zh)
JP (1) JP6442046B2 (zh)
KR (1) KR102271006B1 (zh)
CN (1) CN106717001B (zh)
TW (1) TWI575939B (zh)
WO (1) WO2016060844A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3379820B1 (en) * 2017-03-24 2020-01-15 Axis AB Controller, video camera, and method for controlling a video camera
EP3379830B1 (en) 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
TWI826387B (zh) 2017-09-08 2023-12-21 美商開放電視股份有限公司 用於內容呈現之位元率及管線保留技術
US10881956B2 (en) * 2018-12-28 2021-01-05 Intel Corporation 3D renderer to video encoder pipeline for improved visual quality and low latency

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160128A1 (en) * 2005-10-17 2007-07-12 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
CN102204257A (zh) * 2008-09-18 2011-09-28 玛格通讯有限公司 低延迟视频编码器
WO2012054209A1 (en) * 2010-10-22 2012-04-26 Motorola Solutions, Inc. Method and apparatus for distributing video packets over multiple bearers for providing unequal packet loss protection
US20140029663A1 (en) * 2012-07-30 2014-01-30 Apple Inc. Encoding techniques for banding reduction
TWI452908B (zh) * 2007-03-13 2014-09-11 Nokia Corp 用於視訊編碼及解碼之系統及方法
TWI455591B (zh) * 2007-01-18 2014-10-01 Nokia Corp 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832085A (en) * 1997-03-25 1998-11-03 Sony Corporation Method and apparatus storing multiple protocol, compressed audio video data
JPH11112981A (ja) * 1997-10-06 1999-04-23 Sony Corp 送信装置及びその方法並びに伝送装置及びその方法
US6438165B2 (en) * 1998-03-09 2002-08-20 Lg Electronics Method and apparatus for advanced encoder system
US7403566B2 (en) * 2003-06-03 2008-07-22 Hewlett-Packard Development Company, L.P. System, computer program product, and method for transmitting compressed screen images from one computer to another or many computers
KR20070117660A (ko) * 2005-03-10 2007-12-12 콸콤 인코포레이티드 컨텐트 적응적 멀티미디어 처리
US20070009042A1 (en) * 2005-07-08 2007-01-11 Robert Craig Video game system using pre-encoded macro-blocks in an I-frame
US8126283B1 (en) * 2005-10-13 2012-02-28 Maxim Integrated Products, Inc. Video encoding statistics extraction using non-exclusive content categories
US8254707B2 (en) * 2005-12-07 2012-08-28 Sony Corporation Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program in interlace scanning
WO2008088772A2 (en) * 2007-01-12 2008-07-24 Ictv, Inc. Mpeg objects and systems and methods for using mpeg objects
US8254704B2 (en) * 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
US8233728B2 (en) * 2008-11-07 2012-07-31 Cisco Technology, Inc. Embedded image quality stamps
JP5170800B2 (ja) * 2009-01-15 2013-03-27 ルネサスエレクトロニクス株式会社 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
WO2011142569A2 (en) * 2010-05-10 2011-11-17 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving layered coded video
US8731152B2 (en) * 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
US10205953B2 (en) * 2012-01-26 2019-02-12 Apple Inc. Object detection informed encoding
CN102625106B (zh) * 2012-03-28 2014-08-27 上海交通大学 场景自适应的屏幕编码码率控制方法及其系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160128A1 (en) * 2005-10-17 2007-07-12 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
TWI455591B (zh) * 2007-01-18 2014-10-01 Nokia Corp 以即時傳輸協定酬載格式傳送補充增強資訊訊息之技術
TWI452908B (zh) * 2007-03-13 2014-09-11 Nokia Corp 用於視訊編碼及解碼之系統及方法
CN102204257A (zh) * 2008-09-18 2011-09-28 玛格通讯有限公司 低延迟视频编码器
WO2012054209A1 (en) * 2010-10-22 2012-04-26 Motorola Solutions, Inc. Method and apparatus for distributing video packets over multiple bearers for providing unequal packet loss protection
US20140029663A1 (en) * 2012-07-30 2014-01-30 Apple Inc. Encoding techniques for banding reduction

Also Published As

Publication number Publication date
EP3207703A1 (en) 2017-08-23
KR20170041273A (ko) 2017-04-14
KR102271006B1 (ko) 2021-06-29
WO2016060844A1 (en) 2016-04-21
EP3207703A4 (en) 2018-07-11
JP2017532849A (ja) 2017-11-02
TW201626799A (zh) 2016-07-16
JP6442046B2 (ja) 2018-12-19
CN106717001A (zh) 2017-05-24
US20160112707A1 (en) 2016-04-21
CN106717001B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN110933424B (zh) 一个帧内编码块的多个预测块
TWI575939B (zh) 基於策略的影像編碼
US10869048B2 (en) Method, device and system for transmitting and receiving pictures using a hybrid resolution encoding framework
JP2017504255A5 (zh)
JP2020518174A (ja) ビデオフレーム符号化方法、端末、および記憶媒体
US9967573B2 (en) Codec, system on chip (SOC) including the same, and data processing system including the SOC
JP2015159581A5 (zh)
US11825094B2 (en) System-on-chip having a merged frame rate converter and video codec and frame rate converting method thereof
WO2017034725A1 (en) Reliable large group of pictures (gop) file streaming to wireless displays
JP2016501483A5 (zh)
US10419663B2 (en) Semiconductor device, encoding control method and camera device
US20160285943A1 (en) Cloud operation resource dynamic allocation system and method thereof
BR112021004943A2 (pt) método e dispositivo para codificação e decodificação de imagens
US10182232B2 (en) Information processing apparatus, information processing system and information processing method
JP2021519027A (ja) ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム
JP2015510355A (ja) コンピュータにより実行される方法及び記憶媒体
US20190089759A1 (en) Video encoding circuit and wireless video transmission apparatus and method
WO2016004721A1 (zh) 一种码率控制方法、装置及计算机存储介质
US10129551B2 (en) Image processing apparatus, image processing method, and storage medium
JP6985924B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法
US10708596B2 (en) Forcing real static images
US20200137134A1 (en) Multi-session low latency encoding
WO2019159893A1 (ja) データ配信装置、システム、方法および記録媒体
WO2017134683A1 (en) Method and apparatus for switching between various transmission rate predictors
US20160127733A1 (en) System Architecture for Distributed Coding

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees