[go: up one dir, main page]

TWI558183B - 功率知覺視訊解碼及串流 - Google Patents

功率知覺視訊解碼及串流 Download PDF

Info

Publication number
TWI558183B
TWI558183B TW102124531A TW102124531A TWI558183B TW I558183 B TWI558183 B TW I558183B TW 102124531 A TW102124531 A TW 102124531A TW 102124531 A TW102124531 A TW 102124531A TW I558183 B TWI558183 B TW I558183B
Authority
TW
Taiwan
Prior art keywords
video
power
complexity
decoding
segment
Prior art date
Application number
TW102124531A
Other languages
English (en)
Other versions
TW201414287A (zh
Inventor
何玉文
葉言
何永
喬治 麥克萊倫
柳恩
Original Assignee
Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｄ衡器股份有限公司 filed Critical Ｖｉｄ衡器股份有限公司
Publication of TW201414287A publication Critical patent/TW201414287A/zh
Application granted granted Critical
Publication of TWI558183B publication Critical patent/TWI558183B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3212—Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/329—Power saving characterised by the action undertaken by task scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Power Sources (AREA)

Description

功率知覺視訊解碼及串流 相關申請案的交叉引用
本申請案要求2012年7月9日申請的美國臨時專利申請案No.61/669,581的權益，該申請案的內容全部藉由引用結合於此。
隨著行動裝置的普及繼續增加，這些行動裝置正被用於更多種類的應用。附加地，諸如智慧手機之類的行動裝置正利用越來越複雜的功能。處理中的增加會增加功率消耗，例如當電池為用於裝置的電源時，這樣在有限功率情況下負面地影響用戶體驗。
揭露了用於行動裝置根據可用功率及/或能量解碼視訊的方法和系統。例如，行動裝置可以從視訊伺服器接收針對視訊串流的媒體描述檔(MDF)。該MDF可以包括與多個視訊分段相關聯的複雜性資訊。該複雜性資訊可以與將被利用於在行動裝置處解碼該分段的處理功率的量相關聯。該行動裝置可以確定針對該行動裝置的至少一個功率度量。例如，該功率度量可以是留下給目前電源(例如電池)的能量的量。該行動裝置可以基於來自該MDF的複雜性資訊和該功率度量來確定針對第一視訊分段所請求的第一複雜性等級。該行動裝置可以從該視訊伺服器請求以該第一複雜性 等級的第一視訊分段。
例如，MDF中該複雜性資訊可以根據視訊分段而提供。被用來確定請求合適的複雜性等級的功率度量可以包括將被分配用於對視訊的剩餘部分進行解碼的能量的量、用於之前解碼的能量的量、在行動裝置處收集的與先前解碼後的分段有關的統計、以被用於對該分段品質進行解碼的功率比形式的成本資訊、以用於該分段的複雜性的功率比形式的成本資訊等等。該行動裝置可以確定該視訊串流的剩餘部分的持續時間、並且可以確定該第一視訊分段的持續時間。該行動裝置接著可以基於被分配用於解碼該視訊串流的剩餘部分的能量的量、該視訊串流的剩餘部分的持續時間和該第一視訊分段的持續時間來確定被分配給該第一視訊分段的能量的量。該行動裝置可以基於在該視訊串流中剩餘的每個分段將被分配等量的能量以用於解碼的假設做出判斷。被分配用於每個剩餘分段的能量的總和少於或等於被分配用於完成該視訊解碼的總功率。
該行動裝置可以藉由確定將導致大致使用被分配給該第一視訊分段的能量的量來解碼該第一視訊分段的複雜性等級的方式基於來自該MDF的複雜性資訊和該功率度量來確定針對該第一視訊分段所請求的第一複雜性等級。例如，該複雜性等級可以被量化，並且該行動裝置可以選擇滿足期望的功率使用目標的最複雜等級。該行動裝置可以藉由基於分配給先前分段、被用來解碼先前分段的複雜性等級和被分配用於解碼該第一視訊分段的功率選擇該第一複雜性等級的方式以基於來自該MDF的複雜性資訊和該功率度量來確定針對該第一視訊分段所請求的第一複雜性等級。
行動裝置可以自動地或結合網路調節解碼過程以節省能 量，同時限制引入解碼誤差。例如，行動裝置可以確定該第一視訊分段的區域是否包括超過高頻臨界值的高頻分量。在該高頻分量超過該高頻臨界值的條件下，行動裝置可以在針對該區域的移動補償期間應用第一內插濾波器，或者在該高頻分量不超過該高頻臨界值的條件下針對該區域的移動補償應用第二內插濾波器。該第二內插濾波器與比該第一內插濾波器較短的分接頭(例如，較低的截止頻率)相關聯，從而限制記憶體存取和節省功率。行動裝置可以確定不應用具有較短分接頭的濾波器(例如，較低的截止頻率)，即使根據確定該區域為針對其他區域的參考存在很少的高頻分量，意味著傳播錯誤的概率更高。行動裝置可以針對該第一視訊分段中的參考圖像執行解塊、以及避免針對非參考圖像執行解塊。
行動裝置或其他無線傳輸接收單元可以包括用於基於功率條件動態地改變視訊解碼的一個或多個功能性元件。例如，行動裝置可以包括收發器，該收發器被配置為請求來自視訊伺服器的針對視訊檔的MDF並且從該視訊伺服器接收該MDF。其中該MDF可以包括針對多個視訊分段的複雜性資訊。該行動裝置可以包括被配置為儲存針對先前分段解碼的統計的複雜性統計和控制單元。例如，針對先前分段解碼的統計包括與解碼至少一個先前分段相關聯的功率資訊和針對至少一個先前分段的複雜性資訊。行動裝置可以包括被配置為確定目前能量等級或功率等級資訊的功率偵測器。行動裝置可以包括功率感知自適應控制器，該功率感知自適應控制器被配置為確定基於來自該MDF的複雜性資訊、針對該先前分段解碼的統計和目前功率資訊來確定針對後續分段所請求的複雜性等級。行動裝置包括解碼器，該解碼器被配置為基於由該功率感知自適應控制器確定的資 訊來確定應用於解碼該後續分段的參數或方法。
例如，該解碼器被配置為基於在給定區域內的像素取樣的頻率分析來確定應用於給定區域的移動補償的內插濾波器。該解碼器被配置為針對具有低於特定臨界值的高頻分量的區域的較高層時間預測，利用具有比第二內插濾波器更短的分接頭(例如，更低的截止頻率)的第一內插濾波器，並且針對較低層時間預測來使用第二內插濾波器，即使當較低層的高頻分量低於該臨界值。該解碼器被配置為針對除了至少區塊間外具有低於特定臨界值的高頻分量的區域，利用具有比第二內插濾波器更短的分接頭(例如，更低的截止頻率)的第一內插濾波器，其中區塊間的非因果鄰居包括一個或多個內部編碼的區塊。避免區塊間可以幫助阻止在內部編碼存在下的傳播錯誤，其中區塊間的非因果鄰居包括一個或多個內部編碼的區塊。該功率為自適應控制器，被配置為基於來自該MDF的複雜性資訊、針對先前分段解碼的統計和目前功率資訊來確定針對該後續分段所請求的解析度。該解析度可以用指定的複雜性等級進行請求。該複雜性等級可以對應於該編碼器執行編碼時的細節等級。
揭露了一種用於無線傳輸/接收單元(WTRU)與視訊伺服器相互作用以在視訊解碼期間動態節省功率的方法。例如，可以動態地更新有關用於解碼剩下的功率量的判斷並且根據更新後的判斷確定合適的複雜性等級以選擇視訊分段。例如，該WTRU可以請求來自該視訊伺服器的MDF。該WTRU從該視訊伺服器接收該MDF。該MDF可以包括用於解碼視訊串流的一個或多個視訊分段的複雜性資訊。該WTRU至少部分基於被分配用於解碼該視訊串流的剩餘部分的剩餘能量的量來確定被分配用於解碼 該視訊串流的視訊分段的能量的量。該WTRU基於被分配用於解碼該視訊串流的視訊分段的能量的量來確定針對該視訊串流的第一視訊分段所請求的第一解碼複雜性等級。該WTRU可以請求針對該第一視訊分段的第一解碼複雜性等級。該WTRU可以重新估計被分配用於解碼該視訊串流的剩餘部分的剩餘能量的量並且可以確定該WTRU缺少足夠的能量來完成每一視訊分段以目前能量等級對該視訊串流的解碼。
該WTRU可以基於被分配用於解碼該視訊串流的剩餘部分的剩餘能量的新的量來確定被分配用於解碼該視訊串流的剩餘視訊分段的能量的新的量。該WTRU可以基於被分配用於解碼該視訊串流的剩餘視訊分段的能量的新的量來確定針對該視訊串流的第二視訊分段所請求的第二解碼複雜性等級。每個該剩餘視訊分段可以基於被分配用於解碼該視訊串流的剩餘部分的能量的新的量而被分配等量的能量。針對各自的視訊分段的各自的複雜性等級可以基於被分配用於解碼視訊分段的能量的量、所述各自的視訊分段的持續時間和與被利用以解碼至少一個先前分段的能量相關聯的統計、針對該至少一個先前分段的複雜性等級、和該至少一個先前分段的持續時間而被選擇。該WTRU可以向該伺服器報告針對各個解碼後的分段的功率使用統計，並且該WTRU可以基於該報告來接收給定複雜性的視訊分段。
100‧‧‧通信系統
102a、102b、102c、102d、302、304、306、402、404、406、408‧‧‧無線傳輸/接收單元(WTRU)
103、104、105‧‧‧無線電存取網路(RAN)
106、107、109‧‧‧核心網路
108‧‧‧公共交換電話網路(PSTN)
110‧‧‧網際網路
112‧‧‧其他網路
114a、114b‧‧‧基地台
115、116、117‧‧‧空中介面
118‧‧‧處理器
120、766‧‧‧收發器
122‧‧‧傳輸/接收元件
124‧‧‧揚聲器/麥克風
126‧‧‧鍵盤
128‧‧‧顯示器/觸控板
130‧‧‧不可移式記憶體
132‧‧‧可移式記憶體
134‧‧‧電源
136‧‧‧全球定位系統(GPS)晶片組
138‧‧‧週邊裝置
140a、140b、140c‧‧‧節點B
142a、142b‧‧‧無線電網路控制器(RNC)
144‧‧‧媒體閘道(MGW)
146‧‧‧行動交換中心(MSC)
148‧‧‧服務GPRS支援節點(SGSN)
150‧‧‧閘道GPRS支援節點(GGSN)
162‧‧‧移動性管理實體(MME)
164‧‧‧服務閘道
166‧‧‧封包資料網路(PDN)閘道
180a、180b、180c‧‧‧基地台
184‧‧‧行動IP本地代理(MIP-HA)
186‧‧‧計費(AAA)伺服器
188‧‧‧閘道
310、312、314‧‧‧串流伺服器
320‧‧‧管理伺服器
410、412、414‧‧‧超文件傳送協定(HTTP)快取記憶體
420、422、424‧‧‧超文件傳送協定(HTTP)伺服器
430‧‧‧媒體創建裝置
500‧‧‧行動裝置
502‧‧‧處理器/CPU/LCD顯示器
506‧‧‧蜂巢式無線電
508‧‧‧WiFi無線電
510‧‧‧圖形卡
512‧‧‧安全數位(SD)卡
514‧‧‧圖形卡記憶體
520‧‧‧記憶體
522‧‧‧NAND快閃記憶體/同步動態隨機存取記憶體(SDRAM)
530‧‧‧藍芽無線電
540‧‧‧內部及/或外部GPS
550‧‧‧編解碼器
560‧‧‧放大器(Amp)
710‧‧‧視訊準備
712‧‧‧複雜性感知編碼器
720‧‧‧媒體檔案(MF)
722、724‧‧‧片段
728‧‧‧描述(MPD)檔
730‧‧‧分發
732‧‧‧媒體檔
738‧‧‧MPD檔
740‧‧‧HTTP伺服器
742‧‧‧HTTP快取
750‧‧‧消耗
760‧‧‧功率感知用戶端
762‧‧‧功率偵測器
764‧‧‧頻寬感測器
768‧‧‧解碼器
770‧‧‧應用
772‧‧‧複雜性統計和控制單元
774‧‧‧功率感知自適應控制器
802、804、806、812、814、816、822、824、826‧‧‧品質等級
900‧‧‧編碼後的位元串流
902‧‧‧熵解碼單元
904‧‧‧去量化單元
906‧‧‧逆變換
908‧‧‧迴路濾波器
910‧‧‧參考圖像庫
912‧‧‧空間預測
914‧‧‧時間預測
920‧‧‧解碼後的視訊
ALF‧‧‧應迴路濾波
CDN‧‧‧內容傳送網路
DVFS‧‧‧動態電壓和頻率調整
IuCS、IuPS、iur、Iub、S1、X2‧‧‧介面
LCD‧‧‧液晶顯示器
MC‧‧‧移動補償
R1、R3、R6、R8‧‧‧參考點
RA‧‧‧隨機存取
SAO‧‧‧利用樣本自適應偏移
SIMD‧‧‧單指令多資料
USB‧‧‧通用串列匯流排
更詳細的理解可以從下述結合附圖以示例的方式給出的詳細描述中得到，其中：
第1A圖是在其中可以實施一個或更多個揭露的實施例的示例通信系統的系 統圖。
第1B圖是可在第1A圖所示的通信系統中使用的示例無線傳輸/接收單元(WTRU)的系統圖。
第1C圖是可在第1A圖所示的通信系統中使用的示例無線電存取網路和示例核心網路的系統圖。
第1D圖是可在第1A圖所示的通信系統中使用的另一示例無線電存取網路和示例核心網路的系統圖。
第1E圖是可在第1A圖所示的通信系統中使用的另一示例無線電存取網路和示例核心網路的系統圖。
第2圖描述了行動使用者增加數量的趨勢。
第3圖描述了示例推送模式視訊串流系統。
第4圖描述了示例基於HTTP的視訊串流系統。
第5圖描述了可以在行動裝置上實施的智慧手機平臺的示例架構。
第6A圖描述了在視訊重播場景中的功率使用示例。
第6B圖描述了動態電壓和頻率調節。
第7圖描述了示例功率感知視訊串流系統。
第8圖描述了在用戶端處的示例可能切換操作點。
第9圖描述了在HEVC解碼中的示例過程。
第10圖描述了針對luma MC過程的不同像素位置示例。
第11A圖和11B圖描述了針對使用HM6.1解碼器的HEVC和使用隨機存取(RA)設定進行編碼的位元串流的時間設定檔示例。
第12A圖描述了示例內插濾波器波形，該示例內插濾波器波形可以被用於在 高頻範圍中的頻率分量的相對小部分的區域。
第12B圖描述了針對第12A圖的內插濾波器的示例頻率回應。
第13圖描述了在HEVC中的階層式編碼結構示例。
第14圖描述了在HEVC內部編碼中使用的示例方向。
近些年來，行動裝置已經成為用於廣大用戶和應用選擇的計算平臺。例如，實際的單晶片系統(SoC)積體電路的快速演進已經允許行動裝置增加其可用功能性，同時保持在使其對於手持使用實用的大小。近來，IC已經極大地增加了行動裝置的計算能力，例如，在CPU頻率及/或可用處理內核數量方面。附加地，在頻寬的增加及/或無線網路連結技術(例如，4G LTE、HSPA+、WiFi等)的整個資料率已經允許行動裝置以與傳統寬頻網際網路存取可比的速度來獲得媒體。
這些進步是行動裝置高利用率的一些原因，這引起在部署中不斷增加的大量裝置。第2圖描述了行動網際網路用戶數量繼續隨時間增加。例如，如第2圖中所描述，可以估計的是行動網際網路用戶的數量可以很快超過桌面網際網路用戶數量。該趨勢表明被最佳化用於桌面環境的先前內容傳送和處理系統應該再訪以最佳化針對行動網際網路訊務的性能。例如，在近些年已經貢獻其大量增長的移動計算的其中一個特徵是行動用戶基本上能夠在任何時間及/或任何地點使用其行動裝置來存取服務及/或內容。
對行動裝置的分配及/或在行動裝置處的媒體內容顯示可以引起或產生複雜性，這在傳統桌面裝置處很少成為問題。例如，儘管有最 近的進步，但一些行動裝置與桌面環境相比仍然缺少資源來以即時方式執行複雜處理。附加地，大小限制會引起一些行動裝置具有比在傳統裝置處可用的更少處理能力及/或更少的硬體模組。附加地，很多類型的行動裝置可能受功率限制，因為與經由電網的固定電源相比其在正常操作期間利用電池電源進行操作。為了便於在變化複雜性的行動裝置及/或具有變化能力的行動裝置處的媒體內容的傳送及/或顯示，正在開發技術以提升在移動平臺上的內容分配。例如，超文件標示語言5(HTML 5)為用於網頁的標示語言，該標示語言已經被部分設計為嘗試針對行動裝置使得媒體存取更容易。例如，HTML 5已經被設計為使用動態的頁面佈局設計支援，這可以協助行動裝置擷取(retrieve)和表現媒體內容。
在行動裝置已經見證了在網際網路訊務中大量增加的一種示例是在行動視訊內容產生和傳送中。為了有效和高效地產生、處理、分配及/或顯示行動視訊訊務，技術可以被指定用於最佳化在行動裝置處的視訊處理。例如，隨著包括在行動裝置上的硬體變得更為強大，WTRU可以被配置為執行不斷增加的複雜處理以為了串流及/或解碼視訊訊務。
附加地，在移動顯示中的進步也已經影響用於顯示視訊的行動裝置使用的高速率。例如，720p視訊品質相對普及地被用於顯示視訊內容的行動裝置(例如，智慧手機和輸入板)。一些較高端輸入板甚至能夠接收和顯示1080p及以上的視訊。附加地，LCD增強已經允許行動裝置增強用於視訊顯示的色彩等級及/或對比度等級。其他先進顯示技術包括引入針對行動裝置的三維(3d)顯示(例如，自動立體3D)。當結合先進無線通信網路(例如，4G LTE，WiFi無線網路等)被使用時，行動裝置用戶能夠相對 容易地存取高品質視訊服務。
此外，行動裝置可以被配置為在單一平臺上將一個或多個功能性模組集成在一起。例如，典型的行動裝置可以包括觸控螢幕、數位相機、全球定位系統(GPS)、重力感測器及/或其他特徵或技術的一者或多者。這些元素可以相互競爭行動處理資源，這使得視訊內容顯示複雜化。使用這些特徵中的一者或多者大體上同時負面影響在行動裝置處的功率使用，導致每次電池充電可以顯示的視訊量減少。該功率使用為針對行動裝置的重要考慮，因為行動裝置由於在電池處可用的能量的有限量經常受功率限制。
由於行動裝置被配置為執行更多針對視訊串流及/或解碼的處理密集方法，在功率和行動資源使用方面存在權衡。以下揭露的方法和系統在視訊解碼及/或視訊串流過程期間將能量使用及/或能量等級(例如，功率使用及/或功率等級)考慮在內，以為了顯示在功率受限設定中的合適品質的視訊。例如，為了在這些資源受限的異質行動裝置上提供高品質行動視訊服務，諸如顯示大小、處理能力、網路條件、電池等級等等的一者或多者的因素可以被考慮並被利用來影響在行動裝置處及/或先進通信網路內的視訊編碼及/或串流處理。
例如，視訊串流為經由通信網路提供視訊服務給一個或多個行動裝置的示例方法。視訊串流模式的示例包括推送模式及/或拉取模式。例如，利用視訊推送模式的串流系統可以使用即時傳輸協定(RTP)來傳送視訊資料。推送模式視訊串流可以應用即時控制協定(RTCP)功能性來監測及/或控制與該視訊相關聯的品質服務(QoS)。
揭露了用於提供針對改進視訊解碼的功率效率的基於用戶端及/或伺服器技術的方法和系統。該方法和系統包括使用功率感知串流及/或功率感知解碼。例如，解碼視訊可以包括接收媒體描述檔(MDF)及/或其他波段內和波段外資訊，該其他波段內和波段外資訊表明針對來自視訊伺服器的視訊串流的複雜性資訊。複雜性資訊指解碼器將利用以為了解碼給定視訊或分段的處理資源相對量及/或處理功率的相對量。例如，更為複雜的分段可以利用更多的處理資源及/或更多能量來解碼較不複雜的視訊或視訊分段。針對視訊串流的複雜性資訊可以根據該MDF來確定。在示例中，複雜性資訊可以被嵌入在視訊串流中，諸如在視訊位元串流中使用補充增強資訊(SEI)訊息發送及/或使用其他嵌入的元資料。例如，可以使用RTP控制協定(RTCP)以信號發送複雜性資訊。該行動裝置可以使用複雜性資訊來解碼視訊串流。該複雜性資訊可以每視訊分段來提供。使用該複雜性資訊解碼該視訊串流包括使用該複雜性資訊來解碼該視訊串流，同時保持在給定功率消耗等級範圍內。
例如，MDF可以是媒體介紹描述(MPD)檔。該MDF包括品質等級、位元率及/或複雜性資訊的一者或多者。該複雜性資訊適用於多個複雜性等級。視訊串流的解碼可以包括根據針對給定分段的給定複雜性等級以使用不同參數執行解碼。該方法包括根據先前功率耗散統計來確定針對該視訊串流的未來解碼的功率分配。迴路濾波可以諸如根據在行動裝置處的可用功率來執行。迴路濾波包括解塊、利用取樣自適應偏差(SAO)及/或自適應迴路濾波(ALF)的一者或多者。
在示例中，可以執行捷徑解碼。執行捷徑解碼包括以下一者 或多者：在不同特點區域中應用不同內插濾波器、在區塊效應較為不明顯或錯誤傳播問題更少的一個或多個區域中忽略解塊操作、及/或根據非零係數分配來應用更小的變換大小。將在視訊串流及/或視訊解碼期間剩餘的相對能量等級及/或行動裝置處可用的功率等級考慮在內，能夠執行複雜和功率集中串流的裝置能夠接收高品質、處理集中的視訊供給，然而功率受限的裝置仍然可以接收具有指定的最低品質的視訊，同時限制整個功率消耗。
第3圖說明了用於推送模式視訊串流系統的示例架構。例如，如第3圖所示，管理伺服器320可以被配置為根據用戶請求處理來管理。用戶可以使用行動裝置(例如，WTRU 302、WTRU 304及/或WTRU 306中的一者或多者)來執行請求。管理伺服器320可以被配置為分派用戶請求至其中一個串流伺服器(例如，串流伺服器310、串流伺服器312、串流伺服器314等)。各種請求可以被分配至一個或者多個串流伺服器以為了平衡系統負載(例如，准許控制)。在一種示例中，一個或多個串流伺服器可以發起串流對話。
提供串流視訊對話的串流伺服器可以控制與串流對話相關聯的方面或參數的一者或多者，例如在位元率、解析度、串流切換等等的方面。用戶端(例如，WTRU 302、WTRU 304、WTRU 306等)可以在從串流伺服器中接收視訊資料之後解碼視訊資料。用戶端(例如，WTRU 302、WTRU 304、WTRU 306等)可以週期性地將諸如封包丟失、延遲等等的統計向正在提供視訊串流的串流伺服器報告。
在多推送視訊系統中，用於視訊串流對話的自適應邏輯(例如，用來根據目前條件以指定位元率、解析度、串流切換等的功能性)可 以位於伺服器端(例如，串流伺服器310、串流伺服器312、串流伺服器314等)。例如，串流伺服器可以被配置為根據從用戶端(例如，WTRU 302、WTRU 304、WTRU 306等)中報告的可用頻寬以使用位元串流(及/或層)切換來執行頻寬自適應。在伺服器端執行的自適應時的這種推送模式視訊串流可以允許在用戶端處降低的傳輸負載及/或處理負載，以便於在用戶端處使用相對小的緩衝大小，因為伺服器可以根據確定的位元率相對連續和均勻地發送資料。
在示例中，一個或多個用戶端裝置(例如，WTRU 302、WTRU 304、WTRU 306等)可以發送回饋報告給伺服器。該伺服器可以根據從用戶端裝置接收到的回饋來報告設定及/或改變視訊參數。然而，在增加的網路擁塞週期期間，伺服器無法接收回饋報告。此外，經常用作基於推送的視訊遞送的RTP協定難以結合基於傳輸控制協定(TCP)的遞送系統來實現，並且一些防火牆可能阻止利用RTP的訊務流。為了提供具有指定品質的視訊，推送視訊串流系統可以部署或利用諸如相對接近用戶的串流伺服器來提供足夠的服務。該部署使得其更難以在大範圍提供服務並且更難以使用行動裝置實現，因為這些行動裝置當然地在對話過程中移動。
拉取模式串流系統的示例可以在下載的同時被重播。例如，諸如WTRU之類的用戶端裝置可以經由諸如超文件傳送協定(HTTP)來下載大視訊檔。用戶端可以對檔的一部分進行解碼，同時下載過程正在進行。然而，從服務或視訊提供者(例如，Netflix、亞馬遜、谷歌等)的角度看，可以不期望基於每個用戶執行自適應；相反，該內容源較佳使用現有的網際網路基礎設施as-is並且在頂層(Over The Top,OTT)部署其服務，這可以減 少部署成本和時間。
拉取視訊串流技術的示例可以包括基於HTTP的視訊串流。基於HTTP的視訊串流技術的示例可以包括微軟的平滑串流、Adobe的動態HTTP串流和Apple的HTTP現場串流(HLS)。可以利用在HTTP串流中的自適應採樣方法。諸如國際標準化組織(ISO)/國際電子技術委員會(IEC)動態影像專家組(MPEG)及/或第三代合作夥伴計畫(3GPP)國際電信聯盟電信標準化組(ITU-T)的聯盟正在進行標準化自適應採樣的各個方面以允許裝置之間的可操作通信。
例如，經由HTTP的動態自適應串流(DASH)可以是一種用於視訊串流的自適應方法，該方法利用基於HTTP的串流方法。諸如由於DASH可以處理變化的頻寬條件的事實，DASH已經獲得大量注意。在DASH中實現的一種概念為將媒體檔或串流分割成可以獨立解碼的分段。內容的一部分之後可以用不同品質或解析度進行編碼並且分割成相同長度的分段。分段方式及/或針對視訊如何被劃分的其他描述及/或有關分段的相對品質的資訊可以被包括在將提供給用戶端的基於XML的清單檔(MF)中。MF檔的示例可以包括媒體介紹描述(MPD)檔。MPD可以是媒體描述檔(MDF)的示例。根據該MF檔，用戶端可以使用HTTP來存取視訊內容並且選擇最為合適地給予其頻寬及/或解析度需求的分段。
第4圖描述了基於示例HTTP的視訊串流系統。例如，一個或多個媒體創建裝置430可以產生諸如視訊檔之類的媒體檔。媒體內容可以被壓縮並且被細分成小分段，諸如一個或者多個媒體創建裝置430及/或在一個或多個HTTP源伺服器(例如，HTTP源伺服器420、HTTP源伺服器422、HTTP 源伺服器424等)。例如，在很多個串流系統中分段週期可以在2和10秒之間。該分段可以被儲存在一個或多個HTTP源伺服器(例如，HTTP源伺服器420、HTTP源伺服器422、HTTP源伺服器424等)並且可以經由內容傳送網路(CDN)分配。
例如，在串流對話開始時，一個或多個用戶端裝置(例如，WTRU 402、WTRU 404、WTRU 406、WTRU 408等)可以請求針對媒體內容的MPD檔並且可以確定利用哪些分段。有關利用哪些分段的決定可以基於用戶端的能力(例如，諸如解析度、可用頻寬等等中的一者或多者)。一個或多個HTTP源伺服器(例如，HTTP源伺服器420、HTTP源伺服器422、HTTP源伺服器424等)可以根據請求以諸如經由一個或多個HTTP快取記憶體(例如，HTTP快取記憶體410、HTTP快取記憶體412、HTTP快取記憶體414等)來發送所請求的分段至一個或多個用戶端裝置(例如，WTRU 402、WTRU 404、WTRU 406、WTRU 408等)。藉由利用用於儲存及/或分配媒體分段的一個或多個HTTP快取記憶體伺服器，視訊可以被分配並且被其他用戶使用，由此系統可以大規模提供串流服務。
與推送模式串流系統相比，拉取模式串流系統通常包括用於在用戶端處(例如，WTRU 402、WTRU 404、WTRU 406、WTRU 408等)選擇合適分段的自適應邏輯。在一些場景中，用於該視訊分段分配的快取過程可以根據推送模式或拉模式是否被利用於該內容分配而不同。例如，由於根據利用哪種模式，不同的傳送協定可以被利用於該內容分配(例如，用於拉模式的HTTP、用於推送模式的RTP等)，利用的快取過程可以根據使用的傳送協定類型而變化。例如，HTTP最初不被設計用於即時媒體的遞 送；相反，HTTP被設計盡力而為傳送檔和其他資料。相應地，HTTP相關的設施(例如，包括快取、CDN及/或代理的一者或多者)可以很好地支援該檔傳送，但欠最佳化用於遞傳即時視訊內容。
由於網路位址轉換(NAT)及/或防火牆穿越可以或可以不應用於HTTP，RTP難以使用現有的HTTP架構來實現。附加地，與RTP相比，HTTP可以增加嚴重的負荷到串流對話中。為了利用HTTP以用於串流，用戶端側(例如，WTRU 402、WTRU 404、WTRU 406、WTRU 408等)可以利用相對大的緩衝大小，例如因為HTTP傳輸速率隨時間變化並不均勻。例如，當網路存在擁塞時，HTTP傳輸速率可以明顯改變。
在串流系統中，不可縮放編碼(non-scalable coding)可以被用來產生具有不同位元率及/或不同解析度的一者或多者的不同位元串流以為了適應頻寬變化及/或變化的顯示大小。附加地，可縮放編碼技術可以被利用以為了節省傳輸頻寬及/或限制在傳輸及/或接收期間利用的儲存量。例如，可縮放視訊編碼(SVC)可以指用於編碼也包括一個或多個子集合位元串流的相對高品質視訊位元串流的技術。該一個或多個子集視訊位元串流可以藉由在解碼過程期間利用來自主位元串流的封包子集來確定。藉由丟掉來自更大視訊位元串流的封包，子集位元串流以被用來減少與接收和顯示視訊相關聯的頻寬。在示例中，子集位元串流可以表示較小的空間解析度(例如，較小的螢幕)，較低的時間解析度(例如，較小的訊框速率)及/或較低品質的視訊信號即主位元串流。
在用戶端裝置上運行的應用可以確定哪一個主SVC位元串流及/或一個或多個子集位元串流的哪一個應該根據由該應用期望的速率及 /或呈現來解碼。與非縮放方案相比，SVC可以節省頻寬和儲存。國際視訊標準MPEG-2視訊、H.263、MPEG4可見及/或H.264可以具有支援一些可縮放模式的工具及/或設定檔。近來已經批准了高效視訊編碼(HEVC)的可縮放擴展的需求和用例。HEVC目前由ITU-T視訊編碼專家組(VCEG)和ISO/IEC動態影像專家組(MPEG)聯合開發。使用可縮放視訊編碼技術，頻寬可以被節省用於DASH及/或多播情況。在DASH系統中，HTTP快取伺服器可以例如快取由很多用戶觀看的視訊的基本層，而不是快取具有不同位元率的所有或一些版本。
由於諸如正在行動裝置處執行的應用數量的大量增加的因素，行動裝置的功率耐力及/或功率效率已經變成針對管理行動裝置性能的關鍵問題。對功率效率的各種工業研究已經在行動裝置硬體和功率提供設計方面展開。例如，分析了在各種條件下針對示例移動平臺的功率使用。第5圖描述了被用來執行以下所描述方法的一種或多種的智慧手機行動裝置的示例架構。例如，行動裝置500可以包括處理器/CPU 502、內部及/或外部顯示器(例如LCD 504)、記憶體520(例如，內部/外部記憶體；示例包括NAND快閃記憶體522及/或同步動態隨機存取記憶體(SDRAM)522)、蜂巢式無線電506(例如，GSM/3G/4G、LTE、HSPA+、CDMA 2000等)、WiFi無線電508、圖形卡510(例如，具有圖形卡記憶體514及/或安全數位(SD)卡512)，藍芽無線電530(例如，經由通用串列匯流排(USB))、內部及/或外部GPS 540、編解碼器550、放大器560及/或用於接收/解碼視訊串流及/或經由無線網路通信的其他各種元件。
根據該應用，被行動裝置500的各種元件利用的功率消耗可 以變化。例如，第6圖描述了在視訊重播場景期間使用行動裝置的功率使用示例。從第6圖中可以理解的是，CPU處理、顯示方面(例如，背光、圖形卡等)和記憶體存取可以是在視訊重播期間針對功率消耗的主要來源。因此，視訊解碼的特徵在於應用具有相對高的功率消耗表徵，例如因為視訊解碼可以涉及密集計算、頻繁記憶體訪問及/或相對恆定的顯示使用。此外，視訊重播應用可以被配置為在顯示輸出處以相對亮度來顯示圖像，這可以產生增加的功率消耗。
在視訊編碼及/或解碼過程期間，可以應用移動補償。例如，視訊編碼標準諸如MPEG-1、MPEG-2、H.263、H.264/MPEG-4先進視訊編碼(AVC)、HEVC等等可以利用移動補償以為了限制被用來傳送視訊資訊到裝置的傳訊數量。移動補償可以被當作視訊壓縮技術，該視訊壓縮技術在有關參考圖像的變換或不同點方面描述了圖像。該參考圖像為先前訊框及/或來自在時間上之後利用的訊框。當圖像可以從之前傳送/儲存的圖像中精確合成時，可以改進壓縮效率。
移動補償可以使用線性濾波過程來實現。儘管更大的濾波器大小可以實現更好的壓縮效率，但更大的濾波器也增加了在解碼期間利用的記憶體訪問頻寬，這增加了功率消耗(例如，在視訊解碼期間在儲存存取頻寬中的增加可以增加在行動裝置處的功率耗散)。因此，相對較低的功率解碼器晶片可以被設計成藉由訊框緩衝的壓縮以例如藉由在儲存訊框緩衝處的重建後的像素之前無損地壓縮重建後的像素來減少記憶體訪問頻寬。當被用於移動補償時，重建後的像素可以從訊框緩衝中取回並且被解壓縮用於移動補償。
管理用於視訊解碼的功率的示例方法可以包括自適應地改變系統狀態及/或自適應地切換處理器頻率(例如，動態電壓和頻率調整(DVFS))。第6B圖描述了在DVFS存在和不存在時能量消耗。DVFS可以被利用以降低處理器的頻率以節省能量或降低處理器的功率消耗。經由利用較低的處理頻率，處理器能夠在給定處理期限執行給定的任務(例如，在其將被顯示之前解碼訊框)，同時使用比以更高處理器頻率執行處理已經使用的功率更低的功率執行該任務。例如，當行動裝置為空閒時，DVFS可以被利用來過渡到低功率狀態同時保持特定模組運行。附加地，當處理器的頻率減少時，對應於所提供功率的電壓也相應地減少。因此，處理器消耗還可以被降低。例如，由晶片或處理器耗散的功率可以被表示為：P=CV 2 f 等式(1)
其中C為電容(例如，每時鐘週期切換的電容)，V為電壓，並且f為切換頻率。很多CPU/處理器可以提供CPU操作的一些頻率，並且該應用可以即時按照期望配置該頻率。
解碼複雜性對於每個圖像不同，並且複雜性等級可以被用來改變處理器的頻率。例如，如果圖像相對簡單，頻率可以被降低以為了保存功率。在示例中，圖像大小可以被用來估計與解碼該圖像相關聯的解碼時間。當圖像解碼時間低於該圖像持續時間(例如，1/f)，那麼處理器的頻率可以被減少而不影響顯示。動態功率範圍隨著近來在處理器和記憶體技術的發展變得更小，並且在空閒/睡眠模式的功率使用變得更有效。這些技術變化限制了DVFS效應，因此與舊平臺相比，DVFS的功率節省在新的移動平臺上並不突出。
改進功率使用效率來延長電池持續時間對於移動平臺設計和移動應用設計正變得越來越關鍵。軟體和硬體視訊解碼被廣泛應用在移動多媒體應用中並且計算密集來處理高功率消耗。視訊壓縮標準的解碼複雜性也逐漸增加以為了獲得更好的壓縮效率。
諸如DASH之類的串流系統關注網路頻寬變化，但無法從系統角度解決在移動平臺處的功率使用。此外，自適應解碼技術可以被用來從用戶端側節省功率，但附加的功率節省為期望的，尤其在當附加功率被限制的週期期間(例如，電池功率等級/能量等級接近零)。附加地，針對應用的不同部分的功率消耗可以被平衡以確保整個重播。因為當不存在足夠的功率以用於全部重播時，可以應用丟訊框，關注用戶端側的功率節省的方法可以被限制及/或用戶體驗被降級。如此處所揭露的，功率使用可以根據功率感知計算的概念來解決和修改。示例方法和系統可以包括伺服器和用戶端之間的協同。例如，用戶端(例如，行動裝置)可以根據目前可用頻寬及/或功率狀態來請求具有不同複雜性的串流。
一旦根據目前可用頻寬已經確定合適的位元率，用戶端可以被配置為盡其最大努力解碼和重播視訊。對於很多視訊解碼器，解碼和重播可以佔用處理器的重要比例以為了滿足即時處理需求。完全基於用戶端的系統無法平滑重播，例如因為處理器功率等級不足於對其即時解碼。訊框跳躍和非同步語音和視訊可以在當處理器不能在重播期間執行較少的解碼時的情況下觀測到。附加地，基於用戶端的系統可以降低系統回應速度，這影響了在多工導向的環境中的用戶體驗品質。例如，針對用戶輸入/輸出的系統回應時間可以由於處理器滿負載而減少。在這些場景中，任務切換 變得更慢。
為了在視訊解碼期間保存功率，功率感知串流、功率感知解碼和捷徑解碼的形式可以被利用以為了實現更好的處理器負載平衡及/或功率節省。例如，在串流系統的用戶端側處的位元串流切換邏輯或智慧邏輯可以被配置為一起考慮可用網路頻寬、目前處理器負載及/或剩餘功率以例如為了確保用戶體驗的最低品質。對於主要依賴於針對視訊解碼和串流應用的專用硬體加速的行動裝置，網路頻寬和功率狀態為將監測和最佳化的重要因素，然而如果行動裝置主要依賴於針對視訊解碼和串流的軟體，那麼除頻寬使用和功率等級/能量等級之外，還可以考慮由於視訊解碼的處理器負載和使用。
如此處所描述，諸如功率感知串流及/或功率感知解碼的功率感知技術可以被利用以為了實現針對行動裝置的功率節省，諸如利用視訊串流的WTRU。例如，功率感知串流及/或功率感知解碼的一者或多者可以每個分段及/或圖像，諸如根據來自解碼之前圖像的剩餘功率及/或功率消耗統計來調整功率使用。例如，行動裝置可以利用一個或多個功率度量來確定將被分配用於解碼視訊串流的剩餘部分的功率的量及/或該視訊串流的剩餘部分的一個或多個段。功率度量可以為功率使用、功率分配、能量使用、能量分配、每能量使用的複雜性資訊、每視訊品質的能量使用及/或類似的允許WTRU估計將被用於未來解碼過程的能量資源的任何測量。應該理解的是，儘管功率為此處使用的術語，但本領域中具有通常知識者應該理解的是在合適時術語能量可以代替功率。
功率感知串流技術可以經由伺服器和用戶端之間的協同來 執行。功率感知解碼可以被用作用戶端側的自適應技術。例如，用戶端可以基於有關在用戶端處的功率使用及/或被用於在用戶端處進行解碼的剩餘能量等級的確定來以確定的複雜性等級請求一個或多個視訊或視訊分段。在示例中，功率感知解碼可以是視訊伺服器之間的協同。例如，用戶端可以向伺服器提供與其目前功率使用(例如，目前功率等級、在解碼期間之前利用的功率等級、目前功率等級被持續而不耗盡目前電源(諸如電池)的時間量、之前被利用於解碼指定複雜性的分段的功率等級，針對解碼過程的一個或多個子過程或元件的功率統計等)，目前能量等級(例如，在例如電池之類的電源中剩餘的能量的量，之前在解碼期間被利用的能量的量，之前被利用於解碼指定複雜性的分段的能量的量，針對解碼過程的一個或多個子過程或元件的能量使用統計等)、頻寬資訊等等有關的一種或多種參數。伺服器可以利用此資訊以為了選擇性地對由用戶端使用的一個或多個分段進行解碼及/或根據該回饋資訊選擇合適的複雜性等級的分段。在示例中，伺服器可以聚合來自多個用戶端的統計以為了針對利用於解碼指定複雜性等級的分段的能量的量來推導出更為準確的估計。
功率感知串流及/或解碼技術可以被集成到現有的DASH串流系統及/或其他OTT串流方法。低解碼複雜性呈現可以經由複雜性感知解碼、編碼工具限制、位元率降低及/或解析度降低來實現。功率感知解碼可以被利用來實現細粒度、自適應解碼方法。功率感知解碼可以用軟體解碼技術(例如，通用或特定CPU及/或處理器被配置為執行視訊解碼)及/或硬體解碼晶片(例如，專用硬體模組被配置為執行解碼)來使用。功率感知串流可以被利用於結合功率節省技術(例如，DVFS)；例如，用戶端行動裝 置可以降低頻率來節省用於低複雜性視訊分段的功率。
第7圖描述了示例功率感知視訊串流系統。例如，至用戶端裝置(例如，諸如行動裝置之類的WTRU)的視訊分配可以包括視訊準備710、視訊分配730及/或視訊消耗750(例如，解碼和顯示)。視訊編碼器(例如，複雜性感知編碼器712)可以使用多個複雜性等級來編碼視訊檔或串流。例如，低複雜性等級可以為較低功率密集地在視訊解碼器處進行解碼，但可以產生被包括在視訊檔中的圖像相對更為失真的版本。高複雜性等級可以是更為功率密集地解碼，但產生該原始視訊更為準確的重現。中度複雜性等級可以用比高複雜性版本更少功率密集的方式進行解碼，但比低複雜性版本更多功率密集。與中度複雜性等級相關聯的失真等級可以介於高複雜性等級和低複雜性等級的失真等級之間。
例如，在視訊準備710期間，可以產生源視訊(例如，MP4或一些其他媒體檔案(MF)720)。例如，複雜性感知編碼器712可以產生並編碼MF 720。MF 720可以被壓縮並分割成具有相對短的持續時間的小分段，諸如片段722、724、…、N等。位址和屬性資訊，例如包括針對該片段722、724、…、N的一個或多個的複雜性資訊可以在複雜性感知媒體呈現描述(MPD)檔728。可以使用多個複雜性等級(例如，高複雜性等級、中複雜性等級、低複雜性等級等)來編碼MF 720並且該分段可以被產生用於以每個複雜性等級的MF 720的編碼後版本。複雜性感知MPD檔728可以包括針對被用來編碼MF 720的每個複雜性等級的複雜性資訊及/或存在針對被用來編碼MF 720的每個複雜性等級的對應複雜性感知MPD檔728。
一旦片段722、724、……N和複雜性感知MPD檔案728準備 分配，片段722、724、……N和複雜性感知MPD檔案728被發送至用於分配730的分配伺服器。例如，一個或多個媒體檔723可以被發送至用於分配的HTTP伺服器740。媒體檔732可以包括一個或多個片段722、724、……N及/或該視訊的其他描述。媒體檔732可以包括使用一個或多個複雜性等級的MF 720的編碼後版本。MPD檔738可以為被儲存在HTTP伺服器740的複雜性感知MPD檔728的副本。HTTP伺服器740可以向一個或多個HTTP快取742提供媒體檔732及/或MPD檔738的副本以用於分配至用戶端裝置。
在消耗750期間，功率感知用戶端760(例如，WTRU、行動裝置及/或包括視訊解碼器的其他裝置)可以從HTTP伺服器740及/或HTTP快取742的一者或多者請求MPD檔738。功率感知用戶端760可以根據所接收到的MPD檔738來確定針對分段722、724、……N的描述資訊。功率感知用戶端760可以根據MPD檔738來確定可用於檔的複雜性等級。功率感知用戶端760可以根據可用頻寬及/或其目前功率狀態相對連續地發送針對視訊分段(例如，片段722、724、……N)的一個或多個的請求。功率感知用戶端760可以諸如根據目前功率等級及/或在功率感知用戶端760處剩餘的能量(例如，在電池中剩餘的能量的量；給定目前功率使用時剩餘的處理時間量等)以特定複雜性等級請求該分段。例如，根據在第一臨界值之上的電池的目前能量等級，功率感知用戶端760可以用高複雜性等級來請求第一分段。如果該能量等級降至第一臨界值之下(例如，但在第二臨界值之上)，功率感知用戶端760可以用中度複雜性等級請求隨後的分段。如果在電池中剩餘的能量等級降至第二臨界值之下，功率感知用戶端760可以以低複雜性等級請求另一隨後的分段。
例如，功率感知用戶端760可以包括以下中的一者或多者：功率偵測器762、頻寬感測器764、收發器766、解碼器768、應用770、複雜性統計和控制單元772、功率感知自適應控制器774及/或接收並處理視訊串流的其他元件。功率偵測器762可以被配置為確定功率感知用戶端760的目前功率使用及/或功率感知用戶端760的一個或多個元件(例如，解碼器768、顯示、CPU等)的功率使用。功率偵測器762可以被配置為確定對功率感知用戶端760可用的剩餘功率量。例如，如果電池是用於功率感知用戶端760的電源時，那麼功率偵測器762可以被配置為確定在給定時間點處在電池中剩餘的功率及/或能量的量。功率偵測器762可以被配置為確定在目前解碼條件下在電池被耗盡之前功率感知用戶端760可以繼續操作的時間的量。功率偵測器760可以被配置為確定在假定或選擇的解碼條件下在電池被耗盡之前功率感知用戶端760可以進行操作的時間的量。
頻寬感測器764可以被配置為確定與功率感知用戶端760和視訊串流的源(例如，HTTP伺服器740及/或HTTP緩存742)之間的通信鏈路有關的資訊。頻寬感測器764可以被配置為確定針對功率感知用戶端760(例如，根據與收發器766相關聯的一種或多種無線電存取技術)的可用頻寬、可用於在功率感知用戶端760和視訊串流的源(例如，HTTP伺服器740及/或HTTP快取742)之間的通信鏈路的頻寬的量、功率感知用戶端760和視訊串流的源(例如，HTTP伺服器740及/或HTTP快取742)之間的通信鏈路的有效位元率、與之前位元率或與功率感知用戶端760和視訊串流的源(例如，HTTP伺服器740及/或HTTP快取742)之間的通信鏈路相關聯的頻寬有關的資訊、及/或與功率感知用戶端760和視訊串流的源(例如，HTTP伺服 器740及/或HTTP快取742)之間的通信通道有關的其他資訊。
複雜性統計和控制單元772可以被配置為儲存由頻寬感測器764及/或功率偵測器762確定的資訊。例如，複雜性統計和控制單元772可以被配置為儲存功率使用統計並且將該功率使用統計與在該統計被功率偵測器762確定時執行該解碼的類型相關聯。複雜性統計和控制單元772可以被配置為維持與功率感知用戶端760和被頻寬感測器764觀測的視訊源(例如，HTTP伺服器740及/或HTTP快取742)之間的通信鏈路相關聯的統計。當確定將被請求的編碼後視訊的合適複雜性等級時使用所儲存的統計。
功率感知自適應控制器774可以被配置為利用被頻寬感測器764確定的統計及/或被複雜性統計和控制單元772儲存的統計以為了動態地適應正被解碼器768執行的解碼過程。功率感知自適應控制器774可以與應用770連接以為了考慮用於適應解碼過程的應用需求及/或應用屬性。功率感知自適應控制器774可以被配置為根據目前功率等級/能量等級、目前頻寬及/或與功率使用、能量使用及/或頻寬有關的先前統計選擇針對給定檔案或檔案分段的合適複雜性等級。
複雜性感知編碼器712可以被配置為在準備710期間壓縮源視訊。例如，複雜性感知編碼器712可以被配置為使用速率失真最佳化(RDO)來編碼該視訊。RDO可以指在視訊壓縮存在下改進視訊品質的方法，其中失真量(例如，視訊品質丟失；視訊資訊丟失)針對被利用來編碼視訊的資料位元大小(例如，速率)而被平衡或最佳化。複雜性感知編碼器712可以嘗試實現給定位元率限制的編碼(例如，由於針對解碼的最大資訊量)的最高品質而不考慮解碼複雜性。因此，由於編碼丟失(例如， 失真)相對於可能決定輸出的位元成本，編碼器可以嘗試將來自視訊源的偏差組成的度量最大化。等式(2)可以為被用來評估當執行速率失真最佳化時針對給定編碼模式的成本的示例成本度量。
代價 模式 =失真 模式 +λ 速率 ×R 模式 等式(2)
代價 模式 可以表示編碼模式的成本。失真 模式 可以表示與編碼模式相關聯的失真等級。R 模式 可以表示與該編碼模式相關聯的編碼位元數。λ 速率 可以表示速率失真曲率坡度，該速率失真曲率坡度可以與編碼位元率有關及/或大致與該編碼位元率成比例。
複雜性感知編碼器712可以選擇合適的編碼器模式以將成本度量(例如，給定位元率和複雜性限制，複雜性感知編碼器712可以選擇實現最低相對CDO成本的編碼模式)最小化。例如，C 模式 可以為在CPU週期、記憶體訪問等等中所測量的模式的複雜性。λ 複雜性 為複雜性相對於失真曲率的坡度。等式(3)可以被用來評估當考慮這些參數時在速率失真最佳化中的模式成本。
代價 模式 =失真 模式 +λ 速率 ×R 模式 +λ 複雜性 ×C 模式 等式(3)
較大的λ 複雜性 對應於較低的解碼複雜性。相應地，存在多個具有各種複雜性的可能位元串流，該各種複雜性可以用不同各自λ 複雜性 值來產生。編碼器可以使具有變化複雜性等級的每個位元串流對潛在用戶端可用。該用戶端可以根據其本地功率條件及/或其本地頻寬條件來選擇合適的位元串流。
在示例中，複雜性感知編碼器712可以被配置為壓縮視訊串流同時附著到提供給針對不同各自複雜性等級的各種編碼工具的編碼信息 量有關的一種或多種限制。例如，表1描述了編碼工具示例以及如何根據編碼後的位元串流的期望複雜性等級以怎樣的等級來應用編碼工具。根據選擇用於每個編碼工具的參數，編碼後的位元串流更為複雜或較不複雜來進行解碼。為了產生各種複雜性等級的位元串流，針對每個編碼工具的參數可以被選擇，例如，如表1中所表明。
複雜性可以指被利用來編碼/解碼該視訊分段的處理資源量並且可以被在MDF中向行動裝置表明。該複雜性資訊可以用信號表示為特定複雜性值(例如，根據用於確定該值的預先定義的方法)並且在將被用於解碼分段的解碼器處表明合適的處理資源量。複雜性資訊可以包括被用於執行編碼的特定參數，諸如表1中表明的用於編碼工具的一個或多個值。
編碼工具示例可以包括用於編碼運動資訊的精確度等級、移動補償區塊大小、編碼轉換大小、被利用的環內濾波器類型、忽略針對該區塊的係數編碼的臨界值等等。如表1中所描述，根據編碼後的位元串流的期望複雜性等級可以限制一個或多個編碼工具的應用及/或編碼參數。
表1：根據期望複雜性等級所應用的示例編碼工具
在示例中，將被用於視訊解碼的運動資訊精確度及/或運動向量的精確度可以被改變。經由改變運動資訊的精確度，解碼方案的複雜性可以被增加(例如，非功率限制場景)及/或被減少(例如，功率限制場景)。在現有編碼標準(例如，HEVC，H.264)的運動向量精確度可以是運動資訊/向量的精確度示例。該運動資訊/向量的精確度可以為整數值(例如，特定於給定像素)、半像素值、四分之一像素值及/或至一些其他分數的像素。由於內插濾波器的應用及/或由於被使用的參考像素的更大數目(例如，如果記憶體存取請求時引起增加的記憶體訪問頻寬及/或在數量上的增加)分數像素精確度比整數像素資訊更為複雜。因此，當編碼較不複雜的視訊串流時，運動資訊的精確度可以被特定於整數像素位置並且當編碼更為複雜的視訊串流時，運動資訊的精確度可以被特定於分數像素位置。在示例中，對於最高複雜性等級，在運動資訊的精確度上不存在限制，並且根據什麼等級將產生最少失真，編碼器可以選擇運動資訊的精確度等級。
在示例中，將被用於視訊解碼的移動補償區塊大小可以被改變。改變移動補償區塊的大小可以增加及/或減少將被解碼的視訊串流的複雜性。藉由改變移動補償區塊大小，解碼方案的複雜性可以被增加(例如，無功率限制場景)及/或減少(例如，功率限制場景)。例如，移動補償區塊大小會影響記憶體訪問的效率。例如，更大的移動補償區塊大小將減少記憶體訪問的頻率，但引起增加的失真。因此，當編碼較不複雜的視訊串流時，相對大的移動補償區塊大小可以被利用，並且當編碼更為複雜的視訊串流時，運動資訊的精確度可以被特定於分數像素位置。在示例中，對於 最高複雜性等級，在移動補償區塊大小上不存在限制，並且根據什麼大小將產生最少失真，編碼器可以選擇移動補償區塊大小。
在示例中，將被用於視訊解碼的變換區塊大小可以被改變以為了實現期望的複雜性等級。變換區塊大小的改變可以增加或減少將被解碼的視訊串流的複雜性。例如，HEVC可以准許不同變換區塊大小(例如，多達32x32的變換區塊大小)。更大的變換區塊大小可以改進壓縮效率，同時也增加解碼複雜性。因此，在週期限制的場景期間(例如，剩餘的能量等級位於給定臨界值之下)，功率感知用戶端可以請求對應於更小變換區塊大小的複雜性等級。表1識別了根據所請求的複雜性等級被用於變換區塊大小的示例值。例如，如果能量等級位於第一臨界值之上時，高解碼複雜性可以被請求(例如，16x16變換區塊大小)及/或在被利用的變換區塊大小上不存在限制。如果能量等級低於第一臨界值但高於第二臨界值，中複雜性等級可以被請求並且中變換區塊大小可以被利用(例如，8x8)。如果能量等級低於第一臨界值和第二臨界值，例如藉由利用相對小的變換區塊大小(例如，諸如4x4)，低解碼複雜性等級可以被利用。
在示例中，將被用於視訊解碼的環內濾波器可以被改變以為實現改變針對視訊分段的複雜性等級。藉由改變被使用的環內濾波器的類型及/或參數，不同的功率等級可以在視訊解碼期間實現。例如，環內濾波器可以包括不同的恢復工具，諸如解塊濾波器、樣本自適應偏移、自適應迴路濾波器等等。解塊濾波器、樣本自適應偏移、自適應迴路濾波器等等可以處於移動補償迴路中。編碼器可以用各種組合應用這些環內濾波器以為了實現影響將被用於解碼的功率消耗的複雜性等級。例如，解塊濾波器、 樣本自適應偏移、自適應迴路濾波器等等可以在編碼器處應用，由此第一串流產生更少的功率密集解碼(例如，較低的複雜性等級)並且第二串流產生更多的功率密集解碼(例如，較高複雜性等級)。
例如，為了實現相對低複雜視訊分段，預測性編碼可以使用片內編碼來執行。例如，片內編碼可以被執行而不使用片間編碼。例如，如果低複雜性等級被期望，可以使用片內編碼來編碼該分段。片內(例如，可以被稱作I片或I訊框)可以被解碼而不參考其他訊框，並且因此可以用比參考其他訊框或片的訊框或片更低的功率等級進行解碼。如果相對更高的複雜性將被編碼，該分段可以使用片內編碼和片間編碼進行編碼。片間編碼的示例可以包括使用P片(例如，被稱作P片或P訊框)及/或B片(例如，被稱作B片或B訊框)參考訊框。P訊框參考訊框可以指利用來自其他先前訊框的資料以為了解壓縮及/或解碼目前P訊框的訊框。B訊框可以指利用來自先前訊框和之後訊框(例如，未來訊框)來解壓縮或解碼目前B訊框的訊框。片間編碼的使用(例如，P/B片)因參考其他訊框而增加了處理複雜性，意味著在解碼期間的功率使用被增加。由此，如果實現較低功率等級，針對片內編碼的P訊框及/或B訊框使用可以被減少或停止。
編碼器可以設定用於確定其是否忽略針對給定區塊的係數編碼的成本臨界值。對於低複雜性等級，成本臨界值為相對高的值，然而對於更高複雜性等級，成本臨界值可以被設定為相對更低的值。在示例中，對於最高複雜性等級，不執行剪輯(例如，對於最高複雜性等級，不執行忽略係數編碼)。
編碼器也可以例如藉由考慮品質和解碼複雜性來確定其是 否對從用於每個視訊區塊(例如，視訊分段或片段)的變換和量化接收的一些或所有非零係數進行編碼。區塊成本可以根據人類視覺系統(HVS)來衡量。區塊成本可以是非零係數的加權總和，諸如等式(4)中所示。
W i,j 為HVS相關的權重矩陣。在低頻率位置處的權重比在高頻率位置的權重更大。如果區塊成本代價 塊 低於被設定為對應於給定複雜性等級的臨界值，那麼編碼器可以忽略非零係數編碼。給定複雜性等級，控制編碼器是否忽略係數編碼的臨界值可以被調整。
複雜性資訊諸如及/或與編碼後的串流相關聯的複雜性等級指示(例如，低、中、高等)可以在被功率感知用戶端請求的媒體描述中添加。在示例中，用戶端行動裝置可以考慮頻寬資訊及/或功率狀態資訊來確定請求的位元串流(例如，高複雜性、中複雜性、低複雜性等)。為了確定針對隨後視訊分段來請求合適的複雜性等級，用戶端行動裝置可以確定將被分配用於隨後分段解碼的經估計功率。用戶端行動裝置接著根據用於針對分段的先前解碼過程的功率分配、針對先前分段的複雜性等級、以及功率等級及/或與隨後解碼相關聯的能量等級，來確定請求的合適的複雜性等級。用戶端行動裝置可以例如根據先前功率耗散統計來確定用於未來視訊解碼的功率分配資訊。如果功率被均勻分配，那麼例如使用等式(5)可以確定用於下一個分段的功率。
P 下一個=(T s /D r )×P r 等式(5)
P 下一個為分配用於下一個分段的功率，T s 為用於下一個分段的持續時間，以及D r 可以是視訊的剩餘持續時間(例如，或目前或先前分段的持續時間)。P r 為分配用來解碼剩餘視訊的總功率(例如，分配用於解碼該分段剩餘部分r的功率量)。根據分配用於隨後分段的功率，用於解碼先前分段的功率及/或解碼先前分段的複雜性，行動裝置可以例如使用等式(6)來確定針對隨後分段請求合適的複雜性等級。
C 下一個=(P 下一個/P 先前)×C 先前 等式(6)
P 先前為用於先前分段的功率。C 下一個 為將被請求用於隨後分段的複雜性等級以及C 先前 為針對先前分段的複雜性。如果複雜性資訊被用離散複雜性等級表示，諸如根據等式(7)可以確定下一個分段的複雜性等級。
為針對每個複雜性等級i的臨界值。根據估計的複雜性等級，用戶端可以請求具有最接近複雜性等級_如C 下一個 的分段。量化複雜性等級可以降低與表明複雜性相關聯的負荷及/或簡化編碼/解碼過程。
第12圖描述了不同複雜性等級和解析度的示例，該不同複雜性等級和解析度可以被用戶端裝置(例如，行動裝置、WTRU等)在執行功率感知串流時選擇。例如，通常地隨著品質等級增加，利用來解碼視訊分段的功率可以增加。用戶端裝置可以從MPD元資料檔案中接收以下的一者或多者：針對分段的品質資訊、針對該分段的位元串流資訊、針對該分段的複雜性資訊及/或與該分段的解碼有關的其他資訊。根據目前功率限制 (例如，和潛在地根據目前頻寬)，用戶端裝置可以選擇合適的解析度及/或針對隨後分段的複雜性等級。在示例中，用戶端裝置可以向伺服器提供與其目前功率等級、目前功率使用、剩餘能量的量(例如，電池等級)、被分配用於完成解碼的功率/能量的量、目前頻寬、與先前解碼後的分段有關的統計(例如，先前分段的複雜性和利用來解碼該分段的功率等)有關的資訊、及/或其他資訊，並且伺服器可以選擇將在串流中發送的合適分段。
例如，行動裝置可以請求針對給定視訊的MPD檔。MPD檔可以提供適用於針對該視訊的一個或多個分段的複雜性資訊。例如，MPD檔可以表明被行動裝置選擇的複雜性等級及/或表明被行動裝置選擇的解析度。在示例中，在對話開始時，行動裝置可以選擇品質等級802，該品質等級802對應於具有高複雜性模式的高解析度分段。例如，行動裝置可以根據剩餘用於行動裝置、在第一臨界值之上的功率等級/能量等級來選擇品質等級802。在示例中，例如假定每一個隨後的分段也以品質等級802發送，行動裝置可以根據其將能夠以品質等級802解碼視訊而不耗盡功率的判斷來選擇品質等級802。
行動裝置可以繼續監測針對解碼的功率統計及/或在視訊解碼過程期間其剩餘功率等級/能量等級。例如，在一定時間之後，行動裝置的剩餘能量等級可以落至第一臨界值之下(例如，但在第二臨界值之上)。根據在臨界值之下的能量等級，行動裝置要求應該使用品質等級804來發送下一個分段。品質等級804對應於具有中度複雜性模式的高解析度分段。藉由切換至中複雜性模式，在分段解碼期間可以實現功率節省。如果剩餘能量等級落至第二臨界值之下，行動裝置可以切換至品質等級806，該品質等 級806對應於具有低複雜性模式的高解析度分段。如果剩餘的能量等級上升至給定臨界值之上時，及/或如果行動裝置被連接至固定電源(例如，充電器或新的電源被連結)，行動裝置可以被觸發以請求更高品質分段(例如，品質等級802)。
為了實現附加的功率節省，除了根據行動裝置的能量等級以選擇合適的複雜性模式之外，可以根據能量等級來選擇解析度。例如，如果行動裝置已經請求品質等級806，但期望附加的功率節省(例如，目前功率使用引起剩餘的能量在視訊重播期間被完全利用)，行動裝置可以改變至較低的解析度。例如，根據剩餘的功率落至第三臨界值之下，行動裝置可以請求品質等級812，該品質等級812對應於具有高複雜性模式的中解析度分段。類似基於臨界值的分析可以被執行以用於中解析度分段以為了在品質等級812、814及/或816之間選擇。類似地，如果在切換至中解析度之後仍期望附加的功率節省，行動裝置可以選擇低解析度、並且執行臨界值功率等級及/或能量等級分析以在低解析度處選擇合適的複雜性(例如，在品質等級822、824及/或826之間)。
行動裝置可以根據剩餘功率、有關功率使用的先前統計及/或其他功率度量來選擇合適的解析度及/或複雜性等級。儘管高、中和低解析度被作為示例描述，但存在多種這樣的解析度等級並且解析度和複雜性的各種組合可以產生功率節省的各種等級。因此，行動裝置可以估計針對解析度和複雜性的各種組合的功率使用並且選擇合適的組合以為了在解碼期間實現功率使用的期望等級。在示例中，如果在少量有區別的等級(例如，高、中、低)之間量化解析度，在解析度之間的切換可以比在複雜性 等級之間的切換實現更大的功率節省(例如，儘管並非一直是這種情況)。在這些場景中，行動裝置可以在解析度之間切換以實現更大幅度的功率節省並且在解析度範圍內的複雜性等級之間切換以為了實現更細的功率節省粒度。
功率感知解碼可以包括在解碼過程內識別一個或多個子過程或模組、並且最佳化或否則改變針對一個或多個子過程的操作模式及/或參數，以最小化功率使用，同時維持可接受的視訊品質及/或用戶體驗。作為示例，考慮視訊壓縮標準HEVC(例如，儘管這些揭露的技術、方法和系統可以適用於其他視訊壓縮技術)。
第9圖描述了用於使用HEVC執行功率感知解碼的示例過程。例如，HEVC解碼可以包括熵解碼902、去量化904、逆變換906、迴路濾波器908、參考圖像庫910、空間預測912、時間預測914(例如，移動補償(MC))等等。在示例中，解碼過程的一種或多種元件可以根據功率使用及/或剩餘的能量等級資訊改變在元件處利用的參數及/或方法。例如，時間預測914及/或迴路濾波器908可以被改變以為了實現品質和功率消耗之間的權衡。在當期望附加功率節省的週期期間，時間預測914及/或迴路濾波器908可以被調整以節省功率。
例如，編碼後的位元串流900可以被解壓縮及/或在熵解碼單元902處進行熵解碼。熵解碼複雜性高度與每個壓縮後圖像大小高度相關。用來壓縮圖像的位元越多，熵解碼過程會使用更多的功率。包括功率感知解碼器的行動裝置可以請求使用更少位元進行編碼的位元串流，以為了在熵解碼期間節省功率。編碼模式、預測資訊、運動資訊及/或在熵解碼單元 902處確定的其他資訊可以被發送至空間預測單元912(例如，如果訊框內編碼的)、及/或至時間預測單元914(例如，如果訊框間編碼的)來形成預測區塊。如果訊框間編碼，預測資訊可以包括預測區塊大小、一個或多個運動向量(例如，可以表明運動的方向和運動量)及/或一個或多個參考索引(例如，可以表明從那個參考圖像中獲得預測信號)。移動補償後的預測可以被時間預測單元914應用以形成時間預測區塊。例如因為時間預測可以使用用於濾波的密集的外部記憶體存取，時間預測(例如，移動補償)可以考慮解碼器的功率使用的相對大部分。
殘差轉換係數可以被發送至去量化單元904和逆變換單元906以重建剩餘區塊。預測區塊和剩餘區塊可以被一起相加以形成重建後的區塊。重建後的區塊可以在其被儲存在參考圖像庫910之前發送至環濾波器908。在參考圖像庫910中的重建後視訊可以被用來驅動顯示裝置(例如，解碼後的視訊920)及/或用來預測未來視訊區塊。
單層視訊編碼器可以採用單一視訊序列輸入並產生傳送至單層解碼器的單一壓縮後的位元串流。視訊編解碼器可以被設計用於數位視訊服務(例如，諸如但不限於經由衛星、線纜和陸地傳輸通道來發送TV信號)。使用部署在異質環境的視訊集中應用，多層視訊編碼技術可以被開發作為對啟用各種應用的視訊編碼標準的擴展。例如，可縮放視訊編碼技術可以被設計為處理處理多於一個視訊層，其中每個層可以被解碼為重建特定空間解析度、時間解析度、保真度及/或視圖的視訊信號。儘管參考第9圖描述了單層解碼器，但此處描述的概念可以利用諸如針對多層或可縮放編碼技術的多層解碼器。
在諸如HEVC的示例視訊編解碼器中，在迴路濾波器908處，8分接頭濾波器可以被用於在半像素位置的內插並且7個非零分接頭濾波器可以被用於1/4和3/4像素位置。如果預測區塊大小為WxH(例如，其中W表示預測區塊的寬度並且H表示預測區塊的高度)，從外部參考圖像緩衝中取回的像素可以為(W+7)x(H+7)以用於在垂直和水平兩種方向兩者中的半像素位置。第10圖描述了針對被執行用於時間預測的亮度移動補償過程的不同像素位置的示例。
例如，像素位置(例如，分數像素位置)可以被分組為如第10圖中用陰影描述的多個類別(例如，6)。像素位置可以根據用於在各自的(例如，分數)像素位置處的內插濾波的像素數目分組成類。例如，表2標識了類別、與類別相關聯的各自的像素位置、利用於在針對不同類別的移動補償期間的內插濾波的記憶體大小的示例並且倍數濾波器操作被用於每個類別。例如，最複雜值可以是(1/2,1/2)位置(例如，第10圖中的位置10)，因為(1/2,1/2)位置利用了參考該參考訊框的最大記憶體大小並且涉及水平和垂直濾波器操作兩者的應用。
如果記憶體位址被水平排列(例如，通常為這種情況)，用於水平內插的記憶體存取效率比垂直內插效率高。迴路濾波器可以包括解塊、利用樣本自適應偏移(SAO)及/或自適應迴路濾波(ALF)的一者或多者。解塊可以被用來減少在變換區塊邊界處的非連續性並且具有多種條件性和比較條件。SAO可以被用來校正在邊緣點處的非連續性。ALF可以為線性濾波過程並且關注一些或所有像素的表像。這些迴路濾波器消耗非常高的功率，這是因為其利用基於大量像素的操作。
由於移動補償的複雜性根據分數像素位置的位置而改變(例如，基於記憶體存取的大小和根據分數像素位置類別的濾波器操作次數)，利用類別的子集會產生較不複雜的解碼。例如，如果期望功率節省，編碼器可以藉由避免使用一種或多種類別對較不複雜的視訊分段進行編碼(例如，使用相對更少的能量進行解碼的分段)。例如，編碼器可以避免使用當在編碼期間排除使用類別不會嚴重影響速率失真等級的類別。例如，如果省略兩種類別(例如，類別5&6)引起比給定臨界值低的速率失真中的變化，編碼器可以對較不複雜的分段進行編碼而不利用忽略後的類別。
解碼過程的子過程會佔用不同比例的處理器資源及/或區分完成的時間量。例如，第11A圖和11B圖描述了針對使用HM6.1解碼器和使用隨機存取(RA)設定的所編碼的位元串流的HEVC的時間設定檔示例。無需使用單指令多資料(第11A圖)，移動補償可以大約佔用解碼時間的61%，解塊和SAO一起佔用大約14%(例如，分別大約9%和5%)，熵解碼大約佔用7%，例如因為在此示例中位元率相對低。SIMD(單指令多資料)可以明顯加速MC，例如多達2x-3x倍。然而，MC仍然佔用38%的解碼時間(例 如，第11B圖)。
在示例中，移動補償及/或迴路濾波器操作可以被修改以根據目前功率條件及/或之前功率統計以動態的方式降低功率消耗。例如，第12A圖描述了用於節省功率的示例內插濾波器波形，並且第12B圖描述了用於節省功率的頻率回應。該濾波器為低通濾波器。內插濾波過程可以諸如使用等式(8)在頻域中實現，其中X為輸入信號，F為濾波器並且Y為頻域中的輸出信號。
在空域中，如果輸入x不具有大的高頻信號，濾波器F可以被縮短而不引起大的誤差。因此，利用的移動補償可以基於信號頻率分析。例如，如果將被內插的區域不具有強的邊緣或強的對比度(例如，頻率回應缺乏大部分的相對高頻分量)，那麼在行動裝置中的功率感知解碼器可以確定為應用具有較低截止頻率的濾波器，以在解碼過程期間節省時間及/或功率。例如，較短(例如，較低截止頻率)濾波器可以減少記憶體存取頻寬。使用相對低的功率可以執行區域特徵分析以確認較短的濾波器是否可以被執行而不嚴重影響解碼過程(例如，確定該區域的頻率分量是否主要為較低頻率)。例如，如果期望附加的功率節省並且與該區域相關聯的頻率分量的給定比例低於特定頻率臨界值，使用相對較低的頻率濾波器可以執行該濾波。
在示例中，有關是否應用較低頻率濾波器的確定可以根據低解析度圖像而執行(例如，在所取樣的像素上執行分析以為了節省功率)。例如，有關是否應用較低頻率濾波器的確定可以例如根據所取樣像素的分 析而執行，而不是根據由該圖像或該圖像一部分相關聯的所有像素。例如，當分析16x16區塊，在位置(4n，4m)處的像素可以被分析和考慮，其中n和m為整數(例如，對16像素進行分析以確定針對256像素區塊來應用的濾波器)。
存在由較低功率移動補償過程引起的兩個問題。第一，由於在時間預測過程中的誤差對未來圖像的錯誤傳播會出現。例如，如果由於使用較低頻率濾波器在參考圖像中引進了誤差，該誤差會傳播到利用針對時間預測的參考的未來圖像。為了限制誤差傳播，在示例中，較低頻率濾波可以被應用到較高層圖像而不是較低層圖像。從示例中，在HEVC和其他視訊編解碼器中，使用了如第17圖描述的階層式編碼結構。例如，存在四層並且在較低層處的圖像可以避免使用針對時間預測的較高層的圖像。因此，在示例中，藉由利用針對較高層(例如，最高層)及/或不依賴於針對由其他層的時間預測的層的較低頻率濾波器，可以實現功率節省同時限制錯誤傳播的影響。
由於使用較低頻率濾波器引起的第二問題是由於在相同圖像內的內部預測的錯誤傳播。HEVC、H.264及/或其他編解碼器可以應用方向性內部預測以提高內部編碼效率。例如，HEVC可以在多個方向中利用方向性內部預測。第14圖描述了在HEVC內部編碼中使用的示例方向。如果由於使用較低頻率濾波器在目前編碼區塊中產生誤差，並且如果目前區塊的相鄰區塊被內部編碼，那麼目前區塊的誤差可以在其相鄰區塊中沿著預測方向傳播到像素。如果存在一些在空間上彼此相鄰的內部區塊，該誤差可以繼續傳播，並且假影(artifact)可以被放大。因此，在示例中，如果在其 非因果鄰居(例如，其右側鄰居區塊、其底部鄰居區塊及/或底部右側相鄰區塊)中存在內部編碼區塊，在行動裝置處的功率感知編碼器可以避免使用針對區塊間的較低頻率濾波器。因此，即使行動裝置確定較低功率解碼應該被利用的移動，如果一個或多個內部編碼區塊為各自編碼區塊的非因果鄰居時使用常規移動補償濾波器，及/或當相鄰區塊根據在各自編碼區塊中編碼的資訊被內部編碼時使用一個或多個其他編碼區塊，仍可以對一個或多個編碼區塊進行解碼。
解塊有助於在視覺品質上提高相對扁(flat)及/或相對平(smooth)區域的品質，因為區塊假影由於人類視覺系統特徵在這些區域中通常最為常見。對於具有高頻分量的區域，諸如高紋理區域，所謂紋理掩蓋現象可以有效地使得區塊假影對人類眼睛不可見。對於高紋理及/或小的剩餘區塊間區域，忽略解塊還可以節省一些功率。由忽略解塊引起的誤差也可以藉由經由移動補償傳播，但該誤差不被內部區塊預測傳播。因此，在示例中，如果行動裝置解碼的功率感知確定應該實現功率節省，對於非參考圖像可以忽略解塊，但對於參考圖像仍然可以執行解塊。
功率感知解碼及/功率感知串流可以被單獨使用或者使用基於用戶端的技術組合實現功率節省(例如，功率感知解碼諸如在移動補償期間使用具有較低截止頻率的低通濾波器)及/或基於聯合用戶端網路技術(例如，伺服器提供有關不同潛在串流的複雜性的資訊並且根據功率等級資訊及/或能量等級資訊用戶端動態地請求合適的串流)。
功率感知串流可以是伺服器和用戶端之間的協調(例如，諸如行動裝置之類的WTRU)。例如，內容可以被產生不同版本，並且每個版 本可以與不同複雜性及/或不同解析度相關聯。該複雜性資訊可以被用戶端請求並且在針對內容的媒體描述檔中從伺服器中發送。該用戶端可以根據諸如用於用戶端的功率等級狀態、用戶端的能量等級狀態、期望的重播時間、處理器的使用狀態、用戶優選、從用戶接收的指示、可用頻寬等等資訊來選擇合適的媒體分段。
例如，用戶可以將用戶端行動裝置配置為以高品質模式進行操作。在高品質模式中，用戶可能偏好功率降低，而不是品質。當以高品質模式操作時，行動裝置可以被配置為考慮解碼的複雜性等級並且確定使品質最大化的解析度及/或複雜性等級同時確保行動裝置具有充足的剩餘功率來完成視訊的全部重播。行動裝置可以根據先前功率統計、與先前功率統計相關聯的複雜性資訊和與剩餘視訊分段相關聯的複雜性資訊來估計將用於視訊剩餘部分的功率的量。
在示例中，用戶可以將用戶端行動裝置配置為以功率節省模式進行操作，其中用戶可能偏好更低的功率耗散而不是更好品質。在功率節省模式中，行動裝置可以被配置為利用功率感知串流及/或功率感知解碼以為了使功率使用最小化。使用獲知的功率消耗統計，同時對與一個或多個複雜性等級相關聯的先前圖像進行解碼，用戶端可以根據剩餘功率分配功率給下一個分段。根據所功率的功率及/或先前分段的複雜性，用戶端可以估計目前分段的複雜性。用戶端接著可以根據剩餘功率的量知道哪個功率等級應該被請求用於隨後的分段。
功率感知解碼技術可以基於將被解碼的一個或多個區塊的內容分析。功率感知解碼可以嘗試實現解碼複雜性/功率使用和品質之間可 接受的權衡。功率感知解碼能夠藉由引進難以察覺的誤差來節省功率消耗。存在一些用於功率感知解碼的一些方法。例如，解碼器可以應用與針對低優先序圖像的不同特徵區域相關聯的不同內插濾波器。對於具有多種高頻信號的區域(諸如邊緣)或具有強的邊緣的紋理，解碼器可以使用一致的或正常的內插濾波器以為了避免引進誤差。對於具有更少高頻分量/信號的相對扁的區域，解碼器可以降低低通濾波器截止頻率來減少記憶體存取頻寬。在示例中，功率感知解碼器可以藉由在當區塊假影較為不可見的區域中及/或在錯誤傳播不成問題的區域中忽略去區塊操作的方式來節省功率消耗(例如，諸如在在更高時間層中的非參考圖像或參考圖像)。在示例中，對於逆變換，解碼器可以諸如根據非零係數分佈來應用更小的變換大小，例如因為大部分非零係數可以在對應於低頻區域的頂部左側拐角處分佈。
下面參考各種附圖對示例實施方式進行詳細描述。雖然本發明提供了具體的可能實施方式，但應當理解的是這些細節意在示例性並且不限制本發明的範圍。
第1A圖是在其中可以實施一個或更多個實施方式的示例通信系統的系統圖。通信系統100可以是向多個用戶提供內容，例如語音、資料、視訊、訊息發送、廣播等的多重存取系統。通信系統100可以使多個無線用戶經由系統資源分享(包括無線頻寬)來存取這些內容。例如，通信系統可以使用一種或多種通道存取方法，例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FMDA(SC-FDMA)等。
如第1A圖所示，通信系統100可以包括無線傳輸/接收單元 (WTRU)102a、102b、102c、及/或102d(其通常或整體上被稱為WTRU)、無線電存取網路(RAN)103、104、105、核心網路106、107、109、公共交換電話網路(PSTN)108、網際網路110和其他網路112。不過應該理解的是，揭露的實施方式考慮到了任何數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d的每一個可以是配置為在無線環境中進行操作及/或通信的任何類型的裝置。作為示例，可以將WTRU 102a、102b、102c、102d配置為發送及/或接收無線信號、並可以包括用戶設備(UE)、基地台、固定或者行動用戶單元、呼叫器、蜂巢式電話、個人數位助理(PDA)、智慧型電話、筆記型電腦、隨身型易網機、個人電腦、無線感測器、消費電子產品等等。
通信系統100也可以包括基地台114a和基地台114b。基地台114a、114b的每一個都可以是配置為與WTRU 102a、102b、102c、102d中的至少一個無線對接以便於存取一個或者更多個通信網路，例如核心網路106、107、109、網際網路110及/或網路112的任何裝置類型。作為示例，基地台114a、114b可以是基地台收發站(BTS)、節點B)、演進的節點B(e節點B)、家用節點B、家用eNB、站點控制器、存取點(AP)、無線路由器等等。雖然基地台114a、114b的每一個被描述為單獨的元件，但是應該理解的是，基地台114a、114b可以包括任何數量互連的基地台及/或網路元件。
基地台114a可以是RAN 103、104、105的一部分，RAN 104也可以包括其他基地台及/或網路元件(未顯示)，例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等。可以將基地台114a及/或基地台114b配置為在特定地理區域之內發送及/或接收無線信號，該區域 可以被稱為胞元(未顯示)。胞元也可以被劃分為胞元扇區。例如，與基地台114a關聯的胞元可以劃分為三個扇區。因此，在一種實施方式中，基地台114a可以包括三個收發器，即每一個用於胞元的一個扇區。在另一種實施方式中，基地台114a可以使用多輸入多輸出(MIMO)技術，因此可以將多個收發器用於胞元的每一個扇區。
基地台114a、114b可以經由空中介面115、116、117來與WTRU 102a、102b、102c、102d中的一個或者更多個進行通信，該空中介面115、116、117可以是任何合適的無線通信鏈路(例如，射頻(RF)、微波、紅外(IR)、紫外線(UV)、可見光等)。可以使用任何合適的無線電存取技術(RAT)來建立空中介面116。
更具體地，如上所述，通信系統100可以是多重存取系統、並可以使用一種或者多種通道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103、104、105中的基地台114a和WTRU 102a、102b、102c可以使用例如通用行動電信系統(UMTS)陸地無線電存取(UTRA)的無線電技術，其可以使用寬頻CDMA(WCDMA)來建立空中介面115、116、117。WCDMA可以包括例如高速封包存取(HSPA)及/或演進的HSPA(HSPA+)的通信協定。HSPA可以包括高速下鏈封包存取(HSDPA)及/或高速上鏈封包存取(HSUPA)。
在另一種實施方式中，基地台114a和WTRU 102a、102b、102c可以使用例如演進的UMTS陸地無線電存取(E-UTRA)的無線電技術，其可以使用長期演進(LTE)及/或高級LTE(LTE-A)來建立空中介面115、116、117。
在其他實施方式中，基地台114a和WTRU 102a、102b、102c可以使用例如IEEE802.16(即，全球互通微波存取(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標準2000(IS-2000)、暫行標準95(IS-95)、暫行標準856(IS-856)、全球行動通信系統(GSM)、GSM演進的增強型資料速率(EDGE)、GSM EDGE(GERAN)等等的無線電技術。
第1A圖中的基地台114b可以例如是無線路由器、家用節點B、家用e節點B或者存取點，並且可以使用任何適當的RAT以方便例如商業場所、住宅、車輛、校園等等的局部區域中的無線連接。在一種實施方式中，基地台114b和WTRU 102c、102d可以實施例如IEEE 802.11的無線電技術來建立無線區域網路(WLAN)。在另一種實施方式中，基地台114b和WTRU 102c、102d可以使用例如IEEE 802.15的無線電技術來建立無線個人區域網路(WPAN)。在另一種實施方式中，基地台114b和WTRU 102c、102d可以使用基於蜂巢的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)來建立微微胞元或毫微微胞元。如第1A圖所示，基地台114b可以具有到網際網路110的直接連接。因此，基地台114b可以不需要經由核心網路106、107、109來存取網際網路110。
RAN 103、104、105可以與核心網路106、107、109通信，該核心網路106、107、109可以是被配置為向WTRU 102a、102b、102c、102d中的一個或更多個提供語音、資料、應用及/或基於網際網路協定的語音(VoIP)服務等的任何類型的網路。例如，核心網路106、107、109可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連 接、視訊分配等及/或執行高階安全功能，例如用戶認證。雖然第1A圖中未示出，應該理解的是，RAN 103、104、105及/或核心網路106、107、109可以與使用和RAN 103、104、105相同的RAT或不同RAT的其他RAN進行直接或間接的通信。例如，除了連接到正在使用E-UTRA無線電技術的RAN 103、104、105之外，核心網路106、107、109也可以與使用GSM無線電技術的另一個RAN(未示出)通信。
核心網路106、107、109也可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用公共通信協定的互連電腦網路和裝置的全球系統，該協定例如有TCP/IP網際網路協定組中的傳輸控制協定(TCP)、用戶資料報協定(UDP)和網際網路協定(IP)。網路112可以包括被其他服務提供者擁有及/或操作的有線或無線的通信網路。例如，網路112可以包括連接到一個或更多個RAN的另一個核心網路，該RAN可以使用和RAN 103、104、105相同的RAT或不同的RAT。
通信系統100中的WTRU 102a、102b、102c、102d的某些或全部可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用於在不同無線鏈路上與不同無線網路進行通信的多個收發器。例如，第1A圖中示出的WTRU 102c可被配置為與基地台114a通信，該基地台114a可以使用基於蜂巢的無線電技術，以及與基地台114b通信，該基地台114b可以使用IEEE 802無線電技術。
第1B圖是WTRU 102示例的系統圖。如第1B圖所示，WTRU 102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132、電源134、全球定位系統(GPS)晶片組136和其他週邊裝置138。應該理解的是，WTRU 102可以在保持與實施方式一致時，包括前述元件的任何子組合。而且，實施方式考慮了基地台114a和114b及/或基地台114a和114b可以表示的節點(諸如但不限於收發站(BTS)、節點B、站點控制器、存取點(AP)、家用節點B、演進型家用節點B(e節點B)、家用演進型節點B(HeNB)、家用演進型節點B閘道和代理節點等)可以包括第1B圖所描繪和這裏描述的一些或所有元件。
處理器118可以是通用處理器、專用處理器、常規處理器、數位信號處理器(DSP)、多個微處理器、與DSP核相關聯的一個或更多個微處理器、控制器、微控制器、專用積體電路(ASIC)、場可編程閘陣列(FPGA)電路、任何其他類型的積體電路(IC)、狀態機等等。處理器118可執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使WTRU 102運行於無線環境中的任何其他功能。處理器118可以耦合到收發器120，該收發器120可耦合到傳輸/接收元件122。雖然第1B圖描述了處理器118和收發器120是單獨的元件，但是應該理解的是，處理器118和收發器120可以一起集成在電子封裝或晶片中。
傳輸/接收元件122可以被配置為經由空中介面115、116、117以將信號發送到基地台(例如，基地台114a)、或從基地台(例如，基地台114a)接收信號。例如，在一種實施方式中，傳輸/接收元件122可以是被配置為發送及/或接收RF信號的天線。在另一種實施方式中，傳輸/接收元件122 可以是被配置為發送及/或接收例如IR、UV或可見光信號的發射器/偵測器。在另一種實施方式中，傳輸/接收元件122可以被配置為發送和接收RF和光信號兩者。應當理解，傳輸/接收元件122可以被配置為發送及/或接收無線信號的任何組合。
另外，雖然傳輸/接收元件122在第1B圖中描述為單獨的元件，但是WTRU 102可以包括任意數量的傳輸/接收元件122。更具體的，WTRU 102可以使用例如MIMO技術。因此，在一種實施方式中，WTRU 102可以包括用於經由空中介面115、116、117來發送和接收無線信號的兩個或更多個傳輸/接收元件122(例如，多個天線)。
收發器120可以被配置為調變要由傳輸/接收元件122發送的信號及/或解調由傳輸/接收元件122接收的信號。如上面提到的，WTRU 102可以具有多模式能力。因此收發器120可以包括使WTRU 102經由多個例如UTRA和IEEE 802.11的RAT通信的多個收發器。
WTRU 102的處理器118可以耦合到下述裝置、並且可以從下述裝置中接收用戶輸入資料：揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128(例如，液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)。處理器118也可以輸出用戶資料到揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128。另外，處理器118可以從任何類型的適當的記憶體存取資訊、並且可以儲存資料到任何類型的適當的記憶體中，例如不可移式記憶體130及/或可移式記憶體132。不可移式記憶體130可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或任何其他類型的記憶體裝置。可移式記憶體132可以包括用戶身份模組(SIM)卡、記憶條、安全數位(SD) 記憶卡等等。在其他實施方式中，處理器118可以從在實體位置上沒有位於WTRU 102上，例如位於伺服器或家用電腦(未示出)上的記憶體存取資訊、並且可以將資料儲存在該記憶體中。
處理器118可以從電源134接收電能、並且可以被配置為分配及/或控制到WTRU 102中的其他元件的電能。電源134可以是為WTRU 102供電的任何適當的裝置。例如，電源134可以包括一個或更多個乾電池(例如，鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion)等等)，太陽能電池，燃料電池等等。
處理器118也可以耦合到GPS晶片組136，該GPS晶片組136可以被配置為提供關於WTRU 102目前位置的位置資訊(例如，經度和緯度)。另外，除來自GPS晶片組136的資訊或作為其替代，WTRU 102可以經由空中介面115、116、117以從基地台(例如，基地台114a、114b)接收位置資訊及/或基於從兩個或更多個鄰近基地台接收的信號的定時來確定其位置。應當理解，在保持實施方式的一致性時，WTRU 102可以用任何適當的位置確定方法來獲得位置資訊。
處理器118可以耦合到其他週邊裝置138，該週邊裝置138可以包括一個或更多個提供附加特性、功能及/或有線或無線連接的軟體及/或硬體模組。例如，週邊裝置138可以包括加速計、電子羅盤、衛星收發器、數位相機(用於照片或視訊)、通用串列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍芽(BluetoothR)模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器等等。
第1C圖是根據實施方式的RAN 103和核心網路106a的系統 圖。如上面提到的，RAN 103可使用UTRA無線電技術以經由空中介面115來與WTRU 102a、102b和102c通信。RAN 103也可以與核心網路106a通信。如第1C圖所示，RAN 103可以包括節點B 140a、140b、140c，節點B 140a、140b、140c的每一個包括用於經由空中介面115來與WTRU 102a、102b、102c、102d通信的一個或更多個收發器。節點B 140a、140b、140c的每一個可以與RAN 103內的特定胞元(未顯示)關聯。RAN 103也可以包括RNC 142a、142b。應當理解的是，RAN 103在保持實施方式的一致性時，可以包括任意數量的節點B和RNC。
如第1C圖所示，節點B 140a、140b可以與RNC 142a通信。此外，節點B 140c可以與RNC 142b通信。節點B 140a、140b、140c可以經由Iub介面分別與RNC 142a、142b通信。RNC 142a、142b可以經由Iur介面相互通信。RNC 142a、142b的每一個可以被配置以控制其連接的各自的節點B 140a、140b、140c。另外，RNC 142a、142b的每一個可以被配置以執行或支援其他功能，例如外環功率控制、負載控制、允許控制、封包排程、切換控制、巨集分集、安全功能、資料加密等等。
第1C圖中所示的核心網路106可以包括媒體閘道(MGW)144、行動交換中心(MSC)146、服務GPRS支援節點(SGSN)148、及/或閘道GPRS支援節點(GGSN)。儘管前述元件的每一個被描述為核心網路106的部分，應當理解的是，這些元件中的任何一個可以被不是核心網路操作者的實體擁有或操作。
RAN 103中的RNC 142a可以經由IuCS介面以連接至核心網路106中的MSC 146。MSC 146可以連接至MGW 144。MSC 146和MGW 144 可以向WTRU 102a、102b、102c提供到電路交換網路(例如PSTN 108)的存取，以便於WTRU 102a、102b、102c和傳統陸地線路通信裝置之間的通信。
RAN 103中RNC 142a也可以經由IuPS介面以連接至核心網路106中的SGSN 148。SGSN 148可以連接至GGSN 150。SGSN 148和GGSN 150可以向WTRU 102a、102b、102c提供到封包交換網路(例如網際網路110)的存取，以便於WTRU 102a、102b、102c和IP使能裝置之間的通信。
如上所述，核心網路106也可以連接至網路112，網路112可以包括由其他服務提供者擁有或操作的其他有線或無線網路。
第1D圖是根據實施方式的RAN 104和核心網路107的系統圖。如上面提到的，RAN 104可使用E-UTRA無線電技術經由空中介面116來與WTRU 102a、102b、102c通信。RAN 104也可以與核心網路107通信。
RAN 104可包括e節點B 160a、160b、160c，但可以理解的是，RAN 104可以包括任意數量的e節點B而保持與各種實施方式的一致性。eNB 160a、160b、160c的每一個可包括用於經由空中介面116來與WTRU 102a、102b、102c通信的一個或更多個收發器。在一種實施方式中，e節點B 160a、160b、160c可以使用MIMO技術。因此，e節點B 160a例如可以使用多個天線來向WTRU 102a發送無線信號及/或從其接收無線信號。
e節點B 160a、160b、160c的每一個可以與特定胞元關聯(未顯示)、並可以被配置為處理無線資源管理決策、切換決策、在上鏈及/或下鏈中的用戶排程等等。如第1D圖所示，e節點B 160a、160b、160c可以經由X2介面相互通信。
第1D圖中所示的核心網路107可以包括移動性管理實體(MME)162、服務閘道164及/或封包資料網路(PDN)閘道166。雖然前述單元的每一個被描述為核心網路107的一部分，應當理解的是，這些單元中的任一個可以由除了核心網路操作者之外的實體擁有及/或操作。
MME 162可以經由S1介面而連接到RAN 104中的e節點B 160a、160b、160c的每一個、並可以作為控制節點。例如，MME 162可以負責WTRU 102a、102b、102c的用戶認證、承載啟動/停用、在WTRU 102a、102b、102c的初始連結期間選擇特定服務閘道等等。MME 162也可以提供控制平面功能，用於在RAN 104和使用例如GSM或者WCDMA的其他無線電技術的其他RAN(未顯示)之間切換。
服務閘道164可以經由S1介面以連接到RAN 104中的eNB 160a、160b、160c的每一個。服務閘道164通常可以向/從WTRU 102a、102b、102c路由和轉發用戶資料封包。服務閘道164也可以執行其他功能，例如在eNB間切換期間錨定用戶平面、當下鏈資料對於WTRU 102a、102b、102c可用時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文(context)等等。
服務閘道164也可以連接到PDN閘道166，PDN閘道166可以向WTRU 102a、102b、102c提供到封包交換網路(例如網際網路110)的存取，以便於WTRU 102a、102b、102c與IP賦能裝置之間的通信。
核心網路107可以便於與其他網路的通信。例如，核心網路107可以向WTRU 102a、102b、102c提供到電路交換網路(例如PSTN 108)的存取，以便於WTRU 102a、102b、102c與傳統陸地線路通信裝置之間的 通信。例如，核心網路107可以包括IP閘道(例如IP多媒體子系統(IMS)伺服器)、或者與之通信，該IP閘道作為核心網路107與PSTN 108之間的介面。另外，核心網路107可以向WTRU 102a、102b、102c提供到網路112的存取，該網路112可以包括被其他服務提供者擁有及/或操作的其他有線或無線網路。
第1E圖是根據實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術以經由空中介面117來與WTRU 102a、102b、102c進行通信的存取服務網路(ASN)。如下面進一步討論的，WTRU 102a、102b、102c，RAN 105和核心網路109的不同功能實體之間的鏈路可以被定義為參考點。
如第1E圖所示，RAN 105可以包括基地台180a、180b、180c和ASN閘道182，但應當理解的是，RAN 105可以包括任意數量的基地台和ASN閘道而與實施方式保持一致。基地台180a、180b、180c的每一個可以與RAN 105中特定胞元(未示出)關聯並可以包括一個或更多個經由空中介面117來與WTRU 102a、102b、102c通信的收發器。在一個實施方式中，基地台180a、180b、180c可以使用MIMO技術。因此，基地台140g例如使用多個天線來向WTRU 102a發送無線信號、或從其接收無線信號。基地台180a、180b、180c可以提供移動性管理功能，例如呼叫切換(handoff)觸發、隧道建立、無線電資源管理、訊務分類、服務品質策略執行等等。ASN閘道182可以充當訊務聚合點、並且負責傳呼、快取用戶資料(profile)、路由到核心網路109等等。
WTRU 102a、102b、102c和RAN 105之間的空中介面117可 以被定義為使用802.16規範的R1參考點。另外，WTRU 102a、102b、102c的每一個可以與核心網路109建立邏輯介面(未顯示)。WTRU 102a、102b、102c和核心網路109之間的邏輯介面可以定義為R2參考點，其可以用於認證、授權、IP主機(host)配置管理及/或移動性管理。
基地台180a、180b、180c的每一個之間的通信鏈路可以定義為包括便於WTRU切換和基地台間轉移資料的協定的R8參考點。基地台180a、180b、180c和ASN閘道182之間的通信鏈路可以定義為R6參考點。R6參考點可以包括用於促進基於與WTRU 102a、102b、102c的每一個關聯的移動性事件的移動性管理的協定。
如第1E圖所示，RAN 105可以連接至核心網路109。RAN 105和核心網路109之間的通信鏈路可以定義為包括例如便於資料轉移和移動性管理能力的協定的R3參考點。核心網路109可以包括行動IP本地代理(MIP-HA)184，認證、授權、計費(AAA)伺服器186和閘道188。儘管前述的每個元件被描述為核心網路109的部分，應當理解的是，這些元件中的任一個可以由不是核心網路操作者的實體擁有或操作。
MIP-HA可以負責IP位址管理、並可以使WTRU 102a、102b、102c在不同ASN及/或不同核心網路之間漫遊。MIP-HA 184可以向WTRU 102a、102b、102c提供封包交換網路(例如網際網路110)的存取，以促進WTRU 102a、102b、102c和IP使能裝置之間的通信。AAA伺服器186可以負責用戶認證和支援用戶服務。閘道188可促進與其他網路互通。例如，閘道可以向WTRU 102a、102b、102c提供電路交換網路(例如PSTN 108)的存取，以促進WTRU 102a、102b、102c和傳統陸地線路通信裝置之間的 通信。此外，閘道188可以向WTRU 102a、102b、102c提供網路112，其可以包括由其他服務提供者擁有或操作的其他有線或無線網路。
儘管未在第1E圖中顯示，應當理解的是，RAN 105可以連接至其他ASN，並且核心網路109可以連接至其他核心網路。RAN 105和其他ASN之間的通信鏈路可以定義為R4參考點，其可以包括協調RAN 105和其他ASN之間的WTRU 102a、102b、102c的移動性的協定。核心網路109和其他核心網路之間的通信鏈路可以定義為R5參考點，其可以包括促進本地核心網路和被訪問核心網路之間的互通的協定。雖然上面以特定的組合描述了特徵和元件，但是本領域中具有通常知識者可以理解，每個特徵或元件可以單獨的使用或與其他的特徵和元件進行組合使用。此外，這裏描述的方法可以用電腦程式、軟體或韌體實現，其可包含到由電腦或處理器執行的電腦可讀媒體中。電腦可讀媒體的示例包括電子信號(經由有線或無線連接傳送)和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括，但不限制為，唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、快取記憶體、半導體記憶體裝置、磁性媒體，例如內部硬碟和可移式磁片，磁光媒體和光學媒體，例如CD-ROM盤，和數位多功能光碟(DVD)。與軟體關聯的處理器用於實現射頻收發器，用於WTRU、UE、終端、基地台、RNC或任何主電腦。
710‧‧‧視訊準備
712‧‧‧複雜性感知編碼器
720‧‧‧媒體檔案(MF)
722、724‧‧‧片段
728‧‧‧描述(MPD)檔
730‧‧‧分發
732‧‧‧媒體檔
738‧‧‧MPD檔
740‧‧‧HTTP伺服器
742‧‧‧HTTP快取
750‧‧‧消耗
760‧‧‧功率感知用戶端
762‧‧‧功率偵測器
764‧‧‧頻寬感測器
766‧‧‧收發器
768‧‧‧解碼器
770‧‧‧應用
772‧‧‧複雜性統計和控制單元
774‧‧‧功率感知自適應控制器
CDN‧‧‧內容傳送網路

Claims (20)

  1. 一種用於一行動裝置從一視訊伺服器請求一視訊串流的方法，該方法包括：從該視訊伺服器接收針對該視訊串流的一媒體描述檔(MDF)，其中該視訊串流分為多個視訊分段，以及其中該MDF包括與一第一視訊分段相關聯的一視訊解碼複雜性資訊，以及其中針對該第一視訊分段的該視訊解碼複雜性資訊指出該第一視訊分段能被請求的多個複雜性等級的相對視訊解碼功率消耗資訊；確定針對該行動裝置的至少一個功率度量；以及基於在該MDF中指出的該相對視訊解碼功率消耗資訊、該功率度量以及與一先前視訊分段相關聯的一功率消耗來確定請求該多個複雜性等級的一第一複雜性等級的該第一視訊分段；以及從該視訊伺服器請求該第一複雜性等級的該第一視訊分段。
  2. 如申請專利範圍第1項所述的方法，其中該視訊解碼複雜性資訊按照視訊分段在該MDF中提供。
  3. 如申請專利範圍第1項所述的方法，其中該MDF對應一媒體介紹描述(MPD)檔。
  4. 如申請專利範圍第1項所述的方法，其中該MDF還包含針對該多個視訊分段的一位元率資訊，以及該位元率資訊指出至少該第一視訊分段能被請求的多個位元率等級。
  5. 如申請專利範圍第1項所述的方法，其中該第一視訊分段能被請求的該多個複雜性等級的該相對視訊解碼功率消耗資訊包括一相對量的處理資源 的指示，該處理資源將由一視訊解碼者使用來解碼該多個複雜性等級的每一者的該第一視訊分段。
  6. 如申請專利範圍第5項所述的方法，其中該多個複雜性等級對應一視訊編碼者改變一或更多個編碼參數，以編碼該第一視訊分段，以及該一或更多個編碼參數對應下列至少其中之一：運動資訊的精確度、移動補償區塊大小、轉換大小、環內濾波器、或用於忽略係數編碼的一成本臨界值。
  7. 如申請專利範圍第6項所述的方法，其中確定請求該第一複雜性等級的該第一視訊分段包括確定該第一複雜性等級，以使解碼該第一視訊分段導致大致使用將被分配給該第一視訊分段的一能量。
  8. 如申請專利範圍第1項所述的方法，其中確定請求該第一複雜性等級的該第一視訊分段包括基於被分配用於該先前視訊分段的一功率、被用來解碼該先前分段的一複雜性等級和被分配用於解碼該第一視訊分段的一功率來選擇該第一複雜性等級。
  9. 如申請專利範圍第1項所述的方法，更包括確定該第一視訊分段的一區域是否包括超過一高頻臨界值的一高頻分量，並且在該高頻分量超過該高頻臨界值的條件下，在針對該區域的移動補償期間，應用一第一內插濾波器，或者在該高頻分量不超過該高頻臨界值的條件下針對該區域的移動補償應用一第二內插濾波器，其中該第二內插濾波器與比該第一內插濾波器低的一截止頻率相關聯。
  10. 如申請專利範圍第1項所述的方法，該方法更包括針對該第一視訊分段中的一參考圖像執行解塊，以及避免針對一非參考圖像執行解塊。
  11. 一種用於基於功率條件從一視訊伺服器請求一視訊串流的行動裝置，該行動裝置包括：一收發器，被配置為從該視訊伺服器請求針對該視訊串流的一媒體描述檔(MDF)，以及從該視訊伺服器接收該MDF，其中該視訊串流分為多個視訊分段，以及其中該MDF包括與一第一視訊分段相關聯的一視訊解碼複雜性資訊，以及其中針對該第一視訊分段的該視訊解碼複雜性資訊指出該第一視訊分段能被請求的多個複雜性等級的相對視訊解碼功率消耗資訊；一複雜性統計和控制單元，被配置為儲存針對先前分段解碼的一統計，其中針對先前分段解碼的該統計包括與解碼至少一個先前分段相關聯的一功率資訊和針對該至少一個先前分段的一複雜性資訊；一功率偵測器，被配置為確定一目前功率資訊；以及一功率感知自適應控制器，被配置為基於在該MDF中指出的該相對視訊解碼功率消耗資訊、針對該先前分段解碼的該統計、與該至少一先前分段相關聯的一功率消耗和該目前功率資訊來確定請求針對該第一視訊分段的一第一複雜性等級。
  12. 如申請專利範圍第11項所述的行動裝置，更包括一解碼器，該解碼器被配置為基於由該功率感知自適應控制器所確定的一資訊來確定應用於解碼該第一視訊分段的一參數或一方法。
  13. 如申請專利範圍第12項所述的行動裝置，其中該解碼器被配置為基於在一給定區域內的一像素取樣的一頻率分析來確定應用於該給定區域的移動補償的一內插濾波器。
  14. 如申請專利範圍第13項所述的行動裝置，其中該解碼器被配置為針對具有低於一特定臨界值的一高頻分量的一區域的一較高層時間預測而利用具有比一第二內插濾波器低的一截止頻率的一第一內插濾波器，並且即使較低層的一高頻分量低於該臨界值，針對一較低層時間預測使用該第二內插濾波器。
  15. 如申請專利範圍第13項所述的行動裝置，其中該解碼器被配置為針對至少除了區塊間外具有低於一特定臨界值的一高頻分量的一區域而利用具有比一第二內插濾波器低的一截止頻率的一第一內插濾波器，其中區塊間的一非因果鄰居包括一個或多個內部編碼的區塊。
  16. 如申請專利範圍第11項所述的行動裝置，其中該功率感知自適應控制器更被配置為基於在該MDF中指出的該相對視訊解碼功率消耗資訊、針對該先前分段解碼的該統計和該目前功率資訊來確定針對一後續分段所請求的一解析度。
  17. 一種用於一無線傳輸/接收單元(WTRU)從一視訊伺服器請求一視訊串流的方法，該方法包括：該WTRU請求來自該視訊伺服器的一媒體描述檔(MDF)；該WTRU從該視訊伺服器接收該MDF，該MDF包括用於解碼該視訊串流的一個或多個視訊分段的一視訊解碼複雜性資訊，以及該視訊解碼複雜性資訊指出多個視訊分段能被請求的多個複雜性等級的相對視訊解碼功率消耗資訊； 該WTRU基於在該MDF中指出的該相對視訊解碼功率消耗資訊以及至少一個功率度量來確定針對該視訊串流的一第一視訊分段請求一第一解碼複雜性等級的一第一視訊分段；該WTRU請求針對該第一視訊分段的該第一解碼複雜性等級；該WTRU在請求該視訊串流的一第二視訊分段之前重新估計該至少一個功率度量；以及該WTRU基於該至少一個功率度量的該重新估計來確定請求一第二解碼複雜性等級的該第二視訊分段。
  18. 如申請專利範圍第17項所述的方法，其中該視訊解碼複雜性資訊是以每一視訊分段為基礎來提供。
  19. 如申請專利範圍第18項所述的方法，其中該視訊解碼複雜性資訊是指示一相對量的處理資源，該處理資源將由該WTRU使用來解碼該多個解碼複雜性等級的每一者的一請求視訊分段。
  20. 如申請專利範圍第17項所述的方法，更包括該WTRU向該伺服器報告針對各個解碼後的分段的一功率使用統計，並且該WTRU是基於該報告來接收一給定複雜性的一視訊分段。
TW102124531A 2012-07-09 2013-07-09 功率知覺視訊解碼及串流 TWI558183B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261669581P 2012-07-09 2012-07-09

Publications (2)

Publication Number Publication Date
TW201414287A TW201414287A (zh) 2014-04-01
TWI558183B true TWI558183B (zh) 2016-11-11

Family

ID=48833073

Family Applications (2)

Application Number Title Priority Date Filing Date
TW102124531A TWI558183B (zh) 2012-07-09 2013-07-09 功率知覺視訊解碼及串流
TW105131397A TW201717650A (zh) 2012-07-09 2013-07-09 功綠知覺視訊解碼及串流

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW105131397A TW201717650A (zh) 2012-07-09 2013-07-09 功綠知覺視訊解碼及串流

Country Status (9)

Country Link
US (5) US10154258B2 (zh)
EP (2) EP2870770A2 (zh)
JP (4) JP6180524B2 (zh)
KR (2) KR101692516B1 (zh)
CN (2) CN104604241B (zh)
AU (2) AU2013288859B2 (zh)
MX (1) MX345571B (zh)
TW (2) TWI558183B (zh)
WO (1) WO2014011622A2 (zh)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2526674T3 (pl) * 2010-01-18 2017-09-29 Telefonaktiebolaget Lm Ericsson (Publ) Sposób i urządzenie dla wsparcia odtwarzania treści
EP2870770A2 (en) * 2012-07-09 2015-05-13 VID SCALE, Inc. Power aware video decoding and streaming
CA2884710A1 (en) * 2012-09-12 2014-03-20 Rigel Pharmaceuticals, Inc. Treatment for vitiligo
CN104604286B (zh) * 2012-09-28 2018-10-09 英特尔公司 用于流式传输和对话服务的能量感知多媒体自适应
CN104871514B (zh) * 2012-10-18 2019-04-05 Vid拓展公司 移动多媒体流的解码复杂度
FR2999373B1 (fr) * 2012-12-12 2018-04-06 Harmonic Inc. Procede d'adaptation dynamique du codage d'un flux audio et/ou video transmis a un dispositif
US9098177B2 (en) 2012-12-13 2015-08-04 Google Technology Holdings LLC Apparatus and methods for facilitating context handoff between devices in a cloud based wireless personal area network
US9185742B2 (en) 2012-12-13 2015-11-10 Google Technology Holdings LLC System and methods for a cloud based wireless personal area network service enabling context activity handoffs between devices
US9037682B2 (en) 2012-12-13 2015-05-19 Google Technology Holdings LLC System and methods for preventing interruptions due to battery drain during streaming media sessions between devices
WO2014138331A2 (en) * 2013-03-06 2014-09-12 Interdigital Patent Holdings, Inc. Power aware adaptation for video streaming
US10063921B2 (en) 2013-03-06 2018-08-28 Interdigital Patent Holdings, Inc. Power aware adaptation for video streaming
TW201503667A (zh) 2013-03-06 2015-01-16 Interdigital Patent Holdings 視訊串流功率知覺適應
WO2015004276A2 (en) 2013-07-12 2015-01-15 Canon Kabushiki Kaisha Adaptive data streaming method with push messages control
GB2551674B (en) * 2013-07-12 2018-04-11 Canon Kk Adaptive data streaming method with push messages control
FR3008838B1 (fr) * 2013-07-19 2016-12-16 France Brevets Procede de diffusion adaptative de flux multimedia en utilisant un indice d'energie
WO2015013687A1 (en) * 2013-07-25 2015-01-29 Futurewei Technologies, Inc. System and method for effectively controlling client behavior in adaptive streaming
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
US20150039680A1 (en) * 2013-08-02 2015-02-05 Avvasi Inc. Methods and systems for video quota management
US20150181208A1 (en) * 2013-12-20 2015-06-25 Qualcomm Incorporated Thermal and power management with video coding
US9483811B2 (en) 2014-01-06 2016-11-01 Microsoft Technology Licensing, Llc Division of processing between systems based on external factors
US9608876B2 (en) 2014-01-06 2017-03-28 Microsoft Technology Licensing, Llc Dynamically adjusting brand and platform interface elements
US20150193275A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Building interactive, data driven apps
US9501808B2 (en) 2014-01-06 2016-11-22 Microsoft Technology Licensing, Llc Division of processing between systems based on business constraints
US10129773B2 (en) * 2014-03-24 2018-11-13 Google Technology Holdings LLC Methods and apparatus for managing data use
US20150281303A1 (en) * 2014-03-26 2015-10-01 Mohamed Yousef Adaptive media streaming
US10079906B2 (en) 2014-07-16 2018-09-18 Comcast Cable Communications, Llc Device mode settings to provide an enhanced user experience
US9363673B2 (en) 2014-08-04 2016-06-07 Google Technology Holdings LLC Subscriber identity module control in a portable communication device
WO2016053154A1 (en) * 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Encoding and decoding a video frame in separate processing units
US10264269B2 (en) 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
FR3027480B1 (fr) * 2014-10-17 2020-10-23 Institut Nat Des Sciences Appliquees De Rennes Decodeur, procede et systeme de decodage de flux multimedia
US10880357B2 (en) * 2014-12-23 2020-12-29 Adobe Inc. Reducing requests for media segments in streaming of multimedia content
US9860294B2 (en) * 2014-12-24 2018-01-02 Intel Corporation Media content streaming
US9900604B2 (en) * 2015-03-11 2018-02-20 Kabushiki Kaisha Toshiba Semiconductor integrated circuit, image transmission apparatus and image transmission system
CN106162316A (zh) * 2015-04-15 2016-11-23 腾讯科技（深圳）有限公司 一种视频流的数据处理方法、装置和系统
US10567816B2 (en) 2015-04-30 2020-02-18 Comcast Cable Communications, Llc Delivering content
DE112015006587T5 (de) * 2015-06-04 2018-05-24 Intel Corporation Adaptive Batch-Codierung für Slow-Motion-Videoaufzeichnung
CN108028954A (zh) * 2015-09-15 2018-05-11 汤姆逊许可公司 用于回放功率节省媒体内容的方法、系统和装置
JP7061567B2 (ja) 2015-09-15 2022-04-28 インターデジタル マディソン パテント ホールディングス， エスアーエス 節電メディア・コンテンツを提供する方法および装置
CN105208440B (zh) * 2015-09-22 2019-03-12 暴风集团股份有限公司 一种mp4格式视频在线播放的方法及系统
CN105228001B (zh) * 2015-09-26 2018-11-06 暴风集团股份有限公司 一种flv格式视频在线播放的方法及系统
US10805875B2 (en) * 2015-09-29 2020-10-13 Huawei Technologies Co., Ltd. Method and apparatus for automatically selecting network according to tariff, server, and terminal
TWI594607B (zh) 2015-11-27 2017-08-01 鴻海精密工業股份有限公司 動態控制多個視頻下載之系統及方法
WO2017100769A1 (en) 2015-12-11 2017-06-15 Vid Scale, Inc. Scheduling multiple-layer video segments
WO2017143522A1 (en) 2016-02-23 2017-08-31 Intel Corporation Graphics processor workload acceleration using a command template for batch usage scenarios
JP6466870B2 (ja) * 2016-02-29 2019-02-06 Kddi株式会社 クライアント装置および方法
US10805643B2 (en) * 2016-03-30 2020-10-13 Advanced Micro Devices, Inc. Adaptive error-controlled dynamic voltage and frequency scaling for low power video codecs
US10855737B2 (en) * 2016-05-12 2020-12-01 Telefonaktiebolaget Lm Ericsson (Publ) Control of media transcoding during a media session
JP6752080B2 (ja) * 2016-08-10 2020-09-09 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
US10116957B2 (en) * 2016-09-15 2018-10-30 Google Inc. Dual filter type for motion compensated prediction in video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US10484308B2 (en) 2017-03-31 2019-11-19 At&T Intellectual Property I, L.P. Apparatus and method of managing resources for video services
US10819763B2 (en) 2017-03-31 2020-10-27 At&T Intellectual Property I, L.P. Apparatus and method of video streaming
KR102307447B1 (ko) * 2017-05-02 2021-09-30 삼성전자주식회사 네트워크 환경 모니터링에 기반하는 http 적응적 스트리밍 서버, 방법, 및 클라이언트 단말
CN107256078B (zh) * 2017-05-05 2020-06-23 浙江大华技术股份有限公司 一种动态电压频率调整方法及装置
US11991235B2 (en) * 2017-09-27 2024-05-21 Comcast Cable Communications, Llc Adaptive energy system utilizing quality of service and quality of experience metrics
FR3073112B1 (fr) * 2017-11-02 2021-04-02 Ateme Procede et systeme de traitement d'un contenu multimedia dans un reseau de zone metropolitaine
US12069115B2 (en) * 2017-11-29 2024-08-20 Comcast Cable Communications, Llc Video streaming delivery
CN108235096A (zh) * 2018-01-18 2018-06-29 湖南快乐阳光互动娱乐传媒有限公司 移动终端硬解码智能切换软解码播放视频的方法
US11240685B2 (en) * 2018-01-29 2022-02-01 Samsung Electronics Co., Ltd. Devices and methods of selecting signal processing algorithm based on parameters
US11727602B2 (en) * 2018-09-20 2023-08-15 Telefonaktiebolaget Lm Ericsson (Publ) Resolution of a picture
US10917636B2 (en) * 2018-12-03 2021-02-09 Tencent America LLC Method and apparatus for video coding
US11044185B2 (en) 2018-12-14 2021-06-22 At&T Intellectual Property I, L.P. Latency prediction and guidance in wireless communication systems
US11381867B2 (en) * 2019-01-08 2022-07-05 Qualcomm Incorporated Multiple decoder interface for streamed media data
CN111510790B (zh) * 2019-01-30 2021-10-15 上海哔哩哔哩科技有限公司 视频请求方法、系统、计算机设备及计算机可读存储介质
CN113711602B (zh) 2019-02-15 2025-10-03 北京字节跳动网络技术有限公司 视频压缩中的非二次幂分割树的使用的限制
CN109862322B (zh) * 2019-02-19 2020-12-08 深圳市研诺达科技有限公司 一种基于uvc数据传输的4g影音采集设备
JP7403115B2 (ja) * 2019-07-10 2023-12-22 株式会社 インターコム 映像送信装置、アプリケーションプログラム及び映像送信方法
KR102195460B1 (ko) * 2019-08-14 2020-12-28 한국과학기술원 엣지 컴퓨팅을 이용하는 모바일 증강 현실 장비 및 그의 에너지 효율적인 해상도 및 송신 파워 제어 방법
WO2021036979A1 (en) 2019-08-24 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Residual coefficients coding
ES2973554T3 (es) * 2019-10-02 2024-06-20 V Nova Int Ltd Uso de coeficientes transformados para proporcionar señalización incorporada para marca de agua
EP4128802A1 (en) 2020-04-02 2023-02-08 Dolby Laboratories Licensing Corporation Metadata-based power management
CN116018814A (zh) 2020-07-01 2023-04-25 索尼半导体解决方案公司 信息处理装置、信息处理方法和程序
US11438670B2 (en) * 2020-11-20 2022-09-06 At&T Intellectual Property I, L.P. Video complexity detection for network traffic management
KR20230140450A (ko) * 2021-02-03 2023-10-06 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 디코딩 프로세스의 에너지 소비를 나타내는 정보를 시그널링하기 위한 메타데이터
JP7494765B2 (ja) 2021-03-12 2024-06-04 トヨタ自動車株式会社 連系インバータおよび連系インバータの製造方法
US11726949B2 (en) 2021-05-28 2023-08-15 Samsung Electronics Co., Ltd. System and method for selectively reprocessing video streams based on system resources and stream status
CN117280378A (zh) 2021-07-13 2023-12-22 三星电子株式会社 用于在图形显示器上渲染差分视频的系统和方法
EP4424015A4 (en) * 2021-10-26 2025-09-24 Op Solutions Llc VIDEO CODING SYSTEMS AND METHODS
CN113766230B (zh) * 2021-11-04 2022-04-01 广州易方信息科技股份有限公司 媒体文件编码方法、装置、计算机设备和存储介质
US11503101B1 (en) 2021-12-15 2022-11-15 Motorola Solutions, Inc. Device and method for assigning video analytics tasks to computing devices
US20230281875A1 (en) * 2022-02-23 2023-09-07 Intel Corporation Decision-specific lambda modulation
WO2023163635A1 (en) * 2022-02-25 2023-08-31 Telefonaktiebolaget Lm Ericsson (Publ) Computational complexity indicator
CN117136538A (zh) 2022-03-28 2023-11-28 京东方科技集团股份有限公司 图像显示方法、显示装置及车辆
US12079896B2 (en) 2022-05-03 2024-09-03 Qualcomm Incorporated Dynamic clock and voltage scaling (DCVS) lookahead bandwidth voting using feedforward compression ratio
TWI865901B (zh) * 2022-08-09 2024-12-11 緯創資通股份有限公司 功率控制方法及其通訊裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080084491A1 (en) * 2006-10-06 2008-04-10 Freescale Semiconductor Inc. Scaling video processing complexity based on power savings factor
TW201101846A (en) * 2009-06-22 2011-01-01 Thomson Licensing Phase refinement for image prediction based on sparse representation
US20110093605A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia
TW201132129A (en) * 2009-08-06 2011-09-16 Panasonic Corp Encoding method, decoding method, encoding device and decoding device

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996027987A1 (fr) * 1995-03-08 1996-09-12 Hitachi, Ltd. Terminal portatif pour communication multimedia
JP3161599B2 (ja) * 1998-07-10 2001-04-25 日本電気株式会社 移動電話システム
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
EP1661392B1 (en) * 2003-08-11 2021-03-24 Warner Bros. Entertainment Inc. Digital media distribution device
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
KR100770842B1 (ko) * 2003-12-10 2007-10-26 삼성전자주식회사 이동통신 시스템에서 이동국의 역방향 채널 정보 전송장치 및 방법
GB0400658D0 (en) * 2004-01-13 2004-02-11 Koninkl Philips Electronics Nv Portable device for receiving media content
JP2006197186A (ja) * 2005-01-13 2006-07-27 Sharp Corp 画像符号化装置及び電池駆動復号器
JP2007306538A (ja) * 2006-04-12 2007-11-22 Matsushita Electric Ind Co Ltd 画像復号装置及び方法
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
US20080216125A1 (en) * 2007-03-01 2008-09-04 Microsoft Corporation Mobile Device Collaboration
US20090017860A1 (en) * 2007-07-09 2009-01-15 Sony Ericsson Mobile Communications Ab Intelligent Power-Aware Downloading for Mobile Communication Devices
KR101459147B1 (ko) * 2008-02-04 2014-11-10 엘지전자 주식회사 무선통신 시스템에서 전송 파워 제어 명령 전송 방법
US8948822B2 (en) * 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
JP5318943B2 (ja) * 2008-05-02 2013-10-16 トムソン ライセンシング スタガーキャスティングにおける省電力化のための方法および装置
WO2009148370A1 (en) * 2008-06-05 2009-12-10 Telefonaktiebolaget Lm Ericsson (Publ) A method and equipment for providing unicast preparation for iptv
US8392312B2 (en) 2008-09-24 2013-03-05 Netapp, Inc. Adaptive scheduling of storage operations based on utilization of a multiple client and server resources in a distributed network storage system
US8068438B2 (en) * 2008-11-05 2011-11-29 Motorola Solutions, Inc. Method for cooperative relaying within multi-hop wireless communication systems
US20100166060A1 (en) * 2008-12-31 2010-07-01 Texas Instruments Incorporated Video transcoder rate control
US8958485B2 (en) * 2010-06-04 2015-02-17 Broadcom Corporation Method and system for providing selected layered video service via a broadband gateway
WO2010117432A2 (en) 2009-03-31 2010-10-14 Bytemobile, Inc. A framework for quality-aware video optimization
US8942208B2 (en) * 2009-06-22 2015-01-27 Qualcomm Incorporated Wireless communication having reduced feedback delay
US9015564B2 (en) * 2009-08-19 2015-04-21 Qualcomm Incorporated Content delivery system with allocation of source data and repair data among HTTP servers
JP5381571B2 (ja) * 2009-09-29 2014-01-08 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP2011078182A (ja) 2009-09-29 2011-04-14 Panasonic Electric Works Co Ltd 電力監視システム
US8914835B2 (en) * 2009-10-28 2014-12-16 Qualcomm Incorporated Streaming encoded video data
EP2779655B1 (en) * 2010-01-06 2019-05-22 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
DK2526671T3 (en) * 2010-01-18 2017-02-27 ERICSSON TELEFON AB L M (publ) METHODS AND DEVICES FOR HTTP MEDIA FLOW DISTRIBUTION
US20110194602A1 (en) 2010-02-05 2011-08-11 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for sub-pixel interpolation
JP5742117B2 (ja) 2010-06-03 2015-07-01 日産自動車株式会社 車両用の情報提示装置
KR101428618B1 (ko) * 2010-07-08 2014-08-08 마니팔 유니버시티 모바일 네트워크에서의 멀티미디어 서비스의 전달
JP5592730B2 (ja) 2010-08-26 2014-09-17 パナソニック株式会社 電気料金可視化装置
US9043797B2 (en) * 2010-10-26 2015-05-26 Qualcomm Incorporated Using pause on an electronic device to manage resources
US9002826B2 (en) * 2010-10-27 2015-04-07 Qualcomm Incorporated Media file caching for an electronic device to conserve resources
CN103493459B (zh) * 2011-04-01 2016-08-24 英特尔公司 一种用于接收自适应多媒体流送的方法和设备
JP5881818B2 (ja) * 2011-05-27 2016-03-09 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 音声信号処理のための方法、装置、及びアクセス・ネットワーク・システム
US9386058B2 (en) * 2012-02-27 2016-07-05 Qualcomm Incorporated DASH client and receiver with playback rate selection
US20140136653A1 (en) * 2012-02-27 2014-05-15 Qualcomm Incorporated Dash client and receiver with download rate acceleration
US9374406B2 (en) * 2012-02-27 2016-06-21 Qualcomm Incorporated Dash client and receiver with a download rate estimator
US9246842B2 (en) * 2012-04-27 2016-01-26 Intel Corporation QoE-aware radio access network architecture for http-based video streaming
US9241166B2 (en) * 2012-06-11 2016-01-19 Qualcomm Incorporated Technique for adapting device tasks based on the available device resources
EP2870770A2 (en) * 2012-07-09 2015-05-13 VID SCALE, Inc. Power aware video decoding and streaming
US9432664B2 (en) * 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
US10063921B2 (en) * 2013-03-06 2018-08-28 Interdigital Patent Holdings, Inc. Power aware adaptation for video streaming

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080084491A1 (en) * 2006-10-06 2008-04-10 Freescale Semiconductor Inc. Scaling video processing complexity based on power savings factor
TW201101846A (en) * 2009-06-22 2011-01-01 Thomson Licensing Phase refinement for image prediction based on sparse representation
TW201132129A (en) * 2009-08-06 2011-09-16 Panasonic Corp Encoding method, decoding method, encoding device and decoding device
US20110093605A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia

Also Published As

Publication number Publication date
AU2013288859A1 (en) 2015-01-29
JP6803443B2 (ja) 2020-12-23
CN104604241B (zh) 2018-06-01
EP4250745A3 (en) 2023-11-15
KR101692516B1 (ko) 2017-01-03
US10154258B2 (en) 2018-12-11
JP2017212744A (ja) 2017-11-30
AU2013288859B2 (en) 2016-05-19
AU2016216674A1 (en) 2016-09-08
MX345571B (es) 2017-02-03
US20210274199A1 (en) 2021-09-02
CN108614633B (zh) 2022-11-01
US20230086192A1 (en) 2023-03-23
AU2016216674B2 (en) 2018-08-30
JP6180524B2 (ja) 2017-08-16
CN108614633A (zh) 2018-10-02
US20140010282A1 (en) 2014-01-09
JP2021040343A (ja) 2021-03-11
US12058351B2 (en) 2024-08-06
JP6609598B2 (ja) 2019-11-20
WO2014011622A3 (en) 2014-03-13
EP2870770A2 (en) 2015-05-13
US20190158855A1 (en) 2019-05-23
KR20170005147A (ko) 2017-01-11
KR101836035B1 (ko) 2018-03-07
JP2020036344A (ja) 2020-03-05
JP7212025B2 (ja) 2023-01-24
EP4250745A2 (en) 2023-09-27
TW201717650A (zh) 2017-05-16
US10536707B2 (en) 2020-01-14
JP2015532024A (ja) 2015-11-05
TW201414287A (zh) 2014-04-01
US11039151B2 (en) 2021-06-15
MX2015000266A (es) 2015-08-14
WO2014011622A2 (en) 2014-01-16
CN104604241A (zh) 2015-05-06
US20200099943A1 (en) 2020-03-26
KR20150029026A (ko) 2015-03-17
US11516485B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
TWI558183B (zh) 功率知覺視訊解碼及串流
US11695991B2 (en) Power aware adaptation for video streaming
US10063921B2 (en) Power aware adaptation for video streaming
KR101879318B1 (ko) 비디오 스트리밍을 위한 전력 인식 적응
TW201444342A (zh) 功率感知視訊串流複雜性感知視訊編碼