TWI869025B

TWI869025B - 基於可變更新率技術縮短顯示延遲的方法與相關渲染裝置

Info

Publication number: TWI869025B
Application number: TW112142405A
Authority: TW
Inventors: 羅柏欣; 周開祥
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2023-11-03
Filing date: 2023-11-03
Publication date: 2025-01-01
Also published as: TW202520718A; US20250149008A1

Abstract

一種在具有可變更新率功能的一顯示裝置上顯示一視頻串流的方法，包含：接收該視頻串流並對該視頻串流進行解碼，從而產生複數張解碼後視頻幀；決定該複數張解碼後視頻幀中的每一者所對應的一視頻幀備妥時間；決定該複數張解碼後視頻幀中的每一者所對應的一視頻幀顯示時間；根據該複數張解碼後視頻幀中之至少一者對應的該視頻幀備妥時間與該視頻幀顯示時間之間的一視頻幀延遲，以決定該顯示裝置之一目標更新率；以及控制該顯示裝置以該目標更新率顯示該視頻串流。

Description

基於可變更新率技術縮短顯示延遲的方法與相關渲染裝置

本發明關於顯示技術，尤其關於透過可變更新率技術，降低視頻顯示延遲的方法相關渲染裝置。

現今，隨著電子產品以及雲端/串流遊戲(Cloud Gaming)的普及，人們對於雲端遊戲的低延遲體驗要求越來越高。在操作雲端/串流遊戲的過程中，如果遊戲的操作反饋與音/視頻的同步出現偏差，將降低遊戲體驗。因此，縮短雲端/串流遊戲的視頻延遲相當重要。既有的降低示頻顯示延遲的方法主要有兩種：一種是透過調整視頻的緩存數量來實現同步，另一種是提高視頻更新率來加快視頻更新速度。但是，這兩種方法都存在一定的缺陷。調整緩存數量的方法容易出現掉幀現象，而提高視頻更新率的方法則會增加雲端/串流遊戲伺服器的運算量以及播放端的視頻解碼運算量。因此，本領域需要一種創新的方法來改善視頻顯示延遲。

有鑑於此，本發明提出一種利用可變更新率技術來縮短視頻顯示延遲的機制。在本發明實施中，將會統計視頻幀所對應的視頻幀延遲，並根據顯示裝置對於可變更新率的支援能力，動態地調節顯示裝置的更新率，從而縮短視頻串流在顯示裝置上的顯示延遲。

本發明之一實施例提供一種在具有可變更新率功能的一顯示裝置上顯示一視頻串流的方法。該方法包含：接收該視頻串流並對該視頻串流進行解碼，從而產生複數張解碼後視頻幀；決定該複數張解碼後視頻幀中的每一者所對應的一視頻幀備妥時間；決定該複數張解碼後視頻幀中的每一者所對應的一視頻幀顯示時間；根據該複數張解碼後視頻幀中之至少一者對應的該視頻幀備妥時間與該視頻幀顯示時間之間的一視頻幀延遲，決定該顯示裝置之一目標更新率；以及控制該顯示裝置以該目標更新率顯示該視頻串流。

本發明之另一實施例提供一種用於控制具有可變更新率功能的一顯示裝置的渲染裝置。該渲染裝置包含：一解碼單元以及一更新率控制單元。該解碼單元用於接收一視頻串流並對該視頻串流進行解碼，從而產生複數張解碼後視頻幀。該更新率控制單元耦接於該解碼單元，用於決定該複數張解碼後視頻幀中的每一者所對應的一視頻幀備妥時間與該複數張解碼後視頻幀中的每一者所對應的一視頻幀顯示時間，並且用於根據該複數張解碼後視頻幀中之至少一者對應的該視頻幀備妥時間與該視頻幀顯示時間之間的一視頻幀延遲，決定該顯示裝置之一目標更新率。其中，該渲染裝置用於控制該顯示裝置以該目標更新率顯示該視頻串流。

10:網路

20:視頻來源

100:顯示裝置

200:渲染裝置

210:串流服務處理單元

220:視頻解碼單元

230:視頻渲染單元

240:儲存單元

250:介面傳輸單元

260:更新率控制單元

300:傳輸介面

第1圖為本發明實施例的渲染裝置與其應用架構的示意圖。

第2圖繪示本發明的一個實施例如何縮短視頻顯示延遲。

第3圖繪示本發明的另一個實施例如何縮短視頻顯示延遲。

第4圖繪示本發明的又一個實施例如何縮短視頻顯示延遲。

第5圖為本發明實施例的控制顯示裝置的方法的流程圖。

在以下內文中，描述了許多具體細節以提供閱讀者對本發明實施例的透徹理解。然而，本領域的技術人士將能理解，如何在缺少一個或多個具體細節的情況下，或者利用其他方法或元件或材料等來實現本發明。在其他情況下，眾所皆知的結構、材料或操作不會被示出或詳細描述，從而避免模糊本發明的核心概念。

說明書中提到的「一實施例」意味著該實施例所描述的特定特徵、結構或特性可能被包含於本發明的至少一個實施例中。因此，本說明書中各處出現的「在一實施例中」不一定意味著同一個實施例。此外，前述的特定特徵、結構或特性可以以任何合適的形式在一個或多個實施例中結合。

第1圖繪示本發明實施例的渲染裝置與其應用架構的示意圖。如第1圖所示，渲染裝置200透過一網路10從一視頻來源20接收一視頻串流，並對該視頻串流進行解碼。並且，渲染裝置200透過一傳輸介面300向一顯示裝置100發送視頻訊號，以控制顯示裝置100顯示該視頻串流解碼後的視頻內容。在一實施例中，渲染裝置200可以是串流媒體播放器、智慧型電視盒、遊戲主機等。再者，顯示裝置100則可以是支援可變更新率(Variable Refresh Rate，VRR)技術的各種類型的顯示器或電視，例如液晶顯示器(Liquid Crystal Display，LCD)/電視、有機發光二極體(Organic Light-Emitting Diode，OLED)顯示器/電視、或是Micro-LED顯示器/電視等。

在一實施例中，網路10可以是有線網路、無線網路或者是兩者所組成的混合網路。有線網路可能包含：乙太網(Ethernet)、數據機線(modem lines)、光纖通信網路(optical fiber networks)等。有線網路中又包含能提供有線網路連接能力的硬體設備，包含但不限定於：路由器、交換機、橋接器等，這些設備可將各個網路節點連接在一起，並且管理資料在這些節點間的交換。再者，無線網路可能包含：Wi-Fi、藍牙(Bluetooth)、行動電信網路(如4G LTE、5G)、衛星通信網路等。無線網路中又包含能提供無線網路連接能力的硬體設備，這些硬體設備包含但不限定於：無線路由器、無線存取點(Access Point，AP)、行動網路基地台(如4G基地台、5G基地台)等，這些設備將無線裝置連接在一起，並且管理資料在這些裝置間的流動。在混合網路的實施例中，有線網路與無線網路的硬體設備可能被組合在一起，以提供更靈活的網路連接。例如，一個Wi-Fi無線存取點可能被連接到一個有線乙太網路，以讓Wi-Fi裝置可以透過乙太網路存取遠端的資料。

在一實施例中，視頻來源20可以是一伺服器，其可用以透過網路10，以視頻串流的形式向渲染裝置200提供雲端遊戲服務。例如，該伺服器可以是一個雲端遊戲服務平台，如Google的Stadia或NVIDIA的GeForce Now，這些平台上的遊戲程式將在伺服器上運行，而遊戲畫面則以特定的視頻壓縮技術進行編碼，並將編碼後的資料透過網路10傳輸到渲染裝置200。另一方面，視頻來源20還可以是一無線投影(或無線顯示)來源裝置，如：包含智慧型手機或平板電腦的行動裝置，或者是支援無線投影或無線顯示功能的任何裝置。該無線投影來源裝置可以基於Miracast、AirPlay、Chromecast等無線投影或無線顯示協議，透過網路10向渲染裝置200提供該無線投影來源裝置上的視頻內容。例如，透過AirPlay協議將手機/平板電腦的即時螢幕內容，或手機/平板電腦上正在播放的本地或網路視頻內容傳送到渲染裝置200，又或是分享在特定應用程式中的視頻內容。

在一實施例中，傳輸介面300可以基於特定的資料傳輸標準來傳輸資料，如高解析度多媒體介面(High Definition Multimedia Interface，HDMI)、顯示埠(DisplayPort，DP)或雷電介面(Thunderbolt)等。這些介面都可以支援從渲染裝置200向顯示裝置100傳輸資料，包括視頻資料、音頻資料、控制指令等。其中，傳輸介面300可以讓渲染裝置200傳送特定的控制指令來動態地變更顯示裝置100的更新率。為了實現更新率的動態調整，渲染裝置200可以採用各種VRR技術。例如，NVIDIA的G-SYNC和AMD的FreeSync技術，對顯示裝置100發送更新率調整命令，要求顯示裝置100改變至特定的更新率。例如、48~240Hz間的各種更新率。

渲染裝置200包含有一串流服務處理單元210、一視頻解碼單元220、一視頻渲染單元230、一儲存單元240、一介面傳輸單元250以及一更新率控制單元260。串流服務處理單元210用於透過網路10向視頻來源20發送請求，從而透過網路10接收視頻來源20所提供的視頻串流。視頻解碼單元220用於對視頻串流進行解碼從而產生解碼後的視頻幀。由視頻解碼單元220所產生的解碼後視頻幀將被寫入至儲存單元240。其中，儲存單元240可以是一動態隨機存取記憶體 Dynamic Random Access Memory，DRAM)。視頻渲染單元230用於從儲存單元240中選擇下一張合適的解碼後視頻幀，並且交由介面傳輸單元250轉換成符合特定傳輸規範的訊號。在一實施例中，介面傳輸單元250可以是一HDMI傳輸單元。其中，介面傳輸單元250根據最小化傳輸差分訊號(Transition Minimized Differential Signaling，TMDS)時序，將視頻資料、同步訊號以及控制訊號傳送給顯示裝置100。

其中，視頻渲染單元230會在垂直消隱期間(Vertical Blank Interval，VBI)，例如，HDMI的TMDS時序中的控制週期(Control Period)，從儲存單元240中選擇下一張合適的解碼後視頻幀，交由顯示裝置100進行顯示。另一方面，每個解碼後視頻幀被寫入儲存單元240的時間會被紀錄為一個視頻幀備妥時間FRT(如，以時戳(timestamp)的形式)。當一個解碼後視頻幀被視頻渲染單元230選擇後，基於顯示裝置100的垂直同步訊號的時序，可以決定出該解碼後視頻幀預期被顯示的時間，其可以做為該解碼後視頻幀的一視頻幀顯示時間FDT。而視頻幀備妥時間FRT與視頻幀備妥時間FDT之間的時間差，便可決定為一視頻幀延遲FL。

再者，更新率調整單元260會依據視頻顯示延遲，來改變顯示裝置100的更新率。其中，更新率調整單元260會透過介面傳輸單元250來開啟顯示裝置的VRR功能，並且命令介面傳輸單元250改變VSYNC訊號的時序(頻率)，從而改變顯示裝置100的更新率來縮短視頻顯示延遲。關於更新率調整單元260如何依據視頻顯示延遲改變顯示裝置100的更新率，請參考以下的實施例。

請參考第2圖，在該圖所示的範例，假設在一個時間段中，視頻串流的幀速率(Frame Rate)為60fps(即，60Hz)。與此同時，顯示裝置100的更新率(Refresh Rate)也是60Hz。由圖示中可看出，視頻來源20的垂直同步訊號VSYNC_S以及顯示裝置100的垂直同步訊號VSYNC_D之間存在不同步的狀況，也就是說，垂直同步訊號偏移VSYNC_Offset大於0。更新率控制單元260計算出VSYNC_Offset大於0(或者是大於一個臨界值)，將以VRR技術調整顯示裝置100的更新率，使顯示裝置100的更新率由60Hz的預設更新率調降為59.94Hz。之後，更新率控制單元260會持續計算垂直同步訊號偏移VSYNC_Offset。經歷一段時間後，當垂直同步訊號偏移VSYNC_Offset持續變動至低於一預設時間差值時，更新率控制單元260會再次基於VRR技術，將顯示裝置100的更新率調整回60Hz的預設更新率。在某些實施例中，當更新率控制單元260計算出垂直同步訊號偏移VSYNC_Offset低於該預設時間差值時，更新率控制單元260不會立刻將顯示裝置100的更新率調整回60Hz的預設更新率，而是在一個時間段內緩步地將顯示裝置100的更新率由59.94Hz調整回60Hz。

在第3圖所示的範例，假設在一個時間段中，視頻串流的幀速率為60fps(即，60Hz)。與此同時，顯示裝置100的更新率也是60Hz。然而，由圖示中可看出，視頻來源20的垂直同步訊號VSYNC_S以及顯示裝置100的垂直同步訊號VSYNC_D之間存在不同步的狀況，也就是說，垂直同步訊號偏移VSYNC_Offset大於0。當更新率控制單元260計算出VSYNC_Offset大於0(或者是大於一個臨界值)，將利用VRR技術調整顯示裝置100的更新率，使顯示裝置100的更新率由60Hz的預設更新率調升為65Hz。之後，更新率控制單元260會持續計算垂直同步訊號偏移VSYNC_Offset。經歷一段時間後，當垂直同步訊號偏移VSYNC_Offset持續變動至低於一預設時間差值時，更新率控制單元260會再次基於VRR技術，將顯示裝置100的更新率調整回60Hz的預設更新率。在某些實施例中，當更新率控制單元260計算出到垂直同步訊號偏移VSYNC_Offset低於該預設時間差值時，更新率控制單元260不會將顯示裝置100的更新率立刻調整回60Hz的預設更新率，而是在一個時間段內緩步地將顯示裝置100的更新率由65Hz調整回60Hz。

在以上的實施例中，更新率控制單元260係計算偵測視頻來源20的垂直同步訊號VSYNC_S以及顯示裝置100的垂直同步訊號VSYNC_D之間的偏移(即，垂直同步訊號偏移VSYNC_Offset)來控制顯示裝置100的更新率。然而，在以下的實施例中，更新率控制單元260會以統計數據來調整顯示裝置100的更新率。

在第4圖所示的範例中，更新率控制單元260可記錄視頻幀從解碼完到被送到顯示裝置100的顯示過程中的時戳，以獲得相關的統計數據。進一步來說，更新率控制單元260會根據一特定數量(或一時間段內)的解碼後的視頻幀所分別對應的視頻幀延遲FL(即，統計資料(A))，計算出一視頻幀平均延遲FLA(其單位可以是ms)。在一實施例中，該特定數量可能為1~120，也就是說，更新率控制單元260可能會根據1~120張解碼後視頻幀分別對應的視頻幀延遲FL，計算出視頻幀平均延遲FLA。

再者，當視頻幀平均延遲FLA大於一預設視頻延遲臨界值(如，FLT)時，更新率控制單元260據此認定延遲過高。此時，更新率控制單元260利用VRR技術，調整顯示裝置100的更新率，使其由60Hz調升為65Hz。之後，更新率控制單元260持續計算視頻幀平均延遲FLA(即，統計資料(B))。經歷一段時間後，當視頻幀平均延遲FLA低於視頻延遲臨界值時FLT，更新率控制單元260再透過介面傳輸單元250將顯示裝置100的更新率調整回60Hz(或者在一時間段內緩步調回)。在一實施例中，更新率控制單元260可以更根據延遲量的大小來決定要調高還是調低顯示裝置100的更新率。以一個60fps的視頻串流為例，視頻幀平均延遲FLA可能介於0~16.67ms之間。當視頻幀平均延遲FLA落在0~FLT ms之間，更新率控制單元260可能會選擇調降顯示裝置100的更新率來增加視頻幀平均延遲FLA；而當視頻幀平均延遲FLA落在FLT~16.67ms之間，更新率控制單元260可能會選擇調高顯示裝置100的更新率來縮短視頻幀平均延遲FLA。在一實施例中，當視頻串流的幀速率為60fps，而顯示裝置100的支持的最高更新率為60Hz，則更新率控制單元260只能透過調降顯示裝置100的更新率來調整視頻幀平均延遲FLA。

在一實施例中，更新率控制單元260會設定一視頻幀目標延遲(其單位可以是ms)，例如，可以將視頻延遲臨界值FLT設定為該視頻幀目標延遲。再者，更新率控制單元260也會設定一VRR時間段T，其代表對顯示裝置100進行VRR控制(調升或調降初始更新率)的時間長度。視頻幀目標延遲FLT代表在VRR時間段T內進行了VRR控制後，預期能達到的視頻幀平均延遲。根據視頻幀平均延遲FLA、視頻幀目標延遲FLT以及VRR時間段T，更新率控制單元260可以決定出目標更新率VrrF。亦即，顯示裝置100受到VRR控制，將其運行的更新率由初始更新率F，調整為目標更新率VrrF。其中，目標更新率VrrF可以由以下的公式決定，即VrrF=1000/((1000/F)-(FLA-FLT)/T)，再者，VRR控制進行時間T可以由以下的公式決定，即T=(F*VrrF*(FLA-FLT))/(1000*(VrrF-F))。透過以上的方式，渲染裝置200可以更主動且有效率地對顯示裝置100進行VRR控制，從而縮短視頻顯示延遲。

第5圖繪示了一種在具有可變更新率功能的一顯示裝置上顯示一視頻串流的方法。如圖所示，本發明的方法包括以下簡化流程：步驟S310：接收該視頻串流並對該視頻串流進行解碼，從而產生複數張解碼後視頻幀；步驟S320：決定該複數張解碼後視頻幀中的每一者所對應的一視頻幀備妥時間；步驟S330：決定該複數張解碼後視頻幀中的每一者所對應的一視頻幀顯示時間；步驟S340：根據該複數張解碼後視頻幀中之至少一者對應的該視頻幀備妥時間與該視頻幀顯示時間之間的一視頻幀延遲，以決定該顯示裝置之一目標更新率；以及步驟S350：控制該顯示裝置以該目標更新率顯示該視頻串流。

由於上述步驟的原理和細節已經透過上述實施例詳細說明，這裡不再重複說明。值得注意的是，上述流程可以會透過添加其他額外的步驟或進行適當的修改和調整，以更好地提高視頻顯示的品質與降低延遲。

本發明的實施例可以被具體實現為裝置、方法或電腦程式產品。據此，本發明的實施例可以採取完全由硬體實現的實體、完全由軟體實現的實體(包括韌體、常駐軟體、微代碼等)，或者結合軟體和硬體方面的實體，這些可以通稱為“模組”或“系統”。此外，本發明的實施例可以採用體現在任何有形表達媒體中的電腦程式產品的形式，且該媒體具有體現在媒體中的電腦可用程式碼。就硬體而言，本發明可以通過應用以下任何技術或相關組合來實現：能夠根據數據信號執行邏輯函數的邏輯閘的單獨操作邏輯，以及具有適當組合邏輯的應用特定積體電路(application specific integrated circuit，ASIC)、可編程閘陣列(programmable gate array，PGA)或現場可編程閘陣列(field programmable gate array，FPGA)。

流程圖和方塊圖表明了本發明實施例的不同可能的實施方式的系統、方法和電腦程式產品的架構、功能和操作。在這方面，流程圖或方塊圖中的每個方塊可能代表一個模組、區段或一部分的程式碼，其中包括一個或多個可執行指令，以實現特定的邏輯函數。還要注意，方塊圖以及/或流程圖中的每個方塊，以及方塊圖和/或流程圖中的方塊組合都可以由特殊用途的硬體基礎系統，或特殊硬體和電腦程式指令的組合實現。這些電腦程式指令可以儲存在可讀取的電腦媒體中，以命令電腦或其他可編程數據處理裝置以特定方式運行，以便在可讀取的電腦媒體中所儲存的指令，產生包括實現流程圖和/或方塊圖的方塊或方塊組合中指定的功能/操作。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。