TWI864923B

TWI864923B - 用於多視角串流的影像播放系統和影像播放方法

Info

Publication number: TWI864923B
Application number: TW112128748A
Authority: TW
Inventors: 陳宇廷; 朱國華; 白莊
Original assignee: 中華電信股份有限公司
Priority date: 2023-08-01
Filing date: 2023-08-01
Publication date: 2024-12-01
Also published as: TW202508290A

Abstract

提供一種用於多視角串流的影像播放系統和影像播放方法。影像播放方法包含：將多個串流的第一串流集合下載至多個暫存區的第一暫存區集合，其中第一暫存區集合包含儲存第一串流集合中的第一串流的第一暫存區以及儲存第一串流集合中的第二串流的第二暫存區；解碼第一暫存區內的第一串流以產生第一解碼串流；響應於第一指令而解碼第二暫存區內的第二串流以產生第二解碼串流；以及輸出第一解碼串流以及第二解碼串流。

Description

用於多視角串流的影像播放系統和影像播放方法

本發明是有關於一種影像播放技術，且特別是有關於一種用於多視角串流的影像播放系統和影像播放方法。

多視角串流服務可設置多部攝影機對相同的舞台或賽事場地進行拍攝，並且輸出多視角串流以供使用者觀看。使用者可操作遙控器以將顯示裝置所顯示的串流影像切換為對應於另一視線（line of sight，LOS）的串流影像。據此，使用者可以從不同的角度（perspective）欣賞表演或賽事。

然而，切換串流影像的過程需經過下載與緩衝新串流影像、解碼新串流影像以及播放新串流影像等步驟。這些步驟需消耗一些時間，進而導致顯示裝置所顯示的畫面出現延遲。如此，會影響使用者的影像觀看體驗。

本發明提供一種用於多視角串流的影像播放系統和影像播放方法，可改善切換串流造成的延遲問題。

本發明的一種用於多視角串流的影像播放系統，包含處理器、儲存媒體以及收發器。儲存媒體儲存多個模組，其中儲存媒體包含多個暫存區。處理器耦接儲存媒體以及收發器，並且存取和執行多個模組，其中多個模組包含接收模組、解碼模組以及輸出模組。接收模組通過收發器將多個串流的第一串流集合下載至多個暫存區的第一暫存區集合，其中第一暫存區集合包含儲存第一串流集合中的第一串流的第一暫存區以及儲存第一串流集合中的第二串流的第二暫存區。解碼模組解碼第一暫存區內的第一串流以產生第一解碼串流，其中解碼模組響應於第一指令而解碼第二暫存區內的第二串流以產生第二解碼串流。輸出模組輸出第一解碼串流以及第二解碼串流。

在本發明的一實施例中，響應於未在預設時段內接收到第一指令，接收模組停止將第一串流集合的子集合下載至第一暫存區集合的子集合。

在本發明的一實施例中，上述的第一串流對應於第一視線，第二串流對應於第二視線，並且第一暫存區集合的子集合中的第三串流對應於第三視線，其中第一視線與第二視線之間的角度小於第一視線與第三視線之間的角度。

在本發明的一實施例中，響應於第二指令，接收模組開始將多個串流的第二串流集合下載至多個暫存區的第二暫存區集合，其中第二串流集合包含第二串流。

在本發明的一實施例中，上述的第二暫存區集合的尺寸等於第一暫存區集合的尺寸。

在本發明的一實施例中，響應於在第一解碼串流的第一幀被輸出期間接收到第一指令，解碼模組根據第一解碼串流的第一幀和時間偏移確定第二串流的第二幀，並且解碼第二串流的第二幀以產生第二解碼串流。

在本發明的一實施例中，響應於在第一時間點接收到第一指令，輸出模組在第一時間點的時間偏移後停止輸出第一解碼串流並且開始輸出第二解碼串流。

在本發明的一實施例中，響應於第一指令，解碼模組根據第一解碼串流的第一幀和時間偏移確定第一串流的第二幀，其中解碼模組在第一串流的第二幀被解碼完後停止解碼第一串流。

在本發明的一實施例中，上述的接收模組通過收發器下載歷史串流，其中處理器測量解碼模組解碼歷史串流的至少一幀的時間以確定時間偏移。

本發明的一種用於多視角串流的影像播放方法，包含：將多個串流的第一串流集合下載至多個暫存區的第一暫存區集合，其中第一暫存區集合包含儲存第一串流集合中的第一串流的第一暫存區以及儲存第一串流集合中的第二串流的第二暫存區；解碼第一暫存區內的第一串流以產生第一解碼串流；響應於第一指令而解碼第二暫存區內的第二串流以產生第二解碼串流；以及輸出第一解碼串流以及第二解碼串流。

基於上述，本發明的大幅地減少多視角串流服務在切換串流時的延遲，進而改善使用者對多視角串流的觀賞體驗。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例作為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1根據本發明的一實施例繪示一種用於多視角串流的影像播放系統100的示意圖。影像播放系統100可包含處理器110、儲存媒體120以及收發器130。

處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、影像訊號處理器（image signal processor，ISP）、影像處理單元（image processing unit，IPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。處理器110可耦接至儲存媒體120以及收發器130，並且存取和執行儲存於儲存媒體120中的多個模組和各種應用程式。

儲存媒體120例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理器110執行的多個模組或各種應用程式。在本實施例中，儲存媒體120可儲存包含M個暫存器30、接收模組21、解碼模組22以及輸出模組23等多個模組，其功能將於後續說明。M為大於或等於2的正整數。以下假設M=7，並且M個暫存器30包含暫存器#1、暫存器#2、暫存器#3、暫存器#4、暫存器#5、暫存器#6和暫存器#7。

收發器130以無線或有線的方式傳送或接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。

圖2根據本發明的一實施例繪示多視角串流服務的示意圖。M個影像擷取裝置（例如：影像擷取裝置C1、C2、C3、C4、C5、C6和C7）可分別從不同角度拍攝相同的物件200（或相同的場景），進而產生分別對應於M個視線（LOS）的M個串流，其中M個串流例如包含串流D1、D2、D3、D4、D5、D6和D7。影像播放系統100可通過收發器130通訊連接至M個影像擷取裝置以接收分別由M個影像擷取裝置提供的M個串流。

圖3根據本發明的一實施例繪示用於播放多視角串流的方法的流程圖，其中所述方法可由如圖1所示影像播放系統100實施。在步驟S301中，影像播放系統100可開始為使用者提供多視角串流服務。舉例來說，使用者可操作終端裝置（例如：智慧型手機、電腦、平板電腦、遙控器、鍵盤或滑鼠等）傳送命令至影像播放系統100。影像播放系統100可通過收發器130接收命令，並且根據命令開始提供多視角串流服務。

在步驟S302中，接收模組21可通過收發器130將M個串流的串流集合下載至對應的M個暫存區30的暫存區集合。串流集合可包含M個串流中的N個串流，並且暫存區集合可包含M個暫存區30中的N個暫存區30，其中N為正整數且N≤M。舉例來說，假設M=7且N=5，接收模組21可從7個串流（即：串流D1~串流D7）中決定出5個串流以作為串流集合。接收模組21可分別從5個影像擷取裝置接收所述5個串流（例如：串流D2~串流D6），並分別將5個串流儲存在5個暫存區30（例如：暫存區#2~暫存區#6）中。在一實施例中，由於接收模組21在同一時間所接收的串流的最大數量為N個串流，故儲存媒體120可僅包含N個暫存器30，本發明不限於此。

在一實施例中，處理器110可根據目標串流決定M個串流的串流集合，其中目標串流例如是多視角串流被播放時所顯示的串流。串流集合可至少包含目標串流。以圖2為例，假設預設的目標串流為串流D4，則串流集合至少包含串流D4。另一方面，串流集合可進一步包含與目標串流較相似的（N-1）個其他串流。以圖2為例，假設目標串流為串流D4（即：當多視角串流被播放時，個被顯示的串流可為串流D4），對應於目標串流D4的視線與對應於串流D5的視線之間的角度為θ1，並且對應於目標串流D4的視線與對應於串流D7的視線之間的角度為θ2。若角度θ1小於角度θ2，則處理器110可判斷串流D5與目標串流D4較相似（即：串流D5的視線較接近目標串流D4的視線），並且串流D7與目標串流D4較不相似（即：串流D7的視線較遠離目標串流D4的視線）。處理器110可從M個串流中優先挑選出與目標串流（例如：串流D4）較為相似的（N-1）個串流（例如：串流D2、D3、D5和D6）以產生串流集合。

在步驟S303中，解碼模組22可解碼暫存區30中的目標串流以產生解碼串流。舉例來說，若目標串流為串流D4，則解碼模組22可解碼暫存區#4中的串流D4以產生解碼串流。解碼模組22可支援諸如H.264的進階影像編碼（advanced video coding，AVC）或進階音訊編碼（advanced audio coding，AAC）等格式。

在步驟S304中，輸出模組23可通過收發器130輸出解碼串流。舉例來說，輸出模組23可傳送對應於串流D4的解碼串流到顯示裝置，以由顯示裝置播放對應於串流D4（或對應於影像擷取裝置C4）的解碼串流。

在步驟S305中，處理器110可判斷是否接收到用於切換目標串流的指令（例如：將目標串流從串流D4切換到串流D5的指令）。若處理器110接收到指令，則進入步驟S309。若處理器110未接收到指令，則進入步驟S306。

在步驟S306中，處理器110可判斷代表預設時段的計時器是否到期。若計時器尚未到期，則處理器110重新執行步驟S305以在預設時段內監視傳送到處理器110的指令。若計時器已經到期，則處理器110可判斷使用者最近可能不需要切換串流，並且進入步驟S307。

在步驟S307中，接收模組21可停止將串流集合（即：N個串流）的子集合（即：K個串流，其中K為正整數且K＜N）下載至暫存區集合（即：N個暫存區30）的子集合（即：K個暫存區30）。在一實施例中，接收模組21可從串流集合中挑選出與目標串流較不相似的K個串流，並停止將K個串流下載至K個暫存區30。舉例來說，假設N=5且K=2，目標串流為串流D4，且串流集合包含串流D2~串流D6等5個串流。接收模組21可從串流集合中挑選出與目標串流D4較不相似的串流D2和串流D6，並且停止將串流D2和串流D6分別下載至暫存區#2和暫存區D6中。

在步驟S308中，處理器110可判斷是否接收到用於切換目標串流的指令（例如：將目標串流從串流D4切換到串流D5的指令）。若處理器110接收到指令，則進入步驟S309。若處理器110未接收到指令，則重複執行步驟S308。

在步驟S309中，處理器110可根據指令切換目標串流。解碼模組22可響應於指令而解碼暫存區30中的新目標串流以產生新解碼串流。輸出模組23可通過收發器130輸出新解碼串流。而後，處理器110基於新目標串流重新執行步驟S302。舉例來說，處理器110可根據指令將目標串流從串流D4切換到串流D5。解碼模組22可響應於指令而解碼暫存區#5中的串流D5以產生新解碼串流。輸出模組23可通過收發器130輸出對應於串流D5（或影像擷取裝置C5）的新解碼串流。處理器110可基於新目標串流D5重新執行步驟S302以將N個串流（例如：串流D3~串流D7）下載至N個暫存區30（例如：暫存區#3~暫存區#7）中。

圖4根據本發明的一實施例繪示輸出解碼串流的示意圖。在本實施例中，M個影像擷取裝置所提供的M個串流是同步的。舉例來說，串流D4的第一幀（例如：幀#605）與串流D5的第一幀（例如：幀#605）發生在相同的時間點。

假設處理器110接收到指令，並且指令指示輸出模組23從輸出對應於第一串流（例如：串流D4）的第一解碼串流切換為輸出對應於第二串流（例如：串流D5）的第二解碼串流。響應於處理器110在第一解碼串流的第一幀被輸出期間接收到指令，解碼模組22可根據第一解碼串流的第一幀以及時間偏移來確定第二串流的第二幀，並且解碼第二幀以產生第二解碼串流，其中時間偏移例如是解碼串流的至少一幀所需花費的時間。舉例來說，若處理器110在第一解碼串流的幀#605被輸出期間（即：時間點t0）接收到指令，解碼模組22可根據第一解碼串流的幀#605以及時間偏移Δt來確定第二解碼串流最先會被輸出的幀為幀#607。例如，解碼模組22可將接收到指令的時間點t0加上時間偏移Δt以得到時間點t0+Δt。由於時間點t0+Δt對應於幀#607，故解碼模組22可確定第二解碼串流最先會被輸出的幀為幀#607。據此，解碼模組22可從第二串流的幀#607開始對第二串流進行解碼以產生第二解碼串流。

在一實施例中，響應於在時間點t0接收到指令，輸出模組23可在時間點t0的時間偏移Δt後停止輸出第一解碼串流並且開始輸出第二解碼串流。亦即，輸出模組23可在時間點t0+Δt之後停止輸出第一解碼串流並且開始輸出第二解碼串流。詳細來說，在時間段Δt1期間，輸出模組23可輸出第一解碼串流的幀#606。在時間段Δt2期間，輸出模組23可輸出第一解碼串流的幀#607。在時間段Δt3期間，輸出模組23可輸出第二解碼串流的幀#607。

在一實施例中，響應於指令，解碼模組22可根據第一解碼串流的第一幀和時間偏移確定第一串流的第二幀。解碼模組22可在第一串流的第二幀的解碼完成後停止解碼第一串流。舉例來說，若處理器110在第一解碼串流的幀#605被輸出期間（即：時間點t0）接收到指令，解碼模組22可根據第一解碼串流的幀#605以及時間偏移Δt來確定第一串流的幀#607。例如，解碼模組22可將接收到指令的時間點t0加上時間偏移Δt以得到時間點t0+Δt。由於時間點t0+Δt對應於幀#607，故解碼模組22可在第一串流的幀#607的解碼完成後停止解碼第一串流。也就是說，第一串流的幀#608或幀#609將不會被解碼模組22解碼。

在一實施例中，接收模組21可通過收發器130下載歷史串流。處理器110可測量解碼模組22解碼歷史串流的至少一幀的時間以確定時間偏移Δt。時間偏移Δt的長度可與解碼模組22的解碼效能（或處理器110的運算能力）相關聯。

圖5根據本發明的一實施例繪示一種用於多視角串流的影像播放方法的流程圖，其中所述影像播放方法可由如圖1所示的影像播放系統100實施。在步驟S501中，將多個串流的第一串流集合下載至多個暫存區的第一暫存區集合，其中第一暫存區集合包括儲存第一串流集合中的第一串流的第一暫存區以及儲存第一串流集合中的第二串流的第二暫存區。在步驟S502中，解碼第一暫存區內的第一串流以產生第一解碼串流。在步驟S503中，響應於第一指令而解碼第二暫存區內的第二串流以產生第二解碼串流。在步驟S504中，輸出第一解碼串流以及第二解碼串流。

綜上所述，本發明的影像播放系統可預先下載和儲存視線相近的多個串流。當使用者欲切換所顯示的串流時，影像播放系統可立即對已下載的串流進行解碼並輸出解碼串流。在同一時間中，影像播放系統僅需對單一串流進行解碼，故影像播放系統並不需具備特別高的運算能力。因此，本發明可節省下載新串流所需花費的時間。若影像播放系統在一段時間內並未接收到使用者的切換串流請求，影像播放系統可判斷使用者可能在當前沒有切換串流的需求。據此，影像播放系統可減少所下載之串流的數量，以降低頻寬或電力的消耗。此外，本發明並不需要影像播放系統的訊號源提供具有特殊格式的串流影像。也就是說，影像播放系統對於訊號源具有高度的適應性。

100:影像播放系統

110:處理器

120:儲存媒體

130:收發器

200:物件

21:接收模組

22:解碼模組

23:輸出模組

30:暫存器

C1、C2、C3、C4、C5、C6、C7:影像擷取裝置

D1、D2、D3、D4、D5、D6、D7:串流

S301、S302、S303、S304、S305、S306、S307、S308、S309、S501、S502、S503、S504:步驟

t0:時間點

Δt:時間偏移

Δt1、Δt2、Δt3:時間段

θ1、θ2:角度

#605、#606、#607、#608、#609:幀

圖1根據本發明的一實施例繪示一種用於多視角串流的影像播放系統的示意圖。圖2根據本發明的一實施例繪示多視角串流服務的示意圖。圖3根據本發明的一實施例繪示用於播放多視角串流的方法的流程圖。圖4根據本發明的一實施例繪示輸出解碼串流的示意圖。圖5根據本發明的一實施例繪示一種用於多視角串流的影像播放方法的流程圖。

S501、S502、S503、S504:步驟

Claims

一種用於多視角串流的影像播放系統，包括：收發器；儲存媒體，儲存多個模組，其中所述儲存媒體包括多個暫存區；以及處理器，耦接所述儲存媒體以及所述收發器，並且存取和執行所述多個模組，其中所述多個模組包括：接收模組，通過所述收發器將多個串流的第一串流集合下載至所述多個暫存區的第一暫存區集合，其中所述第一暫存區集合包括儲存所述第一串流集合中的第一串流的第一暫存區以及儲存所述第一串流集合中的第二串流的第二暫存區，其中所述第一串流對應於第一視線，並且所述第二串流對應於第二視線；解碼模組，解碼所述第一暫存區內的所述第一串流以產生第一解碼串流，其中所述解碼模組響應於第一指令而解碼所述第二暫存區內的所述第二串流以產生第二解碼串流，其中響應於未在預設時段內接收到所述第一指令，所述接收模組停止將所述第一串流集合的子集合下載至所述第一暫存區集合的子集合，其中所述第一暫存區集合的所述子集合中的第三串流對應於第三視線，其中所述第一視線與所述第二視線之間的角度小於所述第一視線與所述第三視線之間的角度；以及輸出模組，輸出所述第一解碼串流以及所述第二解碼串流。
如請求項1所述的影像播放系統，其中響應於第二指令，所述接收模組開始將所述多個串流的第二串流集合下載至所述多個暫存區的第二暫存區集合，其中所述第二串流集合包括所述第二串流。
如請求項2所述的影像播放系統，其中所述第二暫存區集合的尺寸等於所述第一暫存區集合的尺寸。
如請求項1所述的影像播放系統，其中響應於在所述第一解碼串流的第一幀被輸出期間接收到所述第一指令，所述解碼模組根據所述第一解碼串流的所述第一幀和時間偏移確定所述第二串流的第二幀，並且解碼所述第二串流的所述第二幀以產生所述第二解碼串流。
如請求項4所述的影像播放系統，其中響應於在第一時間點接收到所述第一指令，所述輸出模組在所述第一時間點的所述時間偏移後停止輸出所述第一解碼串流並且開始輸出所述第二解碼串流。
如請求項4所述的影像播放系統，其中響應於所述第一指令，所述解碼模組根據所述第一解碼串流的所述第一幀和所述時間偏移確定所述第一串流的第二幀，其中所述解碼模組在所述第一串流的所述第二幀被解碼完後停止解碼所述第一串流。
如請求項4所述的影像播放系統，其中所述接收模組通過所述收發器下載歷史串流，其中所述處理器測量所述解碼模組解碼所述歷史串流的至少一幀的時間以確定所述時間偏移。
一種用於多視角串流的影像播放方法，包括：將多個串流的第一串流集合下載至多個暫存區的第一暫存區集合，其中所述第一暫存區集合包括儲存所述第一串流集合中的第一串流的第一暫存區以及儲存所述第一串流集合中的第二串流的第二暫存區，其中所述第一串流對應於第一視線，並且所述第二串流對應於第二視線；解碼所述第一暫存區內的所述第一串流以產生第一解碼串流；響應於第一指令而解碼所述第二暫存區內的所述第二串流以產生第二解碼串流；響應於未在預設時段內接收到所述第一指令，停止將所述第一串流集合的子集合下載至所述第一暫存區集合的子集合，其中所述第一暫存區集合的所述子集合中的第三串流對應於第三視線，其中所述第一視線與所述第二視線之間的角度小於所述第一視線與所述第三視線之間的角度；以及輸出所述第一解碼串流以及所述第二解碼串流。