TWI811148B - 基於環景影音的減少延遲的一對多通訊方法與計算機程式產品組 - Google Patents
基於環景影音的減少延遲的一對多通訊方法與計算機程式產品組 Download PDFInfo
- Publication number
- TWI811148B TWI811148B TW111142416A TW111142416A TWI811148B TW I811148 B TWI811148 B TW I811148B TW 111142416 A TW111142416 A TW 111142416A TW 111142416 A TW111142416 A TW 111142416A TW I811148 B TWI811148 B TW I811148B
- Authority
- TW
- Taiwan
- Prior art keywords
- audio
- voice
- communication device
- communication
- surround view
- Prior art date
Links
- 230000006854 communication Effects 0.000 title claims abstract description 270
- 238000004891 communication Methods 0.000 title claims abstract description 270
- 238000004590 computer program Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 239000004984 smart glass Substances 0.000 claims description 5
- 208000033748 Device issues Diseases 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007176 multidirectional communication Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本發明揭露一種基於環景影音的減少延遲的一對多通訊方法與計算機
程式產品組。該方法包含:一影音資料轉換發送步驟、一影音播放步驟、一唯一語音通訊要求步驟、一唯一語音通訊執行步驟與一第一語音撥放步驟。本發明利用第三方設備改變了雙向影音傳輸的型態,其中一方使用環景影音且可減少通訊延遲。本發明不再受限於傳統的單視角影音傳輸,擴大了應用場景。
Description
本發明關於一種一對多通訊方法與計算機程式產品,特別是一種基於環景影音的減少延遲的一對多通訊方法與計算機程式產品組。
20世紀之前,人們之間要進行實時通訊的主要技術是電話。話筒兩端的通訊者可以隨時說出自己想說的話,並幾乎無時差地聽到對方的語音。可惜的是,通訊者無法獲得對方的影像。在當時,可視電話(Videotelephony)已有了實際的使用,比如將音頻(電話)系統與兩個通過同軸電纜或無線電連接的閉路電視系統組成。這種雙向的通訊系統相對昂貴,且影音同步的體驗也不太好。直到20世紀後期,隨著強大的視頻編解碼器的出現,結合高速寬頻互聯網和整合服務數位網路服務,可視電話才成為常規使用的實用技術。進入21世紀,網路通訊的軟硬體架構及通訊規範更加完善,基於網路的即時通訊技術產品(如SKYPE)便逐漸地改變了人際之間的實時溝通方式。人們開始可以在幾乎無延遲的情況下與他人進行影音通訊,通訊載具也由桌上電腦轉變成了智慧型手機。更有甚者,影音通訊也早由一對一便成了多點通訊。加上串流技術的成熟,多點影音通
訊在即時性與影像品質(藉由壓縮技術)上也大幅度提升。這種技術推進讓人們在疫情大流行的今日可以遠端完成協作,維持經濟運作於不墜。
環景影像是晚近成熟且普及的技術,擴展了人們的視野。環景影像藉由多個不同方向取景的鏡頭同步錄攝影像,通過影像縫合技術,把同一時間該些鏡頭取得的影像,整合成一幅幅的環景影像。觀看者可旋轉環景影像,由不同視角看到不同場景。傳統上,串流技術中使用的是單視角影像(以單一鏡頭錄攝的影像)而非環景影像。然而,隨著相關串流協定(如HTTP Live Streaming,HLS)的完備,環景影像也可以進行串流廣播,讓多數人可以同步觀賞。環景影像的錄製也可配合收音設備擷取背景聲音,達到單向影音通訊的目的。如果影像接受方需要跟發送方溝通時,需要通過另一套影音溝通設備,一般是採單視角影音為之。就多向溝通而言,如果都使用單視角影音,使用的網路頻寬較小,品質也較好,但適用於通訊者處於相對於鏡頭固定位置的情況,比如使用於網路會議中。如果通訊方中有一方使用環景影音,該方的活動空間就大,這應用的場景就更多,比如網路教學及最近開始流行的線上旅行(導遊於景點錄攝美景及講解,透過網路即時串流與線上遊客互動),但目前並沒有合適的解決方案。
本段文字提取和編譯本發明的某些特點。其它特點將被揭露於後續段落中。其目的在涵蓋附加的申請專利範圍之精神和範圍中,各式的修改和類似的排列。
為了滿足以上需求,本發明揭露一種基於環景影音的減少延遲的一對多通訊方法,包含:一影音資料轉換發送步驟:由一中繼伺服器接收來自一環景影音錄攝裝置的經過一直播協議編碼的複數個第一環景影音串流封包、將該些
第一環景影音串流封包依序依照網頁即時通訊(Web Real-Time Communication,WebRTC)應用程式介面轉換為複數個第二環景影音串流封包,及將該些第二環景影音串流封包向與該中繼伺服器資訊連接的複數個影音通訊裝置發送;一影音播放步驟:分別於該些影音通訊裝置播放該些第二環景影音串流封包對應的一連續環景影音;一唯一語音通訊要求步驟:至少一影音通訊裝置中每一者將一第一語音轉換為符合一語音協定的數個第一語音封包,該些第一語音封包連同一通訊要求指令發送至該中繼伺服器;一唯一語音通訊執行步驟:由該中繼伺服器將該些第一語音封包發送給與其資訊連接的一語音通訊裝置,其中,若有二個以上影音通訊裝置發出該通訊要求指令,先發出該通訊要求的影音通訊裝置所發送的第一語音封包會被發送給該語音通訊裝置,其它影音通訊裝置所發送的第一語音封包被捨棄;及一第一語音撥放步驟:由該語音通訊裝置撥放由該中繼伺服器發送的第一語音封包所對應的該第一語音。
所述的基於環景影音的減少延遲的一對多通訊方法可進一步包含:一特定對象語音通訊要求步驟:由該語音通訊裝置將一第二語音轉換為符合該語音協定的數個第二語音封包,該些第二語音封包連同一指定通訊要求指令發送至該中繼伺服器,其中該指定通訊要求指令指定該些第二語音中繼發送到一指定影音通訊裝置;一特定對象語音通訊執行步驟:由該中繼伺服器將該些第二語音封包發送給該指定通訊要求指令指定的該指定影音通訊裝置;及一第二語音撥放步驟:由該指定影音通訊裝置撥放由該中繼伺服器發送的第二語音封包所對應的該第二語音。
依照本發明,該環景影音錄攝裝置可進一步將一固定文字、一跑馬文字、一圖像及/或一背景聲音混入該連續環景影音的至少一時段中。
最好,該直播協議為即時訊息協定(Real-Time Messaging Protocol,RTMP)或加密即時訊息協定(RTMP-S)。
最好,該語音協定為H.323規範、對話啟動協定(Session Initiation Protocol,SIP)或媒體網關控制協議(Media Gateway Control Protocol,MGCP)。
最好,該影音通訊裝置為智慧型手機、平板電腦、筆記型電腦、桌上型電腦、具有播音功能的智能眼鏡或具有播音功能的頭戴式立體影像播放器。
最好,該語音通訊裝置為智慧型手機或平板電腦。
本發明亦揭露一種基於環景影音的減少延遲的一對多通訊的計算機程式產品組,包含:一第一計算機程式產品,經由一中繼伺服器載入該程式執行:一第1程式指令:接收來自一環景影音錄攝裝置的經過一直播協議編碼的複數個第一環景影音串流封包;一第2程式指令:將該些第一環景影音串流封包依序依照網頁即時通訊應用程式介面轉換為複數個第二環景影音串流封包;一第3程式指令:將該些第二環景影音串流封包向與該中繼伺服器資訊連接的複數個影音通訊裝置發送;一第4程式指令:接收來自至少一影音通訊裝置的數個第一語音封包及一通訊要求指令發送;及一第5程式指令:將該些第一語音封包發送給與其資訊連接的一語音通訊裝置,其中,若有二個以上影音通訊裝置發出該通訊要求指令,先發出該通訊要求的影音通訊裝置所發送的第一語音封包會被發送給該語音通訊裝置,其它影音通訊裝置所發送的第一語音封包被捨棄;以及一第二計算機程式產品,經由任一影音通訊裝置載入該程式執行:一第6程式指令:分別於該影音通訊裝置播放該些第二環景影音串流封包對應的一連續環景影音;一第7程式指令:由至少一影音通訊裝置中每一者將一第一語音轉換為符合一語音協定的數個第一語音封包;及一第8程式指令:將該些第一語音封包連同該通訊要求指令發送至該中繼伺服器。
基於環景影音的減少延遲的一對多通訊的計算機程式產品組進一步包含:一第三計算機程式產品,經由該語音通訊裝置載入該程式執行:一第9程式指令:撥放由該中繼伺服器發送的第一語音封包所對應的該第一語音。
該第三計算機程式產品可進一步執行:一第10程式指令:將一第二語音轉換為符合該語音協定的數個第二語音封包;及一第11程式指令:將該些第二語音封包連同一指定通訊要求指令發送至該中繼伺服器,其中該指定通訊要求指令指定該些第二語音中繼發送到一指定影音通訊裝置。該第一計算機程式產品可進一步執行:一第12程式指令:將該些第二語音封包發送給該指定通訊要求指令指定的該指定影音通訊裝置。該第二計算機程式產品可進一步執行:一第13程式指令:由該指定影音通訊裝置撥放由該中繼伺服器發送的第二語音封包所對應的該第二語音。
本發明利用第三方設備改變了雙向影音傳輸的型態,其中一方使用環景影音且可減少通訊延遲。本發明不再受限於傳統的單視角影音傳輸,擴大了應用場景。
1:網路
10:中繼伺服器
20:環景影音錄攝裝置
31:第一影音通訊裝置
32:第二影音通訊裝置
40:語音通訊裝置
41:顯示介面
A:導遊
B:雲端遊客
C:雲端遊客
圖1為依照本發明實施方式的一種基於環景影音的減少延遲的一對多通訊方法應用的硬體架構示意圖。
圖2為該基於環景影音的減少延遲的一對多通訊方法的流程圖。
圖3為該基於環景影音的減少延遲的一對多通訊方法應用於圖1的硬體架構的時序作業圖。
圖4繪示該基於環景影音的減少延遲的一對多通訊方法的一種應用場景。
圖5繪示一語音通訊裝置的顯示介面。
本發明將藉由參照下列的實施方式而更具體地描述。
請見圖1至圖3,圖1為依照本發明實施方式的一種基於環景影音的減少延遲的一對多通訊方法(以下簡稱本方法)應用的硬體架構示意圖,圖2為本方法的流程圖,圖3為本方法應用於圖1的硬體架構的時序作業圖。
本方法的第一步驟為影音資料轉換發送步驟,其內容為由一中繼伺服器10接收來自一環景影音錄攝裝置20的經過一直播協議編碼的複數個第一環景影音串流封包、將該些第一環景影音串流封包依序依照網頁即時通訊(Web Real-Time Communication,WebRTC)應用程式介面(Application Programming Interface,API)轉換為複數個第二環景影音串流封包,及將該些第二環景影音串流封包向與中繼伺服器10資訊連接的複數個影音通訊裝置發送(S01)。依照本發明,中繼伺服器10的型態不限,但需要能執行本發明主張的程式以進行影像格式的轉換,本身並不是個用於儲存影像檔而依照需要提供用戶的硬體。環景影音錄攝裝置20是可以攝錄本身四周的360度連續環景影像並同步錄製背景聲音(連續環景影音)的電子設備。和一般單方向影音錄攝裝置(比如運動攝影機)相比,環景影音錄攝裝置20具有數個方向相異的攝像頭,每一個攝像頭同步錄製環景影像的一部份,環景影音錄攝裝置20的內部電路將同一時間的所有的部分影像縫接成一幅環景影像。連續環景影音在輸出前會經過直播協議編碼成數個第一環景影音串流封包,以便依序輸出而不易受干擾。由於連續環景影音是不間斷地錄攝,第一環景影音串流封包也會同步地產生並輸出。直播協議是製作第一環景影音串流封包(無線訊號)的規範。依照本發明,直播協議可以是,但不限於即時訊息協定(Real-Time Messaging Protocol,RTMP)或加密即時訊息協定(RTMP-S),在本實施例中以RTMP為例來說明。
依照RTMP的第一環景影音串流封包由環景影音錄攝裝置20通過網路(比如無線通訊網路)傳送到中繼伺服器10,環景影音錄攝裝置20將該些第一環景影音串流封包依序依照WebRTC的API轉換為複數個第二環景影音串流封包。
RTMP編碼被大多數主流串流平台與設備使用,其編碼適合長時間播放。然而RTMP技術會產生一定的累積延遲,原因是應用RTMP的伺服器會把丟失的畫面檔案緩存起來,導致畫面的延遲出現。因此觀看者在看RTMP的直播影片時,無論是否為環景影片,都會感到明顯的延遲。為了解決這種因RTMP造成的不可避免的延遲,所以才將第一環景影音串流封包轉換為非RTMP規格的第二環景影音串流封包,免除了因規範限制造成的延遲。WebRTC是一個提供Web應用程式及網站進行錄影或隨選播放串流音訊與影像的技術,可以直接使用瀏覽器進行資料交換而無須透過中介服務,更進一步減少了延遲的發生。由於這種轉換,透過影音通訊裝置觀看連續環景影音的觀看者的感受可以更接近實時(Real Time)。依照本發明,播放連續環景影音的影音通訊裝置可以是個智慧型手機、平板電腦、筆記型電腦或桌上型電腦。由於連續環景影音提供立體影像,影音通訊裝置還可以是具有播音功能的智能眼鏡或具有播音功能的頭戴式立體影像播放器。為了說明方便,實施例中以二個影音通訊裝置,第一影音通訊裝置31與第二影音通訊裝置32,為例來說明。實作上,影音通訊裝置的數量不限於2個,可以更多。如圖3所示,在時間T1時,環景影音錄攝裝置20開始錄製連續環景影音並連續發送第一環景影音串流封包給中繼伺服器10,而中繼伺服器10在轉換環景影音串流封包後,隨即於時間T2向第一影音通訊裝置31與第二影音通訊裝置32發送對應的第二環景影音串流封包。T1與T2間的差距遠短於僅使用一般直播協議的中介時間差(伺服器處理時間)。此外,依照本發明,步驟S01執行的動作一直持續,以「…」來表示。由於中繼伺服器10無須如一般的直播伺服器備份第一環景影音串流封包與第二環景影音串流封包,因此環景影音錄攝裝置20與第一影音通訊裝置31或第二影音通訊裝置32間呈現實質的點對點連線。
本方法的第二步驟為影音播放步驟:分別於該些影音通訊裝置播放該些第二環景影音串流封包對應的連續環景影音(S02)。第一影音通訊裝置31與
第二影音通訊裝置32上安裝了解碼WebRTC格式的第二環景影音串流封包的應用軟體或特製硬體,以便能在其上撥放連續環景影音。步驟S01與步驟S02完成了基於環景影音、減少延遲的「一對多通訊」。持有環景影音錄攝裝置20的人(以下簡稱第一通訊人)可以向環景影音錄攝裝置20的麥克風說話,他說的話會成為連續環景影音的背景聲音的一部分。第一通訊人也可以不用說話,讓錄製的連續環景影像與背景聲音成為他要向持有第一影音通訊裝置31與第二影音通訊裝置32的人(以下簡稱第二通訊人)溝通的內容。如果有必要,可以對環景影音錄攝裝置20的控制模組進行編程控制,讓第一通訊人可操作環景影音錄攝裝置20將一固定文字、一跑馬文字、一圖像及/或一背景聲音混入連續環景影音的至少一時段中。如此,第一影音通訊裝置31與第二影音通訊裝置32接收的連續環景影像中可以看到字卡、跑馬燈,聽到音效,可以增加觀看時的氣氛,也能更有效地知道第一通訊人想表達的訊息。
如果第二通訊人(在本實施例中有2人)要向第一通訊人反饋訊息(依照本發明,反饋訊息是語音),會有以下的問題:第一、環景影音錄攝裝置20不具有喇叭或其他擴音裝置;第二、如果二個第二通訊人同時想向第一通訊人說話,第一通訊人只能在當下接收一個第二通訊人的語音。步驟S03到步驟S05便是要解決這問題的技術。
本方法的第三步驟為唯一語音通訊要求步驟:至少一影音通訊裝置中每一者將一第一語音轉換為符合一語音協定的數個第一語音封包,該些第一語音封包連同一通訊要求指令發送至中繼伺服器10(S03)。第一影音通訊裝置31或第二影音通訊裝置32都可以分別將所屬的第二通訊人想說的話(第一語音)轉換成可以向外發出的數個第一語音封包,其轉換的規範便是語音協定。依照本發明,語音協定可以是,但不限於H.323規範、對話啟動協定(Session Initiation Protocol,SIP)或媒體網關控制協議(Media Gateway Control Protocol,MGCP),
是常用的基於IP的語音傳輸(Voice over Internet Protocol,VoIP)。影音通訊裝置與中繼伺服器10間建立溝通需要往返許多訊息或指令,通訊要求指令是由影音通訊裝置主動發出,要求與語音通訊裝置40建立唯一語音通訊的指令,要求中繼伺服器10執行。
接著,本方法的第四步驟為唯一語音通訊執行步驟:由中繼伺服器10將該些第一語音封包發送給與其資訊連接的一語音通訊裝置40,其中,若有二個以上影音通訊裝置發出該通訊要求指令,先發出該通訊要求的影音通訊裝置所發送的第一語音封包會被發送給該語音通訊裝置,其它影音通訊裝置所發送的第一語音封包被捨棄(S04)。語音通訊裝置40是第一通訊人持有,異於環景影音錄攝裝置20而可與第二通訊人溝通的硬體。依照本發明,語音通訊裝置40最好是智慧型手機或平板電腦。為了對本步驟有較佳的理解,請復見圖3。在時間T3時,持有第一影音通訊裝置31的第二通訊人想對第一通訊人說話,他便操作第一影音通訊裝置31將他說的話轉換成第一語音封包A,第一語音封包A隨著通訊要求指令一起發給中繼伺服器10。如果持有第二影音通訊裝置32的第二通訊人不想跟第一通訊人說話,第一語音封包A便會直接由中繼伺服器10轉發給語音通訊裝置40。然而不巧,持有第二影音通訊裝置32的第二通訊人想跟第一通訊人說話,他於時間T4時操作第二影音通訊裝置32將他說的話轉換成第一語音封包B,第一語音封包B也隨著通訊要求指令一起發給中繼伺服器10。由於第二影音通訊裝置32較晚發出通訊要求指令,中繼伺服器10於時間T5將第一語音封包A發給語音通訊裝置40,第一語音封包B就在中繼伺服器10被捨棄了。
接著,本方法的第五步驟為第一語音撥放步驟:由語音通訊裝置40撥放由中繼伺服器10發送的第一語音封包所對應的該第一語音(S05)。至此,第一通訊人便能通過語音通訊裝置40聽到來自第一影音通訊裝置31的話語聲音。
如果第一通訊人想向特定的第二通訊人說話,又不想讓其它第二通訊人聽到,本方法提供了其它步驟來解決這個問題。以下的特定對象通訊步驟可以穿插出現在步驟S02之後。
本方法的第一特定對象通訊步驟為特定對象語音通訊要求步驟:由語音通訊裝置40將一第二語音轉換為符合該語音協定的數個第二語音封包,該些第二語音封包連同一指定通訊要求指令發送至中繼伺服器10,其中該指定通訊要求指令指定該些第二語音中繼發送到一指定影音通訊裝置(S06)。第二語音是第一通訊人說的話,依照前述的語音協定生成數個第二語音封包。指定回復通訊是由語音通訊裝置40操作,比如通過安裝於其上的行動應用程式,向中繼伺服器10指定要求中繼發送該些第二語音的指令訊號。在本實施例中指定影音通訊裝置為第一影音通訊裝置31。如圖3所示,第一通訊人在時間T6時操作語音通訊裝置40,將指定通訊要求指令與第二語音封包發給中繼伺服器10。
接著,本方法的第二特定對象通訊步驟為特定對象語音通訊執行步驟:由中繼伺服器10將該些第二語音封包發送給該指定通訊要求指令指定的該指定影音通訊裝置(S07)。如圖3所示,在時間T7時,中繼伺服器10將該些第二語音封包發給第一影音通訊裝置31,將第一通訊人的話發送給持有第一影音通訊裝置31的第二通訊人。
最後,本方法的第三特定對象通訊步驟為第二語音撥放步驟:由指定影音通訊裝置撥放由中繼伺服器10發送的第二語音封包所對應的該第二語音(S08)。至此,第二通訊人便可通過第一影音通訊裝置31聽到第一通訊人說的話。
請見圖4,該圖繪示本方法的一種應用場景,此應用場景為遠端實時導遊。前述的第一通訊人是位導遊A,他在峇里島帶著環景影音錄攝裝置20與語音通訊裝置40(比如智慧型手機)進行景點介紹。第一影音通訊裝置31的第二通訊
人是位於台北的雲端遊客B,遠端看著導遊A的直撥,他的第一影音通訊裝置31是個平板電腦。第二影音通訊裝置32的第二通訊人是位於高雄的雲端遊客C,也可以同時遠端看著導遊A的直撥,他的第二影音通訊裝置32是個筆記型電腦。環景影音錄攝裝置20、語音通訊裝置40、第一影音通訊裝置31與第二影音通訊裝置32通過網路1與中繼伺服器10訊號連接,執行本方法。請見圖5,該圖繪示語音通訊裝置40的顯示介面41。如果導遊A想跟雲端遊客B說話,導遊A可以操作語音通訊裝置40的顯示介面41,比如按著標示雲端遊客B的影像(左上方框示者)後對著語音通訊裝置40說話,那他的話語便會隨著定通訊要求指令發出給中繼伺服器10,最終傳給第一影音通訊裝置31,而第二影音通訊裝置32不會收到。
依照本發明,前述的基於環景影音的減少延遲的一對多通訊方法在不同的設備上實現,主要是藉由安裝於個別硬體上的程式來執行。因此,本發明也揭露一種計算機程式產品組,該計算機程式產品組包含了一第一計算機程式產品、一第二計算機程式產品與一第三計算機程式產品。
第一計算機程式產品可經由中繼伺服器10載入而執行以下的程式指令:一第1程式指令:接收來自一環景影音錄攝裝置的經過一直播協議編碼的複數個第一環景影音串流封包;一第2程式指令:將該些第一環景影音串流封包依序依照網頁即時通訊應用程式介面轉換為複數個第二環景影音串流封包;一第3程式指令:將該些第二環景影音串流封包向與該中繼伺服器資訊連接的複數個影音通訊裝置發送;一第4程式指令:接收來自至少一影音通訊裝置的數個第一語音封包及一通訊要求指令發送;及一第5程式指令:將該些第一語音封包發送給與其資訊連接的一語音通訊裝置,若有二個以上影音通訊裝置發出該通訊要求指令,先發出該通訊要求的影音通訊裝置所發送的第一語音封包會被發送給該語音通訊裝置,其它影音通訊裝置所發送的第一語音封包被捨棄。
第二計算機程式產品可經由任一影音通訊裝置載入而執行以下的程式指令:一第6程式指令:分別於該影音通訊裝置播放該些第二環景影音串流封包對應的一連續環景影音;一第7程式指令:由至少一影音通訊裝置中每一者將一第一語音轉換為符合一語音協定的數個第一語音封包;及一第8程式指令:將該些第一語音封包連同該通訊要求指令發送至該中繼伺服器。第二計算機程式產品可以是個行動應用程式,以特定的介面呈現於影音通訊裝置上而接受使用者的操作。
第三計算機程式產品可經由語音通訊裝置40載入而執行以下的程式指令:一第9程式指令:撥放由該中繼伺服器10發送的第一語音封包所對應的該第一語音。第三計算機程式產品也可以是個行動應用程式,以特定的介面呈現於語音通訊裝置40上而接受使用者的操作。
為了能執行由語音通訊裝置40向影音通訊裝置的語音傳輸,第三計算機程式產品可進一步執行:一第10程式指令:將一第二語音轉換為符合該語音協定的數個第二語音封包;一第11程式指令:將該些第二語音封包連同一指定通訊要求指令發送至中繼伺服器10,其中該指定通訊要求指令指定該些第二語音中繼發送到一指定影音通訊裝置。同時,第一計算機程式產品也進一步執行:一第12程式指令:將該些第二語音封包發送給該指定通訊要求指令指定的該指定影音通訊裝置。最後,第二計算機程式產品進一步執行:一第13程式指令:由該指定影音通訊裝置撥放由中繼伺服器10發送的第二語音封包所對應的該第二語音。
同樣地,環景影音錄攝裝置20可進一步將一固定文字、一跑馬文字、一圖像及/或一背景聲音混入該連續環景影音的至少一時段中。然而,這種功能必須要取得環景影音錄攝裝置20製作商開發的操作介面或原始碼,從而對環景影音錄攝裝置20進行相關功能的添加。前述的直播協議可以是即時訊息協定或
加密即時訊息協定。語音協定可以為H.323規範、對話啟動協定或媒體網關控制協議。影音通訊裝置可以是智慧型手機、平板電腦、筆記型電腦、桌上型電腦、具有播音功能的智能眼鏡或具有播音功能的頭戴式立體影像播放器。語音通訊裝可以是智慧型手機或平板電腦。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
Claims (14)
- 一種基於環景影音的減少延遲的一對多通訊方法,包含:一影音資料轉換發送步驟:由一中繼伺服器接收來自一環景影音錄攝裝置的經過一直播協議編碼的複數個第一環景影音串流封包,將該些第一環景影音串流封包依序依照網頁即時通訊(Web Real-Time Communication,WebRTC)應用程式介面轉換為複數個第二環景影音串流封包,及將該些第二環景影音串流封包向與該中繼伺服器資訊連接的複數個影音通訊裝置發送;一影音播放步驟:分別於該些影音通訊裝置播放該些第二環景影音串流封包對應的一連續環景影音;一唯一語音通訊要求步驟:至少一影音通訊裝置中每一者將一第一語音轉換為符合一語音協定的數個第一語音封包,該些第一語音封包連同一通訊要求指令發送至該中繼伺服器;一唯一語音通訊執行步驟:由該中繼伺服器將該些第一語音封包發送給與其資訊連接的一語音通訊裝置,其中,若有二個以上影音通訊裝置發出該通訊要求指令,先發出該通訊要求的影音通訊裝置所發送的第一語音封包會被發送給該語音通訊裝置,其它影音通訊裝置所發送的第一語音封包被捨棄;一第一語音撥放步驟:由該語音通訊裝置撥放由該中繼伺服器發送的第一語音封包所對應的該第一語音;一特定對象語音通訊要求步驟:由該語音通訊裝置將一第二語音轉換為符合該語音協定的數個第二語音封包,該些第二語音封包連同一指定通訊要求指令發送至該中繼伺服器,其中該指定通訊要求指令指定該些第二語音中繼發送到一指定影音通訊裝置; 一特定對象語音通訊執行步驟:由該中繼伺服器將該些第二語音封包發送給該指定通訊要求指令指定的該指定影音通訊裝置;及一第二語音撥放步驟:由該指定影音通訊裝置撥放由該中繼伺服器發送的第二語音封包所對應的該第二語音。
- 如請求項1所述的基於環景影音的減少延遲的一對多通訊方法,其中該環景影音錄攝裝置進一步將一固定文字、一跑馬文字、一圖像及/或一背景聲音混入該連續環景影音的至少一時段中。
- 如請求項1所述的基於環景影音的減少延遲的一對多通訊方法,其中該直播協議為即時訊息協定(Real-Time Messaging Protocol,RTMP)或加密即時訊息協定(RTMP-S)。
- 如請求項1所述的基於環景影音的減少延遲的一對多通訊方法,其中該語音協定為H.323規範、對話啟動協定(Session Initiation Protocol,SIP)或媒體網關控制協議(Media Gateway Control Protocol,MGCP)。
- 如請求項1所述的基於環景影音的減少延遲的一對多通訊方法,其中該影音通訊裝置為智慧型手機、平板電腦、筆記型電腦、桌上型電腦、具有播音功能的智能眼鏡或具有播音功能的頭戴式立體影像播放器。
- 如請求項1所述的基於環景影音的減少延遲的一對多通訊方法,其中該語音通訊裝置為智慧型手機或平板電腦。
- 一種基於環景影音的減少延遲的一對多通訊的計算機程式產品組,包含:一第一計算機程式產品,經由一中繼伺服器載入該程式執行: 一第1程式指令:接收來自一環景影音錄攝裝置的經過一直播協議編碼的複數個第一環景影音串流封包;一第2程式指令:將該些第一環景影音串流封包依序依照網頁即時通訊應用程式介面轉換為複數個第二環景影音串流封包;一第3程式指令:將該些第二環景影音串流封包向與該中繼伺服器資訊連接的複數個影音通訊裝置發送;一第4程式指令:接收來自至少一影音通訊裝置的數個第一語音封包及一通訊要求指令發送;及一第5程式指令:將該些第一語音封包發送給與其資訊連接的一語音通訊裝置,其中,若有二個以上影音通訊裝置發出該通訊要求指令,先發出該通訊要求的影音通訊裝置所發送的第一語音封包會被發送給該語音通訊裝置,其它影音通訊裝置所發送的第一語音封包被捨棄;以及一第二計算機程式產品,經由任一影音通訊裝置載入該程式執行:一第6程式指令:分別於該影音通訊裝置播放該些第二環景影音串流封包對應的一連續環景影音;一第7程式指令:由至少一影音通訊裝置中每一者將一第一語音轉換為符合一語音協定的數個第一語音封包;及一第8程式指令:將該些第一語音封包連同該通訊要求指令發送至該中繼伺服器;以及一第三計算機程式產品,經由該語音通訊裝置載入該程式執行:一第9程式指令:撥放由該中繼伺服器發送的第一語音封包所對應的該第一語音; 一第10程式指令:將一第二語音轉換為符合該語音協定的數個第二語音封包;及一第11程式指令:將該些第二語音封包連同一指定通訊要求指令發送至該中繼伺服器,其中該指定通訊要求指令指定該些第二語音中繼發送到一指定影音通訊裝置。
- 如請求項7所述的基於環景影音的減少延遲的一對多通訊的計算機程式產品組,其中該第一計算機程式產品進一步執行:一第12程式指令:將該些第二語音封包發送給該指定通訊要求指令指定的該指定影音通訊裝置。
- 如請求項8所述的基於環景影音的減少延遲的一對多通訊的計算機程式產品組,其中該第二計算機程式產品進一步執行:一第13程式指令:由該指定影音通訊裝置撥放由該中繼伺服器發送的第二語音封包所對應的該第二語音。
- 如請求項7所述的基於環景影音的減少延遲的一對多通訊的計算機程式產品組,其中該環景影音錄攝裝置進一步將一固定文字、一跑馬文字、一圖像及/或一背景聲音混入該連續環景影音的至少一時段中。
- 如請求項7所述的基於環景影音的減少延遲的一對多通訊的計算機程式產品組,其中該直播協議為即時訊息協定或加密即時訊息協定。
- 如請求項7所述的基於環景影音的減少延遲的一對多通訊的計算機程式產品組,其中該語音協定為H.323規範、對話啟動協定或媒體網關控制協議。
- 如請求項7所述的基於環景影音的減少延遲的一對多通訊的計算機程式產品組,其中該影音通訊裝置為智慧型手機、平板電腦、筆記型電腦、桌上型電腦、具有播音功能的智能眼鏡或具有播音功能的頭戴式立體影像播放器。
- 如請求項7所述的基於環景影音的減少延遲的一對多通訊的計算機程式產品組,其中該語音通訊裝置為智慧型手機或平板電腦。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111142416A TWI811148B (zh) | 2022-11-07 | 2022-11-07 | 基於環景影音的減少延遲的一對多通訊方法與計算機程式產品組 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111142416A TWI811148B (zh) | 2022-11-07 | 2022-11-07 | 基於環景影音的減少延遲的一對多通訊方法與計算機程式產品組 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI811148B true TWI811148B (zh) | 2023-08-01 |
| TW202420790A TW202420790A (zh) | 2024-05-16 |
Family
ID=88585468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111142416A TWI811148B (zh) | 2022-11-07 | 2022-11-07 | 基於環景影音的減少延遲的一對多通訊方法與計算機程式產品組 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI811148B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940826B1 (en) * | 1999-12-30 | 2005-09-06 | Nortel Networks Limited | Apparatus and method for packet-based media communications |
| US20060007871A1 (en) * | 2000-03-22 | 2006-01-12 | Welin Andrew M | Systems, processes and integrated circuits for improved packet scheduling of media over packet |
| US20110195739A1 (en) * | 2010-02-10 | 2011-08-11 | Harris Corporation | Communication device with a speech-to-text conversion function |
| US20180247550A1 (en) * | 2015-11-19 | 2018-08-30 | Shenzhen Eaglesoul Technology Co., Ltd. | Image synchronous display method and device |
-
2022
- 2022-11-07 TW TW111142416A patent/TWI811148B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940826B1 (en) * | 1999-12-30 | 2005-09-06 | Nortel Networks Limited | Apparatus and method for packet-based media communications |
| US20060007871A1 (en) * | 2000-03-22 | 2006-01-12 | Welin Andrew M | Systems, processes and integrated circuits for improved packet scheduling of media over packet |
| US20110195739A1 (en) * | 2010-02-10 | 2011-08-11 | Harris Corporation | Communication device with a speech-to-text conversion function |
| US20180247550A1 (en) * | 2015-11-19 | 2018-08-30 | Shenzhen Eaglesoul Technology Co., Ltd. | Image synchronous display method and device |
Non-Patent Citations (2)
| Title |
|---|
| 網路文獻 "NVIDIA Jetson Orin - GstWebRTC GStreamer plug-in for WebRTC", RidgeRun Embedded Linux Developer Connection, 26 Aug., 2022. [https://developer.ridgerun.com/wiki/index.php?title=NVIDIA_Jetson_Orin/RidgeRun_Products/GstWebRTC&oldid=42996] |
| 網路文獻 "Panoramic Stitching and WebRTC Streaming on NVIDIA Jetson", RidgeRun Embedded Linux Developer Connection, 31 Aug,, 2022. [https://developer.ridgerun.com/wiki/index.php?title=Panoramic_Stitching_and_WebRTC_Streaming_on_NVIDIA_Jetson&oldid=43056];網路文獻 "NVIDIA Jetson Orin - GstWebRTC GStreamer plug-in for WebRTC", RidgeRun Embedded Linux Developer Connection, 26 Aug., 2022. [https://developer.ridgerun.com/wiki/index.php?title=NVIDIA_Jetson_Orin/RidgeRun_Products/GstWebRTC&oldid=42996] * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202420790A (zh) | 2024-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8860776B2 (en) | Conference terminal, conference server, conference system and data processing method | |
| US7532231B2 (en) | Video conference recorder | |
| CN103327361B (zh) | 实时视频通讯回放数据流的获取方法、装置及系统 | |
| CN101141617A (zh) | 会议电视点播系统及其点播方法 | |
| CN103686219A (zh) | 一种视频会议录播的方法、设备及系统 | |
| JP7290260B1 (ja) | サーバ、端末及びコンピュータプログラム | |
| KR20080086262A (ko) | 디지털 콘텐츠 공유를 위한 방법 및 장치, 그리고 디지털콘텐츠 공유 시스템 | |
| CN112019792B (zh) | 会议控制方法、装置、终端设备和存储介质 | |
| CN101437140A (zh) | 一种多画面传输方法和一种多点控制单元 | |
| CN113194278A (zh) | 一种会议控制方法、装置及计算机可读存储介质 | |
| US20210195256A1 (en) | Decoder equipment with two audio links | |
| US20180167578A1 (en) | Method and Apparatus for Coviewing Video | |
| WO2023231478A1 (zh) | 音视频共享方法、设备及计算机可读存储介质 | |
| CN103391418B (zh) | 基于网络视频会议系统和广电系统的融合方法 | |
| CN102438119B (zh) | 一种数字电视的音视频通讯系统 | |
| CN117176972B (zh) | 一个基于WebRTC技术的云会议音视频传输系统及方法 | |
| WO2014177082A1 (zh) | 一种视频会议中处理视频的方法及终端 | |
| CN101141614B (zh) | 一种会议电视终端视频参数的远程调整方法 | |
| CN113301359A (zh) | 音视频处理方法、装置及电子设备 | |
| TWI811148B (zh) | 基於環景影音的減少延遲的一對多通訊方法與計算機程式產品組 | |
| CN116260987A (zh) | 视频转播处理系统、方法、装置及设备 | |
| JP2023552769A (ja) | 注文支払方法、装置、記憶媒体、デバイスおよびシステム | |
| CN111901537B (zh) | 一种基于云平台的广播电视互动节目制作方式 | |
| JP2003271530A (ja) | 通信システム,システム間関連装置,プログラム,及び,記録媒体 | |
| CN113014950A (zh) | 一种直播同步的方法、系统和电子设备 |