TWI866239B - 會議共聚系統 - Google Patents
會議共聚系統 Download PDFInfo
- Publication number
- TWI866239B TWI866239B TW112120011A TW112120011A TWI866239B TW I866239 B TWI866239 B TW I866239B TW 112120011 A TW112120011 A TW 112120011A TW 112120011 A TW112120011 A TW 112120011A TW I866239 B TWI866239 B TW I866239B
- Authority
- TW
- Taiwan
- Prior art keywords
- streaming
- user
- contour
- module
- conference
- Prior art date
Links
- 238000007334 copolymerization reaction Methods 0.000 title description 8
- 230000001815 facial effect Effects 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 239000002131 composite material Substances 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004220 aggregation Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一種會議共聚系統，其包括：一影音串流模組，配置成提供一或複數
個人物影像串流，所述人物影像串流是根據一鏡頭拍攝一使用者所產生之一串流影音畫面；一輪廓運算模組，配置成接收該一或複數個人物影像串流，將所述人物影像串流的串流影音畫面根據該使用者臉部輪廓進行裁切而形成一裁切的串流影音畫面，並將該裁切的串流影音畫面嵌入一虛擬物件以形成一虛擬複合物件；一背景渲染模組，配置成渲染一視訊介面的一背景；及一複合串流模組，配置成將該虛擬複合物件疊加至該背景。
Description
一種會議共聚系統，特別是一種關於將參與者的影像串流進行處理的會議共聚系統。
在現有技術中，會議系統通常使用多個攝像頭和麥克風，以捕捉參與者的影像和聲音。這些系統通常需要複雜的安裝程序和調試，並且往往需要專業的技術人員進行操作。此外，由於參與者的位置和角度不同，導致畫面不夠清晰，無法提供一個完整、統一的視訊畫面，限制了其應用範圍。
另外，現有的虛擬會議系統通常使用靜態的虛擬背景，以改善參與者的視覺效果，但無法提供更加自然和真實的感覺。
因此，需要一種將參與者的影像串流進行處理，豐富互動且能夠提供更好的影音效果的會議共聚系統。
為解決上述問題，本發明的目的在於提供一種會議共聚系統，其包括：一影音串流模組，配置成提供一或複數個人物影像串流，所述人物影像串流是根據一鏡頭拍攝一使用者所產生之一串流影音畫面；一輪廓運算模組，配置成接收該一或複數個人物影像串流，將所述人物影像串流的串流影音畫面
根據該使用者臉部輪廓進行裁切而形成一裁切的串流影音畫面，並將該裁切的串流影音畫面嵌入一虛擬物件以形成一虛擬複合物件；一背景渲染模組，配置成渲染一視訊介面的一背景；及一複合串流模組，配置成將該虛擬複合物件疊加至該背景。
本發明再提供一種會議共聚系統，其中進一步包括一會議建立模組，該會議建立模組供一或複數個用戶發起一多人會議。該輪廓運算模組進一步包括：一影像識別模組，識別該些人物影像，標記該使用者臉部輪廓；一像素運算模組，運算該些使用者輪臉部廓及該使用者臉部輪廓邊緣之一像素座標矩陣，該像素運算模組藉由該使用者臉部輪廓邊緣運算出一非使用者範圍，並依據該使用者臉部輪廓建立矩陣座標相符之一遮罩，用於配合該使用者臉部輪廓，形成該裁切的串流影音畫面，其中該裁切的串流影音畫面可為圖片或影像。
本發明更提供一種會議共聚系統，其包括：一影音串流模組，配置成提供一或複數個人物影像串流，所述人物影像串流是根據一鏡頭拍攝一使用者所產生之一串流影音畫面；一輪廓運算模組，配置成接收該一或複數個人物影像串流，並識別所述人物影像串流的串流影音畫面的使用者臉部輪廓，並將一虛擬物件覆蓋於辨識的使用者臉部輪廓以形成一虛擬複合物件；一背景渲染模組，配置成渲染一視訊介面的一背景；及一複合串流模組，配置成將該虛擬複合物件疊加至該背景，其中該輪廓運算模組進一步包括一虛擬物件選擇模組，該虛擬物件選擇模組供用戶選擇該虛擬物件。
為實施上述本發明之會議共聚系統，本發明提供一種視訊介面，包含：一背景；及一虛擬複合物件，疊加至該背景上，且該虛擬複合物件是由一第一虛擬物件及一第一串流影音畫面形成，或由一第二虛擬物件及一第二串流影音畫面所形成。其中，該第一虛擬物件具有一鏤空，該第一串流影音畫面為一裁切的串流影音畫面，且該裁切的串流影音畫面嵌入該鏤空。其中，該第
二串流影音畫面包含一人物串流影音畫面，該第二虛擬物件覆蓋於該人物串流影音畫面中的一臉部輪廓。
綜上所述，本發明提供一種會議共聚系統，將參與者的影像串流進行處理豐富互動且能夠提供更好的影音效果，提升會議體驗。
1:會議共聚系統
11:影音串流模組
12:背景渲染模組
13:輪廓運算模組
131:影像辨識模組
132:像素運算模組
133:虛擬物件選擇模組
14:複合串流模組
15:輸出模組
2:會議建立模組
31:背景
32:視訊介面
331:鏤空
332:裁切的串流影音畫面
34:虛擬物件
41:渲染背景圖片
421:裁切的串流影音畫面
422:特色人臉
S101-S106:步驟
S201-S205:步驟
圖1為本發明會議共聚系統之流程示意圖。
圖2A為本發明背景及其虛擬物件之一實施例示意圖。
圖2B為本發明背景及其虛擬物件經合成渲染裁切串流影音畫面之一實施例示意圖。
圖3為本發明會議共聚系統之方塊示意圖。
圖4為本發明會議共聚系統結合虛擬物件選擇模組之流程示意圖。
圖5為本發明會議共聚系統之另一方塊示意圖。
圖6A為基於本發明會議共聚系統呈現的一種視訊介面之一實施例示意圖。
圖6B為基於本發明會議共聚系統呈現的一種視訊介面之另一實施例示意圖。
下面藉由特定的具體實施例加以說明本發明之實施方式。
首先參考圖1與圖3，係顯示本發明會議共聚系統包含的元件示意圖與其執行的流程。本發明之會議共聚系統1接收會議建立模組2提出之會議發
起，並根據該會議發起而執行影音串流模組11，其利用電子設備之視訊鏡頭取得會議人員的人物影像，並將該影像與麥克風或電腦內之音效進行影音串流。會議共聚系統1之背景渲染模組12在收到用戶透過會議建立模組發出之會議建立通知後，會從雲端資料庫或用戶所提供之圖片或影片，乃結合至視訊鏡頭擷取之背景畫面，進行背景影像之渲染，形成渲染背景影像。該渲染以將提供之圖片或影片進行影像和人物影像邊緣等疊合、運算、色彩校正、切齊等技術渲染，此部分可參考圖2A以及圖2B，其細節於後詳述。
輪廓運算模組13接收來自影音串流模組11之串流影音，透過影像識別模組131識別出該串流影音中各使用者之人物影像範圍。該影像識別模組131能以已知技術實現，例如以機器學習多次訓練人物影像之判讀所形成之演算法模型進行人物影像之判斷，其細節不再此贅述。輪廓運算模組13之像素運算模組132將影像識別模組131所判別出之人物影像範圍進行像素矩陣之座標運算，利用使用者臉部輪廓之像素差值運算出使用者臉部範圍與人物範圍。
輪廓運算模組13之像素運算模組132再將運算完成之使用者臉部輪廓利用像素差值運算出使用者臉部範圍與非臉部範圍進行裁切，建立符合矩陣座標大小之遮罩，將其圖層分離，形成如圖2B所示裁切的串流影音畫面332。該裁切的串流影音畫面源自使用者原影像的內容。裁切的串流影音畫面可選擇嵌入一虛擬物件。可替代地，亦可將一虛擬物件選擇覆蓋於裁切的串流影音畫面332，如使用者臉部範圍，以形成一虛擬複合物件。
會議共聚系統1之複合串流模組14接收輪廓運算模組13之虛擬複合物件，與背景渲染模組12之渲染背景影像進行串流合成，形成複合串流影像，
將圖層整合交付至輸出模組15輸出複合串流影像。所述複合串流影像包含所述背景及一或多個虛擬複合物件。
圖2A以及圖2B為本發明背景及其虛擬物件之一具體實施例，先看到圖2A，串流影音介面之視訊介面32中由背景31與虛擬物件34所組成，在虛擬物件34的界定有一鏤空331，該鏤空331由輪廓運算模組13之像素運算模組132再將運算完成之輪廓建立符合矩陣座標大小之遮罩。
再看到圖2B，輪廓運算模組13之像素運算模組132再將運算完成之使用者臉部輪廓利用像素差值運算出使用者臉部範圍與非臉部範圍進行裁切填入鏤空331，將其圖層分離，形成裁切的串流影音畫面332。
接著，圖4係顯示本發明會議共聚系統結合虛擬物件選擇模組之流程示意圖，圖5係顯示本發明會議共聚系統結合虛擬物件選擇模組之方塊結構圖。本發明之會議共聚系統1接收會議建立模組2提出之會議發起，並因應該會議發起而執行影音串流模組11，其利用電子設備之視訊鏡頭取得會議人員的人物影像，並將該影像與麥克風或電腦內之音效進行影音串流。會議共聚系統1之背景渲染模組12在收到會議建立通知後，會從雲端資料庫或用戶所提供之圖片或影片，乃結合至視訊鏡頭擷取之背景畫面，進行背景影像之渲染，形成渲染背景影像。該渲染以將提供之圖片、影片進行影像和人物影像邊緣等疊合、運算、色彩校正、切齊等技術渲染，此部分可參考圖6A以及圖6B，其細節於後詳述。
影音串流模組11之輪廓運算模組13接收影音串流模組11之串流影音，透過影像識別模組131識別出該串流影音中各使用者之人物影像範圍。該影像識別模組131以機器學習多次訓練人物影像之判讀所形成之演算法模型進
行人物影像之判斷。輪廓運算模組13之像素運算模組132將影像識別模組131所判別出之人物影像範圍進行像素矩陣之座標運算，利用使用者臉部輪廓之像素差值運算出使用者臉部範圍與人物範圍。
輪廓運算模組13之像素運算模組132再將運算完成之使用者臉部輪廓利用像素差值運算出使用者臉部範圍與非臉部範圍進行裁切，建立符合矩陣座標大小之遮罩，將其圖層分離，形成裁切的串流影音畫面。該裁切的串流影音畫面可以使用使用者原影像，亦可選擇嵌入一虛擬物件於使用者臉部範圍或是非臉部範圍，以形成一虛擬複合物件。
用戶可透過輪廓運算模組13之虛擬物件選擇模組133以選擇虛擬物件並覆蓋所選的一虛擬物件於使用者臉部範圍，該覆蓋為將虛擬物件之圖層疊加至欲覆蓋之使用者臉部範圍。該虛擬物件不限於現實與虛擬之各種人物、表情、飾品、衣著、穿搭等，使用附加之虛擬物件增加用戶之間的辨識、位階、關係等。
會議共聚系統1之複合串流模組14接收輪廓運算模組13之虛擬複合物件，與背景渲染模組12之渲染背景影像進行串流合成，形成複合串流影像，將圖層整合交付至輸出模組15輸出複合串流影像。
請參考圖6A以及圖6B，圖6A以及圖6B為本發明會議共聚系統呈現的一種視訊介面之一具體實施例示意圖。先看到圖6A，輪廓運算模組13之像素運算模組132再將運算完成之使用者臉部輪廓利用像素差值運算出使用者臉部範圍與非臉部範圍進行裁切，在渲染背景圖片41上建立符合矩陣座標大小之遮罩，形成複數個裁切的串流影音畫面421，並將其圖層分離。在本具體實施例中，該裁切的串流影音畫面421使用使用者原影像。
再看到圖6B，圖6B中，用戶透過輪廓運算模組13之虛擬物件選擇模組133以選擇虛擬物件並覆蓋所選的一虛擬物件於使用者臉部範圍，該覆蓋為將虛擬物件之圖層疊加至欲覆蓋之使用者臉部範圍，在渲染背景圖片41中，原本為裁切的串流影音畫面421之位置，套用虛擬物件形成特色人臉422。在本具體實施例中，該特色人臉422為一笑臉面具。
S101~S106:步驟
S201~S204:步驟
Claims (5)
- 一種會議共聚系統，其包括：一影音串流模組，配置成提供一或複數個人物影像串流，所述人物影像串流是根據一鏡頭拍攝一使用者所產生之一串流影音畫面；一輪廓運算模組，配置成接收該一或複數個人物影像串流，將所述人物影像串流的串流影音畫面根據該使用者臉部輪廓進行裁切，該輪廓運算模組在該視訊介面的背景中建立一鏤空，並將該裁切的串流影音畫面嵌入該鏤空，而形成一裁切的串流影音畫面，並將該裁切的串流影音畫面嵌入一虛擬物件以形成一虛擬複合物件，其中該鏤空係由該輪廓運算模組將運算完成之該使用者臉部輪廓所建立符合矩陣座標大小之一遮罩；一背景渲染模組，配置成渲染一視訊介面的一背景；及一複合串流模組，配置成將該虛擬複合物件疊加至該背景；一影像識別模組，識別該些人物影像，標記該使用者臉部輪廓；一像素運算模組，運算該些使用者臉部輪廓及該使用者臉部輪廓邊緣之一像素座標矩陣，該像素運算模組藉由該使用者臉部輪廓邊緣運算出一非使用者範圍，並依據該使用者臉部輪廓所建立矩陣座標相符之該遮罩，用於配合該使用者臉部輪廓，形成該裁切的串流影音畫面。
- 如請求項1所述之會議共聚系統，其中進一步包括一會議建立模組，該會議建立模組供一或複數個用戶發起一多人會議。
- 如請求項2所述之會議共聚系統，其中該裁切的串流影音畫面可為圖片或影像。
- 一種會議共聚系統，其包括： 一影音串流模組，配置成提供一或複數個人物影像串流，所述人物影像串流是根據一鏡頭拍攝一使用者所產生之一串流影音畫面；一輪廓運算模組，配置成接收該一或複數個人物影像串流，並識別所述人物影像串流的串流影音畫面的使用者臉部輪廓，並將一虛擬物件覆蓋於辨識的使用者臉部輪廓以形成一虛擬複合物件；一背景渲染模組，配置成渲染一視訊介面的一背景；及一複合串流模組，配置成將該虛擬複合物件疊加至該背景；其中該輪廓運算模組在該視訊介面的背景中建立一鏤空，並將該識別使用者臉部輪廓的串流影音畫面嵌入該鏤空，該鏤空係由該輪廓運算模組將運算完成之該使用者臉部輪廓所建立符合矩陣座標大小之遮罩；一影像識別模組，識別該些人物影像，標記該使用者臉部輪廓；一像素運算模組，運算該些使用者臉部輪廓及該使用者臉部輪廓邊緣之一像素座標矩陣，該像素運算模組藉由該使用者臉部輪廓邊緣運算出一非使用者範圍，並依據該使用者臉部輪廓所建立矩陣座標相符之該遮罩，用於配合該使用者臉部輪廓，形成該裁切的串流影音畫面。
- 如請求項4所述之會議共聚系統，其中該輪廓運算模組進一步包括一虛擬物件選擇模組，該虛擬物件選擇模組供用戶選擇該虛擬物件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112120011A TWI866239B (zh) | 2023-05-30 | 2023-05-30 | 會議共聚系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112120011A TWI866239B (zh) | 2023-05-30 | 2023-05-30 | 會議共聚系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202448172A TW202448172A (zh) | 2024-12-01 |
| TWI866239B true TWI866239B (zh) | 2024-12-11 |
Family
ID=94735558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112120011A TWI866239B (zh) | 2023-05-30 | 2023-05-30 | 會議共聚系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI866239B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113065534A (zh) * | 2021-06-02 | 2021-07-02 | 全时云商务服务股份有限公司 | 一种基于人像分割精度提升的方法、系统和存储介质 |
| US20220051412A1 (en) * | 2020-05-12 | 2022-02-17 | True Meeting Inc. | Foreground and background segmentation related to a virtual three-dimensional (3d) video conference |
| CN114067088A (zh) * | 2021-11-16 | 2022-02-18 | 百果园技术(新加坡)有限公司 | 虚拟穿戴方法、装置、设备、存储介质及程序产品 |
| US20220070389A1 (en) * | 2020-09-02 | 2022-03-03 | Cisco Technology, Inc. | Matching foreground and virtual background during a video communication session |
| TWI778749B (zh) * | 2021-08-17 | 2022-09-21 | 睿至股份有限公司 | 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統 |
-
2023
- 2023-05-30 TW TW112120011A patent/TWI866239B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220051412A1 (en) * | 2020-05-12 | 2022-02-17 | True Meeting Inc. | Foreground and background segmentation related to a virtual three-dimensional (3d) video conference |
| US20220070389A1 (en) * | 2020-09-02 | 2022-03-03 | Cisco Technology, Inc. | Matching foreground and virtual background during a video communication session |
| CN113065534A (zh) * | 2021-06-02 | 2021-07-02 | 全时云商务服务股份有限公司 | 一种基于人像分割精度提升的方法、系统和存储介质 |
| TWI778749B (zh) * | 2021-08-17 | 2022-09-21 | 睿至股份有限公司 | 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統 |
| CN114067088A (zh) * | 2021-11-16 | 2022-02-18 | 百果园技术(新加坡)有限公司 | 虚拟穿戴方法、装置、设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202448172A (zh) | 2024-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6812803B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN109952759B (zh) | 用于具有hmd的视频会议的改进的方法和系统 | |
| CN106664376B (zh) | 增强现实设备和方法 | |
| CN107358656A (zh) | 一种三维游戏的ar处理系统及其处理方法 | |
| CN102859991A (zh) | 实时剪切视频序列中记录的真实实体的方法 | |
| JP2011513871A (ja) | デジタル画像を修正する方法及び装置 | |
| JP7732453B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| CN108076307A (zh) | 基于ar的视频会议系统和基于ar的视频会议方法 | |
| US20240163414A1 (en) | Information processing apparatus, information processing method, and system | |
| US20210166485A1 (en) | Method and apparatus for generating augmented reality images | |
| US12333854B2 (en) | Systems and methods for correlating individuals across outputs of a multi-camera system and framing interactions between meeting participants | |
| CN115118880A (zh) | 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统 | |
| Malleson et al. | Rapid one-shot acquisition of dynamic VR avatars | |
| US20220207848A1 (en) | Method and apparatus for generating three dimensional images | |
| US20230386147A1 (en) | Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements | |
| US20240013492A1 (en) | Image processing apparatus, image processing method, and image processing system | |
| CN113676692A (zh) | 视频会议中视频的处理方法、装置、电子设备及存储介质 | |
| CN106101576B (zh) | 一种增强现实照片的拍摄方法、装置及移动终端 | |
| JP7599181B2 (ja) | ホール用表示システム及びこれを用いて行うイベントの実施方法 | |
| JP2016192687A (ja) | 映像表示システム及び映像表示方法 | |
| TWI866239B (zh) | 會議共聚系統 | |
| JP7714779B2 (ja) | データ処理方法、装置、電子機器、及びコンピュータプログラム | |
| CN115955554B (zh) | 一种图层化的虚实融合视频制作方法 | |
| JP5924833B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置 | |
| JP2020530218A (ja) | 没入型視聴覚コンテンツを投影する方法 |