TWI808321B

TWI808321B - 應用於畫面顯示的物件透明度改變方法及實物投影機

Info

Publication number: TWI808321B
Application number: TW109115105A
Authority: TW
Inventors: 林世豐; 鄧雯瑞; 林政逸
Original assignee: 圓展科技股份有限公司
Priority date: 2020-05-06
Filing date: 2020-05-06
Publication date: 2023-07-11
Also published as: US20210352181A1; TW202143110A

Abstract

一種應用於畫面顯示的物件透明度改變方法，包括：從視訊擷取第一訊框，第一訊框不存在目標物件，在擷取第一訊框之後，從視訊擷取第二訊框，第二訊框中存在目標物件，從第二訊框中選取目標區塊，目標區塊中具有目標物件，依據目標區塊位於第二訊框之位置，從第一訊框中選取對應於此位置的背景區塊，對於第二訊框，以第一訊框的背景區塊取代第二訊框的目標區塊作為第三訊框，依據第三訊框、透明度係數以及第二訊框及目標區塊其中一者產生輸出訊框。

Description

應用於畫面顯示的物件透明度改變方法及實物投影機

本發明涉及人工智慧、神經網路、圖像識別及物件偵測，特別是一種應用於畫面顯示的物件透明度改變方法及應用此方法的實物投影機。

在拍攝教學影片時，若講者身體擋住板書文字或以投影片播放的講義內容，將造成觀看影片的學習者的不便。

目前在影像處理上已有人形輪廓分割技術，將人形部分與背景進行透明化處理。然而，人形輪廓分割的巨大運算量需要耗費較多運算能力。因此，需要足夠的硬體效能才能夠支援即時視訊運算處理。若將人形輪廓分割技術應用於一般視訊攝影機的硬體平台上，由於硬體效能的限制，其運算能力並無法達到即時視訊處理的需求。

有鑑於此，本發明提出一種應用於畫面顯示的物件透明度改變方法及應用此方法的實物投影機，可達到透明化人形的效果並讓被遮蔽的文字得以呈現，並且佔用較少的運算資源，因此可適用於目前主流的視訊攝影機的硬體平台。

依據本發明一實施例敘述的一種應用於畫面顯示的物件透明度改變方法，包括：從視訊擷取第一訊框，第一訊框中不存在目標物件；在擷取第一訊框之後，從視訊擷取第二訊框，第二訊框中存在目標物件；從第二訊框中選取目標區塊，目標區塊中具有目標物件；依據目標區塊位於第二訊框之位置，從第一訊框中選取對應於此位置的背景區塊；以第一訊框的背景區塊取代第二訊框的目標區塊作為第三訊框；以及依據第三訊框、透明度係數以及第二訊框及目標區塊其中一者產生輸出訊框。

依據本發明一實施例敘述的實物投影機，包括攝像裝置、處理器及顯示裝置。攝像裝置用以取得視訊。處理器電性連接攝像裝置。處理器用以從視訊擷取第一訊框及第二訊框，從第二訊框中選取目標區塊，從第一訊框中選取背景區塊，產生第三訊框及輸出訊框。顯示裝置電性連接處理器。顯示裝置依據輸出訊框呈現輸出視訊。其中，第一訊框不存在目標物件且第二訊框存在目標物件；第三訊框係以背景區塊取代目標區塊的第二訊框；目標區塊中具有目標物件，目標區塊位於第二訊框之一位置，背景區塊於第一訊框中對應於位置；輸出訊框係依據第三訊框、一透明度係數以及第二訊框及目標區塊其中一者所產生。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

100:實物投影機

1:攝像裝置

3:處理器

5:顯示裝置

12:影像感應器

14:感測器

32:運算單元

34:處理單元

F1:第一訊框

F2:第二訊框

F3:第三訊框

F4:輸出訊框

B1:目標區塊

B2:背景區塊

S1~S6:步驟

圖1A係依據本發明一實施例的實物投影機的方塊架構圖。

圖1B係依據本發明一實施例的實物投影機的外觀示意圖。

圖2係依據本發明一實施例的應用於畫面顯示的物件透明度改變方法的流程圖。

圖3A係第一訊框的示意圖。

圖3B係第二訊框的示意圖。

圖3C係第一訊框中的背景區塊的示意圖。

圖3D係第三訊框的示意圖。

圖3E係輸出訊框的示意圖。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參考圖1A，其繪示本發明一實施例的實物投影機(Document Camera)的方塊架構圖。實物投影機100包括攝像裝置1、處理器3及顯示裝置5。處理器3電性連接攝像裝置1及顯示裝置5。攝像裝置1包括影像感應器12及感測器14。處理器3包括運算單元32及處理單元34。在本發明其他實施例中，處理器3的位置可設置於攝像裝置1的外部或內部；或者，顯示裝置5可為一外部裝置，實物投影機100不包含此顯示裝置。舉例來說，在本發明另一實施例中，實物投影機100包括攝像裝置1、處理器3，實物投影機100另外電性連接一顯示裝置5，本發明對此並不限制。在本發明又一實施例中，實物投影機100包括攝像裝置1，其中攝像裝置1包括處理器3，實物投影機100另外電性連接一顯示裝置5，本發明對此並不限制。在本發明再一實施例中，實物投影機100包括攝像裝置1及顯示裝置5，其中攝像裝置1包括處理器3，本發明對此並不限制。

請參考圖1B，其繪示本發明一實施例的實物投影機100的外觀示意圖。藉由攝像裝置1的影像感應器12，實物投影機100可拍攝視訊。顯示裝置5呈現視訊畫面，其中包含目標物件7及背景物件9。如圖1B所示，目標物件為講者的手部7，背景物件為放置於桌上的課本9。講者以手指指示目前講解的地方在課本上的位置。其中，以虛線表示的目標物件7代表其在顯示裝置5呈現的畫面中為透明的狀態。下文繼續說明如何達到透明化目標物件7的效果。

請一併參考圖1A及圖1B。攝像裝置1用以取得視訊(video)。換言之，攝像裝置1透過影像感應器12及感測器14拍攝影片，影片中包含目標物件7及背景物件9。在一實施例中，運算單元32用以判斷影像感應器12及感測器14在其拍攝方向上是否具有目標物件7。換言之，當拍攝方向上具有目標物件7，感測器14產生觸發訊號，且處理器3在收到觸發計號後執行演算法以偵測目標物件7。在本發明另一實施例中，亦可省略感測器14的設置，本發明對此並不限制。

處理器3電性連接攝像裝置1。處理器3用以從視訊擷取第一訊框及第二訊框，從第二訊框中選取目標區塊，從第一訊框中選取背景區塊，以及產生第三訊框及輸出訊框。處理器3例如是系統單晶片(System on a chip，SoC)、現場可程式閘陣列(Field Programmable Gate Array，FPGA)、數位信號處理器(Digital Signal Processor，DSP)、中央處理器(Central Processing Unit，CPU)、控制晶片(Chip)其中之一或其組合，但並不以此為限。在一實施例中，處理器3包括運算單元32及處理單元34。

運算單元32執行演算法以偵測目標物件7。演算法例如是單次多框偵測器(Single Shot Multibox Detector，SSD)或YOLO(You Only Look Once)，但並不以此為限。在本發明另一實施例中，運算單元32可為人工智慧運算單元，其係加載預先訓練的模型以執行演算法。舉例來說，預先收集目標物件7(如人手)各種形態的照片，將這些照片作為輸入層，然後以類神經網路訓練得到一個用於判斷目標物件7的模型。所述的類神經網路例如為卷積神經網路(Convolutional Neural Network，CNN)、遞歸神經網路(Recurrent Neura，Network，RNN)、深度神經網路(Deep Neural Network，DNN)，不以此為限。

在一實施例中，運算單元32判斷所擷取的訊框中是否具有目標物件7。若擷取的訊框不具有目標物件7，則將此訊框設定為第一訊框。若擷取的訊框具有目標物件7，則將此訊框設定為第二訊框。第一訊框的擷取時間點應早於第二訊框的擷取時間點。此外，運算單元32從第二訊框中選取目標區塊，並將選取的目標區塊相關資訊輸出至處理單元34。所述目標區塊包含目標物件7。在一實施例中，運算單元32依據目標區塊的形狀選擇對應此形狀的一判斷模型，其中形狀包括一矩形或一目標物件(例如為人手)之外形。

處理單元34電性連接運算單元32。依據運算單元32輸出的目標區塊相關資訊(例如：目標區塊在第二訊框中的座標)，處理單元34確認目標區塊在第二訊框中的位置，並且按照同樣的位置從第一訊框中選取背景區塊。處理單元34更依據第一訊框和第二訊框產生第三訊框，第三訊框係以背景區塊取代目標區塊的第二訊框。在本發明一實施例中，處理單元34依據第二訊框、第三訊框及透明度係數產生輸出訊框。在本發明另一實施例中，處理單元34依據目標區塊、第三訊框及透明度係數產生輸出訊框。

請參考圖1A及圖1B。顯示裝置5電性連接處理器3。顯示裝置5依據輸出訊框呈現輸出視訊。所輸出的視訊包含透明化的目標物件7以及背景物件9的完整內容。實務上，輸出視訊可呈現原本被目標物件7擋住的背景物件9的一部分。

請參考圖2，其繪示本發明一實施例的應用於畫面顯示的物件透明度改變方法的流程圖。本實施例所述的方法不僅適用於本發明一實施例的實物投影機100，也適用於任何視訊教學裝置或視訊會議裝置。

請參考步驟S1，擷取第一訊框。請參考圖3A，其繪示第一訊框F1的示意圖。舉例來說，攝像裝置1拍攝的視訊包含黑板上的兩行文字。所擷取的第一訊框F1中不存在目標物件7。舉例來說，以前述的實物投影機100的處理器3執行演算法以確認第一訊框F1中不存在目標物件。所述的演算法係單次多框偵測器或YOLO。

請參考步驟S2，擷取第二訊框。請參考圖3B，其繪示第二訊框F2的示意圖。舉例來說，攝像裝置1拍攝的視訊包含站在黑板前的講者，講者在黑板上寫下兩行文字並擋住部分的文字。在擷取第一訊框F1之後，處理器3從視訊擷取第二訊框F2。第二訊框F2中存在目標物件7，在此實施例中，目標物件為人。處理器3執行如步驟S1所用的演算法，以確認第二訊框F2中存在目標物件7。

請參考步驟S3，從第二訊框F2選取目標區塊。請參考圖3B。處理器3在步驟S2執行演算法後，可得到目標區塊B1，其中具有目標物件7。依據處理器3選用的判斷模型，目標區塊B1可為矩形、圓形或人形等形狀，但本發明所述的目標區塊B1的形狀並不受限於上述範例。

請參考步驟S4，從第一訊框F1選取背景區塊。請參考圖3C，其繪示從第一訊框F1選取背景區塊B2的示意圖，所擷取的背景區塊B2包含黑板上的兩行文字。詳言之，處理器3依據目標區塊B1位於第二訊框F2之位置，從第一訊框F1中選取對應於此位置的背景區塊B2。從另一角度而言，第一訊框F1與第二訊框F2大小相同，背景區塊B2相對於第一訊框F1的位置，與目標區塊B1相對於第二訊框F2的位置相同。

請參考步驟S5，產生第三訊框。處理器3以第一訊框F1的背景區塊B2取代第二訊框F2的目標區塊F1作為第三訊框。請參考圖3D，其繪示第三訊框F3的示意圖。如圖3D所示，在背景區塊B2中，黑板上的文字為兩行，在背景區塊B2以外的部分，黑板上的文字為四行。

請參考步驟S6，產生輸出訊框。在步驟S6的一實施例中，處理器3依據第二訊框F2、第三訊框F3及透明度係數產生輸出訊框。舉例來說，若透明度係數為α，則輸出訊框的產生方式如下式：RGB_F4=RGB_F2*α+RGB_F3*(1-α)

其中RGB代表訊框的三原色值。所述的透明度係數介於0到1之間，例如為0.3。請參考圖3E，其繪示輸出訊框F4的示意圖。其中目標物件7以虛線表示，代表目標物件7已在視訊中呈現透明的效果，因此原本被目標物件7遮蔽的黑板上的兩行文字得以呈現。

在步驟S6的另一實施例中，所述的「產生輸出訊框F4」，係依據目標區塊B1、第三訊框F3及透明度係數α產生輸出訊框F4，其餘流程同前述說明，在此不多加闡述。

上述為本發明一實施例的應用於畫面顯示的物件透明度改變方法的一段執行流程。實務上，處理器3將重複上述步驟S1~S6的流程以持續更新第一訊框F1、第二訊框F2、第三訊框F3及輸出訊框F4，藉此呈現將目標物件7透明化後的視訊，以便於觀看者可以清楚看到講者身體背後的文字。關於更新第一訊框F1的方式，舉例來說，在步驟S5產生第三訊框F3之後且在下一次執行步驟S1之前，處理器3可更新第一訊框F1。詳言之，處理器3將步驟S5得到的第三訊框F3作為下一次執行步驟S1時的第一訊框F1。關於第二訊框F2、第三訊框F3及輸出訊框F4的更新方式，則係依據前述的步驟S1~S6進行，其中步驟S1係採用以第三訊框F3更新後的第一訊框F1。

綜上所述，本發明利用人工智慧領域中的物件偵測和演算法，擷取一個不具有目標物件(在上述實施例中，以人形或目標物件之外形為例)的第一訊框以及一個具有目標物件的第二訊框。本發明從擷取時間點在前的第一訊框中取得相對應的背景區塊，將其取代目標區塊得到一個無目標物件的第三訊框，然後將第三訊框與第二訊框依據透明度係數執行混合程序，可得到讓目標物件透明化的效果。本發明提出的應用於畫面顯示的物件透明度改變方法，可使講者身形透明化，讓講義教材不被遮蔽，在教學與演講的視訊製作上具有極大便利性。被講者遮蔽的背景內容會在講者遠離後進行更新。

本發明採用的物件偵測技術，在穩定性與準確性上已趨成熟，並且係採用區塊式偵測的原理，因此本發明所需的運算量，相較於傳統人形切割採用的像素式偵測機制，具有較小的運算量。本發明並不需要在影像的每一個訊框進行更新，因此所需要的運算量可進一步減少，適合目前主流相機平台。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

S1~S6:步驟

Claims

一種應用於教學或會議的畫面顯示的物件透明度改變方法，包括：從一視訊擷取一第一訊框，該第一訊框中不存在一目標物件；在擷取該第一訊框之後，從該視訊擷取一第二訊框，該第二訊框中存在該目標物件，其中該第一訊框的擷取時間點早於該第二訊框的擷取時間點；從第二訊框中選取一目標區塊，該目標區塊中具有該目標物件；依據該目標區塊位於該第二訊框之一位置，從該第一訊框中選取對應於該位置的一背景區塊；對於該第二訊框，以該第一訊框的該背景區塊取代該第二訊框的該目標區塊作為一第三訊框；以及依據該第三訊框、一透明度係數以及該第二訊框及該目標區塊其中一者產生一輸出訊框，並依據該第三訊框更新該第一訊框，其中該輸出訊框呈現被該目標物件擋住的該背景區塊的一部分。
如請求項1所述的應用於教學或會議的畫面顯示的物件透明度改變方法，更包括：以一處理器執行一演算法確認該第一訊框中不存在該目標物件且該第二訊框中存在該目標物件。
如請求項2所述的應用於教學或會議的畫面顯示的物件透明度改變方法，其中該演算法係單次多框偵測器(Single Shot Multibox Detector，SSD)或YOLO(You Only Look Once)。
如請求項1所述的應用於教學或會議的畫面顯示的物件透明度改變方法，其中該目標區塊為一矩形。
如請求項1所述的應用於教學或會議的畫面顯示的物件透明度改變方法，其中該目標區塊為一人形。
一種應用於教學或會議的實物投影機，包括：一攝像裝置，用以取得一視訊；一處理器，電性連接該攝像裝置，該處理器用以從該視訊擷取一第一訊框及一第二訊框，從該第二訊框中選取一目標區塊，從該第一訊框中選取一背景區塊，產生一第三訊框及一輸出訊框，並依據該第三訊框更新該第一訊框；以及一顯示裝置，電性連接該處理器，該顯示裝置依據該輸出訊框呈現一輸出視訊；其中該第一訊框不存在一目標物件且該第二訊框存在該目標物件；該第一訊框的擷取時間點早於該第二訊框的擷取時間點；該第三訊框係以該背景區塊取代該目標區塊的該第二訊框；該目標區塊中具有該目標物件，該目標區塊位於該第二訊框之一位置，該背景區塊於該第一訊框中對應於該位置；該輸出訊框係依據該第三訊框、一透明度係數及該第二訊框及該目標區塊其中一者所產生，該輸出訊框呈現被該目標物件擋住的該背景區塊的一部分。
如請求項6所述的應用於教學或會議的實物投影機，其中該攝像裝置包括：一影像感應器，該影像感應器用以取得該視訊；以及一感測器，用以感測一拍攝方向上之該目標物件並產生一觸發訊號；其中該處理器更依據該觸發訊號執行演算法以偵測該目標物件。
如請求項6所述的應用於教學或會議的實物投影機，其中該處理器包括：一運算單元，執行該演算法以偵測該目標物件並輸出該目標區塊；以及一處理單元，電性連接該運算單元，該處理單元依據該目標區塊確認該位置，選取該背景區塊，並產生該第三訊框及該輸出訊框。
如請求項7所述的應用於教學或會議的實物投影機，其中該演算法係單次多框偵測器(Single Shot Multibox Detector，SSD)或YOLO(You Only Look Once)。
如請求項8所述的應用於教學或會議的實物投影機，其中該運算單元依據該目標區塊的一形狀選擇對應該形狀的一判斷模型，其中該形狀包括一矩形或該目標物件之外形。