TWI810840B

TWI810840B - 透明化目標物件的方法及影像處理系統

Info

Publication number: TWI810840B
Application number: TW111108480A
Authority: TW
Inventors: 謝仁堡; 蔡閏旭; 謝昀龍
Original assignee: 圓展科技股份有限公司
Priority date: 2022-03-09
Filing date: 2022-03-09
Publication date: 2023-08-01
Also published as: TW202336698A; US20230290013A1; US12373994B2

Abstract

透明化目標物件的方法以處理器執行下列步驟：從視訊的訊框擷取對應於目標物件的目標區塊，設定對應於目標區塊的目標透明化權重，對目標區塊執行膨脹操作，以產生包圍目標區塊的膨脹外框，設定對應於膨脹區塊的膨脹透明化權重，膨脹區塊為膨脹外框內目標區塊外的區域，膨脹透明化權重相異於目標透明化權重，依據膨脹外框從訊框分割出背景區塊，以及依據先前背景區塊、背景區塊、目標區塊、目標透明化權重、膨脹區塊及膨脹透明化權重進行疊合操作以產生輸出訊框，先前背景區塊不對應於目標物件。

Description

透明化目標物件的方法及影像處理系統

本發明涉及物件偵測、實例分割及影像處理，特別是一種在視訊中透明化目標物件的方法。

在教學影片中，若演講者（例如教師）的身體擋住黑板或投影片，將造成觀看者（例如學生）的不便，例如看不到欲抄寫的內容。

雖然，目前已存在將演講者身體透明化的方法，但這種技術仍未臻完善。詳言之，現有技術是針對影像分割出前景及背景，其中前景為演講者，背景為包含筆跡的黑板或投影片（或者前景是黑板上的筆跡或投影片，背景是前景以外的部分），然後調整前景及背景的RGB像素值並進行疊合，藉此達到透明化的效果。然而，這種方式可能導致殘影，或是視覺上可明顯看出用於拼接前景及背景的邊界，從而降低觀看者的觀看體驗。另外，當演講者的衣服顏色太過鮮豔時，按現有的透明化方法並無法讓觀看者清楚地看到衣服所擋住的黑板或投影片上的內容。

有鑑於此，本發明提出一種透明化目標物件的方法及影像處理系統。

依據本發明一實施例的一種透明化目標物件的方法，適用於一視訊，該方法包括以處理器執行的下列步驟：從該視訊的一訊框擷取一目標區塊，該目標區塊對應於一目標物件；設定對應於該目標區塊的一目標透明化權重；對該目標區塊執行膨脹操作，以產生包圍該目標區塊的一膨脹外框；設定對應於一膨脹區塊的一膨脹透明化權重，其中該膨脹區塊為該膨脹外框內該目標區塊外的區域，且該膨脹透明化權重相異於該目標透明化權重；依據該膨脹外框從該訊框分割出一背景區塊；以及依據一先前背景區塊、該背景區塊、該目標區塊、該目標透明化權重、該膨脹區塊及該膨脹透明化權重進行一疊合操作以產生一輸出訊框，該先前背景區塊不對應於該目標物件。

依據本發明一實施例的一種透明化目標物件的方法，適用於一視訊，該方法包括以處理器執行的下列步驟：從該視訊的一第一訊框擷取一第一目標區塊及一第一背景區塊，其中該第一目標區塊對應於一目標物件，且該第一背景區塊不對應於該目標物件；設定對應於該第一目標區塊的一目標透明化權重；從該視訊的一第二訊框擷取一第二目標區塊及一第二背景區塊，其中該第二訊框延遲於該第一訊框，該第二目標區塊對應於該目標物件，且該第二背景區塊不對應於該目標物件；依據一混合高斯模型，基於像素尺度判斷該第二背景區塊與該第一背景區塊的一差異像素數量；其中當該差異像素數量大於一差異閾值時，刪除該第一背景區塊及該第二背景區塊，且重置該目標透明化權重；當該差異像素數量不大於該差異閾值時，依據該第二背景區塊更新該第一背景區塊；以及依據一先前背景區塊、更新後的該第一背景區塊、該目標透明化權重、以及該第一目標區塊與該第二目標區塊中的一者進行一疊合操作以產生一輸出訊框。

依據本發明一實施例的一種影像處理系統，包括：一攝像裝置，用以拍攝一目標物件以產生一視訊；一顯示裝置，該顯示裝置依據一輸出訊框呈現一輸出視訊；以及一處理器，電性連接該攝像裝置及該顯示裝置，該處理器用以執行多個指令以產生該輸出訊框，該些指令包括：從該視訊的一訊框擷取一目標區塊，該目標區塊對應於一目標物件；設定對應於該目標區塊的一目標透明化權重；對該目標區塊執行膨脹操作，以產生包圍該目標區塊的一膨脹外框；設定對應於一膨脹區塊的一膨脹透明化權重，其中該膨脹區塊為該膨脹外框內該目標區塊外的區域，該膨脹透明化權重相異於該目標透明化權重；依據該膨脹外框從該訊框分割出一背景區塊；以及依據一先前背景區塊、該背景區塊、該目標區塊、該目標透明化權重、該膨脹區塊及該膨脹透明化權重進行一疊合操作以產生一輸出訊框，該先前背景區塊不對應於該目標物件。

綜上所述，本發明提出的透明化目標物件的方法及影像處理系統對於目標物件具有良好的透明效果，依據本發明產生的輸出視訊，在視覺上不會看到明顯的目標物件與背景之間的分隔線。本發明針對習知的物件偵測演算法及實例切割演算法的缺點進行改進，透過多個膨脹外框對應多個膨脹透明化權重的機制改善透明化目標物件的視覺效果，透過延遲更新目標區塊避免視訊中目標物件的殘影現象。本發明更針對目標物件的色彩飽和度動態地調整用於目標物件的透明化權重，即使演講者穿著鮮豔的衣服，觀看輸出視訊的觀看者仍然可以看到透明化的演講者後方的黑板文字。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及特點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之構想及特點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

圖1是本發明一實施例的影像處理系統的方塊圖。在本實施例中，影像處理系統包括攝像裝置1、處理器3及顯示裝置5。處理器3電性連接攝像裝置1及顯示裝置5。在其他實施例中，本發明不限制處理器3的安裝位置，例如處理器3可與攝像裝置1設置於同一裝置或分離設置。在其他實施例中，顯示裝置5可以是外部裝置，與處理器3攝像裝置1分離設置。例如，影像處理系統可以是包括攝像裝置1及處理器3的攝影機(例如實物投影機(（Document Camera），且攝影機另外電性連接一顯示裝置5。

攝像裝置1拍攝目標物件以產生一視訊。處理器3用以執行多個指令，這些指令關聯於本發明一實施例的透明化目標物件的方法。這些指令以視訊的多個訊框（frame）作為輸入，並產生一輸出訊框。顯示裝置5依據輸出訊框呈現一輸出視訊。

圖2是本發明一實施例的透明化目標物件的方法的流程圖，此方法適用於一視訊，並包括視訊分割階段、前景處理階段、背景處理階段以及視訊輸出階段。視訊分割階段包括步驟A1、A2及A3，前景處理階段包括步驟B1、B2及B3，背景處理階段包括步驟C1及C2，視訊輸出階段包括步驟D1。在本發明其他實施例中，除了必須執行的視訊分割階段及視訊輸出階段之外，可以選擇只執行前景處理階段及背景處理階段中的一者，另一者則採用習知的前景處理方法或背景處理方法。

請參考圖2，在視訊分割階段中，處理器3執行下列步驟：步驟A1是「偵測目標物件以產生第一目標區塊」，步驟A2是「依據第一目標區塊產生膨脹外框」，步驟A3是「依據膨脹外框分割第一背景區塊」。

在步驟A1中，對於視訊中的第一訊框，處理器3偵測目標物件以產生第一目標區塊。請參考圖3，左側是第一訊框F及第一目標區塊K0的示意圖。目標物件例如是人體。而第一目標區塊K0的形狀可以是包含大部分人體輪廓的人形，也可以是包含大部分人體輪廓的長方形，本發明不限制第一目標區塊K0的形狀。在第一訊框中，第一目標區塊K0相當於「前景」，非第一目標區塊的部分相當於「背景」。

在步驟A1中，處理器3從視訊的第一訊框F中擷取第一目標區塊K0。在一實施例中，最少僅需要一個訊框就能夠偵測並擷取出第一目標物件K0。在其他實施例中，可使用二個以上的連續的訊框擷取第一目標物件K0。詳言之，處理器3對第一訊框F執行物件偵測（Object detection）演算法以偵測第一目標區塊K0是否存在（第一訊框F是否拍攝到目標物件）。當第一目標區塊K0存在時，處理器3執行實例分割（Instance segmentation）演算法，類似演算法如：Mask R-CNN、DeepMask。以取得第一目標區塊K0在第一訊框F中的邊界L0，再依據此邊界L0擷取第一目標區塊K0。物件偵測演算法例如：單次多框偵測器（SSD）、YOLO（）或類神經網路模型（例如卷積神經網路（CNN）、遞歸神經網路（RNN）或深度神經網路（DNN）），但本發明不限於上述範例。

在步驟A2中，處理器3對第一目標區塊K0執行膨脹（Dilate）操作以產生包圍第一目標區塊K0的膨脹外框。圖3左側是第一訊框F、第一目標區塊K0、第一目標區塊的邊界L0以及執行兩次膨脹操作得到的第一膨脹外框L1及第二膨脹外框L2的示意圖。本發明不限制膨脹操作執行的次數上限。

為便於理解，在此舉例說明膨脹操作，但本發明對此不予限制。膨脹操作的起點是第一目標區塊K0的結構元素（kernel）。在一實施例中，結構元素預設為一矩形，預設為結構元素的中央為原點位置（anchor），本發明對此不予限制。在進行膨脹操作時，以結構元素掃描影像中每一個像素點，並以結構元素與影像進行邏輯運算，以得到的第一膨脹外框L1。接著，以第一膨脹外框L1執行膨脹操作以得到第二膨脹外框L2。

在一實施例中，膨脹幅度指的是L0和L1之間的距離，或是L2和L3之間的距離。在另一實施例中，膨脹幅度指的是從膨脹中心點到膨脹外框L1或L2的距離，且不同的膨脹方向可對應至不同的膨脹幅度。

在一實施例中，處理器3依據第一目標區塊K0的面積設定膨脹幅度，膨脹幅度與第一目標區塊K0的面積成正比。實務上，攝像裝置1的鏡頭距離目標物件愈近，第一目標區塊K0的面積就愈大，且膨脹幅度的設定值就愈大。

在其他實施例中，處理器3也可以依據第一目標區塊K0的面積佔第一訊框F0的面積的比例設定膨脹幅度。

基於上述膨脹幅度及膨脹方向的實施例中的至少一個，在步驟A2中，處理器3依據第一目標區塊的邊界L0向外膨脹M次，並記錄最後N次產生的膨脹外框，其中M ≥ N ≥ 1。圖3左側是第一目標區塊K0、第一膨脹外框L1及第二膨脹外框L2的示意圖（M = N = 2），其中第一膨脹外框L1是依據第一目標區塊的邊界L0執行一次膨脹操作而得到，第二膨脹外框L2是依據第一目標區塊的邊界L0執行兩次膨脹操作而得到（也可以是迭代方式，例如依據第一目標區塊的邊界L0膨脹一次得到第一膨脹外框L1，再以第一膨脹外框L1膨脹一次得到第二膨脹外框L2）。如圖3左側所示，第一目標區塊K0的形狀與每個膨脹外框L1、L2所包圍的形狀基本上相同，都是人形。

如前文所述，第一目標區塊K0的形狀可以包含「大部分」人體輪廓的人形。然而，在步驟A1中所採用的實例分割演算法可能無法將人形與背景作出完美的分割。理論上，目標物件的衣服對應到第一訊框F中的多個像素應該全部位於第一目標區塊K0內；然而實務上，這些像素可能有一部分被演算法分類在第一目標區塊K0外；因此，本發明提出：藉由調整膨脹操作的次數或膨脹幅度的大小以解決實例分割演算法準確率不足的問題。

在步驟A3中，處理器3依據最大的膨脹外框（例如圖3中的第二膨脹外框L2）分割出第一背景區塊G，這樣可避免將人形的局部（即實例分割演算法未成功切割的部分）儲存至第一背景區塊G，避免導致輸出的視訊中具有殘影。步驟A3的輸出如圖3右側所示，上方為扣第二除膨脹外框L2的第一背景區塊G；下方為第一目標區塊K0、第一膨脹區域K1及第二膨脹區域K2。第一目標區塊K0是第一目標區塊的邊界L0以內的區域。第一膨脹區域K1是第一目標區塊K0以外，第一膨脹外框L1以內的區域。第二膨脹區域K2是第一膨脹區域K1以外，第二膨脹外框L2以內的區域。

整體而言，視訊分割階段的流程，包括：從視訊的訊框擷取目標區塊，目標區塊對應於目標物件；對目標區塊執行膨脹操作，以產生包圍目標區塊的膨脹外框；以及依據膨脹外框從訊框分割背景區塊。

請參考圖2，在前景處理階段中，處理器3執行下列步驟：步驟B1是「設定目標透明化權重及膨脹透明化權重」，步驟B2是「轉換色彩空間」，步驟B3是「依據飽和度大於飽和閾值的像素數量提高透明化權重」。

在步驟B1中，處理器3設定對應於目標區塊的目標透明化權重，並設定對應於膨脹區塊的膨脹透明化權重。膨脹透明化權重相異於目標透明化權重，例如膨脹透明化權重不大於目標透明化權重。

在本發明一實施例的定義中，透明化權重的數值愈大代表應用此透明化權重的區塊在視覺上愈不透明，透明化權重的數值愈小代表應用此透明化權重的區塊在視覺上愈透明。然而本發明不受限於上述定義，實務上為了計算方便，也可以採用相反於上述定義的透明化權重（愈大愈透明，愈小愈不透明）。

在一實施例中，目標透明化權重為小於1的固定值，例如0.3。在另一實施例中，目標透明化權重取決於面積比例，面積比例為第一目標區塊K0的面積佔第一訊框F面積的比例，且面積比例與目標透明化權重成正比。換言之，在完成本發明所述方法後，第一目標區塊K0愈大則視覺上愈不透明，第一目標區塊K0愈則視覺上愈透明。

在一實施例中，不同的膨脹區塊對應到不同的膨脹透明化權重。膨脹區塊的面積（也可以是膨脹外框包圍的面積）與膨脹透明化權重呈反比。換言之，面積愈大的膨脹區塊其對應的膨脹透明化權重愈小。以圖3為例，第二膨脹外框L2的膨脹透明化權重不大於第一膨脹外框L1的權重。因此，在視覺上，第二膨脹區塊K0看起來比第一膨脹區塊K1更透明。

目標透明化權重的應用範圍是第一目標區塊K0中的所有像素，而膨脹透明化權重的應用範圍是膨脹區塊中的所有像素。以圖3為例，假設目標透明化權重為0.7，其應用範圍是第一目標區塊K0內的所有像素；假設第一膨脹外框L1的膨脹透明化權重為0.5，其適用的範圍是第一膨脹區塊K1內的所有像素；假設第二膨脹外框的膨脹透明化權重為0.3，其適用的範圍是第二膨脹區塊K2的所有像素。

在習知技術中，人形與背景的疊合通常是採用固定的目標透明化權重及背景透明化權重進行運算，但這種方式在視覺上會凸顯出人形與背景之間的邊界，讓觀看者不可避免地注意到人形與背景之間的色差。因此，本發明提出膨脹區域及膨脹透明化權重以解決此問題，由於不同的膨脹區域對應到不同的膨脹透明化權重，因此在透明度的呈現上具有如圖4所示的漸層效果。在圖4中，透過膨脹透明化權重由大而小的設置，讓第一至第六膨脹區塊K1~K6由內而外變得愈來愈透明。本發明提出的目標透明化權重及膨脹透明化權重可減少人形邊界與背景之間的色差，從而使透明化人形的視覺效果更為真實，避免觀看者注意到人形與背景分割的邊界。

在步驟B2中，處理器3轉換第一目標區塊K0的色彩空間。在一實施例中，視訊的色彩空間屬於紅綠藍（RGB），而處理器3將第一目標區塊K0的色彩空間轉換至色相、飽和度、亮度（HSV）。在另一實施例中，若視訊的色彩空間為HSV，則步驟B2可省略。

因為目標區塊內的所有像素皆採用同一個目標透明化權重，就視覺效果而言，高飽和度的像素的透明感會差於低飽和度的像素的透明感，從而讓觀眾看不清楚位於背景區塊的內容（如黑板上的文字）。考慮到上述情況，本發明在步驟B3提出更新目標透明化權重的機制。

在步驟B3中，處理器3依據飽和度大於飽和閾值的像素數量更新目標透明化權重。詳言之，從膨脹外框內的多個像素（含所有的膨脹區域及目標區塊，即：以人形膨脹的最大範圍）中，處理器3篩選出至少一像素作為飽和像素群，再依據飽和像素群的像素數量設定飽和透明化權重，最後依據飽和透明化權重更新目標透明化權重；其中飽和像素群的每一像素的飽和度大於飽和閾值。步驟B3的原則是：判斷膨脹外框中的所有像素是否具有大量（或高比例）的高飽和度像素，如果判斷結果為是，則需要降低透明化權重，以提高這些高飽和度像素在視覺上的透明度。至於判斷方式包括兩種實施方式，第一種實施方式：依據高飽和度像素的比例是否大於一比例閾值作判斷；第二種實施方式：依據高飽和度像素的數量是否大於一數量閾值作判斷。以下採用表格一列舉的實際數值說明這兩種判斷方式，但不以這些數值限制本發明。

表格一

膨脹外框	像素數量	飽和閾值（範圍：0~255）
第一	60	100
第二	80	150
第三	100	200
飽和像素群	像素數量（數量閾值20）	飽和像素佔比	飽和透明化權重 (比例閾值0.15)
第一	30	0.3 (30/100)	0.2
第二	20	0.2 (20/100)	0.4
第三	10	0.1 (10/100)	0.6

假設一個像素的飽和度範圍為0~255，又處理器3執行三次膨脹操作，產生第一、第二及第三膨脹外框，其中第三膨脹外框包圍的面積大於第一或第二膨脹外框包圍的面積。第一、第二及第三膨脹外框內部分別包含60、80及100個像素。處理器3依據飽和閾值判斷這100個像素分別屬於那一個飽和像素群，其中第一、第二及第三飽和像素群對應的飽和閾值的預設值為100、150及200。假設第一、第二及第三飽和像素群中的像素數量分別為30、20及10個。

在判斷高飽和度像素是否影響透明化權重的第一種實施方式中，處理器3分別計算出每個飽和像素群的像素數量佔第三膨脹外框內部的像素數量的比例，得到三個數值0.3、0.2及0.1，分別對應於第一、第二及第三飽和像素群。假設比例閾值為0.15，且第一、第二及第三飽和像素群對應的飽和透明化權重分別為0.2、0.4及0.6，因為0.2＞0.15，0.3＞0.15，所以處理器3可以採用第二及第三飽和像素群對應的飽和透明化權重0.4及0.6中的一者作為飽和透明化權重，並依據此飽和透明化權重更新目標透明化權重。

在判斷高飽和度像素是否影響透明化權重的第二種實施方式中，假設數量閾值為15，因為20＞15、30＞15，所以處理器3可以採用第二及第三飽和像素群對應的飽和透明化權重0.4及0.6中的一者作為飽和透明化權重，並依據此飽和透明化權重更新目標透明化權重。

請參考圖2，在步驟B1中，處理器3依據預設值設定或計算出一個臨時的目標透明化權重。在步驟B3中，處理器3更新此臨時目標透明化權重的方式包括：將臨時目標飽和透明化權重與飽和透明化權重相乘的乘積作為更新的目標透明化權重；或計算目標透明化權重與飽和透明化權重的加權平均值作為更新的目標透明化權重。

請參考圖2，在背景處理階段中，處理器3執行下列步驟：步驟C1判斷是否需要更新區塊，若判斷結果為「是」，執行步驟C2；若判斷結果為「否」，執行步驟D1。步驟C2是「區塊更新程序」。

圖5是本發明一實施例的區塊更新程序的流程圖。區塊更新程序C2包括四個階段，是取得先前背景區塊，包括步驟C21；第二階段用於判斷是鏡頭移動或是目標物件移動，包括步驟C22；第三階段用於處理鏡頭移動的區塊更新，包括步驟C23；第四階段用於處理目標物件移動的區塊更新，包括步驟C24、C25、C26、 C27及C28。

在步驟C21中，前一次執行本方法時產生的背景區塊（第一背景區塊G）被儲存為先前背景區塊，且處理器3取得此先前背景區塊。

在攝像裝置1錄製視訊的過程中，攝像裝置1的鏡頭及目標物件都有可能移動。在鏡頭移動的狀況中，背景通常是大幅度的改變；在目標物件移動的狀況中，背景通常只有小幅度的改變。在第二階段中，處理器3判斷第一訊框的錄製相較於先前訊框的錄製是否發生上述兩種移動狀況之一。

在第二階段中，處理器3執行步驟C22，判斷差異像素數量是否大於差異閾值，若判斷結果為「是」，執行步驟C23；若判斷結果為「否」，執行步驟C24。詳言之，處理器3依據混合高斯（Mixture of Gaussian，MOG）模型，基於像素尺度判斷第一背景區塊與先前背景區塊的差異像素數量。換言之，將整個訊框去除膨脹區塊的部分後，再進行MOG演算法。在第一背景區塊與先前背景區塊中，對於每一個相同位置的像素，處理器3首先計算這兩個像素的像素值是否相異，若判斷結果為「是」，則在第一背景區塊中，標示此位置的像素為差異像素。在標示出所有差異像素之後，處理器3依據MOG模型判斷每一差異像素是反映背景改變還是反映目標物件移動。若此差異像素是「反映目標物件移動」，則移除此差異像素的標示。最後，處理器3取得仍標示為差異像素的像素數量作為「差異像素數量」。

當差異像素數量大於一差異閾值時，代表鏡頭移動（或場景轉換）的狀況（因為已經扣除目標物件移動導致的差異像素），此時處理器3前往第三階段。當差異像素數量不大於該差異閾值時，代表目標物件移動的狀況，此時處理器3前往第四階段。除了採用差異閾值的判斷機制，在另一實施例中，處理器3可以改為計算差異像素數量相對於訊框像素數量的差異比例，並以此差異比例是否大於一差異比例閾值作為前往第三階段或前往第四階段的依據。

第三階段用於處理鏡頭移動的區塊更新，包括步驟C23「重置操作」，重置操作包括：處理器3刪除第一背景區塊及與先前背景區塊，並重置目標透明化權重及膨脹透明化權重，輸出第一訊框F（即步驟A1中處理器3從視訊取得的第一訊框F），然後回到步驟A1繼續執行圖2所示的流程，藉此重新取得新的背景區塊。

第四階段用於處理目標物件移動的區塊更新，包括步驟C24~C28。步驟C24是「依據第一背景區塊更新先前背景區塊」，步驟C25判斷第一目標區塊的像素數量是否大於下限，步驟C26判斷等待時間是否超過容許值，步驟C27是「依據第一目標區塊更新先前目標區塊」，步驟C28是「不更新先前目標區塊」。

當差異像素數量不大於差異閾值時，在步驟C24中，處理器3依據第一背景區塊更新先前背景區塊。更新方式例如是處理器3以第一背景區塊取代先前背景區塊，或者是處理器3以第一背景區塊的像素取代先前背景區塊中相異於第一背景區塊的像素。

在步驟C22~C24中，已完整說明背景區塊的更新機制，以下說明目標區塊的更新機制及其考量。

在步驟C25，處理器3判斷第一目標區塊是否存在。詳言之，在依據第一背景區塊更新先前背景區塊之後，處理器3判斷第一目標區塊的像素數量是否大於下限，此下限值可依據先前目標區塊的像素數量動態地調整。在其他實施例中，也可以採用其他的參數作為判斷第一目標區塊時否存在的判斷機制，例如第一目標區塊的形狀。當第一目標區塊的像素數量不大於下限時，處理器3開始累計一等待時間，並執行步驟C26；當第二目標區塊的像素數量大於下限時，處理器3執行步驟C27。

在步驟C26中，若等待時間超過容許值，處理器3執行步驟C23，刪除先前背景區塊及第一背景區塊，且重置目標透明化權重及膨脹透明化權重。若等待時間尚未超過容許值，處理器3執行步驟C28。

若第一目標區塊確實存在，處理器3可以執行步驟C27，依據第一目標區塊更新先前目標區塊。更新方式可參考前文所述背景區塊的更新方式。

在步驟C28中，處理器3不更新先前目標區塊。因此，後續的步驟D1將使用原本的先前目標區塊。

關於目標區塊的更新考量敘述如下：實務上，步驟A1及A1’中採用的物件偵測演算法的準確率可能未達100%，故可能發生如下狀況：處理器3在先前訊框偵測到目標物件，但在第一訊框未偵測到目標物件（或是將其他物件誤判為目標物件）。若以錯誤的第一目標區塊進行後續操作，將導致人形以外的部分被錯誤地透明化，進而影響觀看體驗。因此，本發明透過步驟C25及C26解決此問題。步驟C25係用於判斷在步驟A1’中執行的物件偵測演算法的輸出是否正常，如果第一目標區塊的像素數量大於下限值，代表物件偵測演算法本次成功地產生第一目標區塊，因此可在步驟C27以新的目標區塊取代舊的目標區塊。另一方面，如果第一目標區塊的像素數量小於下限值，代表物件偵測演算法本次無法產生第一目標區塊，因此，處理器3沿用先前目標區塊進行後續的疊合操作，從而避免在視覺上看到人形突然消失又突然出現的狀況。

請參考圖2，在視訊輸出階段中，處理器3執行步驟D1「進行疊合操作以產生輸出訊框」。請參考圖6，其為本發明一實施例的疊合操作示意圖，並採用圖3的範例。詳言之，處理器3依據先前背景區塊KH、背景區塊G、第一目標區塊K0、目標透明化權重、第一膨脹外框L1、第二膨脹外框L2及膨脹透明化權重進行一疊合操作以產生輸出訊框。

上述的第一目標區塊K0指的是步驟C27更新後的第一目標區塊K0或步驟C28未更新的第一目標區塊K0；目標透明化權重指的是在步驟B3更新過的目標透明化權重；膨脹外框L1、L2在步驟A2中產生，膨脹透明化權重在步驟B1產生。

背景區塊G是步驟C24更新後的第一背景區塊或返回步驟A1之後重新分割產生的第一背景區塊，背景區塊G對應的透明化權重固定為1，因為背景區塊G中並無對應於目標物件的像素，因此不需要進行透明化。請注意：先前背景區塊KH更包括從最近幾次暫存的多個先前背景區塊中選擇一者。所選擇的先前背景區塊KH在位置上對應於第一目標區塊K0，且所選擇的先前背景區塊KH不對應於目標物件。另外，先前背景區塊KH的面積必須大於或等於第一目標區塊K0。因此，將先前背景區塊KH與第一目標區塊K0各自採用對應的透明化權重疊合之後，將使得目標物件具有透明化的效果，其中先前背景區塊KH對應的權重例如是固定數值1減去目標透明化權重的差值。在一實施例中，處理器3將目標區塊的每個像素的像素值與目標透明化權重相乘，將先前背景區塊的每個像素的像素值與先前背景區塊KH對應的透明化權重相乘，再將這兩個區塊中屬於同一位置的像素值相加，其中先前背景區塊對應的透明化權重與目標透明化權重具有反比關係。

實務上，處理器3多次執行步驟D1產生多個輸出訊框，這些輸出訊框組成一輸出視訊，輸出視訊中對應於目標物件的區塊在視覺上具有透明的效果，因此觀看者可看到真實世界中被目標物件擋住的資訊。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

100:攝影系統 1:攝像裝置 3:處理器 5:顯示裝置 L0:第一目標區塊的邊界 L1:第一膨脹外框 L2:第二膨脹外框 L3:第三膨脹外框 L4:第四膨脹外框 L5:第五膨脹外框 L6:第六膨脹外框 G:第一背景區塊 K0:第一目標區塊 K1:第一膨脹區塊 K2:第二膨脹區塊 K3:第三膨脹區塊 K4:第四膨脹區塊 K5:第五膨脹區塊 K6:第六膨脹區塊 KH:先前背景區塊 A1,A2,A3,B1,B2,B3,C1,C2,D1:步驟 A1’,A2’,A3’,C22,C23,C24,C25,C26,C27,C28:步驟

圖1是本發明一實施例的影像處理系統的方塊圖；圖2是本發明一實施例的透明化目標物件的方法的流程圖；圖3是訊框、目標區塊、膨脹外框及背景區塊的示意圖；圖4是多個膨脹外框及其對應的膨脹透明化權重的視覺效果圖；圖5是本發明一實施例的區塊更新程序的流程圖；以及圖6是本發明一實施例的疊合操作的示意圖。

A1,A2,A3,B1,B2,B3,C1,C2,D1:步驟

Claims

一種透明化目標物件的方法，適用於一視訊，該方法包括以處理器執行的下列步驟：從該視訊的一訊框擷取一目標區塊，該目標區塊對應於一目標物件；設定對應於該目標區塊的一目標透明化權重；對該目標區塊執行膨脹操作，以產生包圍該目標區塊的一膨脹外框；設定對應於一膨脹區塊的一膨脹透明化權重，其中該膨脹區塊為該膨脹外框內該目標區塊外的區域，且該膨脹透明化權重相異於該目標透明化權重；依據該膨脹外框從該訊框分割出一背景區塊；以及依據一先前背景區塊、該背景區塊、該目標區塊、該目標透明化權重、該膨脹區塊及該膨脹透明化權重進行一疊合操作以產生一輸出訊框，該先前背景區塊不對應於該目標物件。
如請求項1所述透明化目標物件的方法，在產生該輸出訊框之前，更包括：從該膨脹外框內的多個像素中篩選出至少一像素作為一飽和像素群，其中該飽和像素群的每一像素的飽和度大於一飽和閾值；依據該飽和像素群的像素數量設定一飽和透明化權重；以及依據該飽和透明化權重更新該目標透明化權重。
如請求項2所述透明化目標物件的方法，其中對該目標區塊執行膨脹操作包括：依據該目標區塊的面積設定一膨脹幅度，該膨脹幅度與該目標區塊的面積成正比；以及依據該膨脹幅度及該目標區塊的一中心點執行膨脹操作以產生該膨脹外框。
如請求項1所述透明化目標物件的方法，在從該視訊的該訊框擷取該目標區塊之前，更包括：對該訊框執行一物件偵測演算法以偵測該目標區塊是否存在；當該目標物件存在時，執行一實例分割（instance segmentation）演算法以取得該目標物件的邊界；依據該目標物件的邊界擷取該目標區塊；以及當該目標物件不存在時，等待一通知以再次執行該物件偵測演算法。
如請求項1所述透明化目標物件的方法，其中該訊框為第一訊框，該目標區塊為一第一目標區塊，該背景區塊為一第一背景區塊，所述透明化目標物件的方法更包括：取得一先前背景區塊，並依據一混合高斯模型，基於像素尺度判斷該第一背景區塊與該先前背景區塊的一差異像素數量；其中當該差異像素數量大於一差異閾值時，刪除該先前背景區塊及該第一背景區塊，且重置該目標透明化權重及該膨脹透明化權重；以及當該差異像素數量不大於該差異閾值時，依據該第一背景區塊更新該先前背景區塊。
如請求項5所述透明化目標物件的方法，在依據該第一背景區塊更新該先前背景區塊之後，更包括：判斷該第一目標區塊的像素數量是否大於一下限；當該第一目標區塊的像素數量大於該下限時，依據該第一目標區塊更新該先前目標區塊；當該第一目標區塊的像素數量不大於該下限時，累計一等待時間，其中當該等待時間超過一容許值時，刪除該先前背景區塊及該第一背景區塊，且重置該目標透明化權重及該膨脹透明化權重；以及當該等待時間未超過該容許值時，依據該第一目標區塊更新該先前目標區塊。
一種透明化目標物件的方法，適用於一視訊，該方法包括以處理器執行的下列步驟：從該視訊的一第一訊框擷取一第一目標區塊及一第一背景區塊，其中該第一目標區塊對應於一目標物件，且該第一背景區塊不對應於該目標物件；設定對應於該第一目標區塊的一目標透明化權重；從該視訊的一第二訊框擷取一第二目標區塊及一第二背景區塊，其中該第二訊框延遲於該第一訊框，該第二目標區塊對應於該目標物件，且該第二背景區塊不對應於該目標物件；依據一混合高斯模型，基於像素尺度判斷該第二背景區塊與該第一背景區塊的一差異像素數量；其中當該差異像素數量大於一差異閾值時，刪除該第一背景區塊及該第二背景區塊，且重置該目標透明化權重；當該差異像素數量不大於該差異閾值時，依據該第二背景區塊更新該第一背景區塊；以及依據一先前背景區塊、更新後的該第一背景區塊、該目標透明化權重、以及該第一目標區塊與該第二目標區塊中的一者進行一疊合操作以產生一輸出訊框。
如請求項7所述透明化目標物件的方法，在依據該第二背景區塊更新該第一背景區塊之後，更包括：判斷該第二目標區塊的像素數量是否大於一下限；當該第二目標區塊的像素數量大於該下限時，依據該第二目標區塊更新該第一目標區塊；當該第二目標區塊的像素數量不大於該下限時，累計一等待時間，其中當該等待時間超過一容許值時，刪除該第一背景區塊及該第二背景區塊，且重置該目標透明化權重；以及當該等待時間未超過該容許值時，依據該第二目標區塊更新該第一目標區塊。
一種影像處理系統，包括：一攝像裝置，用以拍攝一目標物件以產生一視訊；一顯示裝置，該顯示裝置依據一輸出訊框呈現一輸出視訊；以及一處理器，電性連接該攝像裝置及該顯示裝置，該處理器用以執行多個指令以產生該輸出訊框，該些指令包括：從該視訊的一訊框擷取一目標區塊，該目標區塊對應於一目標物件；設定對應於該目標區塊的一目標透明化權重；對該目標區塊執行膨脹操作，以產生包圍該目標區塊的一膨脹外框；設定對應於一膨脹區塊的一膨脹透明化權重，其中該膨脹區塊為該膨脹外框內該目標區塊外的區域，該膨脹透明化權重相異於該目標透明化權重；依據該膨脹外框從該訊框分割出一背景區塊；以及依據一先前背景區塊、該背景區塊、該目標區塊、該目標透明化權重、該膨脹區塊及該膨脹透明化權重進行一疊合操作以產生一輸出訊框，該先前背景區塊不對應於該目標物件。
如請求項1所述的影像處理系統，其中該處理器更用以：從該膨脹外框內的多個像素中篩選出至少一像素作為一飽和像素群，其中該飽和像素群的每一像素的飽和度大於一飽和閾值；依據該飽和像素群的像素數量設定一飽和透明化權重；以及依據該飽和透明化權重更新該目標透明化權重。