[go: up one dir, main page]

TWI520077B - The use of face recognition to detect news anchor screen - Google Patents

The use of face recognition to detect news anchor screen Download PDF

Info

Publication number
TWI520077B
TWI520077B TW102126632A TW102126632A TWI520077B TW I520077 B TWI520077 B TW I520077B TW 102126632 A TW102126632 A TW 102126632A TW 102126632 A TW102126632 A TW 102126632A TW I520077 B TWI520077 B TW I520077B
Authority
TW
Taiwan
Prior art keywords
anchor
face
news
image
frame
Prior art date
Application number
TW102126632A
Other languages
English (en)
Other versions
TW201504955A (zh
Inventor
蔡立武
劉繼謚
鄭和燦
Original Assignee
中華電信股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中華電信股份有限公司 filed Critical 中華電信股份有限公司
Priority to TW102126632A priority Critical patent/TWI520077B/zh
Publication of TW201504955A publication Critical patent/TW201504955A/zh
Application granted granted Critical
Publication of TWI520077B publication Critical patent/TWI520077B/zh

Links

Landscapes

  • Image Analysis (AREA)

Description

利用人臉辨識偵測新聞主播畫面的方法
本發明係關於一種偵測新聞節目中主播畫面的方法，特別係指一種結合影像處理與視覺內容分析的新聞主播畫面偵測技術。本發明所提方法是以主播人臉做為主播畫面的關鍵特徵，故需以人臉辨識技術來辨認新聞中出現的人臉。除此之外，本發明結合非監督式學習技術使所提之方法的運行可以完全自動化。
主播畫面為新聞節目中的一個特殊場景。一般來說，一個新聞節目主要由數十則新聞報導所組成，而每一則新聞報導又為一個新聞主播畫面與緊接的記者採訪畫面所構成。
偵測主播畫面的基本概念就是針對新聞主播畫面的重要特徵與特性進行偵測。常見的方法大致可分為兩種，一種為場景變化偵測法(scene change detection)，係從新聞中找出主播畫面與採訪畫面的轉折點。此原理在於因主播畫面有特殊的畫面結構，包括位置固定的主播與變動甚少的背景畫面，這相對在各種場合下拍攝的採訪畫面會來得更加穩定。所以當新聞從一個變動場景轉換到一個穩定的場景，就極有可能是主播畫面的出現。故從變動場景到穩定場景的轉折點與從穩定場景到變動場景的轉折 點之間即為主播畫面；另一種方法則為場景群聚法(scene clustering)，係分析完整一部的新聞節目，將相似的畫面分別群聚在一起後，再從中過濾出主播畫面。此方法的原理在於因主播畫面有固定的畫面結構，所以分屬不同報導的主播畫面之間仍具有相當高的相似度，故能由分群過程將其聚集在一起。接著，透過主播畫面具有依一定頻率重複出現的特性，可以找出真正由主播畫面所組成的那一群畫面以達到偵測主播畫面的效果。
不過，近年來隨著科技的演進，上述的兩類方法出現了新的缺點。一是目前的新聞畫面相較於過去更加花俏、多變。傳統的方法都是基於認定主播畫面中，主播都是保持在同一個位置，而且其身後的背景部分是固定不變或只有些許變化。但就觀察目前的新聞節目可知，在同一個新聞節目中主播的位置是會變動的，而且採訪畫面的片段與報導相關的動畫特效已取代過去制式不變的佈景成為主播畫面背景的一部分。故透過偵測背景畫面變動程度來找出主播畫面的方法，其精確度會因此大幅下降。例如先前的中華民國專利M386559、美國專利7720281B2號案中，利用人體膚色偵測來排除掉新聞畫面中可能為主播人臉的區塊，接著採用場景變化偵測法從剩餘背景畫面的變化找出新聞主播畫面。而且，其方法的皮膚顏色必須事先定義，但膚色可能會隨著不同新聞訊號來源而有所變動，進而影響其方法效能的穩定。除此之外，傳統的場景群聚法不適用於即時的新聞串流(streaming)，因為它必須分析完整一部新聞節目的畫面分布。但隨著智慧型電視(smart TV)逐漸成為新一代的電視產品，與過去不同的是智慧型電視具有連結網路的特性與人機互動的功能。這使得觀眾不再只是接收訊息的一方，進而可以與電視進行更多的即時互動。倘若為了提供觀眾即 時的新聞內容互動功能，就必須以具即時性且不需人工介入的技術來分析新聞。需要等待到整部新聞播放完畢才能開始分析的技術是無法符合需求的。
由此可見，上述習用方式仍有諸多缺失，實非一良善之設計，而亟待加以改良。
本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件利用人臉辨識偵測新聞主播畫面的方法。
本發明之目的即在於針對新聞節目提出一種偵測主播畫面的方法。係可分析即時的新聞串流，並隨著新聞的播放同步偵測出當中的每一個主播畫面與其的起始播放時間。
本發明之次一目的在於提供一種偵測新聞主播畫面的方法，係可在不分析整張影格(frame)的情況下偵測出主播畫面，以因應主播畫面之穩定特性愈來愈不明顯的現象。
本發明之再一目的在於提供一種新聞主播人臉模型的非監督式學習方法，係可以利用新聞節目開始的一個片段，在不需人為介入的情況下自動且即時地訓練出該新聞的主播人臉模型。
達成上述發明目的之利用人臉辨識偵測新聞主播畫面的方法，係利用主播人臉的辨識技術偵測出新聞中的每一個主播畫面。因為主播的人臉為主播畫面中一個相當穩定的關鍵特徵且不受背景畫面干擾，所 以透過主播的人臉能很迅速地偵測到主播畫面的出現。為了判斷一個新聞影格中是否含有主播人臉，需先透過人臉偵測技術先找出此影格中的所有人臉圖像，再進一步辨識是否有人臉圖像為主播的人臉。而在主播人臉辨識的過程中需要使用到此新聞主播的人臉模型，若與一張人臉圖像與主播人臉模型之間的差異小於誤差範圍內，即可認定此張人臉為主播人臉。為了獲得主播人臉模型，本發明所提出之方法是利用新聞節目開始一個片段，即時透過非監督式學習法所自動訓練出來的。之後，隨著新聞的播放，每當連續有數個影格皆含有主播人臉，即代表有可能是主播畫面的出現。
本發明所提出之方法包括二大步驟：(一)主播人臉學習：先擷取新聞節目開始一個片段中之所有人臉圖像，接著分析圖像，以過濾出最有可能的主播人臉圖像，並藉此訓練出這個新聞的主播人臉模型。得到主播人臉模型後，再擷取新聞接下來一個片段中的所有人臉圖像，然後分析這些人臉圖像與主播人臉模型之間的差異，進一步評估出一張人臉圖像是否為新聞主播人臉的標準為何；(二)主播畫面偵測：完成步驟(一)後，利用主播人臉模型與主播人臉標準，辨識播放中的新聞，何時會出現含有主播人臉的影格。每當含有主播人臉的影格，在一段時間內頻繁地出現，即代表此段時間有一個主播畫面，並推估出此主播畫面之起始播放時間。
一種利用人臉辨識偵測新聞主播畫面的方法，其步驟包括：a.主播人臉學習，係利用新聞節目開始的一個片段，以非監督式學習法，即時訓練出此新聞節目的主播人臉模型與主播人臉標準；以及b.主播畫面偵測，係利用自步驟a中得到的主播人臉模型與主播人臉標準，辨識出新聞中依序出現的主播，以即時偵測出主播畫面與其的起始播放 時間。
其中，該主播人臉學習，其步驟係包括：c.主播人臉模型訓練，係利用新聞節目一個片段中的人臉圖像，自動過濾出主播的人臉圖像以訓練出此新聞節目的主播人臉模型；以及d.主播人臉標準評估，係利用步驟c中得到的主播人臉模型與另一新聞節目片段中的人臉圖像，評估出一張人臉圖像為主播人臉的標準。
其中，該主播人臉模型訓練，其步驟係包括：透過一新聞影像接收組件，依序擷取新聞影像訊號中的影格；透過一人臉偵測組件，利用人臉偵測技術擷取出一個影格中的全部人臉圖像；以及透過一主播人臉模型訓練組件，利用自人臉偵測組件所得的複數張人臉圖像訓練出主播人臉模型。
其中，該主播人臉標準評估，其步驟係包括：透過一新聞影像接收組件，依序擷取新聞影像訊號中的影格；透過一人臉偵測組件，利用人臉偵測技術擷取出一個影格中的全部人臉圖像；以及透過一主播人臉標準評估組件，利用自人臉偵測組件所得的複數張人臉圖像與主播人臉模型以評估出主播人臉標準。
其中，該主播畫面偵測，其步驟係包括：透過一新聞影像接收組件，依序擷取新聞影像訊號中的影格；透過一人臉偵測組件，利用人臉偵測技術擷取出一個影格中的所有人臉圖像； 透過一主播影格辨識組件，利用主播人臉辨識技術判斷一個影格是否為含有此新聞節目主播的人臉圖像之影格，即主播影格；以及透過一主播畫面偵測組件，利用主播影格偵測主播畫面與其的起始播放時間。
其中，該主播影格辨識組件，內含處理步驟包括：e.擷取一個影格中所有人臉圖像的影像特徵值；f.基於影像特徵值，計算每一張人臉圖像與主播人臉模型的相異值後，利用主播人臉標準計算相異值的標準分數；以及g.由標準分數辨識是否有人臉圖像為主播人臉，並據此將含有主播人臉的影格設定為主播影格。
其中，該主播畫面偵測組件，內含處理步驟包括：h.將接收到的一個影格之影格類型儲存於一個變量，其存有包含此個影格在內的過去ND個影格的影格類型；i.計算變量中主播影格的數量R；j.檢查R>ND/2條件是否成立；k.當j所述之條件成立時，係指偵測到一個主播畫面，故將目前主播畫面偵測狀態設為主播狀態，否則設為非主播狀態；以及l.當j所述之條件成立且主播畫面偵測狀態是由非主播狀態轉換為目前的主播狀態時，輸出變量中的最早一個主播影格之播放時間做為此個主播畫面的起始播放時間。
其中，該主播畫面偵測狀態，係指在主播畫面偵測過程中的兩種狀態，其包括： 新聞目前處於主播畫面的主播狀態；以及新聞目前不處於主播畫面的非主播狀態。
其中，該主播畫面偵測狀態，其初始狀態為非主播狀態。
其中，該主播人臉模型訓練組件，內含處理步驟包括：m.擷取複數張人臉圖像各自的影像特徵值；n.利用分群方法依影像特徵值的相似性將全部人臉圖像分為三群；o.針對每一個人臉圖像群，計算群的群聚程度值，其定義為群內人臉圖像的數量除以群內影像特徵值與平均影像特徵值之差異值的標準差；以及p.選取一個群聚程度值最大的人臉圖像群中的人臉圖像來訓練主播人臉模型。
其中，該主播人臉標準評估組件，內含處理步驟包括：q.擷取複數張人臉圖像各自的影像特徵值；r.基於影像特徵值，計算每一張人臉圖像與主播人臉模型的相異值；s.利用分群方法將所有相異值分為二群，並計算各自的相異值之平均值；以及t.選取擁有較低相異值之平均值的一群，並從中評估出主播人臉標準，其包含相異值之平均值、相異值之標準差。
其中，該主播畫面偵測，其步驟係包括：透過一新聞影像接收組件，依序擷取新聞影像訊號中的影格；透過一人臉偵測組件，利用人臉偵測技術擷取出一個影格中的所有人臉圖像；透過一主播影格辨識組件，利用主播人臉辨識技術判斷一個影格是否為含 有此新聞節目主播的人臉圖像之影格，即主播影格；以及透過一主播畫面偵測組件，利用主播影格偵測主播畫面與其的起始播放時間。
本發明所揭露之利用人臉辨識偵測新聞主播畫面的方法，與其他習用技術相互比較時，更具備下列優點：
1.本發明之主播畫面偵測方法，能隨著新聞的播放同步偵測出主播畫面，故可提供與新聞的即時互動功能，如以單則報導為單位的新聞快倒轉功能。
2.本發明之主播畫面偵測方法，只以主播人臉做為找尋主播畫面的關鍵特徵而不需分析新聞背景畫面，故可因應日益複雜之新聞畫面。
3.本發明之主播畫面偵測方法，是以人臉辨識技術確認新聞主播的出現，故相比單以如顏色等低階影像特徵來偵測主播較具效能穩定性。
4.本發明之主播人臉學習方法，能即時以非監督式學習法自動訓練出一個新聞節目的主播人臉模型，故不需人為的介入有利於此方法運用於一個即時營運的系統上。
5.本發明之主播人臉學習方法，可即時訓練出一個新聞節目的主播人臉模型，故能確使此主播人臉模型與當下的主播人臉具一致性。
上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
綜上所述，本案不但在空間型態上確屬創新，並能較習用物品增進上述多項功效，應已充分符合新穎性及進步性之法定發明專利要 件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。
11‧‧‧主播人臉學習
12‧‧‧主播畫面偵測
21‧‧‧主播人臉模型訓練
211‧‧‧新聞影像接收組件
212‧‧‧人臉偵測組件
213‧‧‧主播人臉模型訓練組件
22‧‧‧主播人臉標準評估
221‧‧‧新聞影像接收組件
222‧‧‧人臉偵測組件
223‧‧‧主播人臉標準評估組件
51‧‧‧新聞影像接收組件
52‧‧‧人臉偵測組件
53‧‧‧主播影格辨識組件
54‧‧‧主播畫面偵測組件
S1~S24‧‧‧步驟流程
第1圖為本發明利用人臉辨識偵測主播畫面方法的流程圖。
第2圖為本發明中主播人臉學習的流程圖。
第3圖為本發明中主播人臉模型訓練組件中的訓練流程圖。
第4圖為本發明中主播人臉標準評估組件中的評估流程圖。
第5圖為本發明中主播畫面偵測的流程圖。
第6圖為本發明中主播影格辨識組件中的辨識流程圖。
第7圖為本發明中主播畫面偵測組件中的偵測流程圖。
第8圖為本發明中主播畫面偵測的狀態變化圖。
為利 貴審查委員了解本發明之技術特徵、內容與優點及其所能達到之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。
請參閱第1圖所示，為本發明利用人臉辨識偵測主播畫面方法的流程圖，係包含兩大步驟：主播人臉學習11、主播畫面偵測12。
S1：首先，新聞節目開始播放；
S2：主播人臉學習11會利用新聞節目開始的一個片段，自動以非監督式學習法即時訓練出此新聞節目的主播人臉模型與主播人臉標準；
S3：當完成上述S2步驟後，主播畫面偵測12利用從主播人臉學習11得到的主播人臉模型與主播人臉標準，隨著新聞的播放即時偵測每一個出現的主播畫面與其的起始播放時間；
S4：新聞節目結束播放，偵測動作停止。
請參閱第2圖所示，為本發明利用人臉辨識偵測主播畫面方法之主播人臉學習的流程圖，係包含兩個步驟：
S5：首先，主播人臉模型訓練21中的新聞影像接收組件211會依序擷取播放中的新聞影格，並將影格送至人臉偵測組件212以擷取出影格中的所有人臉圖像。而擷取出來的人臉圖像會被傳至主播人臉模型訓練組件213。當主播人臉模型訓練組件213在得到NT1張人臉圖像後，新聞影像接收組件211停止擷取新聞影格，而主播人臉模型訓練組件213會從NT1張人臉圖像中即時以非監督式學習法訓練出主播人臉模型。其中NT1係指用來訓練主播人臉模型的人臉圖像張數，其定義如式(1)所示：N T1=s 1*t 1 (1)
其中，s1為新聞影像接收組件211在每一秒鐘的新聞中所擷取的影格數量，t1為所需多少時間人臉圖像的秒數。在完成主播人臉模型訓練21後，會獲得一個主播人臉模型；
S6：主播人臉標準評估22中的新聞影像接收組件221會依序擷取之後播放的新聞影格，並將影格送至人臉偵測組件222以擷取出影格中的所有 人臉圖像。而擷取出來的人臉圖像會被傳至主播人臉標準評估組件223。當主播人臉標準評估組件223在得到NT2張的人臉圖像後，新聞影像接收組件221停止擷取新聞影格，而人臉標準評估組件223會利用S5所得的主播人臉模型與此NT2張人臉圖像自動評估出主播人臉標準。其中NT2係指用來評估主播人臉標準的圖像張數，其定義如式(2)所示：N T2=s 2*t 2 (2)
其中，s2為新聞影像接收組件221在每一秒鐘的新聞影像中所擷取的影格數量，t2為所需多少時間人臉圖像的秒數。在完成主播人臉標準評估22後，會獲得一組主播人臉標準。
請參閱第3圖所示，為本發明利用人臉辨識偵測主播畫面方法之主播人臉模型訓練組件中的訓練流程圖。
S7：係在得到NT1張人臉圖像後，先擷取這些人臉圖像各自的影像特徵值：區域二元圖樣(local binary pattern,LBP)；
S8：基於人臉圖像影像特徵值的相似性，利用K平均分群演算法(k-means clustering)將全部人臉圖像分為三群。其中，影像特徵值的相似性定義為特徵值兩兩之間的歐幾里得距離(Euclidean distance)，距離愈小代表相似性愈高；
S9：接著針對每一個人臉圖像群，計算群的群聚程度值C(m)，其定義如式(3)所示：
其中，m=1,2,3，Nm為第m群人臉圖像中的人臉圖像張數，stdm為第m群人臉圖像中影像特徵值的離散程度，其定義如式(4)所示：
其中，dmi為第m群人臉圖像中第i張人臉圖像的特徵影像值與該群平均影像特徵值的歐幾里得距離，Dm為第m群人臉圖像中全部dmi的平均值。其中，群平均影像特徵值中第j維度的值Xm,j定義如式(5)所示：
其中，xmi,j代表第m群人臉圖像中第i張人臉圖像之影像特徵值第j維度的值。因為在一個新聞節目中，主播人臉圖像會頻繁地出現而且圖像之間的相似度很高，故一個人臉圖像群擁有愈大的C(m)代表其愈有可能是一個由主播人臉所組成的人臉圖像群；
S10：最後，從三群人臉圖像中選取一個群聚程度值最大的人臉圖像群，使用當中的人臉圖像訓練出此新聞節目的主播人臉模型。其中，本實施方式中的主播人臉模型之影像特徵值也採用LBP。
請參閱第4圖所示，為本發明利用人臉辨識偵測主播畫面方法之主播人臉標準評估組件中的評估流程圖。
S11：係在得到NT2張人臉圖像後，擷取這些人臉圖像各自的影像特徵值LBP。
S12：利用影像特徵值計算每一張人臉圖像與主播人臉模型之間相異值，其定義為影像特徵值之間的歐幾里得距離。當相異值愈大，代表此張人 臉圖像與主播人臉模型相似度愈低；
S13：接著利用K平均分群演算法將所有的相異值分為二群，並分別計算這二群的相異值之平均值。因為主播人臉與主播人臉模型之間的相異值較低，而非主播人臉與主播人臉模型之間的相異值較高，所以此兩種相異值的分布會明顯的不同；
S14：最後選取具有較低相異值之平均值的一群，即能從中知道主播人臉與主播人臉模型的差異為何，故將此群的相異值之平均值crit1與標準差crit2做為主播人臉標準。其定義如式(6)與式(7)所示：
其中，NT3、ei分別代表具有較低相異值之平均值一群中的相異值個數、第i個相異值。
請參閱第5圖所示，為本發明利用人臉辨識偵測主播畫面方法之主播畫面偵測的流程圖，係說明如何在每接收到一張新聞影格時偵測主播畫面。
S15：新聞影像接收組件51負責接收播放中的新聞訊號並擷取出新聞影格，然後依序送至人臉偵測組件52；
S16：人臉偵測組件52會擷取出一個影格中的所有人臉圖像，並傳至主播影格辨識組件53；
S17：主播影格辨識組件53利用擷取出來的人臉圖像來判斷此個影格的類型是主播影格或非主播影格，並將結果傳至主播畫面偵測組件54；
S18：最後，主播畫面偵測組件54會將此影格的影格類型納入偵測目前新聞是否處在主播畫面的參考。一旦偵測到一個新出現的主播畫面，即會立刻輸出此主播畫面的起始播放時間。但若是偵測到一個已偵測過的主播畫面，則不再輸出此段主播畫面的起始播放時間。
請參閱第6圖所示，為本發明利用人臉辨識偵測主播畫面方法之主播影格辨識組件中的辨識流程圖，係說明如何辨別一個影格為主播影格或非主播影格。其中，一個主播影格係指一個含有主播人臉圖像的影格，非主播影格係指一個不含人臉圖像或所含人臉圖像並無主播人臉的影格。為辨識一張人臉圖像是否為主播人臉圖像，其步驟如下：
S19：首先擷取此人臉圖像的影像特徵值LBP。
S20：接下來，利用影像特徵值計算其與主播人臉模型之間相異值ef，其定義為兩者影像特徵值之間的歐幾里得距離。接著再計算此相異值的標準分數(z-score)，其定義如式(8)所示：
S21：當z小於一個門檻值(threshold)θ時，則此張人臉圖像即為主播人臉，其中θ介於2至4。最後，依據人臉圖像的辨識結果，決定此個影格的類型。
請參閱第7圖所示，為本發明利用人臉辨識偵測主播畫面方法之主播畫面偵測組件中的偵測流程圖，係說明每當接收到一個影格時，偵測是否有主播畫面出現的過程。
S22：首先，將從主播影格辨識組件53收到的一個主播影格辨識結果儲存於一個變量中。此變量會記錄下包含此個影格在內的過去ND個影格 之類型。其中ND的大小定義如下：N D =s 3*t 3 (9)
其中，s3為新聞影像接收組件51在每一秒鐘的新聞影像中所擷取的影格數量，t3則為主播畫面的最短秒數，其值介於5至10。
S23：計算此變量中的主播影格的數量R
S24：最後，依此數值R來控制主播畫面偵測狀態的變化，並在偵測到一個新的主播畫面時，輸出其的起始播放時間。其中，主播畫面狀態的變化請參閱第8圖所示，主播畫面偵測過程包含兩種狀態：主播狀態、非主播狀態。其中，主播狀態係指目前的新聞處於主播畫面，非主播狀態係指目前的新聞不處於主播畫面。而非主播狀態為主播畫面偵測過程的起始狀態。兩狀態的變化會依R與ND之間的關係而改變。只有當變量中一半以上的影格為主播影格，即R>ND/2，且是由非主播狀態偵測狀態變為主播狀態時，才會輸出一個主播畫面的起始播放時間。其中，此個主播畫面起始播放時間為目前變量中最早一個的主播影格之播放時間。
本發明所揭露之利用人臉辨識偵測新聞主播畫面的方法，與其他習用技術相互比較時，更具備下列優點：
1.本發明之主播畫面偵測方法，能隨著新聞的播放同步偵測出主播畫面，故可提供與新聞的即時互動功能，如以單則報導為單位的新聞快倒轉功能。
2.本發明之主播畫面偵測方法，只以主播人臉做為找尋主播畫面的關鍵特 徵而不需分析新聞背景畫面，故可因應日益複雜之新聞畫面。
3.本發明之主播畫面偵測方法，是以人臉辨識技術確認新聞主播的出現，故相比單以如顏色等低階影像特徵來偵測主播較具效能穩定性。
4.本發明之主播人臉學習方法，能即時以非監督式學習法自動訓練出一個新聞節目的主播人臉模型，故不需人為的介入有利於此方法運用於一個即時營運的系統上。
5.本發明之主播人臉學習方法，可即時訓練出一個新聞節目的主播人臉模型，故能確使此主播人臉模型與當下的主播人臉具一致性。
上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。
11‧‧‧主播人臉學習
12‧‧‧主播畫面偵測
S1~S4‧‧‧步驟流程

Claims (12)

  1. 一種利用人臉辨識偵測新聞主播畫面的方法，其步驟包括：a.主播人臉學習，係利用新聞節目開始的一個片段，以非監督式學習法，即時訓練出此新聞節目的主播人臉模型與主播人臉標準；以及b.主播畫面偵測，係利用自步驟a中得到的主播人臉模型與主播人臉標準，辨識出新聞中依序出現的主播，以即時偵測出主播畫面與其的起始播放時間。
  2. 如申請專利範圍第1項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播人臉學習，其步驟係包括：c.主播人臉模型訓練，係利用新聞節目一個片段中的人臉圖像，自動過濾出主播的人臉圖像以訓練出此新聞節目的主播人臉模型；以及d.主播人臉標準評估，係利用步驟c中得到的主播人臉模型與另一新聞節目片段中的人臉圖像，評估出一張人臉圖像為主播人臉的標準。
  3. 申請專利範圍第2項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播人臉模型訓練，其步驟係包括：透過一新聞影像接收組件，依序擷取新聞影像訊號中的影格；透過一人臉偵測組件，利用人臉偵測技術擷取出一個影格中的全部人臉圖像；以及透過一主播人臉模型訓練組件，利用自人臉偵測組件所得的複數張人臉圖像訓練出主播人臉模型。
  4. 申請專利範圍第3項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播人臉標準評估，其步驟係包括： 透過一新聞影像接收組件，依序擷取新聞影像訊號中的影格；透過一人臉偵測組件，利用人臉偵測技術擷取出一個影格中的全部人臉圖像；以及透過一主播人臉標準評估組件，利用自人臉偵測組件所得的複數張人臉圖像與主播人臉模型以評估出主播人臉標準。
  5. 如申請專利範圍第4項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播畫面偵測，其步驟係包括：透過一新聞影像接收組件，依序擷取新聞影像訊號中的影格；透過一人臉偵測組件，利用人臉偵測技術擷取出一個影格中的所有人臉圖像；透過一主播影格辨識組件，利用主播人臉辨識技術判斷一個影格是否為含有此新聞節目主播的人臉圖像之影格，即主播影格；以及透過一主播畫面偵測組件，利用主播影格偵測主播畫面與其的起始播放時間。
  6. 如申請專利範圍第5項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播影格辨識組件，內含處理步驟包括：e.擷取一個影格中所有人臉圖像的影像特徵值；f.基於影像特徵值，計算每一張人臉圖像與主播人臉模型的相異值後，利用主播人臉標準計算相異值的標準分數；以及g.由標準分數辨識是否有人臉圖像為主播人臉，並據此將含有主播人臉的影格設定為主播影格。
  7. 如申請專利範圍第6項所述之利用人臉辨識偵測新聞主播畫面的方 法，其中該主播畫面偵測組件，內含處理步驟包括：h.將接收到的一個影格之影格類型儲存於一個變量，其存有包含此個影格在內的過去ND個影格的影格類型；i.計算變量中主播影格的數量R；j.檢查R>ND/2條件是否成立；k.當步驟j所述之條件成立時，係指偵測到一個主播畫面，故將目前主播畫面偵測狀態設為主播狀態，否則設為非主播狀態；以及l.當步驟j所述之條件成立且主播畫面偵測狀態是由非主播狀態轉換為目前的主播狀態時，輸出變量中的最早一個主播影格之播放時間做為此個主播畫面的起始播放時間。
  8. 如申請專利範圍第7項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播畫面偵測狀態，係指在主播畫面偵測過程中的兩種狀態，其包括：新聞目前處於主播畫面的主播狀態；以及新聞目前不處於主播畫面的非主播狀態。
  9. 如申請專利範圍第8項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播畫面偵測狀態，其初始狀態為非主播狀態。
  10. 如申請專利範圍第4項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播人臉模型訓練組件，內含處理步驟包括：m.擷取複數張人臉圖像各自的影像特徵值；n.利用分群方法依影像特徵值的相似性將全部人臉圖像分為三群；o.針對每一個人臉圖像群，計算群的群聚程度值，其定義為群內人臉圖 像的數量除以群內影像特徵值與平均影像特徵值之差異值的標準差；以及p.選取一個群聚程度值最大的人臉圖像群中的人臉圖像來訓練主播人臉模型。
  11. 如申請專利範圍第10項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播人臉標準評估組件，內含處理步驟包括：q.擷取複數張人臉圖像各自的影像特徵值；r.基於影像特徵值，計算每一張人臉圖像與主播人臉模型的相異值；s.利用分群方法將所有相異值分為二群，並計算各自的相異值之平均值；以及t.選取擁有較低相異值之平均值的一群，並從中評估出主播人臉標準，其包含相異值之平均值、相異值之標準差。
  12. 如申請專利範圍第1項所述之利用人臉辨識偵測新聞主播畫面的方法，其中該主播畫面偵測，其步驟係包括：透過一新聞影像接收組件，依序擷取新聞影像訊號中的影格；透過一人臉偵測組件，利用人臉偵測技術擷取出一個影格中的所有人臉圖像；透過一主播影格辨識組件，利用主播人臉辨識技術判斷一個影格是否為含有此新聞節目主播的人臉圖像之影格，即主播影格；以及透過一主播畫面偵測組件，利用主播影格偵測主播畫面與其的起始播放時間。
TW102126632A 2013-07-25 2013-07-25 The use of face recognition to detect news anchor screen TWI520077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW102126632A TWI520077B (zh) 2013-07-25 2013-07-25 The use of face recognition to detect news anchor screen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102126632A TWI520077B (zh) 2013-07-25 2013-07-25 The use of face recognition to detect news anchor screen

Publications (2)

Publication Number Publication Date
TW201504955A TW201504955A (zh) 2015-02-01
TWI520077B true TWI520077B (zh) 2016-02-01

Family

ID=53018940

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102126632A TWI520077B (zh) 2013-07-25 2013-07-25 The use of face recognition to detect news anchor screen

Country Status (1)

Country Link
TW (1) TWI520077B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI754855B (zh) * 2019-01-31 2022-02-11 大陸商北京市商湯科技開發有限公司 人臉圖像識別方法、裝置、電子設備及儲存介質

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103271A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种人脸检测方法
CN107993125A (zh) * 2017-11-29 2018-05-04 重庆猪八戒网络有限公司 基于多级细化的创意设计交易孵化系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI754855B (zh) * 2019-01-31 2022-02-11 大陸商北京市商湯科技開發有限公司 人臉圖像識別方法、裝置、電子設備及儲存介質

Also Published As

Publication number Publication date
TW201504955A (zh) 2015-02-01

Similar Documents

Publication Publication Date Title
Zhang Deepfake generation and detection, a survey
CN109922373B (zh) 视频处理方法、装置及存储介质
US11113587B2 (en) System and method for appearance search
CN110609920B (zh) 一种视频监控场景下的行人混合搜索方法及系统
CN109948447B (zh) 基于视频图像识别的人物网络关系发现及演化呈现方法
CN106599907B (zh) 多特征融合的动态场景分类方法与装置
CN102201146B (zh) 基于主动红外视频的零照度环境火灾烟雾识别方法
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN101599179B (zh) 场地运动精彩镜头集锦自动生成方法
CN108805047A (zh) 一种活体检测方法、装置、电子设备和计算机可读介质
JP5391144B2 (ja) 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
CN105447432B (zh) 一种基于局部运动模式的人脸防伪方法
CN105590099B (zh) 一种基于改进卷积神经网络的多人行为识别方法
CN107368798A (zh) 一种基于深度学习的人群情绪识别方法
Hadiprakoso et al. Face anti-spoofing using CNN classifier & face liveness detection
CN105303152A (zh) 一种人体再识别方法
CN101316371B (zh) 火焰侦测方法及装置
CN117609845A (zh) 基于视音频特征的关键场景自动分割系统及方法
CN112906535B (zh) 一种基于神经网络的适用于多尺度多目标的摔倒检测方法
CN110096945A (zh) 基于机器学习的室内监控视频关键帧实时提取方法
US9286710B2 (en) Generating photo animations
TWI520077B (zh) The use of face recognition to detect news anchor screen
CN115115976B (zh) 视频处理方法、装置、电子设备及存储介质
CN109241952B (zh) 拥挤场景下人物计数方法及装置
CN116416664A (zh) 一种结合面部动态行为的抑郁症识别系统、介质及设备

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees