TWI784720B

TWI784720B - 基於電腦視覺的電磁敏感性測試方法

Info

Publication number: TWI784720B
Application number: TW110134845A
Authority: TW
Inventors: 陳佩君; 李皓軒; 柯立德; 李明峰; 陳誌昌; 林信宏
Original assignee: 英業達股份有限公司
Priority date: 2021-09-17
Filing date: 2021-09-17
Publication date: 2022-11-21
Also published as: TW202314267A

Abstract

一種基於電腦視覺的電磁敏感性測試方法，適用於具有螢幕的電子裝置。所述方法包括訓練階段及測試階段。在訓練階段中，電子裝置接收測試資料並以螢幕顯示第一畫面，攝影機拍攝第一畫面產生模板視訊，處理器至少依據模板視訊產生多個模板影像。測試階段包括：在產生多個模板影像之後，天線對電子裝置發出干擾訊號，電子裝置接收測試資料並以螢幕顯示第二畫面，攝影機拍攝第二畫面產生測試視訊，處理器依據測試視訊產生測試影像，並計算測試影像與每一模板影像的差異比例，當差異比例大於閾值時發出警示訊號。

Description

基於電腦視覺的電磁敏感性測試方法

本發明關於電磁敏感性測試及影像比對，特別是一種基於電腦視覺的電磁敏感性測試方法。

電磁敏感性(Electromagnetic Susceptibility，EMS)指的是對電磁干擾(Electromagnetic Interference，EMI)或射頻干擾(Radio Frequency Interference，RFI)的耐受性或抗擾度(Immunity)。若一個電子裝置不對其他裝置產生EMI或RFI，而且具有良好的EMS，則電子裝置具有良好的電磁相容性(Electromagnetic Compatibility，EMC)。換言之，EMC的目標是不同裝置在共同的電磁環境中正確運行。

針對EMS的輻射場敏感性測試通常使用一個高功率的射頻或電磁裝置，以及一個輻射天線，以將能量引導到待測電子裝置，例如筆記型電腦。待測電子裝置被放置在射頻消聲室(RF anechoic chamber)中，並透過螢幕輪流顯示多種測試資料中的一種。在天線發射電磁波的同時，攝影機拍攝待測電子裝置的螢幕，而射頻消聲室外的測試人員則觀看拍攝到的測試影像是否有異常，並記錄異常發生時所使用的電磁波頻率和設置參數。所謂的異常例如畫面全黑、畫面閃爍、測試圖案中的線條失真等。

然而，勞動密集型的測試容易使眼睛疲累，而且測試人員有可能忽略掉一些異常現象。

有鑑於此，本發明提出一種基於電腦視覺的電磁敏感性測試方法，使用基於電腦視覺的EMS測試系統，連續接收來自射頻消聲室內的攝影機拍攝到的測試影像，並模仿測試人員觀看影像、進行判斷的機制，從而判斷測試影像中是否有任何異常，然後自動記錄出現異常時的各種設定參數。

依據本發明一實施例的一種基於電腦視覺的電磁敏感性測試方法，適用於具有一螢幕的一電子裝置，所述方法包括：一訓練階段，包括：該電子裝置接收一測試資料，並以該螢顯示對應於該測試資料的一第一畫面；一攝影機拍攝該第一畫面以產生一模板視訊；以及一處理器至少依據該模板視訊產生多個模板影像；以及一測試階段，包括：在產生該些模板影像之後，以一天線對該電子裝置發出一干擾訊號；收到該干擾訊號的該電子裝置接收該測試資料，並以該螢幕顯示對應於該測試資料的一第二畫面；該攝影機拍攝該第二畫面以產生一測試視訊；該處理器依據該測試視訊產生一測試影像；該處理器計算該測試影像與每一該些模板影像的一差異比例；以及當該差異比例大於一閾值時，該處理器發出一警示訊號。

綜上所述，本發明提出一種基於電腦視覺的電磁敏感性測試方法，在訓練階段中，從攝影機拍攝的視訊中動態地更新屬於正常畫面的模板影像，在測試階段中，從攝影機拍攝的視訊中擷取測試影像與模板影像進行比對，從而自動檢測出螢幕顯示的畫面中的任何異常。此外，本發明可依據過去的異常檢測記錄動態地調整用於異常判斷的閾值。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

S:訓練階段

T:測試階段

S1~S3,S31~S33,S331~S334,T1~T7,T51~T53,T5’,T51’~T52’:步驟

圖1是本發明一實施例的基於電腦視覺的電磁敏感性測試方法的流程圖；圖2是圖1中步驟S3的細部流程圖；圖3是圖2中步驟S33的細部流程圖；圖4是圖1中步驟T5的一實施例的細部流程圖；以及圖5是圖1中步驟T5的另一實施例的細部流程圖。

以下在實施方式中詳細敘述本發明之詳細特徵以及特點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之構想及特點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

本發明提出一種基於電腦視覺的電磁敏感性(Electromagnetic Susceptibility，EMS)測試方法，適用於測試具有螢幕的待測電子裝置(以下簡稱電子裝置)。

圖1是本發明一實施例的基於電腦視覺的電磁敏感性測試方法的流程圖，所述方法包括訓練階段S及測試階段T。訓練階段S包括步驟S1~S3，測試階段T包括步驟T1~T6，以下按順序介紹每個步驟的實施細節。

步驟S1為「電子裝置接收測試資料，螢幕顯示第一畫面」。第一畫面對應於測試資料，測試資料的種類包括靜態測試圖、半靜態測試圖及動態測試圖。圖2是對應於上述三種測試資料的示意圖，靜態測試圖是一張圖片，畫面中的每個像素的顏色始終不變；動態測試圖是一段影片，畫面中的每個像素的顏色隨時間改變；半靜態測試圖相當於靜態測試圖及動態測試圖的整合，換言之，將畫面中的所有像素分為兩部分，其中一部分像素的顏色始終不變，另一部分像素的顏色隨時間改變。

步驟S2為「攝影機拍攝第一畫面以產生模板視訊」。模板視訊是拍攝螢幕而得到的影片。

步驟S3為「處理器至少依據模板視訊產生多個模板影像」，請參考圖2，其為步驟S3的細部流程圖。步驟S31為「在模板視訊中設置感興趣區域」，步驟S32為「依據感興趣區域執行校正操作」，步驟S33為「執行演算法以產生多個模板影像」。

在步驟S31中，處理器在模板視訊中設置感興趣區域(region of interest，ROI)。實務上，攝影機拍攝到的影像可能包含螢幕周邊的環境，例如電子裝置放置的桌面及螢幕背後的牆面，但後續流程只需要模板影像中屬於第一畫面的部分，因此需要執行步驟S31過濾掉無關於第一畫面的部分。步驟S31可分為自動和手動兩種實施方式。

自動設置ROI的方式是依據電子裝置所處環境的顏色(或亮度)以及適應性閾值設定(adaptive thresholding)演算法從模板視訊的每一個訊框(frame)中分割出屬於第一畫面的部分。所述適應性閾值設定演算法例如大津演算法(OTSU)，K-均值(K-means)或OpenCV中的adaptiveThreshold函數。另外，若射頻消聲室中除了螢幕外沒有其他發光元件，則電子裝置所處環境的顏色即為黑色，因此很容易地從模板視訊中分離出發光區域作為模板影像。

手動設置ROI的方式則是使用另一個螢幕顯示模板視訊，使用者在另一個螢幕顯示的畫面中自行決定第一畫面的範圍。

實務上，電子裝置被放置在旋轉桌上，透過旋轉讓電子裝置在測試階段T時可以均勻地受到干擾訊號的影響，而攝影機通常設置在固定位置，因此攝影機拍攝的模板視訊中，螢幕的形狀及位置會隨著旋轉角度而改變。因此，若攝影機可以隨著電子裝置同步旋轉，使得鏡頭總是正對螢幕，則在其他實施例中，步驟S31也可以被省略。舉例來說，處理器先判斷模板視訊是否包含第一畫面以外的部分，若判斷結果為「否」，則可以跳過步驟S31，若判斷結果為「是」，才執行步驟S31。

在步驟S32中，所述校正操作例如是透視變換(perspective transformation)。假設以另一個螢幕顯示模板視訊，則使用者在另一個螢幕上看到的畫面與第一畫面相比可能具有視覺上的差異，這是因為攝影機本身的內部參數及鏡頭的光學參數所導致。例如：若攝影機使用魚眼鏡頭，則另一個螢幕上顯示的畫面的邊緣相較於第一畫面的邊緣可能有變形或彎曲的現象，因此需藉由校正操作將模板視訊中變形的ROI回復到第一畫面的形狀(通常是矩形，但本發明不以此為限)。

在步驟S33中，處理器可依據指定的取樣頻率從模板視訊擷取多個訊框，然後根據這些訊框執行一演算法以決定每個訊框中的每個像素的前景屬性及背景屬性，具有背景屬性的像素為後續比對時的標準，具有前景屬性的像素在大部分情況下將被視為異常的像素。

在步驟S33的第一實施例中，所述演算法為高斯混合模型或視覺背景提取(ViBE,Visual Background Extractor)。

在步驟S33的第二實施例中，所述演算法的細節如下：首先處理器依據測試資料的類型而執行對應的程序來產生模板影像。

若測試資料為動態測試圖，則處理器擷取模板影像的至少一訊框作為模板影像，本發明並不限制訊框的擷取數量，也不限制訊框的擷取規則。例如：模板視訊包含30個訊框F1~F30，則處理器可以將所有的訊框F1~F30都設為模板影像；也可以只選擇F1~F10作為模板影像。選擇愈多模板影像，則測試階段T時的比對精確度愈高。

若測試資料為靜態測試圖，處理器將根據模板影像的第一個訊框執行背景初始化程序，依據第二個訊框執行背景更新程序，其中第二個訊框為多個訊框中的一者，且這些訊框的時序都在第一個訊框的時序之後。請參考圖3，其為步驟S33在測試資料為靜態測試圖時的流程圖。

背景初始化程序如步驟S331所示，「取得鄰接於第一中心像素的多個參考像素」。第一中心像素為第一訊框的每個像素。假設訊框尺寸為3×3，此訊框具有9個像素排列為九宮格的形式。此時第一中心像素位於九宮格的中央位置，而參考像素可從其餘八個像素中挑選出N個，N

8。N代表參考像素的取樣深度，除非位置位於訊框的邊緣，每一個第一中心像素基本上都可從周邊的多個像素中選擇N個參考像素做為像素比對時的標準。鄰接於第一中心像素的距離依據取樣深度N進行調整，例如當取樣深度N為20時，參考像素的選擇範圍須擴展至一個5×5的區域，此區域為以第一中心像素為中心，向四周各延伸兩個像素的距離所形成的範圍。

背景更新程序如步驟S332、S333、S334所示，步驟S332為「判斷第二中心像素與每一參考像素的相似度」，步驟S333為「依據相似度決定第二中心像素的屬性」，步驟S334為「依據指定機率、屬性及連續訊框數，以第二中心像素取代第一中心像素或參考像素」。

在步驟S332、S333中，第二中心像素為第二訊框的每個像素。當第一訊框的N個參考像素中相似於第二中心像素的像素數量小於門檻值m時，處理器設置第二中心像素的前景屬性。反之，當第一訊框的N個參考像素中相似於第二中心像素的像素數量不小於門檻值時，處理器設置第二中心像素的背景屬性。在一實施例中，判斷兩個像素相似的條件為這兩個像素的歐氏距離(Euclidean distance)的差小於預設值。在另一實施例中，判斷兩個像素相似的條件為這兩個像素的像素強度(pixel intensity)的差小於預設值。

在步驟S334中，當第二中心像素具有背景屬性時，依據指定機率r，以第二中心像素取代第一中心像素或參考像素。

在步驟S334中，若在模板視訊的連續C個訊框中，位於相同位置的第二中心像素都具有前景屬性，則處理器將此第二中心像素取代第一訊框中的第一中心像素。舉一場景為例：在訓練階段S期間，使用者在某個時間點不慎將滑鼠游標從畫面左上角移動到右下角，然後持續停留在右下角。在此場景中，組成此游標的多個像素在訓練階段S的初期會被設置前景屬性，因為滑鼠游標並非測試資料的一部份，但是由於這些像素在連續多個訊框中持續存在，因此這些像素將被認定為模板影像的一部份。

在一實施例中，基於運算速度和精確度的考量，採用如下參數設置：參考像素取樣深度N=5，門檻值m=2，指定機率r=1/16，且連續訊框數C=15。

若測試資料為半靜態測試圖，則可以將測試資料分成動態部份及靜態部分，針對這兩個部分，各自參考上述動態測試圖和靜態測試圖的方法進行適應性調整，進而產生模板影像。

在訓練階段S期間，處理器持續依據模板視訊中新的第二訊框以及圖3所示的流程更新背景模型。背景模型由一個基礎模板影像和一個參考像素字典組成，基礎模板影像由多個第一中心像素組成(相當於更新後的第一訊框)，參考像素字典記錄了基礎模板影像的每個像素所對應的多個參考像素。換個角度來看，可將背景模型視為由多個模板影像組成，其中每個模板影像相當於基礎模板影像的每個像素位置從第一中心像素及多個參考像素中選擇一者所形成的組合。

在訓練階段S完成後，處理器已經產生一或多個模板影像並將其記錄至儲存裝置中，以便於測試階段T時讀取這些模板影像當作範本(norm)。

在以上介紹的實施例中，處理器直接依據模板視訊的第一訊框作為初始的模板影像，然後依據模板視訊的第二訊框更新模板影像。在另一實施例中，處理器可先使用測試資料作為初始的模板影像，然後再依據模板影像更新模板影像。按照上述方式，可在維持比對精確度的前提下減少訓練階段S時所用的訊框的數量，進而減少訓練時的計算成本。

測試階段T包括步驟T1~T6，其中步驟T1為「天線對電子裝置發出干擾訊號」。

步驟T2為「電子裝置接收測試資料，螢幕顯示第二畫面」，第二畫面對應於測試資料。在步驟T2與步驟S1中，所使用的測試資料的種類相同。

步驟T3為「攝影機拍攝第二畫面以產生測試視訊」，步驟T2~T3類似於步驟S1~S2，而差別在於：在訓練階段T中，電子裝置受干擾訊號所影響，因此第二畫面中可能出現異常現象，例如畫面全黑、畫面閃爍、測試圖案中的線條失真等；而在訓練階段S中，電子裝置未受干擾訊號影響，因此可從中歸納出正常畫面的範本。

步驟T4為「處理器依據測試視訊產生測試影像」，步驟T4類似於步驟S3，其差別在於：在步驟T4中，處理器依據測試視訊的每一個訊框產生一個測試影像。在一實施例中，若步驟S3中包含圖2所示的設置ROI並進行校正的流程，則適應性修改圖2所示的流程使其適用於步驟T4。另外，如果想要加速測試階段T的執行速度，在步驟T4中，處理器從測試視訊的所有訊框中選擇部分的訊框產生多個測試影像。

步驟T5為「處理器計算測試影像與每一模板影像的差異比例」，依據測試資料的類型，處理器執行對應的程序來計算差異比例。當測試資料為動態測試圖時，計算差異比例的方式如圖4的步驟T5所示；當測試資料為靜態測試圖時，計算差異比例的方式如圖5的步驟T5’所示。

當測試資料為動態測試圖時，在訓練階段S結束後會產生多個模板影像，且處理器基於感知相似度(Perceptual Similarity Metric)比對每一模板影像與輸入影像在神經網路中的特徵相似度。

請參考圖4，步驟T51為「輸入測試影像及每一模板影像至神經網路模型」，神經網路具有多個層的卷積運算，神經網路模型例如是AlexNet，用於計算兩個影像的感知差異度。在步驟T51中，也可包含將測試影像的尺寸調整(resize)為模板影像的尺寸的操作。

步驟T52為「依據測試影像的特徵圖與每一模板影像的特徵圖計算多個差異值」，在每一層卷積運算中，都會得到測試影像的特徵圖和每一個模板影像的特徵圖。在一實施例中，在前三層的卷積運算中，處理器上取樣(upsample)模板影像的特徵圖以及測試影像的特徵圖，將這兩個特徵圖放大為相同尺寸之後，計算這兩個特徵圖之間的差異值。計算方式如下：對於兩個特徵圖中位於相同位置L的兩個像素，處理器計算這兩個像素之間的歐氏距離D作為差異圖在位置L的差異值。歐氏距離D愈小，代表這兩個像素愈相似；歐氏距離D愈大，代表這兩個像素愈不相似。在一實施例中，兩個像素之前的歐氏距離D係以各自的RGB值分別計算其歐氏距離，因此差異值是一個三維的資料。

步驟T53為「依據多個差異值產生差異圖並計算差異比例」，在差異圖中，若位置L的像素的歐氏距離D大於預設值，則處理器在差異圖的位置L標示為差異像素。差異比例關聯於差異圖中所有差異像素的數量及差異圖的總像素數量，其中每一差異像素的差異值皆大於預設值。在一實施例中，處理器計算所有差異像素組成的區塊的面積，此面積佔差異圖總面積的比例即為差異比例。

經過步驟T51~T5的流程後，每一模板影像與測試影像都會產生一個差異圖及差異比例，在一實施例中，處理器可從這些差異比例中選擇最大者作為判斷測試影像是否通過測試的標準，也可以計算這些差異比例的加權平均值作為判斷測試影像是否通過測試的標準，本發明對此並不限制當測試資料為靜態測試圖時，計算差異比例的方式如圖5所示的步驟T5’，其包括步驟T51’及步驟T52’。在測試階段T時，背景模型已停止更新。

步驟T51’為「依據背景模型及測試影像計算每一像素的差異數量」，詳言之，對於測試影像位於位置L的像素P_T，以及在背景模型中對應於位置L的像素P_M，處理器計算P_M中有幾個像素相似於像素P_T。處理器依據相似像素的數量(相似數量)以及像素P_M的數量可計算出差異像素的數量(差異數量)，其中P_M包括第一中心像素及其對應的多個參考像素。

步驟T52’為「依據差異數量決定差異像素，並產生差異圖及差異比例」。

在一實施例中，對於測試影像的每一個像素，若此像素的差異數量超過一容忍值，則在差異圖中標示此像素為差異像素，反之則不標示此像素為差異像素；而差異比例則是差異圖中的差異像素佔差異圖中所有像素的比例。

請參考圖1，步驟T6為「判斷差異比例是否大於閾值」。

如果判斷結果為「是」，移至步驟T7，如果判斷結果為「否」，回到步驟S1，且處理器選擇另一種類的測試資料後回到步驟S1執行下一輪的EMS測試。

在步驟S7中，處理器發出警示訊號。此外，處理器將異常類型、干擾訊號的頻率、測試資料的種類、電子裝置的配置資訊、以及當前使用的閾值等資料記錄至儲存裝置的資料庫中。

在一實施例中，在步驟T6之前更包括一個動態調整閾值的步驟。詳言之，處理器讀取電子裝置的配置資訊，在資料庫尋找類似於此配置資訊的歷史測試記錄。若找到歷史測測試記錄及其中使用的歷史閾值，處理器依據歷史閾值調整接下來步驟T6所用的閾值。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

S:訓練階段

T:測試階段

S1~S3,T1~T7:步驟

Claims

一種基於電腦視覺的電磁敏感性測試方法，適用於具有一螢幕的一電子裝置，所述方法包括：一訓練階段，包括：該電子裝置接收一測試資料，並以該螢幕顯示對應於該測試資料的一第一畫面；一攝影機拍攝該第一畫面以產生一模板視訊；以及一處理器至少依據該模板視訊產生多個模板影像；以及一測試階段，包括：在產生該些模板影像之後，以一天線對該電子裝置發出一干擾訊號；收到該干擾訊號的該電子裝置接收該測試資料，並以該螢幕顯示對應於該測試資料的一第二畫面；該攝影機拍攝該第二畫面以產生一測試視訊；該處理器依據該測試視訊產生一測試影像；該處理器計算該測試影像與每一該些模板影像的一差異比例；以及當該差異比例大於一閾值時，該處理器發出一警示訊號。
如請求項1所述基於電腦視覺的電磁敏感性測試方法，該處理器至少依據該模板視訊產生該些模板影像包括：在該模板視訊中設置一感興趣區域；依據該感興趣區域執行一校正操作；以及執行一演算法以產生該些模板影像。
如請求項2所述基於電腦視覺的電磁敏感性測試方法，其中該演算法為高斯混合模型或視覺背景提取(ViBE,Visual Backgound Extractor)。
如請求項2所述基於電腦視覺的電磁敏感性測試方法，其中該測試資料為一動態測試圖，且該演算法包括：該處理器擷取該模板影像的至少一訊框作為該些模板影像。
如請求項2所述的基於電腦視覺的電磁敏感性測試方法，其中該測試資料為一靜態測試圖，且該演算法包括：一背景初始化程序，包括：取得鄰接於一第一中心像素的多個參考像素，該第一中心像素為該模板影像中的一第一訊框的每個像素；以及該背景更新程序包括：判斷一第二中心像素與每一該些參考像素的相似度，其中該第二中心像素為該模板影像中的一第二訊框的每個像素，且該第二訊框的時序在該第一訊框的時序之後；當該些參考像素中相似於該第二中心像素的像素數量小於一門檻值時，設置該第二中心像素的一前景屬性；否則設置該第二中心像素的一背景屬性；當該第二中心像素具有該背景屬性時，依據一指定機率，以該第二中心像素取代該第一中心像素或該參考像素；以及在該模板視訊的連續多個訊框中，當該第二中心像素具有該前景屬性時，以該第二中心像素取代該第一中心像素。
如請求項1所述的基於電腦視覺的電磁敏感性測試方法，其中該測試影像為一動態測試圖，且該處理器計算該測試影像與每一該些模板影像的該差異比例包括：輸入該測試影像及每一該些模板影像至一神經網路模型，該神經網路具有多層卷積運算；在每一該些層卷積運算中，計算該測試影像的一特徵圖與每一該些模板影像的一特徵圖；上取樣每一該些層的該測試影像的該特徵圖及每一該些模板影像的該特徵圖，以及基於像素尺度，對於該測試影像的該特徵圖及每一該些模板影像的該特徵圖，計算一歐氏距離作為一差異圖中的一差異值；其中該差異比例關聯於該差異圖中多個差異像素的數量及該差異圖的一總像素數量，其中每一該些差異像素的該差異值大於預設值。
如請求項1所述的基於電腦視覺的電磁敏感性測試方法，其中該測試資料為一靜態測試圖，且該處理器計算該測試影像與每一該些模板影像的該差異比例包括：依據一背景模型及該測試影像計算每一像素的一差異數量，其中該背景模型關聯於該些模板影像；以及依據該差異數量決定一差異像素，並產生一差異圖及該差異比例。
如請求項1所述的基於電腦視覺的電磁敏感性測試方法，其中該處理器至少依據該模板視訊產生該些模板影像包括：該處理器依據該測試資料及該模板視訊產生該些模板影像。
如請求項1所述的基於電腦視覺的電磁敏感性測試方法，其中該測試階段更包括：該處理器取得該電子裝置的一配置資訊；該處理器搜索一資料庫以取得一歷史測試記錄中的一歷史閾值，其中該歷史測試記錄的一歷史配置資訊相似於該配置資訊；以及該處理器依據該歷史閾值調整該閾值。
如請求項1所述的基於電腦視覺的電磁敏感性測試方法，在該處理器計算該測試影像與每一該些模板影像的該差異比例之前，更包括：依據每一該些模板影像的尺寸調整該測試影像的尺寸。