TW201701187A - 手勢檢測識別方法及系統 - Google Patents

Abstract

本發明公開了一種手勢檢測識別方法及系統，手勢檢測識別方法爲：採集圖像，並儲存；採用預設的多個用於檢測不同手勢的分類器按照預設順序依據隔影格交替的方式對每一影格所述圖像進行檢測，以獲取手勢目標；基於所述手勢目標區域的像素分佈建立膚色模型；根據膚色模型獲取所述手勢目標前後兩個狀態的所述手勢頻率，將所述手勢頻率與預設手勢狀態配對，以獲取手勢轉換的狀態，並輸出。手勢檢測識別方法可實現在特定場景下提取膚色，可在光照劇烈變化後逐步消除其産生的影響，從而實現提取手勢轉換狀態的目的。手勢檢測識別系統能夠檢測光線、拍攝角度、大小、膚色不同的手勢，且識別正確率可達到90%以上，準確性高。

Description

手勢檢測識別方法及系統

本發明係關於人機互動領域，特別是關於一種基於機器人系統的手勢檢測識別方法及系統。

隨著計算機技術的發展，計算機的處理技術越來越強，原始的人機互動技術越來越不能滿足人們的需求，人們開始尋找更加自然和智慧的對話模式。手勢檢測及狀態識別技術普遍採用2D或3D技術。由於手是彈性物體，同一種手勢之間會有較大差別，不同手勢之間可能會很相似，不同的人做出的手勢也會不同，且手勢具有較大的冗餘資訊，在無意識的狀況下人會産生非常多的手勢，因此對識別技術的運算能力和識別正確度要求很高。然而現有的識別技術無法快速識別多手勢變化，識別的正確率低，即時性差；且對光線比較敏感，不同強度、方向的光照（如偏光或無補償光源的情況下）會産生不同的陰影直接影響識別的準確性，無法在複雜的背景條件中提取出感興趣的手部區域目標。

針對現有的識別技術存在的上述問題，現提供一種旨在實現可在偏光或無補償光源的情況下快速識別手勢變化的手勢檢測識別方法及系統。具體技術方案如下：一種手勢檢測識別方法，包括下述步驟：A1. 採集圖像，並儲存；A2. 採用預設的多個用於檢測不同手勢的分類器按照預設順序依據隔影格交替的方式對每一影格所述圖像進行檢測，以獲取手勢目標；A3. 基於所述手勢目標區域的像素分佈建立膚色模型；A4. 根據膚色模型獲取所述手勢目標前後兩個狀態的所述手勢頻率，將所述手勢頻率與預設手勢狀態配對，以獲取手勢轉換的狀態，並輸出。

於一較佳實施方式中，在執行所述步驟A2之前，對所述圖像進行預處理。

於另一較佳實施方式中，每個所述分類器均通過一預設滑動窗口對所述圖像進行多尺度目標檢測，以獲取所述手勢目標。

於又一較佳實施方式中，獲取所述手勢目標後將所述滑動窗口擴大4倍對所述手勢目標進行檢測。

於一較佳實施方式中，所述分類器採用級聯分類器。

本發明另提供一種手勢檢測識別系統，包括：採集單元，用以採集圖像；儲存單元，連接所述採集單元，用以儲存所述圖像；複數個用於檢測不同手勢的分類器，分別連接所述儲存單元，用以在預設順序下採用隔影格交替的方式對每一影格所述圖像進行檢測，以獲取手勢目標；膚色建模單元，連接所述儲存單元，用以基於所述手勢目標區域的像素分佈建立膚色模型；決策單元，分別連接複數個所述分類器和所述膚色建模單元，根據膚色模型獲取所述手勢目標前後兩個狀態的所述手勢頻率，將所述手勢頻率與預設手勢狀態配對，以獲取手勢轉換的狀態，並輸出。

於另一較佳實施方式中，所述採集單元採用攝影機。

於又一較佳實施方式中，所述分類器採用級聯分類器。

於另一較佳實施方式中，所述分類器均通過一預設滑動窗口對所述圖像進行多尺度目標檢測，以獲取所述手勢目標。

於另一較佳實施方式中，所述分類器獲取所述手勢目標後將所述滑動窗口擴大4倍對所述手勢目標進行檢測。

於另一較佳實施方式中，上述技術方案的有益效果：在本技術方案中，手勢檢測識別方法可在檢測到的手勢目標區域，基於像素分佈進行實時的膚色建模，以實現在特定場景下提取膚色，可在光照劇烈變化後逐步消除其産生的影響，從而實現提取手勢轉換狀態的目的。手勢檢測識別系統能夠檢測光線、拍攝角度、大小、膚色不同的手勢，且識別正確率可達到90%以上，準確性高。

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出進步性的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

需要說明的是，在不衝突的情況下，本發明中的實施例及實施例中的特徵可以相互組合。

下面結合附圖和具體實施例對本發明作進一步說明，但無法作爲本發明的限定。

一種手勢檢測識別方法，包括下述步驟：A1. 採集圖像，並儲存；A2. 採用預設的多個用於檢測不同手勢的分類器按照預設順序依據隔影格交替的方式對每一影格圖像進行檢測，以獲取手勢目標；A3. 基於手勢目標區域的像素分佈建立膚色模型；A4. 根據膚色模型獲取手勢目標前後兩個狀態的手勢頻率，將手勢頻率與預設手勢狀態配對，以獲取手勢轉換的狀態，並輸出。

在本實施例中，手勢檢測識別方法可在檢測到的手勢目標區域，基於像素分佈進行實時的膚色建模，以實現在特定場景下提取膚色，可在光照劇烈變化後逐消除其產生的影響，從而實現提取手勢轉換狀態的目的。手勢檢測識別方法可應用於在機器人系統中，機器人可在各種光照條件，包括偏光或者無補償光源的情況採集視野中任意位置出現的各種姿勢的手勢，可即時獲取手勢轉換狀態。

在建立膚色模型的過程中可將檢測出的手勢目標區域圖像色彩空間轉爲YUV（YUV是被歐洲電視系統所採用的一種顔色編碼方法（屬於PAL），是PAL（帕爾制）和SECAM（塞康制）模擬彩色電視制式採用的顔色空間）空間，去除Y分量來消除光照影響。由於在此區域內膚色像素呈高斯分佈，計算得到該區域UV值的平均值和標準差來更新總體膚色的平均值標準差，便可以實時建立膚色模型，去除背景，提高準確率。

在優選的實施例中，在執行步驟A2之前，對圖像進行預處理。

在本實施例中的預處理可採用直方圖均衡化的方式，通過使用累積函數對灰度值進行“調整”以實現對比度的增強，從而消除光照影響，增加了象素灰度值的動態範圍從而可達到增強圖像整體對比度的效果。

在優選的實施例中，每個分類器均通過一預設滑動窗口對圖像進行多尺度目標檢測，以獲取手勢目標。

分類器採用了Adaboost演算法進行訓練。Adaboost是一種反覆運算演算法，主要思想是對一個訓練集訓練出多個不同的弱分類器(Weak Classifier)，再將這些弱分類器聯合起來，組合成一個強分類器。它根據每次訓練集中每個樣本分類是否正確以及上次總體分類的正確率來確定每個樣本的權值，下層分類器就根據這些新權值的數據集進行訓練。最後獲得的級聯分類器就是將每次訓練得到的分類器加權組合而成。

當進一步地，分類器可採用LBP特徵（Local Binary Pattern，局部二值模式）進行訓練。LBP特徵是一種用來描述圖像局部紋理特徵的運算元，它具有旋轉不變性和灰度不變性等顯著的優點。

在本實施例中採用和訓練圖像大小相同的滑動窗口對圖像進行多尺度目標檢測。

在優選的實施例中，獲取手勢目標後將窗口擴大4倍對手勢目標進行檢測。

由於在每影格圖像之間手部運動變化距離並不大，爲了提高速度，每當檢測到手勢目標後，可通過擴大檢測窗口作爲下一影格手勢目標存在位置的預判，下一影格輸入圖像只取此視窗圖像部分，以提高檢測速度。

進一步地，可將原窗口的長度與寬度各擴大2倍的。

在優選的實施例中，分類器採用級聯分類器。

在本實施例中採用級聯分類器能夠檢測光線、拍攝角度、大小、膚色不同的手勢，識別正確率可達到90%以上，準確性高。

如圖1所示，一種手勢檢測識別系統，包括：採集單元1，用以採集圖像；儲存單元2，連接採集單元1，用以儲存圖像；複數個用於檢測不同手勢的分類器3，分別連接儲存單元2，用以在預設順序下採用隔影格交替的方式對每一影格圖像進行檢測，以獲取手勢目標；膚色建模單元4，連接儲存單元2，用以基於手勢目標區域的像素分佈建立膚色模型；決策單元5，分別連接複數個分類器3和膚色建模單元4，根據膚色模型獲取手勢目標前後兩個狀態的手勢頻率，將手勢頻率與預設手勢狀態配對，以獲取手勢轉換的狀態，並輸出。

在本實施例中，手勢檢測識別系統中的分類器3能夠檢測光線、拍攝角度、大小、膚色不同的手勢，且識別正確率可達到90%以上，準確性高。

膚色建模單元4可根據檢測到的手勢目標區域，基於像素分佈進行實時的膚色建模，可以針對特定場景提取膚色，並且在光照劇烈變化後逐步消除其産生的影響。膚色建模單元4可將檢測出的手勢目標區域圖像色彩空間轉爲YUV空間，去除Y分量來消除光照影響。由於在此區域內膚色像素呈高斯分佈，計算得到該區域UV值的平均值和標準差來更新總體膚色的平均值標準差，便可以實時建立膚色模型，去除背景，提高準確率。

在優選的實施例中，採集單元1採用攝影機。

進一步地，攝影機可採用採集速度爲30影格/秒的高清攝影鏡頭。

在優選的實施例中，分類器3採用級聯分類器。

在本實施例中採用級聯分類器3能夠檢測光線、拍攝角度、大小、膚色不同的手勢，識別正確率可達到90%以上，準確性高。

在優選的實施例中，分類器3均通過一預設滑動窗口對圖像進行多尺度目標檢測，以獲取手勢目標。

分類器3採用了Adaboost演算法進行訓練。Adaboost是一種反覆運算演算法，主要思想是對一個訓練集訓練出多個不同的弱分類器(Weak Classifier)，再將這些弱分類器聯合起來，組合成一個強分類器。它根據每次訓練集中每個樣本分類是否正確以及上次總體分類的正確率來確定每個樣本的權值，下層分類器就根據這些新權值的數據集進行訓練。最後獲得的級聯分類器就是將每次訓練得到的分類器加權組合而成。

進一步地，分類器3可採用LBP特徵（Local Binary Pattern，局部二值模式）進行訓練。LBP特徵是一種用來描述圖像局部紋理特徵的運算元，它具有旋轉不變性和灰度不變性等顯著的優點。

在本實施例中採用和訓練圖像大小相同的滑動窗口對圖像進行多尺度目標檢測。

在優選的實施例中，分類器3獲取手勢目標後將窗口擴大4倍對手勢目標進行檢測。

由於在每影格圖像之間手部運動變化距離並不大，爲了提高速度，每當檢測到手勢目標後，可通過擴大檢測窗口作爲下一影格手勢目標存在位置的預判，下一影格輸入圖像只取此視窗圖像部分，以提高檢測速度。

進一步地，可將原窗口的長度與寬度各擴大2倍的。

對於不同的手勢，可訓練出相應手勢對應的分類器。以特定的拳-掌訓練出了對應的拳分類器和掌分類器爲例進行手勢檢測識別：爲了提高計算速度，可採用隔影格交替的方式採用不同分類器的方法進行手勢的檢測，在實際生活中，手勢可以在一定時間內是恒定的，因此在某影格使用其中一個分類器檢測到手勢，若下一影格另一個分類器未檢測到時，可以假設之前的手勢狀態依舊存在。爲了識別狀態改變，假設了手勢頻率F(gesture)=手勢存在時間/檢測時間，它可以平滑誤檢，減少對狀態識別的幹擾。理想條件下，拳-掌和掌-拳關於手勢頻率的變化應該符合圖2所示，二者的交點即爲手勢狀態改變。實際應用中：當檢測出某個手勢存在之後，選擇其附近區域作爲下一影格的檢測視窗，以提高檢測速度並且降低誤檢率。爲了對手勢變化作出快速響應，在計算手勢頻率F時使用了一個較短的滑動視窗，其長度與手勢變化時間相關。由於兩個頻率f1，f2交點的橫坐標並不一定是整數，因此設立一個閾值T，當f1與f2的絕對差值在閾值T範圍內，則認爲發生了一次狀態改變。此閾值T對響應速度以及準確率有較大影響。通過觀察頻率曲線可以得知，從狀態B變爲狀態C時，f1下降，f2上升。因此根據計算得到的兩個手勢頻率可以判斷出，此變化是拳-掌還是掌-拳。

在手勢檢測識別過程中：拳-掌，掌-拳的改變通常發生在0.5秒之內，因此可選擇長度爲15影格的滑動窗口。通過隔影格交替使用分類器、縮小檢測範圍的方式可提高檢測識別速度同時降低誤檢率，採用定義的頻率函數平滑誤檢噪聲，通過頻率的變化識別出對應的狀態改變，且識別快速準確，響應速度可保持在100ms以內。

於上述技術方案基礎上，進一步的，如圖3所示，可將手勢檢測識別技術應用於手勢音樂控制中，可採用一高畫質攝影鏡頭，通過MIPI或者USB介面連接到機器人的嵌入式系統，機器人嵌入式計算系統可包含硬體和軟體運行環境，系統中包括影像採集單元、手勢檢測識別單元和音樂播放單元。

手勢音樂控制系統的具體控制過程爲：機器人播放音樂的同時請求到影像採集單元，驅動軟體接受請求，將攝影鏡頭採集到的影像傳送給手勢檢測識別單元，用於檢測並確定具體手勢，計算後將結果發送給音樂播放單元，音樂播放單元得到結果後執行預先指定的對應命令。如：使用者發出握拳（掌-拳）的操作，音樂暫停；使用者發出伸開五指（拳-掌）的操作，音樂繼續。

本發明的優點有：現有的識別技術採用的預先建立膚色模型對某些特定場景並不適用，而本發明採用的實時建立膚色模型能夠適用於當時場景，並且能夠消除光照劇烈變化的影響；本技術方案可嵌入於機器人系統中，因此採用的是LBP特徵，它是整數運算，相比方向梯度直方圖（Histogram of Oriented Gradient， HOG），極大降低運算量，使得系統計算更加快速；本發明在前一影格的基礎上進行手勢目標區域的位置預判從而減少圖像區域大小，能夠極大的提升運行速度，消除部分背景影響，降低誤檢率；通過隔影格使用不同手勢分類器可以提高檢測速度；通過手勢頻率來平滑誤檢噪聲，使用一個較短的滑動視窗對手勢的狀態變化作出即時響應。

以上所述僅爲本發明較佳的實施例，並非因此限制本發明的實施方式及保護範圍，對於本領域技術人員而言，應當能夠意識到凡運用本發明說明書及圖示內容所作出的等同替換和顯而易見的變化所得到的方案，均應當包含在本發明的保護範圍內。

無

圖1爲本發明所述手勢檢測識別系統的一種實施例的模組圖； 圖2爲拳-掌和掌-拳關於手勢頻率變化的曲線圖； 圖3爲手勢音樂控制系統的原理圖。

Claims (10)

1. 一種手勢檢測識別方法，包括下述步驟： A1. 採集圖像，並儲存； A2. 採用預設的多個用於檢測不同手勢的分類器按照預設順序依據影格交替的方式對每一影格所述圖像進行檢測，以獲取手勢目標； A3. 基於所述手勢目標區域的像素分佈建立膚色模型； A4. 根據膚色模型獲取所述手勢目標前後兩個狀態的所述手勢頻率，將所述手勢頻率與預設手勢狀態配對，以獲取手勢轉換的狀態，並輸出。
2. 如申請專利範圍第1項所述之手勢檢測識別方法，其中在執行所述步驟A2之前，對所述圖像進行預處理。
3. 如申請專利範圍第2項所述之手勢檢測識別方法，其中每個所述分類器均透過一預設滑動窗口對所述圖像進行多尺度目標檢測，以獲取所述手勢目標。
4. 如申請專利範圍第3項所述之手勢檢測識別方法，其中獲取所述手勢目標後將所述預設滑動窗口擴大4倍對所述手勢目標進行檢測。
5. 如申請專利範圍第1項所述之手勢檢測識別方法，其中所述分類器採用級聯分類器。
6. 一種手勢檢測識別系統，包括： 採集單元，用以採集圖像； 儲存單元，連接所述採集單元，用以儲存所述圖像； 複數個用於檢測不同手勢的分類器，分別連接所述儲存單元，用以在預設順序下採用隔影格交替的方式對每一影格所述圖像進行檢測，以獲取手勢目標； 膚色建模單元，連接所述儲存單元，用以基於所述手勢目標區域的像素分佈建立膚色模型； 決策單元，分別連接複數個所述分類器和所述膚色建模單元，根據膚色模型獲取所述手勢目標前後兩個狀態的所述手勢頻率，將所述手勢頻率與預設手勢狀態配對，以獲取手勢轉換的狀態，並輸出。
7. 如申請專利範圍第6項所述之手勢檢測識別系統，其中所述採集單元採用攝影機。
8. 如申請專利範圍第6項所述之手勢檢測識別系統，其中所述分類器採用級聯分類器。
9. 如申請專利範圍第6項所述之手勢檢測識別系統，其中所述分類器均透過一預設滑動窗口對所述圖像進行多尺度目標檢測，以獲取所述手勢目標。
10. 如申請專利範圍第6項所述之手勢檢測識別系統，其中所述分類器獲取所述手勢目標後將所述預設滑動窗口擴大4倍對所述手勢目標進行檢測。