TW201508549A

TW201508549A - 追蹤與記錄指尖軌跡的影像處理方法

Info

Publication number: TW201508549A
Application number: TW102130377A
Authority: TW
Inventors: Ming-Fang Wu; Chun-Jung Chen; Tien-Chi Chen; Ping-Tsung Wang; Sung-Pei Yang; Jen-Hsing Li
Original assignee: Univ Kun Shan
Priority date: 2013-08-23
Filing date: 2013-08-23
Publication date: 2015-03-01
Also published as: TWI507919B

Abstract

本發明係有關於一種追蹤與記錄指尖軌跡的影像處理方法，係將影像擷取裝置所擷取的影像，藉由以影像處理為基礎，進行影像膚色二值化之前處理，再針對指尖位置通常於手部區塊外框之特性，進行手部位置辨識與指尖搜尋，便能得到所辨識之指尖位置的軌跡，從而進行追蹤及記錄。

Description

追蹤與記錄指尖軌跡的影像處理方法

本發明係有關於一種追蹤與記錄指尖軌跡的影像處理方法，尤其是指一種透過影像處理的方式進行指尖之追蹤與記錄的創新方法。

按，這幾年在各種消費性電子產品中，以直覺式手寫方式為輸入介面的觸控裝置漸漸普及，由於觸控手寫功能需經由觸控筆，手寫盤或觸控螢幕來達成，以致觸控裝置通常拘泥於裝置本身畫面的大小，且建置觸控裝置需要一定的製造成本，因此，鑒於手寫輸入的方便性，使用視訊鏡頭來攝取手寫軌跡的連續畫面，再以影像軌跡線條追蹤的方式來進行手寫文字辨識的應用相繼被提出，如台灣專利公告號466438中提出一種「手勢滑鼠的構成方法」，惟其主要使用在單純的環境中，藉著手指或其他適當物品在攝影區內的影像，來操作電腦的構成方法；或如台灣專利公告號393629中提出一種「手勢辨識系統及方法以及記憶媒體」，然其主要重點在手勢辨識系統而非追蹤系統；再如台灣專利公告號I224288中提出一種「在影像中校準手勢特徵之方法」，其揭示以首先擷取一輸入之手勢影像，並對此手勢影像進行影像前處理，以分割出手勢影像之二值化輪廓影像所形成的封閉曲線，接著，影像處理裝置可根據此封閉曲線來描繪出手勢影像之曲率格化空間影像，再將其所形成之座標－峰值組數列與一預設函數進行迴旋積分運算，藉以將具有最大積分值之座標值指定為基準點，進而求出手勢影像之特徵參數，最後比對手勢影像之特徵參數與參考手勢形狀之特徵參數，以辨識出手勢影像所對應之手勢形狀，然此運算方法仍過於複雜，且並未討論到如何擷取與追蹤手勢。

緣是，發明人秉持多年該相關行業之豐富設計開發及實際製作經驗，針對現有之手勢辨識方法再予以研究改良，提供一種追蹤與記錄指尖軌跡的影像處理方法，以期達到更佳實用價值性之目的者。

本發明之追蹤與記錄指尖軌跡的影像處理方法，其主要包括：

(A)影像膚色二值化處理：用以將擷取的影像資料進行膚色區塊的判定與二值化處理；

(B)手部區塊判定：用以擷取出正確的手部區塊，包括：

(B1)膚色區塊標定；

(B2)手部區塊篩選；

(C)指尖座標追蹤：藉由偵測指尖位置，得到指尖座標；其步驟包括：

(C1)計算手部區塊外框；

(C2)外框邊界尖點座標搜尋；

(C3)指尖條件篩選；

(D)指尖軌跡座標記錄：將得到的每一指尖座標加以記錄，以得到連續的指尖軌跡。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B1)中，是運用連接元區域標定，把影像中屬於相同物件之相連像素找出來，藉此標定出影像中各個膚色獨立的物件，並能統計出在該影像中所有的膚色獨立物件的數量、面積、物件範圍之資訊。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B1)中，在整張影像經連接元區域標定之後，進一步利用設定一面積門檻值過濾出前兩大膚色區塊。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B1)中，該面積門檻值為1200像素。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B2)中，是以色調(Hue)範圍為最小4度與最大值25度之間的膚色值為紅膚色，藉由影像中紅膚色比例來判定是否為手部。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B2)中，當該影像中兩大膚色區塊紅膚色比例皆大於一定值，則比例大者為手部；若僅一膚色區塊大於紅膚色比例門檻，則此區塊為手部；若兩者皆不符，則畫面判定為無手部區塊。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(C1)中，該手部區塊外框計算方式為將手部區塊像素從左至右，由上至下進行統計各點座標位置，找出X與Y座標之最大與最小值，再以此值標示出矩形外框即為手部區塊外框。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(C2)中，係從該手部區塊外框依序搜尋，以該外框為一維像素，將外框四邊分四部分，由四角落為起點，以順時鐘方向依序搜尋，在遇到該外框上有手部邊緣像素時，將此點設為指尖中點Fm，再以該指尖中點Fm為起點X1，尋找相鄰手部邊緣座標，搜尋到相鄰座標之後將原點設為0，並將該座標設為下一次搜尋的中心X2，依此方式完成第一次搜尋後，再分別往前及往後進行30次遞廻，以搜尋指尖前點Ff及後點Fb，以此求得該外框四邊上的尖點位置。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(C3)中，係由該外框四邊上的四個尖點中進行指尖位置篩選，其係先以尖點F_m 與前後點F_f 及F_b 計算出兩向量與，再以這兩向量計算夾角即可得知尖點座標與前後頭30像素座標之夾角θ，其中：，接著比對四邊上夾角最小的尖點，該夾角最小的尖點即是指尖。

如上所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(C3)中，當該四邊上之各夾角超過45度時，該夾角判定為非指尖位置。

為令本發明所運用之技術內容、發明目的及其達成之功效有更完整且清楚的揭露，茲於下詳細說明之：

請參看第一圖所示，其係本發明之追蹤與記錄指尖軌跡的影像處理方法流程圖。本發明之方法包括如下步驟：

(A)影像膚色二值化處理：

首先將擷取的影像資料進行色彩的轉換，以判定膚色區塊，再針對該膚色區塊進行二值化處理［由於此部分之影像膚色二值化處理為一般先前技術，且非本發明訴求重點，故不予贅述］；

(B)手部區塊判定：

主要係為從影像膚色二值化處理後的影像中，擷取出正確的手部區塊。由於在一般操作環境當中，鏡頭擷取到的膚色畫面不一定只有手部，通常臉部會一起入鏡，或是手部並不存在於畫面中，所以需要正確的標示出手部區塊才能正確找出指尖所在位置，此流程主要是由膚色區塊標定及手部區塊篩選等兩個步驟來達成；

(B1)膚色區塊標定：係將完成影像膚色二值化之影像中的每一膚色區塊標示出來，並計算各區塊的範圍、面積、高度和寬度大小。本發明在此步驟中主要是運用連接元區域標定(connected component labeling)，把影像中屬於相同物件之相連像素找出來，藉此標定出影像中各個獨立的物件，當整張影像經連接元區域標定之後，就可以統計出在影像中所有的物件數量、面積、物件範圍等資訊，此外，當整張影像經連接元區域標定之後，仍有一些較大雜點無法排除，或是目標物離鏡頭過遠無法進行追蹤，因此，本發明在此步驟利用設定一面積門檻值過濾出前兩大膚色區塊，其中該面積門檻值為1200像素；在膚色二值化的影像裡進入畫面之中的除了手部外，臉部亦可能同時存在，而且通常手部面積會比臉部小，因此透過符合門檻值的前兩大區塊框選出來後，須再進行臉部排除，請參看第二圖中的矩形框所示，為影像中前兩大膚色區塊標定的結果；

(B2)手部區塊篩選：由於膚色二值化影像裡手部與臉部可能同時進入畫面之中，因此必須將手部區塊篩選出來。通常手部面積會比臉部小，且手掌的膚質不同於手背與臉部，且通常會比臉部來的白皙及粉紅，且此種膚色於手部區塊中的比例會遠大於臉部區塊，因此本發明以此種膚色比例來判定是否為手部，計算此膚色比例，需設一門檻值，再統計膚色候選區塊中白皙及粉紅的像素，並計算符合此門檻值像素與膚色區塊總像素比例，此比例稱為紅膚色比例；其中，本發明是以色調(Hue)範圍為最小4度與最大值25度之間的膚色值為紅膚色。計算出每一區塊之紅膚色比例之後即可對兩膚色區塊進行比對，若兩區塊紅膚色比例皆大於一定值，則比例大者為手部；若僅一區塊大於紅膚色比例門檻，則此區塊為手部；若兩者皆不符，則畫面判定為無手部區塊，請參看第三圖（a）為經膚色二值化之原影像，第三圖（b）顯示臉部僅嘴唇部分符合紅膚色區塊，而手部於手掌有較高的符合率，第三圖（c）為手部區塊篩選判別結果，白色區塊為手部，灰色為被排除的臉部區塊；

(C)指尖座標追蹤：

擷取出手部區塊之後，即可開始進行指尖位置偵測。主要係先計算出手部區塊外框，再從外框上進行邊界尖點座標搜尋，最後從邊界尖點座標來判定指尖位置三個步驟達成；

(C1)計算手部區塊外框：由經驗發現，以指尖書寫的方式中食指指尖通常會位於手部區塊的外框上，因此根據此現象可快速求得指尖位置，第四圖所示為手部於各角度下指尖與外框位置示意圖，手部區塊外框計算方式為將手部區塊像素從左至右，由上至下進行統計各點座標位置，找出X與Y座標之最大與最小值，再以此值標示出矩形外框即為手部區塊外框；

(C2)外框邊界尖點座標搜尋：計算出手部區塊外框之後，接著計算指尖可能位置，由於手指會在手部區塊外框上，所以從外框四邊及手部位置邊緣來搜尋可能為指尖的位置，請參看第五圖所示，揭示本發明之指尖搜尋情況示意圖，以外框為一維像素，因此將外框四邊分四部分，由四角落為起點，以順時鐘方向依序搜尋，遇到外框上有手部邊緣像素，將此點設為指尖中點Fm，再以指尖中點Fm為起點X1，依第六圖(a)、(b)由A、B、C、D、E、F、G、H順序的方式尋找相鄰手部邊緣座標，搜尋到相鄰座標之後將原點設為0，並將該座標設為下一次搜尋的中心X2。依此方式完成第一次搜尋後，再分別往前及往後進行30次遞廻，以搜尋指尖前點F_f 及後點F_b ；當外框四邊都完成上述步驟的搜尋後，即可得到所有手部邊緣於影像外框上之尖點及尖點前後頭30像素座標，結果請參閱第七圖所示，其中手部邊緣內部虚線三角型為尖點與相隔30像素之前後點所繪製；

(C3)指尖條件篩選：求得影像外框四邊上的尖點位置後，接著要從這四個尖點之中進行指尖位置篩選，以選出真正的指尖位置。如第八圖所示，此步驟先以尖點F_m 與前後點F_f 及F_b 計算出兩向量與，再以這兩向量計算夾角即可得知尖點座標與前後頭30像素座標之夾角θ，其中：；

由於在手部影像當中，在外框四邊尖點之中指尖夾角是最小的，因此只需比對出四邊上夾角最小的尖點即是指尖；但有一例外，當手部未伸出手指時，代表不是處於書寫狀態，指尖不存在，所以需規範指尖夾角之最大值，當超過此角度時，代表此夾角亦非指尖位置，其中，該指尖夾角最大值為45度；

(D)指尖軌跡座標記錄：

在判定出指尖座標之後，即可進行指尖軌跡記錄。本發明的記錄方式是將每張畫面進行指尖辨識，當畫面中有指尖出現即予以記錄，若無符合指尖條件則不予記錄，如第九圖(a)的黑色座標點所示，記錄完成後，軌跡狀態會是一座標序列，如下：

將第九圖(a)座標點連結起來即如第九圖(b)，其中，第九圖（a）顯示為數字3之手寫指尖軌跡座標點，第九圖(b)係顯示將第九圖(a)數字3之手寫指尖軌跡座標點相連起來之示意圖；另請再參第十圖，其係英文字s手寫指尖軌跡座標點示意圖，藉由此座標序列即可作為指尖軌跡識別之用。

即本發明將影像由視訊鏡頭擷取之後，經過膚色二值化處理後，先篩選出的膚色區塊並保留較大區塊，再輔以紅膚色區塊分布比例篩選出手部區塊；接著以手部區塊外框為指尖搜尋範圍，搜尋此外框上所有可能為手部的尖點，再從尖點中判斷出指尖位置，以接續進行指尖追蹤及記錄，透過將指尖移動狀況的座標加以記錄使之成為軌跡。

除此之外，本發明能進一步將所記錄的指尖移動軌跡實現在手寫文字輸入上，以達成由影像追蹤指尖作為輸入介面的操作方式，而且硬體方面只需一台視訊鏡頭，成本將比觸控裝置少上許多，所以具有強大的市場潛力。

然而前述之實施例或圖式並非限定本發明之產品結構或使用方式，任何所屬技術領域中具有通常知識者之適當變化或修飾，皆應視為不脫離本發明之專利範疇。

綜上所述，本發明實施例確能達到所預期之使用功效，又其所揭露之具體構造，不僅未曾見諸於同類產品中，亦未曾公開於申請前，誠已完全符合專利法之規定與要求，爰依法提出發明專利之申請，懇請惠予審查，並賜准專利，則實感德便。

無

第一圖：本發明之流程圖第二圖：本發明之膚色區塊標定結果示意圖第三圖：(a)本發明經膚色二值化之原影像；(b)本發明之紅膚色像素影像示意圖；(c)本發明之手部區塊篩選判別結果第四圖：顯示本發明之手部於各角度下指尖與外框位置示意圖第五圖：揭示本發明之指尖搜尋情況示意圖第六圖：(a)揭示本發明之指尖前點搜尋示意圖；(b)揭示本發明之指尖後點搜尋示意圖第七圖：揭示本發明之影像外框四邊上的尖點位置搜尋結果第八圖：本發明之手部尖點角度計算示意圖第九圖：(a)本發明之手寫指尖軌跡座標點示意圖；(b)本發明之手寫指尖軌跡座標點相連狀態圖第十圖：本發明之英文字s手寫指尖軌跡座標點示意圖

Claims

一種追蹤與記錄指尖軌跡的影像處理方法，包括：(A)影像膚色二值化處理：用以將擷取的影像資料進行膚色區塊的判定與二值化處理；(B)手部區塊判定：用以擷取出正確的手部區塊，包括：(B1)膚色區塊標定；(B2)手部區塊篩選；(C)指尖座標追蹤：藉由偵測指尖位置，得到指尖座標；其步驟包括：(C1)計算手部區塊外框；(C2)外框邊界尖點座標搜尋；(C3)指尖條件篩選；(D)指尖軌跡座標記錄：將得到的每一指尖座標加以記錄，以得到連續的指尖軌跡。
如申請專利範圍第1項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B1)中，是運用連接元區域標定，把影像中屬於相同物件之相連像素找出來，藉此標定出影像中各個膚色獨立的物件，並統計出在該影像中所有的膚色獨立物件的數量、面積、物件範圍之資訊。
如申請專利範圍第2項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B1)中，在整張影像經連接元區域標定之後，進一步利用設定一面積門檻值過濾出前兩大膚色區塊。
如申請專利範圍第3項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B1)中，該面積門檻值為1200像素。
如申請專利範圍第4項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B2)中，是以色調(Hue)範圍為最小4度與最大值25度之間的膚色值為紅膚色，藉由影像中紅膚色比例來判定是否為手部。
如申請專利範圍第5項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(B2)中，當該影像中兩大膚色區塊紅膚色比例皆大於一定值，則比例大者為手部；若僅一膚色區塊大於紅膚色比例門檻，則此區塊為手部；若兩者皆不符，則畫面判定為無手部區塊。
如申請專利範圍第1項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(C1)中，該手部區塊外框計算方式為將手部區塊像素從左至右，由上至下進行統計各點座標位置，找出X與Y座標之最大與最小值，再以此值標示出矩形外框即為手部區塊外框。
如申請專利範圍第7項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(C2)中，係從該手部區塊外框依序搜尋，以該外框為一維像素，將外框四邊分四部分，由四角落為起點，以順時鐘方向依序搜尋，在遇到該外框上有手部邊緣像素時，將此點設為指尖中點Fm，再以該指尖中點Fm為起點X1，尋找相鄰手部邊緣座標，搜尋到相鄰座標之後將原點設為0，並將該座標設為下一次搜尋的中心X2，依此方式完成第一次搜尋後，再分別往前及往後進行30次遞廻，以搜尋指尖前點Ff及後點Fb，以此求得該外框四邊上的尖點位置。
如申請專利範圍第7項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(C3)中，係由該外框四邊上的四個尖點中進行指尖位置篩選，其係先以尖點F_m 與前後點F_f 及F_b 計算出兩向量與，再以這兩向量計算夾角即可得知尖點座標與前後頭30像素座標之夾角θ，其中：，接著比對四邊上夾角最小的尖點，該夾角最小的尖點即是指尖。
如申請專利範圍第9項所述之追蹤與記錄指尖軌跡的影像處理方法，其中，在步驟(C3)中，當該四邊上之各夾角超過45度時，該夾角判定為非指尖位置。