TW201540258A - 快速影像式脈搏偵測方法 - Google Patents
快速影像式脈搏偵測方法 Download PDFInfo
- Publication number
- TW201540258A TW201540258A TW103115291A TW103115291A TW201540258A TW 201540258 A TW201540258 A TW 201540258A TW 103115291 A TW103115291 A TW 103115291A TW 103115291 A TW103115291 A TW 103115291A TW 201540258 A TW201540258 A TW 201540258A
- Authority
- TW
- Taiwan
- Prior art keywords
- sets
- waveform
- pulse
- image
- face
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000000926 separation method Methods 0.000 claims abstract description 9
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
一種快速影像式脈搏偵測方法，係利用攝影機拍攝連續人臉影像畫面以辨識出脈搏訊號，方法包含：(1)攝影機拍攝人臉影像並進行人臉偵測；(2)經過一設定時間後獲取到連續數張的人臉影像，每張人臉影像皆計算R、G、B個別的平均值，計算完成後形成三組顏色時間訊號；(3)以一訊號分離演算法對此三組顏色時間訊號進行處理，輸出產生三組不含雜訊的時間訊號；(4)對這三組不含雜訊之時間訊號分別以自相關為主的方法計算產生三組波形；(5)由於這三組波形分別都能計算出脈搏值，本發明提出一演算方法從中選擇正確的波形，以獲得最終的脈搏資訊。
Description
本發明係關於一種影像式脈搏偵測方法，利用攝影機拍攝連續人臉影像畫面以辨識出脈搏訊號，屬脈搏偵測之技術，特別為一種利用人臉影像，以進行脈搏偵測之技術。
影像式脈搏偵測為近年來新興的技術，此技術的優勢在於利用市面上非常普遍的視訊攝影機即能進行脈搏偵測，且此技術為非接觸式，待測者臉部與感測器(攝影機)間不需直接接觸，不像傳統的接觸式手指型脈搏偵測器有衛生方面的顧慮。
當前的影像式脈搏偵測流程為：(1)攝影機拍攝人臉影像並進行人臉偵測；(2)經過一設定時間後獲取到連續數張的人臉影像，每張人臉影像皆計算R、G、B個別的平均值，計算完成後形成三組顏色時間訊號；(3)以一訊號分離演算法(J.-F.Cardoso,“High-order contrasts for independent component analysis,”Neural Comput.11(1),pp.157-192,1999.)對此三組顏色時間訊號進行處理，輸出產生三組不含雜訊的時間訊號；(4)在攝影機拍攝人臉的同時以手指型脈搏偵測器偵測脈搏，將產生的時間訊號當成參考，比對此參考之時間訊號與步驟三產生的三組時間訊號的相似度，發現第二
組時間訊號與手指型脈搏偵測器的時間訊號最相似；(4)利用傅立葉轉換方法對第二組不含雜訊的時間訊號計算兩波峰的間隔，此間隔即可對應到脈搏的頻率。此作法已接露於美國專利「Method and system for measurement of physiological parameters」(專利公告號：US20110251493 A1)。
另外，如中國大陸專利「Method and system for contact-free heart rate measurement」(專利公開號：CN103040452 A)中，提到不只可利用臉部顏色變化判斷脈搏值，手部與腳部的顏色變化也能判斷脈搏，為此此專利有提出一個膚色偵測演算方法自動偵測手部與腳部的位置。此上述二篇專利皆使用傅立葉轉換將顏色時間訊號轉至頻率域後找出能量最高的頻率位置，再將此頻率換算成脈搏值。而傅立葉轉換的缺點在於量測解析度與分析時間成正比，要提高解析度必須透過增加分析時間來達成。舉例來說，若影像擷取頻率為30fps(frames per second)，則分析時間必須長達18秒，脈搏偵測的解析度才能提高至1.76bpm(bits per minutc)。
由此可見，上述習用方式仍有諸多缺失，實非一良善之設計者，而亟待加以改良。
本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件快速影像式脈搏偵測方法。
本發明之目的即在於提出以自相關為主的方法，直接在空間域分析，並配合超解析方法，以克服傅立葉轉換
量測解析度的問題，將分析時間大幅縮短，提高影像式脈搏偵測的實用性。
達成上述發明目的之一種快速影像式脈搏偵測方法，其步驟包含：步驟一、以攝影機拍攝人臉影像，並設定該攝影機擷取影像的頻率，再進行人臉偵測；步驟二、經過預先設定之影像擷取時間後，獲取到連續數張的該人臉影像，每張該人臉影像皆計算R、G、B個別的平均值，並於計算完成後，每張該人臉影像則形成三組顏色時間訊號；步驟三、以訊號分離演算法對此三組該顏色時間訊號進行處理，並輸出產生一新的三組顏色時間訊號資料；步驟四、對新的三組該顏色時間訊號資料，分別以自相關係數為主的方法，計算產生三組波形；以及步驟五、運用該三組波形，並選擇正確的波形，以計算出脈搏值。
本發明所提供之快速影像式脈搏偵測方法，與其他習用技術相互比較時，更具備下列優點：
1.本發明與其他已揭露之影像式脈搏偵測方法不同點是：對於顏色時間訊號的處理是在空間域上進行，提出以自相關方法(auto correlation)配合超解析方法(super resolution)方法可將偵測時間大幅縮短。
2.本發明提出以自相關方法配合超解析方法分別對三組顏色時間訊號做分析，計算產生三組波形，由於這三組波形分別都能計算出脈搏值，本發明提出一波形選擇(spectrum selection scheme)演算方法選出
正確的波形，以獲得最終的脈搏資訊。
3.人臉影像之顏色時間訊號並非常態穩定(stationary)，若每次皆從顏色時間訊號的第一個樣本分析會導致結果錯誤，對此本發明有提出一樣本資料位移(data shift scheme)演算方法做修正。
S101~S105‧‧‧脈搏偵測方法架構流程
201‧‧‧去除雜訊的三組主成分時間訊號
202‧‧‧自相關方法分別對三組主成分訊號計算產生的三組自相關係數波形
203‧‧‧模擬之高斯函數
204‧‧‧模擬高斯波形向左移的情況
205‧‧‧模擬高斯波形向右移的情況
S300~S306‧‧‧脈搏偵測方法流程
請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖為：圖1為本發明快速影像式脈搏偵測方法架構流程圖；圖2為本發明之波形選擇演算方法說明圖；圖3為本發明快速影像式脈搏偵測方法流程圖。
為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。
以下，結合附圖對本發明進一步說明：請參閱圖1，為本發明快速影像式脈搏偵測方法架構圖，首先，先以一攝影機拍攝擷取連續人臉影像S101，在此需設定攝影機擷取影像的頻率(frames per second，fps)，例如可設定fps等於30；以一人臉偵測方法對每張影像偵測人臉區域，分別計算人臉區域R、G、B的顏色通道平均值S102，由於人臉偵測方法非本專利重點，因此直接採用Intel開放軟體OpenCV之人臉偵測功能，但為不可分割之過程；連續累積數張人臉影像(例如可設定累積4秒的影像)後，R、G、B
的平均值可分別形成三組時間訊號S103；以一訊號分離演算方法抽離R、G、B三組時間訊號的雜訊，輸出與原本訊號長度相同之三組主成分時間訊號S104，在此訊號分離演算方法採用joint diagonalization of eigenmatrices(JADE)。
以自相關(auto correlation)方法配合超解析(super resolution)方法(Y.Medan,E.Yair and D.Chazan,“Super Resolution Pitch Determination of Speech Signals,”IEEE Transactions On Signal Processing,vol.39,issue.1,pp.40-48,1991.)分別計算三組主成分時間訊號之自相關係數，輸出產生三組自相關係數波形S105，自相關方法的目的為找出主成分時間訊號中兩個波峰的整數樣本間隔數，詳細流程與數學符號定義如下：假設符號h[1：L]=(h 1,h 2,...,h L )代表一個樣本數量為L的離散時間訊號；對於任意樣本起始點i 0，定義符號x τ (i 0)與y τ (i 0)為兩段樣本數量皆為m的時間訊號，詳細公式為：
換句話說，x τ (i 0)是一段擷取自h[1：L]的時間訊號且起始點為，而y τ (i 0)也是一段擷取自h[1：L]的時間訊號但起始點為，為了更簡潔符號表示，將x τ (i 0)寫成x τ =(x 1,x 2,...,x m )，將y τ (i 0)寫成y τ =(y 1,y 2,...,y m )，則此兩段時間訊號的自相關係數γ τ (x τ ,y τ )可由下列公式計算：
其中|x τ |和|y τ |分別為x τ 與y τ 的向量長度，(x τ ,y τ )則代表x τ 與y τ 兩個向量作內積運算。自相關係數
最高的位置τ即為時間訊號h[1：L]中兩個波峰的整數樣本間隔，數學式定義如下：
其中R min 與R max 分別代表τ的最小可能值與最大可能值，例如當假設人類脈搏每分鐘最高為200次，最低為38次，則此二值的計算公式如下：
然而，在真實世界的情況下，訊號是連續的，而非離散的。參考文獻二中認為真實的波峰樣本間隔並非整數R 0，而是一浮點數R= R +α，此浮點數的計算方法即稱為超解析(super resolution)方法，透過此方法能克服脈搏偵測誤差值的問題。其中 R 是R的整數部分，α是R的小數部分，且0≦α<1。α值的物理意義可由一個線性內插的公式來解釋，如下：
若定義符號α ＊為α的最佳解，則α ＊可表示成：
α ＊值計算的公式推導與理論證明在參考文獻二中都有說明，本發明中就不再贅述，公式如下：
S105的三組波形即為利用自相關方法分別對三組主成分時間訊號在區間[R min ,R max ]下計算產生。例如當fps=30，則公式(4)中的R min =9，R max =48。
S105的三組波形分別都能計算出脈搏，計算方式
為找出波形中最高的波峰對應的位置R 0，依公式(4)反推即可算出脈搏。至於要如何選擇正確的波形，本發明提出一波形選擇演算法。
請參閱圖2波形選擇演算方法說明圖，首先，找幾位測試人員協助拍攝脈搏偵測測試影片，在拍攝影片的同時以一傳統手指型脈搏偵測器偵測脈搏做為參考答案；觀察每一段測試影片皆利用上述演算方法計算產生圖1中S105的三組波形，並與手指型脈搏偵測器的答案做對照；觀察後發現各測試影片的正確答案對應之波形都十分類似一個高斯函數(Gaussian Function)，以圖1 S105的圖例來說為第二個波形。因此本發明提出以一個自動模擬產生之高斯函數分別與三個波形做旋積(Convolution)，旋積分數最高的波形即為正確答案。圖2之201為去除雜訊的三組主成分時間訊號；圖2之202為以自相關方法分別對三組主成分訊號計算產生的三組自相關係數波形；圖2之203為模擬之高斯函數，例如可設定高斯平均值(mean)為(R max -R min )/2，變異數(deviation)為(R max -R min )/7；由於高斯波形的頂點(波峰)對應的位置即可換算脈搏值，因此高斯波形的波峰並非每次都出現在正中央，圖2之204即為模擬高斯波形向左移的情況，而圖2之205即為模擬高斯波形向右移的情況。本發明之波形選擇演算法能以數學式表示如下：
其中G代表模擬之高斯函數，C k 代表第k個自相關係數波形，因此k是整數且1≦k≦3，z代表高斯函數的平均值，其範圍在[Z min ,Z max ]，例如可設定Z min -(R max -R min )/4，Z max =(R max -R min )＊3/4。因此符號(G＊C k )(z)
代表G與C k 做旋積且G的平均值為z。S 0即代表最後選擇的波形。
另外，真實世界的時間訊號並非常態穩定(Stationary)，若每次皆從時間訊號的第一個樣本分析可能會導致錯誤的結果，因此本發明提出一個樣本資料位移(data shift)演算法做修正，基本原理為藉由改變分析起始樣本後計算自相關係數，從中挑選自相關係數最高的起始樣本為答案，資料樣本位移演算方法與波形選擇演算方法合併使用之公式如下：
其中代表第k個自相關係數波形，且資料分析起始樣本之位置為i 0，L代表時間訊號的總長度，例如可設定fps=20，分析時間為4秒，則L=fps＊分析時間(秒)=30＊4=120，m為計算自相關係數時之時間訊號段長度，例如當設定m=R max =48，則i 0的範圍是0≦i 0<24。另外若不使用本發明之資料位移(data shift)演算方法，則i 0只有一個值，就是0，在此情況下分析時間為3.2秒。圖1 S101~S105是找出時間訊號中波峰整數樣本間隔R 0，並且已經選出正確的波形。此時採用超解析方法以內插法計算出浮點數α ＊，兩者相加後由公式(4)回推出正確的脈搏值，如此可解決傅立葉轉換方法受限於脈搏偵測解析度的問題(註：傅立葉轉換方法要提高脈搏偵測解析度必須增加樣本分析數量)。
請參閱圖3所示，為本發明快速影像式脈搏偵測方法流程圖，其步驟如下：步驟一、S300攝影機擷取人臉影像串流；步驟二、S301以人臉偵測技術偵測準確的人臉位置；
步驟三、S302計算每張人臉影項RGB的平均值形成三組顏色時間訊號；步驟四、S303以訊號分離演算法抽離雜訊輸出三組主成分時間訊號；步驟五、S304以自相關方法配合資料位移演算方法計算輸出三組自相關係數波形；步驟六、S305以波形選擇演算法選擇正確的波形；以及步驟七、S306以超解析方法計算浮點波峰樣本間隔，換算成脈搏後輸出。
由上述步驟得知，受測者臉部面向攝影機，攝影機擷取人臉影像串流後；以人臉偵測技術偵測準確的人臉位置；計算每張影像人臉區域R、G、B個別的平均值，累積一定影像張數後形成三組顏色時間訊號；以訊號分離演算法抽離顏色時間訊號之雜訊後輸出三組主成分時間訊號；以自相關方法配合資料位移演算方法分別對三組主成分時間訊號做處理，計算輸出三組自相關係數波形；由於三組自相關係數波形分別都能計算脈搏，必須以波形選擇演算法選擇正確的波形。最後由超解析方法找出兩波峰之浮點數樣本間隔，此間隔可換算成脈搏輸出。
上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請
貴局核准本件發明專利申請案，以勵發明，至感德便。
S101~S105‧‧‧脈搏偵測方法架構流程
Claims (7)
- 一種快速影像式脈搏偵測方法，係以攝影機拍攝連續人臉影像畫面以辨識出脈搏訊號，其步驟包括：步驟一、以攝影機拍攝人臉影像，並設定該攝影機擷取影像的頻率，再進行人臉偵測；步驟二、經過預先設定之影像擷取時間後，獲取到連續數張的該人臉影像，每張該人臉影像皆計算R、G、B個別的平均值，並於計算完成後，每張該人臉影像則形成三組顏色時間訊號；步驟三、以訊號分離演算法對此三組該顏色時間訊號進行處理，並輸出產生一新的三組顏色時間訊號資料；步驟四、對新的三組該顏色時間訊號資料，分別以自相關係數為主的方法，計算產生三組波形；以及步驟五、運用該三組波形，並選擇正確的波形，以計算出脈搏值。
- 如申請專利範圍第1項所述之快速影像式脈搏偵測方法，其中該人臉偵測，係指偵測人臉影像中之人臉區域位置。
- 如申請專利範圍第1項所述之快速影像式脈搏偵測方法，其中該波形，係指由該自相關係數所形成之波形，並且該波形之計算步驟包含：步驟一、以一資料位移演算方法對於經由該訊號分離演算法產生之新的三組顏色時間訊號中的每一組時間訊號計算複數組自相關係數該波形；步驟二、選擇具有該自相關係數最高的該波形；以及步驟三、該新的三組顏色時間訊號都經過相同的處理，輸 出仍是三組自相關係數波形。
- 如申請專利範圍第1項所述之快速影像式脈搏偵測方法其中該選擇正確的波形，係為波形選擇演算方法。
- 如申請專利範圍第1項所述之快速影像式脈搏偵測方法，其中該計算出脈搏值，係以超解析演算方法計算出浮點數波峰樣本間隔後，再換算成脈搏，其步驟包含：步驟一、透過超解析演算方法對波形選擇模組選擇的自相關係數波形計算浮點數波峰樣本間隔；以及步驟二、換算成脈搏輸出。
- 如申請專利範圍第3項所述之快速影像式脈搏偵測方法，其中該資料位移演算方法，係藉由每次位移一個樣本對該時間訊號進行該自相關係數計算達成。
- 如申請專利範圍第4項所述之快速影像式脈搏偵測方法，其中該波形選擇演算方法之步驟係包含：步驟一、模擬產生一高斯波形；步驟二、以左右位移分別對三組自相關係數波形進行旋積運算；以及步驟三、選擇旋積分數最高的波形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW103115291A TW201540258A (zh) | 2014-04-29 | 2014-04-29 | 快速影像式脈搏偵測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW103115291A TW201540258A (zh) | 2014-04-29 | 2014-04-29 | 快速影像式脈搏偵測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201540258A true TW201540258A (zh) | 2015-11-01 |
| TWI559899B TWI559899B (zh) | 2016-12-01 |
Family
ID=55220232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW103115291A TW201540258A (zh) | 2014-04-29 | 2014-04-29 | 快速影像式脈搏偵測方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TW201540258A (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4853320B2 (ja) * | 2007-02-15 | 2012-01-11 | ソニー株式会社 | 画像処理装置、画像処理方法 |
| US20110251493A1 (en) * | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
| TW201315438A (zh) * | 2011-10-14 | 2013-04-16 | Ind Tech Res Inst | 非接觸式之心脈量測方法及其系統 |
| CA2882080A1 (en) * | 2012-08-14 | 2014-02-20 | Aliphcom | Real-time physiological characteristic detection based on reflected components of light |
-
2014
- 2014-04-29 TW TW103115291A patent/TW201540258A/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| TWI559899B (zh) | 2016-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103908236B (zh) | 一种自动血压测量系统 | |
| CN110458235B (zh) | 一种视频中运动姿势相似度比对方法 | |
| JP2017093760A (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
| CN106491117A (zh) | 一种基于ppg心率测量技术的信号处理方法及装置 | |
| Hu et al. | A novel spatial-temporal convolutional neural network for remote photoplethysmography | |
| US8537212B2 (en) | Recording apparatus and recording method thereof | |
| CN116548942A (zh) | 非接触式心率变异性检测方法及系统 | |
| Salah et al. | rPPG estimation: Vision Transformer with 3D temporal central difference | |
| WO2020070808A1 (ja) | 脈波算出装置、脈波算出方法及び脈波算出プログラム | |
| CN105046209A (zh) | 一种基于典型相关分析的非接触式心率测量方法 | |
| Rouast et al. | Remote photoplethysmography: Evaluation of contactless heart rate measurement in an information systems setting | |
| CN119770014B (zh) | 一种基于三颜色通道信号融合技术的非接触式心率检测方法 | |
| CN117877099B (zh) | 一种基于时空特征增强的无监督对比远程生理测量方法 | |
| TW201540258A (zh) | 快速影像式脈搏偵測方法 | |
| CN114511903B (zh) | 基于摄像头防抖动的心率检测方法、装置和存储介质 | |
| JP7514521B2 (ja) | 心拍測定システム、心拍測定方法、及び心拍測定プログラム | |
| Qin et al. | Gesture recognition from depth images using motion and shape features | |
| Liu et al. | LSDASCFormer: A transformer-like network with long–short-distance attention and SCConv for heart rate measurement | |
| CN118986313B (zh) | 基于联合注意力的非接触式心率变异性检测方法及系统 | |
| Kim et al. | STSPhys: Enhanced Remote Heart Rate Measurement With Spatial-Temporal SwiftFormer | |
| JP2021153611A (ja) | 血圧測定装置、携帯端末、及び血圧測定プログラム | |
| JP2021153609A (ja) | 血圧測定装置、携帯端末、及び血圧測定プログラム | |
| JP7576240B2 (ja) | 血圧測定装置、及び血圧測定プログラム | |
| Meng et al. | Remote Photoplethysmography Signal Measurement from Facial Videos Based on Enhanced Hybrid Convolutional Neural Network with Waveform Consistency Loss Function | |
| CN116681700B (zh) | 用户心率和心率变异性的评估方法、装置和可读储存介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |