[go: up one dir, main page]

TWI646941B - 生理訊號量測系統及其量測生理訊號之方法 - Google Patents

生理訊號量測系統及其量測生理訊號之方法 Download PDF

Info

Publication number
TWI646941B
TWI646941B TW106126879A TW106126879A TWI646941B TW I646941 B TWI646941 B TW I646941B TW 106126879 A TW106126879 A TW 106126879A TW 106126879 A TW106126879 A TW 106126879A TW I646941 B TWI646941 B TW I646941B
Authority
TW
Taiwan
Prior art keywords
ppg
image
information
region
roi
Prior art date
Application number
TW106126879A
Other languages
English (en)
Other versions
TW201909838A (zh
Inventor
賴郁仁
陳裕彥
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW106126879A priority Critical patent/TWI646941B/zh
Priority to CN201710724886.8A priority patent/CN109389021B/zh
Priority to US15/847,800 priority patent/US10383531B2/en
Application granted granted Critical
Publication of TWI646941B publication Critical patent/TWI646941B/zh
Publication of TW201909838A publication Critical patent/TW201909838A/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesizing signals from measured signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一種量測生理訊號之方法，包括下列步驟：接收一影片並對每一影像框進行臉部偵測；對第一影像框之第一臉部影像進行光體積變化描記圖(PPG)計算與分析，得到第一區域的複數第一PPG資訊及其對應第二區域的複數第二PPG資訊；根據第一PPG資訊以及第二PPG資訊，決定至少一可信賴區域(ROI)以及一雜訊參考區域；根據ROI以及雜訊參考區域，產生ROI資訊以及雜訊參考區域資訊；根據ROI資訊以及雜訊參考區域資訊，對每一第二影像框之第二臉部影像的ROI以及雜訊參考區域進行PPG的計算與分析，產生複數第三PPG資訊；以及統計所有影像框之PPG資訊，計算出生理訊號之量測值。

Description

生理訊號量測系統及其量測生理訊號之方法
本揭露係有關於影像處理系統及其方法，特別是有關於一種生理訊號量測系統及其相關量測生理訊號之方法。
影像式脈搏偵測為近年來新興的技術，此技術的優勢在於利用市面上非常普遍的視訊攝影機即能進行脈搏偵測，且此技術為非接觸式，待測者臉部與感測器(攝影機)間不需直接接觸，不像傳統的接觸式手指型脈搏偵測器有衛生方面的顧慮。一種常用的非接觸式影像量測心率脈搏的方法，是由彩色影像中擷取出紅色(R)、綠色(G)以及藍色(B)三個色頻，並根據各色頻的光體積變化描記圖(Photoplethysmography，以下簡稱PPG)計算心跳頻率(或稱心率)或脈搏。PPG信號是利用光感測元件吸收光線能量的原理，記錄光線於血管中受血流脈動的變化而偵測出來的信號。血管單位面積的血流量會隨心臟的搏動而產生變化，光感測元件會隨著血液量的變化使得感測電壓跟著變化，因此可藉此推算出心率或脈搏。然而，此種方法在計算時是針對人臉整張影像皮膚的PPG作量測統計，如果有部分皮膚的PPG較不明顯，就容易影響計算的結果。
之後，也有人提出改良的非接觸式影像量測心率脈搏的方法，其是針對膚色、亮度、與移動的問題加以改善。 此方法先由特徵點找到臉，接著將臉分割成數區，在各區定義出追蹤點並整區追蹤，最後各區再精細地分割成許多小區域以計算PPG的平均，以找出臉部最能反映心率的皮膚部位。
然而，上述改良的非接觸式影像量測心率脈搏的方法存在兩個問題。首先，上述方法所偵測到的心跳頻率仍會參雜環境光源的干擾，並無法判斷背景雜訊強度並進行降躁(denoise)，進而影響準確率。其次，上述方法必須不斷追蹤各區的位置，會使用相當多的運算資源，尤其對嵌入式系統等運算資源較少又有限的系統來說，特徵擷取追蹤會拖慢整體運算速度。
有鑑於此，本揭露提供一種生理訊號量測系統及其相關量測生理訊號之方法。
本揭露的一實施例提供一種量測生理訊號之方法，適用於具一影像輸入裝置與一影像處理器的一生理訊號量測系統。方法包括下列步驟：接收包含複數連續影像框之一影片並對每一該等影像框進行臉部偵測，以取得每一影像框之臉部影像，其中影像框包括一第一影像框以及複數第二影像框且該第一影像框之一第一臉部影像具有複數第一區域，每一第一區域具有複數第二區域；對第一影像框之第一臉部影像進行光體積變化描記圖(PPG)計算與分析，以得到對應於第一區域的複數第一PPG資訊以及對應於第二區域的複數第二PPG資訊；根據第一區域之第一PPG資訊以及一臨界值，從第一區域中決定出一保留區域並根據保留區域之第二區域之第二PPG資訊與 一臨界值之比對結果，決定至少一可信賴區域(region-of-interest,ROI)以及一雜訊參考區域；根據第一臉部影像之至少一ROI以及雜訊參考區域，產生一ROI資訊以及一雜訊參考區域資訊，其中ROI資訊包括至少一ROI對應的位置資訊與PPG資訊以及雜訊參考區域資訊包括雜訊參考區域對應的位置資訊與PPG資訊；根據該ROI資訊以及雜訊參考區域資訊，對每一第二影像框之第二臉部影像的ROI以及雜訊參考區域進行PPG的計算與分析，產生複數對應的第三PPG資訊；以及統計所有影像框之PPG資訊，以計算出一生理訊號之量測值。
本揭露另一實施例提供一種生理訊號量測系統，包括一影像輸入裝置、一影像處理器以及一顯示裝置。影像輸入裝置擷取包含複數連續影像框之一影片，其中影像框包括一第一影像框以及複數第二影像框且第一影像框之一第一臉部影像具有複數第一區域，每一第一區域具有複數第二區域。影像處理器係耦接至影像輸入裝置，用以接收影片並對每一影像框進行臉部偵測，以取得每一影像框之臉部影像，對第一影像框之第一臉部影像進行光體積變化描記圖(PPG)計算與分析，以得到對應於第一區域的複數第一PPG資訊以及對應於第二區域的複數第二PPG資訊，根據第一區域之第一PPG資訊以及一臨界值，從第一區域中決定出一保留區域並根據保留區域之第二區域之第二PPG資訊與一臨界值之比對結果，決定至少一可信賴區域(region-of-interest,ROI)以及一雜訊參考區域，根據第一臉部影像之至少一ROI以及雜訊參考區域，產生一ROI資訊以及一雜訊參考區域資訊，其中ROI資訊包括至少一ROI對應 的位置資訊與PPG資訊以及雜訊參考區域資訊包括雜訊參考區域對應的位置資訊與PPG資訊，根據ROI資訊以及雜訊參考區域資訊，對每一第二影像框之第二臉部影像的ROI以及雜訊參考區域進行PPG的計算與分析，產生複數對應的第三PPG資訊，以及統計所有影像框之PPG資訊，以計算出一生理訊號之量測值。顯示裝置係耦接至影像處理器，用以顯示生理訊號之量測值。
本揭露之上述方法可經由本揭露之裝置或系統來實作，其為可執行特定功能之硬體或韌體，亦可以透過程式碼方式收錄於一紀錄媒體中，並結合特定硬體來實作。當程式碼被電子裝置、處理器、電腦或機器載入且執行時，電子裝置、處理器、電腦或機器變成用以實行本揭露之裝置或系統。
10‧‧‧輸入影像
100‧‧‧生理訊號量測系統
110‧‧‧影像輸入裝置
120‧‧‧影像處理器
130‧‧‧儲存裝置
140‧‧‧顯示裝置
S202、S204、S206、S208、S210、S212‧‧‧步驟
300、310、320‧‧‧影像
321、322、323、324、325、326、327‧‧‧臉部區域
410、420、430‧‧‧PPG訊號
S602、S604、...、S642‧‧‧步驟
第1圖係顯示依據本揭露一實施例之生理訊號量測系統之示意圖。
第2圖係顯示本揭露之量測生理訊號之方法一實施例之流程圖。
第3A圖係顯示本揭露一實施例之臉部偵測結果示意圖。
第3B圖係顯示本揭露一實施例之膚色偵測擷取結果示意圖。
第3C圖係顯示本揭露一實施例之臉部區域粗分割結果示意圖。
第3D圖係顯示本揭露一實施例之臉部區域細分割結果示 意圖。
第4A圖至第4C圖係顯示本揭露一實施例之臉部區域的PPG資訊示意圖。
第5圖係顯示本揭露一實施例之脈搏量測結果示意圖。
第6A圖至第6C圖係顯示本揭露之量測生理訊號之方法另一實施例之流程圖。
為讓本揭露之目的、特徵、和優點能更明顯易懂，特舉出下文實施例，並配合所附圖式，作詳細說明如下。注意的是，本章節所敘述的實施例目的在於說明本發明之實施方式而非用以限定本揭露之保護範圍，任何熟悉此項技藝者，在不脫離本揭露之精神和範圍內，當可做些許更動與潤飾，因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。應理解下列實施例可經由軟體，硬體，韌體，或上述任意組合來實現。
本揭露實施例提供一種量測生理訊號之系統及其相關方法，藉由本案之非接觸式生理訊號如心率感測演算法，除了能直接找出影像中可信賴的位置偵測心率，及不需浪費運算資源對於每張影像進行特徵擷取追蹤，並且能利用人臉PPG變化較不明顯的區域判斷背景雜訊進行降躁，一方面可增進量測準確度，另一方面可解決運算量龐大的問題。
第1圖顯示依據本揭露一實施例之生理訊號量測系統之示意圖。如第1圖所示，生理訊號量測系統100至少包括影像輸入裝置110、影像處理器120、儲存裝置130以及顯示裝 置140。影像輸入裝置110可用以接收或取得一輸入影像10，以提供輸入影像10至影像處理器120進行後續影像分析與處理。舉例來說，生理訊號量測系統100可為膝上型電腦、桌上型電腦、平板裝置或其它手持式裝置(例如，智慧型手機或穿戴式裝置)等，但本揭露並不限於此。舉例來說，於一實施例中，影像輸入裝置110可為影像擷取單元，例如一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體光學感測元件之其中一者或其任意組合，但本揭露不限於此。其中，輸入影像10定義為使用者在影像輸入裝置110如攝影機前靜止不動一段時間所拍攝的一定時間長度的影片(video segment)。也就是說，輸入影像10係為具有一既定時間長度的連續影像，且每一影像包括一臉部區域影像。
影像處理器120係耦接至影像輸入裝置110與儲存裝置130，可從儲存裝置130中載入並執行指令集及/或程式碼，以依據影像輸入裝置110所提供的輸入影像10執行本案所述之量測生理訊號之方法，其細節將於後進行說明。影像處理器120可為通用處理器、微處理器(Micro-Control Unit，MCU)、圖形處理器(Graphics Processing Unit,GPU)或數位訊號處理器(Digital Signal Processor，DSP)等，用以提供影像資料分析、處理及運算之功能。儲存裝置130可為非揮發性儲存媒體(例如：唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟、光碟等)、揮發性儲存媒體(例如：隨機存取記憶體(Radom Access Memory，RAM))、或兩者之任意組合，用以儲存相關資料，例如運算過程中的中間資料及處理結 果資料等。於一些實施例中，儲存裝置130可事先儲存輸入影像10，影像處理器120則直接由儲存裝置130中存取輸入影像10進行後續處理，而無須透過影像輸入裝置110。
儲存裝置130可更儲存先前處理過的影像的相關資訊，這些儲存的資訊可用於後續的生理訊號量測。舉例來說，儲存裝置130可儲存關於可信賴區域的影像座標值、像素值及PPG值等。之後，影像處理器120可應用這些儲存的資訊來進行生理訊號如心率、脈搏訊號等的量測。
顯示裝置140可為任一可用以顯示或呈現辨識結果之裝置。顯示裝置140係可顯示相關資料，例如是文字、圖形、介面及/或各種資訊如顯示或呈現量測結果等。顯示裝置140可用以呈現量測結果之影像(包含任一種影像格式，如bmp、jpg、png等)或呈現量測結果之畫面，例如：液晶顯示器(LCD)。應理解的是，於一些實施例中，顯示裝置140係結合觸碰感應裝置(未顯示)之螢幕。觸控感應裝置係具有一觸控表面，其包括至少一維度的感測器以偵測靠近或在觸控表面上的一輸入工具如手指或觸控筆等在其表面上的接觸及動作。因此，使用者可透過顯示裝置140來進行觸控輸入命令或訊號。
可理解的是，上述各元件或模組係為一具有對應功能的裝置，可具有適當的硬體電路或元件以執行對應功能，然而，該裝置並不以具有實體為限，其亦得為一虛擬的具有對應功能的程式、軟體，或是具有處理、運行該程式、軟體能力的裝置。而上述各元件運作的方式，可進一步的參閱以下對應之方法之說明。明確來說，生理訊號量測系統100可經由影像 處理器120來控制影像輸入裝置110、儲存裝置130以及顯示裝置140的操作來執行本案之量測生理訊號之方法。為便於解說，於後面段落的實施例中，將以欲量測的生理訊號為脈搏訊號為例進行可能實施例之說明，本領域技藝人士當可類推其他類型實施態樣。
第2圖顯示本揭露之量測生理訊號之方法一實施例之流程圖。請同時參照第1圖與第2圖。依據本揭露實施例之量測生理訊號之方法可以適用於一生理訊號量測系統，舉例來說，可適用於第1圖的生理訊號量測系統100並由影像處理器120加以執行。
首先，如步驟S202，影像處理器120接收包含複數連續影像框之一影片並對每一影像框進行臉部偵測(face detection)，以取得每一影像框之臉部影像。其中，連續影像框包括一第一影像框以及複數第二影像框。第一影像框可為影片的第一個影像框，而第二影像框則為接續於第一影像框之後的剩餘影像框。於此步驟中，影像輸入裝置110可擷取一段包括連續影像框的影片，而影像處理器120可接收影像輸入裝置110所擷取到的影片並對每一影像框(image frame)進行臉部偵測以擷取各影像框的臉部影像。明確來說，當使用者欲進行心率及/或脈搏訊號量測時，使用者必須在攝影機鏡頭前靜止一段時間，累積拍攝一定長度的影片(video segment)後並且在適當及足夠的環境光源下進行感測方能進行。因此，需要先將使用者錄製的整段影片輸入，定義要處理的影像框數(video frame number)，並根據此段影片的影像(image)執行臉部偵測。注意 的是，具體臉部偵測演算法的細節係可採用所屬技術領域中包括通常知識者所熟知的各種人臉偵測處理技術來加以實現，其細節在此省略。第3A圖係顯示本揭露一實施例之臉部偵測結果示意圖。如第3A圖所示，影像310即為影像300的一臉部影像。於本實施例中，第一影像框包括第一臉部影像，其中第一臉部影像具有複數第一區域，每一第一區域具有複數第二區域。於一實施例中，影像處理器120可根據臉部特徵點，對第一臉部影像進行一皮膚部位粗分割，以分割第一臉部影像為上述第一區域。每一第一區域可再經由一細分割，分為較小的數個第二區域。也就是說，每個第一區域具有複數對應的第二區域。
接著，如步驟S204，影像處理器120對第一影像框之第一臉部影像進行光體積變化描記圖(PPG)計算與分析，以得到對應於第一區域的複數第一PPG資訊以及其對應第二區域的複數第二PPG資訊並接著如步驟S206，根據第一區域的第一PPG資訊以及一臨界值，從第一區域中決定出一保留區域並根據保留區域的對應第二區域的第二PPG資訊與一臨界值之比對結果，執行一可信賴區域擷取程序，以決定一或多個可信賴區域(region-of-interest，簡稱ROI)以及一雜訊參考區域。
其中，可信賴區域(ROI)表示臉部影像中PPG變化較明顯的區域，雜訊參考區域則為人臉PPG變化較小的平坦區域。於一些實施例中，可信賴區域擷取程序包括以下步驟：比對每個第一區域的第一PPG資訊與臨界值，以及將第一區域中第一PPG資訊介於臨界值之範圍內的第一區域設為保留區域。於一實施例中，根據保留區域之第二區域之第二PPG資訊與臨 界值之比對結果，決定ROI以及雜訊參考區域之步驟可更包括以下步驟：比對每一第二區域的第二PPG資訊與臨界值；將第二區域中其第二PPG資訊介於臨界值之範圍內的第二區域設為ROI以及自第二區域中其第二PPG資訊未介於臨界值之範圍內的第二區域中決定雜訊參考區域。
具體來說，影像處理器120可先偵測出影像框中的臉部影像，並根據臉部特徵點，由偵測到的臉部影像擷取出皮膚的位置(face skin extraction)，再將臉部影像的皮膚位置分成數個大的臉部區域，例如：可依據臉部特徵點先分成包括額頭正面、左臉頰、右臉頰、眼睛、鼻子、下巴等七大臉部區域，其中這些臉部特徵點可以事先訓練學習得到，如第3B圖與第3C圖所示。第3B圖係顯示本揭露一實施例之膚色偵測擷取結果示意圖。第3C圖係顯示本揭露一實施例之臉部區域分割結果示意圖。如第3B圖與第3C圖所示，膚色偵測擷取結果320係根據臉部特徵點分成臉部區域321~327。
於一實施例中，影像處理器120對各第一區域進行PPG計算與分析以得到可信賴區域對應的第一PPG資訊的步驟可包括對各第一區域執行一脈膊偵測演算法(pulse measurement)以進行上述PPG計算與分析，從而得到各第一區域對應的第一PPG資訊。注意的是，具體脈膊偵測演算法的細節係可採用所屬技術領域中包括通常知識者所熟知的各種人臉偵測處理技術來加以實現，其細節在此省略。舉例來說，於一實施例中，影像處理器120可利用一獨立成分分析(Independent component analysis，以下簡稱ICA)演算法，對每 一臉部區域321~327做ICA運算，算出各臉部區域321~327的PPG訊號的ICA波形，再把各臉部區域321~327的ICA波形與一標準心跳的波形進行比對，找出最符合的ICA波形，並以各臉部區域的ICA波形中最符合的ICA波形所對應的臉部區域(例如：額頭正面區域)為ROI。獨立成分分析法(ICA)可將含有移動干擾的原始訊號分離出PPG訊號及雜訊等獨立成分，選擇含有PPG訊號之獨立成分，並以此獨立成分於頻譜中，分析PPG訊號成分的所在位置，達到消除移動干擾之目的。於一實施例中，影像處理器120根據第一PPG資訊與臨界值的比對結果，從臉部影像的數個區域中決定出保留區域的步驟可包括比對第一區域的第一PPG資訊與一臨界值T2，以及將第一區域中第一PPG資訊介於臨界值T2之範圍內的第一區域設為保留區域。也就是說，只保留PPG的數值在一臨界值T2內的第一區域作為ROI。舉例來說，假設心跳每分鐘60~100下為正常值，則可將臨界值T2設為每秒鐘1~1.6下，並且保留PPG訊號所表示的心跳頻率或脈搏訊號介於每秒鐘1~1.6下之間的臉部區域(例如：額頭正面)為保留區域，但本揭露並不限於此。參見第4A圖至第4C圖，係顯示本揭露一實施例之臉部區域的PPG資訊示意圖。假設第4A圖與第4B圖分別表示臉部區域321與322的PPG資訊410以及420，第4C圖表示標準心跳的波形的PPG資訊430。由第4A圖、第4B圖與第4C圖可知，臉部區域322的PPG資訊420最符合標準心跳的PPG資訊430，因此影像處理器120可判定臉部區域322為保留區域，而判定臉部區域321並非保留區域。於找出保留區域之後，影像處理器120接著再將各保留區域細分 為複數小的第二區域，並分別計算這些第二區域的PPG，再根據保留區域的多個第二區域的第二PPG資訊，將第二區域中第二PPG資訊介於臨界值之範圍內的第二區域設為ROI以及自第二區域中第二PPG資訊未介於臨界值之範圍內的第二區域中決定雜訊參考區域。於一些實施例中，自第二區域中第二PPG資訊未介於臨界值之範圍內的第二區域中決定雜訊參考區域之步驟可更包括以下步驟：對第二區域中每一第二PPG資訊未介於臨界值之範圍內的第二區域執行一變異數計算，得到複數變異數，以及根據每個上述第二區域計算出的變異數，決定雜訊參考區域，其中雜訊參考區域係為所有第二PPG資訊未介於臨界值之範圍內的第二區域中具有最小變異數之第二區域。
於決定第一臉部影像之ROI以及雜訊參考區域之後，如步驟S208，影像處理器120根據第一臉部影像之ROI以及雜訊參考區域的PPG計算與分析結果，產生ROI資訊以及雜訊參考區域資訊，其中ROI資訊包括ROI對應的位置資訊與PPG資訊以及雜訊參考區域資訊包括雜訊參考區域對應的位置資訊與PPG資訊。ROI資訊可包括ROI在影像中的座標、像素、PPG數值等資訊。此處的ROI代表較可信賴區域，也就是說ROI內的PPG數值是可信賴的，但仍有可能會被背景雜訊影響。相對地，雜訊參考區域則為影像內區域變異數最小的區域，雜訊參考區域的PPG數值可視為背景雜訊，因此應該去除以進行降躁。雜訊參考區域資訊可包括影像內區域變異數最小的區域在影像中的座標、像素、PPG數值等資訊。
明確來說，於決定ROI之後，接著，影像處理器120 根據ROI對應的位置資訊以及PPG訊號，產生上述ROI資訊以及雜訊參考區域資訊。影像處理器120可接著進一步計算所有PPG數值落在臨界值T2外的區域的變異數，其中某一區域所算出的變異數愈小，表示該區域的灰階變化愈小，區域愈平坦。影像處理器120便可比對所有PPG數值落在臨界值T2以外的區域的變異數，並將具有最小變異數的區域(例如：左臉頰)設為雜訊參考區域，並記錄雜訊參考區域中的第一區域的影像座標位置、PPG數值等產生雜訊參考區域資訊，將雜訊參考區域資訊儲存至儲存裝置130，之後可用於後續的背景雜訊的判斷以進行降躁處理。
於產生第一臉部影像的上述ROI資訊以及雜訊參考區域資訊之後，接著，如步驟S210，影像處理器120根據可信賴區域資訊以及雜訊參考區域資訊，對每一第二影像框之第二臉部影像的ROI以及雜訊參考區域進行PPG的計算與分析，產生複數對應的PPG資訊。於此步驟中，影像處理器120會檢查儲存裝置130中是否已存在ROI資訊以及雜訊參考區域資訊。若已存在可信賴區域資訊，表示當前影像框可能是第一個影像框之後的影像框(例如：第二個影像框)，於是影像處理器120便根據第一影像框之ROI資訊，直接對當前影像框的ROI進行PPG計算與分析，以得到ROI對應的PPG訊號，並產生上述ROI資訊以及雜訊參考區域資訊。影像處理器120可依序根據ROI資訊，對後續的每個影像框的ROI進行PPG計算與分析，以得到其ROI對應的PPG訊號，並產生上述ROI資訊以及雜訊參考區域資訊。
在得到所有影像框的PPG資訊之後，如步驟S212， 影像處理器120統計所有影像框之PPG資訊，以計算出一生理訊號之量測值，例如：心率或脈搏的量測值。由於心率與脈搏必須持續統計一段時間的PPG變化才能量測出來，因此影像處理器120必須累積計算一段時間的影像變化，舉例來說，影像處理器120可進行PPG訊號的波峰偵測，偵測各影像框的PPG訊號的波峰個數並計算所有影像框的波峰個數的平均值，以便產生一生理訊號如心率或脈搏的量測值。在波峰偵測時，影像處理器120可計算PPG訊號的膚色變化波形中每個時間點的斜率，來偵測出波峰發生時間與波峰個數，找出兩個波峰位置之後便能計算出一峰點時間間隔(peak to peak interval，PPI)，此峰點時間間隔的倒數即為心率值。影像處理器120可透過顯示裝置140呈現上述生理訊號如心率或脈搏的量測結果。第5圖係顯示本揭露一實施例之脈搏量測結果示意圖。如第5圖所示，此實施例中的脈搏量測值結果為每分鐘80下(beats per minute,bpm)。
於另一些實施例中，由於靜止的使用者其實還是會有細微的移動，因此本案也同時提供移動偵測與排除機制，以便解決偵測細微移動的問題。於此實施例中，若當前影像為第一個影像框，則沒有使用者移動的問題，影像處理器120不執行使用者移動的偵測。若使用者有移動或者處理完一定長度之影片後，則影像處理器120重新開始累積拍攝整段影片，將下一張影像設為第一個影像框。明確來說，若使用者無位移且尚未累積足夠影像張數的情況下，繼續處理下一張影像時，影像處理器120首先會判斷當前處理的影像框是不是第一個影像框(first frame)。若當前處理的影像框不是第一個影像框(例 如：當前處理的影像框為第二個影像框)時，則接著進行第二個影像框的臉部偵測，然後計算當前處理的影像框中影像的使用者臉部的位置(position)與大小(size)與上一張影像框所偵測的結果比對，是否超過臨界值T1(calculate diff of face position & size)(例如：臨界值T1設為0)，若兩個影像框的臉部位置與大小的差異超過臨界值T1，表示使用者的臉有移動(例如：使用者的臉有左右位移或遠近拉距)，則必須重新拍攝整段影片(video segment)。反之，若兩個影像框的臉部位置與大小的差異小於臨界值，表示使用者的臉穩定不動，則可在當前處理的影像框的ROI內取得此張影像框的PPG數值，且判斷背景雜訊，並往下計算影片長度。藉此，影像處理器120不需要對每個影像框進行臉部特徵擷取與分割來找出PPG反應較明顯的區域，因此可大幅減少運算量。
第6A-6C圖顯示本揭露之量測生理訊號之方法另一實施例之流程圖。請同時參照第1圖與第6圖。依據本揭露實施例之量測生理訊號之方法可以適用於一生理訊號量測系統，舉例來說，可適用於第1圖的生理訊號量測系統100並由影像處理器120加以執行。
於此實施例中，影像處理器120先擷取包括複數影像框的一影片(步驟S602)並對影片中的影像框進行臉部偵測，得到臉部影像(步驟S604)，如第3A圖所示的臉部影像310。於此步驟中，影像處理器120必須由累積拍攝的整段影片(full video)中，取出一定長度(例如：256個影像框)的影片(video segment)作為後續PPG分析用。
接著，影像處理器120由接收到的影片中進行第一個影像框判斷(first frame)，判斷當前影像框是否為第一個影像框(步驟S606)。此步驟是判斷當前要處理的影像是否為影片中的第一個影像框。若當前影像框為第一個影像框(步驟S606的是)，則影像處理器120繼續執行ROI擷取程序，以由複數臉部特徵區域中分割擷取出ROI，其中ROI為人臉PPG變化較明顯的區域。若當前影像框非為第一個影像框時(步驟S606的否)，則影像處理器120利用第一個影像框的人臉PPG變化較明顯區域位置(即：ROI位置)，對後續每張影像進行PPG偵測。
於ROI擷取過程中，影像處理器120進行臉部皮膚部位特徵擷取(face skin extraction)，以由偵測到的臉部影像擷取出皮膚的位置(步驟S608)，並且接著執行皮膚部位粗分割(rough skin segmentation)，將皮膚分割分為複數個大的臉部區域(第一區域)(步驟S610)。接著，影像處理器120利用脈搏偵測演算法，計算每一臉部區域的PPG訊號的ICA波形並計算出每一臉部區域的波形對應的脈搏訊號(步驟S612)，再判斷脈搏訊號是否介於臨界值T2之間(步驟S614)。明確來說，影像處理器120可對各個第一區域執行脈搏偵測演算法得到對應的PPG數值並且只保留PPG數值在臨界值T2內的第一區域(pulse between T2)，PPG數值在臨界值外的第一區域則計算變異數(variance)最小的區域並儲存之(find an area with min variance)，其後可用來判斷背景雜訊進行降噪。影像處理器120可藉由將ROI區域的每一點的PPG值減去變異數最小的區域的對應點的PPG值以達到降噪的目的。
接著，影像處理器120判斷前一步驟保留的區域是否對應於第一個影像框(first frame)(步驟S616)或是否先前步驟執行的是粗分割(步驟S618)，如果兩者皆是，則繼續執行臉部區域細分割(fine skin segmentation)，將大區域分割成複數個小的第二區域(步驟S620)，如第3D圖所示。接著，影像處理器120再次利用脈搏偵測演算法，計算每個小的第二區域的PPG訊號的ICA波形並計算出每一第二區域的波形對應的脈搏訊號(步驟S612)，並且只保留PPG數值在臨界值T2內的第二區域，保留下來的第二區域即為ROI，並儲存ROI在影像中的座標、像素、PPG數值等資訊(obtain ROI & save)，PPG數值在臨界值外的第二區域則計算各區域的變異數，找到具有最小變異的區域，作為雜訊參考區域並儲存之(步驟S630)。
若在步驟S618中判定前一步驟執行的並非粗分割，表示已執行完步驟S620的細分割且保留的區域為ROI，則影像處理器120再針對各個第二區域執行脈搏偵測演算法(pulse measurement)，則影像處理器120儲存ROI在影像中的座標、像素、PPG數值等資訊(obtain ROI & save)(步驟622)。
若在步驟S616中判斷當前影像框並非第一個影像框(步驟S616的否)或者已經儲存了ROI資訊，表示已經有ROI資訊並且可應用ROI資訊得到各影像框中ROI對應的PPG資訊，影像處理器120接著判斷是否已累積256個影像框(accumulate 256 frames)(步驟S624)。若尚未累積到256個影像框(步驟S624的否)，則影像處理器120從影片中擷取/輸入下一個影像框(步驟S628)，並繼續應用ROI資訊得到各影像框中ROI 對應的PPG資訊，直到累積到256個影像框。若已累積256個影像框(步驟S624的否)，影像處理器120就將ROI的PPG訊號數值減去步驟S630所儲存的雜訊參考區域的PPG訊號數值進行降噪(subtract pulse of area from ROI)(步驟S626)，接著再進行心率脈搏的計算，先計算各影像框的PPG訊號中的波峰個數(calculate smoothed peak number)(步驟S638)，最後再計算256個影像框的波峰個數的平均值，得到脈搏量測結果(步驟S640)。
回到步驟S606，若於步驟S606中判定當前處理的影像框為第一個影像框時(步驟S606的是)，則影像處理器120不執行步驟S632至步驟S634的使用者移動的偵測。相反地，若於步驟S606中判定當前處理的影像框不是第一個影像框(於此實施例中，假設當前處理的影像框為第二個影像框)時，則影像處理器120接著執行步驟S632至步驟S634的使用者移動的偵測。在使用者移動的偵測過程中，影像處理器120先進行第二個影像框的臉部偵測，然後計算當前處理的影像框中影像的使用者臉部的位置(position)與大小(size)與上一張影像框所偵測的結果比對的差異(calculate diff of face position & size)(步驟S632)，並且判斷差異是否超過臨界值T1(例如：臨界值T1設為0)(步驟S634)。若兩個影像框的臉部位置與大小的差異超過臨界值，例如臉部位置的差異大於0，表示使用者的臉有移動(例如：使用者的臉有左右位移或遠近拉距)，則必須重新拍攝整段影片(video segment)。反之，若兩個影像框的臉部位置與大小的差異小於臨界值T1，表示使用者的臉穩定不動，則可取得 先前影像框(第一個影像框)的ROI資訊(步驟S636)並且可應用ROI資訊，在當前處理的影像框的ROI內取得此張影像框的PPG數值，且判斷背景雜訊，並往下計算影片長度。若使用者有移動或者處理完一定長度之影片後，則影像處理器120重新開始接收另一累積拍攝的整段影片，並將下一張影像設為第一個影像框以重新獲取ROI資訊與雜訊參考區域資訊(步驟S642)。
因此，依據本揭露之生理訊號量測系統及其量測生理訊號之方法可先取得可信賴區域的相關資訊，並在取得可信賴區域之後，後續影像只要判斷使用者臉部處於穩定的狀態，便直接針對可信賴區域取得PPG數值，不須追蹤也不須判斷何處可信賴，相當適用於嵌入式系統等運算資源較少的系統，可降低偵測生理訊號的運算過程所需處理的資料量，有效解決先前技術中運算量較大的問題。此外，依據本揭露之生理訊號量測系統及其量測生理訊號之方法可利用臉部PPG變化較不明顯區域來判斷背景雜訊以進行降躁，可進一步提高生理訊號量測的準確度。
本揭露之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本揭露之裝置。程式碼也可透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本揭露之裝置。當在 一般用途影像處理器實作時，程式碼結合影像處理器提供一操作類似於應用特定邏輯電路之獨特裝置。
雖然本揭露已以一些實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中包括通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾。舉例來說，本揭露實施例所述之系統以及方法可以硬體、軟體或硬體以及軟體的組合的實體實施例加以實現。因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (14)

  1. 一種量測生理訊號之方法，適用於具一影像輸入裝置與一影像處理器的一生理訊號量測系統，包括下列步驟：接收包含複數連續影像框之一影片並對每一該等影像框進行臉部偵測，以取得每一該等影像框之臉部影像，其中該等影像框包括一第一影像框以及複數第二影像框且該第一影像框之一第一臉部影像具有複數第一區域，每一該等第一區域具有複數第二區域；對該第一影像框之該第一臉部影像進行光體積變化描記圖(PPG)計算與分析，以得到對應於該等第一區域的複數第一PPG資訊以及對應於該等第二區域的複數第二PPG資訊；根據該等第一區域之該等第一PPG資訊以及一臨界值，從該等第一區域中決定出一保留區域並根據該保留區域之該等第二區域之該等第二PPG資訊與一臨界值之比對結果，決定至少一可信賴區域(region-of-interest,ROI)以及一雜訊參考區域；根據該第一臉部影像之該至少一ROI以及該雜訊參考區域，產生一ROI資訊以及一雜訊參考區域資訊，其中該ROI資訊包括該至少一ROI對應的位置資訊與PPG資訊以及該雜訊參考區域資訊包括該雜訊參考區域對應的位置資訊與PPG資訊；根據該ROI資訊以及該雜訊參考區域資訊，對每一該等第二影像框之第二臉部影像的該ROI以及該雜訊參考區域進行該PPG的計算與分析，產生複數對應的第三PPG資訊；以及統計所有該等影像框之該等PPG資訊，以計算出一生理訊號之量測值。
  2. 如申請專利範圍第1項所述之方法，更包括：根據臉部特徵點，對該第一臉部影像進行一皮膚部位粗分割，以分割該第一臉部影像為該等第一區域。
  3. 如申請專利範圍第1項所述之方法，其中根據該等第一區域之該等第一PPG資訊以及該臨界值，從該等第一區域中決定出該保留區域之步驟更包括：比對該等第一區域的該等第一PPG資訊與該臨界值；以及將該等第一區域中該第一PPG資訊介於該臨界值之範圍內的第一區域設為該保留區域。
  4. 如申請專利範圍第3項所述之方法，其中根據該保留區域之該等第二區域之該等第二PPG資訊與該臨界值之比對結果，決定該ROI以及該雜訊參考區域之步驟更包括：比對每一該等第二區域的該第二PPG資訊與該臨界值；以及將該等第二區域中該第二PPG資訊介於該臨界值之範圍內的第二區域設為該至少一ROI以及自該等第二區域中該第二PPG資訊未介於該臨界值之範圍內的第二區域中決定該雜訊參考區域。
  5. 如申請專利範圍第4項所述之方法，其中自該等第二區域中該第二PPG資訊未介於該臨界值之範圍內的第二區域中決定該雜訊參考區域之步驟更包括：對該等第二區域中該第二PPG資訊未介於該臨界值之範圍內的第二區域執行一變異數計算，得到複數變異數；以及根據該等變異數，決定該雜訊參考區域；其中該雜訊參考區域係為該等第二區域中該第二PPG資訊未介於該臨界值之範圍內的第二區域中具有最小變異數之第二區域。
  6. 如申請專利範圍第1項所述之方法，其中對該第一影像框之該第一臉部影像進行該PPG計算與分析，以得到對應於該等第一區域的該等第一PPG資訊以及對應於該等第二區域的該等第二PPG資訊之步驟更包括：對該等第一區域及其對應該等第二區域執行一脈博偵測演算法，以進行該PPG計算與分析，從以得到對應於該等第一區域的該等第一PPG資訊以及對應於該等第二區域的該等第二PPG資訊。
  7. 如申請專利範圍第1項所述之方法，更包括：執行臉部偵測，以計算一當前處理影像框以及一先前處理影像框之間的臉部位置與大小之一差異值；於該差異值未大於一臨界值時，直接對該當前影像框的該ROI進行該PPG計算與分析，並根據該PPG計算結果，以得到該當前處理影像框之該PPG資訊；以及於該差異值大於該臨界值時，將該當前處理影像框設為該第一影像框，以重新決定出該ROI以及該雜訊參考區域。
  8. 一種生理訊號量測系統，包括：一影像輸入裝置，用以擷取包含複數連續影像框之一影片，其中該等影像框包括一第一影像框以及複數第二影像框且該第一影像框之一第一臉部影像具有複數第一區域，每一該等第一區域具有複數第二區域；一影像處理器，耦接至該影像輸入裝置，用以接收該影片並對每一該等影像框進行臉部偵測，以取得每一該等影像框之臉部影像，對該第一影像框之該第一臉部影像進行光體積變化描記圖(PPG)計算與分析，以得到對應於該等第一區域的複數第一PPG資訊以及對應於該等第二區域的複數第二PPG資訊，根據該等第一區域之該等第一PPG資訊以及一臨界值，從該等第一區域中決定出一保留區域並根據該保留區域之該等第二區域之該等第二PPG資訊與一臨界值之比對結果，決定至少一可信賴區域(region-of-interest,ROI)以及一雜訊參考區域，根據該第一臉部影像之該至少一ROI以及該雜訊參考區域，產生一ROI資訊以及一雜訊參考區域資訊，其中該ROI資訊包括該至少一ROI對應的位置資訊與PPG資訊以及該雜訊參考區域資訊包括該雜訊參考區域對應的位置資訊與PPG資訊，根據該ROI資訊以及該雜訊參考區域資訊，對每一該等第二影像框之第二臉部影像的該ROI以及該雜訊參考區域進行該PPG的計算與分析，產生複數對應的第三PPG資訊，以及統計所有該等影像框之該等PPG資訊，以計算出一生理訊號之量測值；以及一顯示裝置，耦接至該影像處理器，用以顯示該生理訊號之量測值。
  9. 如申請專利範圍第8項所述之生理訊號量測系統，其中該影像處理器更根據臉部特徵點，對該第一臉部影像進行一皮膚部位粗分割，以分割該第一臉部影像為該等第一區域。
  10. 如申請專利範圍第8項所述之生理訊號量測系統，其中該影像處理器更比對該等第一區域的該等第一PPG資訊與該臨界值，並將該等第一區域中該第一PPG資訊介於該臨界值之範圍內的第一區域設為該保留區域。
  11. 如申請專利範圍第10項所述之生理訊號量測系統，其中該影像處理器更比對每一該等第二區域的該第二PPG資訊與該臨界值，將該等第二區域中該第二PPG資訊介於該臨界值之範圍內的第二區域設為該至少一ROI以及自該等第二區域中該第二PPG資訊未介於該臨界值之範圍內的第二區域中決定該雜訊參考區域。
  12. 如申請專利範圍第11項所述之生理訊號量測系統，其中該影像處理器更對該等第二區域中該第二PPG資訊未介於該臨界值之範圍內的第二區域執行一變異數計算，得到複數變異數，以及根據該等變異數，決定該雜訊參考區域，其中該影像處理器係將該等第二區域中該第二PPG資訊未介於該臨界值之範圍內的第二區域中具有最小變異數之第二區域設為該雜訊參考區域。
  13. 如申請專利範圍第8項所述之生理訊號量測系統，其中該影像處理器更對該等第一區域及其對應該等第二區域執行一脈博偵測演算法，以進行該PPG計算與分析，從以得到對應於該等第一區域的該等第一PPG資訊以及對應於該等第二區域的該等第二PPG資訊。
  14. 如申請專利範圍第8項所述之生理訊號量測系統，其中該影像處理器更執行臉部偵測，以計算一當前處理影像框以及一先前處理影像框之間的臉部位置與大小之一差異值，於該差異值未大於一臨界值時，直接對該當前影像框的該ROI進行該PPG計算與分析，並根據該PPG計算結果，以得到該當前處理影像框之該PPG資訊，以及於該差異值大於該臨界值時，將該當前處理影像框設為該第一影像框，以重新決定出該ROI以及該雜訊參考區域。
TW106126879A 2017-08-09 2017-08-09 生理訊號量測系統及其量測生理訊號之方法 TWI646941B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106126879A TWI646941B (zh) 2017-08-09 2017-08-09 生理訊號量測系統及其量測生理訊號之方法
CN201710724886.8A CN109389021B (zh) 2017-08-09 2017-08-22 生理信号测量系统及其测量生理信号的方法
US15/847,800 US10383531B2 (en) 2017-08-09 2017-12-19 Physiological signals measurement systems and methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106126879A TWI646941B (zh) 2017-08-09 2017-08-09 生理訊號量測系統及其量測生理訊號之方法

Publications (2)

Publication Number Publication Date
TWI646941B true TWI646941B (zh) 2019-01-11
TW201909838A TW201909838A (zh) 2019-03-16

Family

ID=65274378

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106126879A TWI646941B (zh) 2017-08-09 2017-08-09 生理訊號量測系統及其量測生理訊號之方法

Country Status (3)

Country Link
US (1) US10383531B2 (zh)
CN (1) CN109389021B (zh)
TW (1) TWI646941B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197161B (zh) * 2017-06-30 2020-07-14 北京金山安全软件有限公司 一种图像数据处理方法、装置、电子设备以及存储介质
US20190216333A1 (en) * 2018-01-12 2019-07-18 Futurewei Technologies, Inc. Thermal face image use for health estimation
CN108427911B (zh) * 2018-01-30 2020-06-23 阿里巴巴集团控股有限公司 一种身份验证方法、系统、装置及设备
WO2019162054A1 (en) * 2018-02-20 2019-08-29 Koninklijke Philips N.V. System and method for client-side physiological condition estimations based on a video of an individual
JPWO2020003910A1 (ja) * 2018-06-28 2021-08-05 株式会社村上開明堂 心拍検出装置、心拍検出方法及びプログラム
US20200026833A1 (en) * 2018-07-23 2020-01-23 Gin-Chung Wang Biometrics authentication device and method
TWI693061B (zh) * 2019-05-09 2020-05-11 鉅怡智慧股份有限公司 非接觸式酒駕評判系統及相關方法
TWI744666B (zh) * 2019-07-16 2021-11-01 國立陽明交通大學 生理資訊偵測裝置及生理資訊偵測方法
CN110647815A (zh) * 2019-08-25 2020-01-03 上海贝瑞电子科技有限公司 一种基于人脸视频图像的非接触式心率测量方法及系统
JP2021132869A (ja) * 2020-02-27 2021-09-13 カシオ計算機株式会社 電子装置、電子装置の制御方法及び電子装置の制御プログラム
WO2021262096A1 (en) * 2020-06-22 2021-12-30 Nervotec Pte Ltd. An intelligent networked system for proactively monitoring and predicting various parameters in a defined environment
CN112085730B (zh) * 2020-09-18 2024-07-26 上海联影医疗科技股份有限公司 感兴趣区域成分分析方法、装置、电子设备和介质
CN113197558B (zh) * 2021-03-26 2022-06-17 中南大学 心率与呼吸率检测方法、系统及计算机存储介质
CN113397516B (zh) * 2021-06-22 2022-03-25 山东科技大学 一种面向新生儿的视觉心率估计方法、装置及系统
WO2023178957A1 (zh) * 2022-03-24 2023-09-28 全境智能有限公司 生命体征监测方法、相关设备及计算机可读存储介质
CN116758066B (zh) * 2023-08-14 2023-11-14 中国科学院长春光学精密机械与物理研究所 一种非接触测量心率方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
CN106491117A (zh) * 2016-12-06 2017-03-15 上海斐讯数据通信技术有限公司 一种基于ppg心率测量技术的信号处理方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201114406D0 (en) * 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
CN103120581B (zh) * 2011-11-18 2015-11-04 原相科技股份有限公司 整合心跳量测及身份辨识的系统及方法
CN103054569B (zh) * 2012-12-20 2015-04-22 Tcl集团股份有限公司 基于可见光图像测量人体心率的方法、装置及手持设备
BR112015014945A2 (pt) * 2012-12-21 2017-07-11 Koninklijke Philips Nv sistema de monitoramento remoto de fotoplestimografia, método de monitoramento remoto de fotoplestimografia, e programa de computador
CN105188521A (zh) * 2013-03-14 2015-12-23 皇家飞利浦有限公司 用于获得对象的生命体征信息的设备和方法
WO2015055709A1 (en) * 2013-10-17 2015-04-23 Koninklijke Philips N.V. Device and method for obtaining a vital sign of a subject
US10292662B2 (en) * 2013-11-27 2019-05-21 Koninklijke Philips N.V. Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject
JP6683367B2 (ja) * 2015-03-30 2020-04-22 国立大学法人東北大学 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム
GB201509809D0 (en) * 2015-06-05 2015-07-22 Isis Innovation Method and apparatus for vital signs measurement
WO2017108548A1 (en) * 2015-12-23 2017-06-29 Koninklijke Philips N.V. Device, system and method for determining a vital sign of a person
CA2958003C (en) * 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
CN105996993A (zh) * 2016-04-29 2016-10-12 南京理工大学 一种智能视频生命体征监测系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302158A1 (en) * 2014-04-21 2015-10-22 Microsoft Corporation Video-based pulse measurement
CN106491117A (zh) * 2016-12-06 2017-03-15 上海斐讯数据通信技术有限公司 一种基于ppg心率测量技术的信号处理方法及装置

Also Published As

Publication number Publication date
TW201909838A (zh) 2019-03-16
CN109389021B (zh) 2020-09-01
CN109389021A (zh) 2019-02-26
US20190046057A1 (en) 2019-02-14
US10383531B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
TWI646941B (zh) 生理訊號量測系統及其量測生理訊號之方法
US10600189B1 (en) Optical flow techniques for event cameras
CN105631399B (zh) 用于体育视频识别的快速对象跟踪框架
US11069057B2 (en) Skin diagnostic device and skin diagnostic method
CN101271517B (zh) 面部区域检测装置和方法
EP3241151B1 (en) An image face processing method and apparatus
JP6221505B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10713793B2 (en) Image processing apparatus, image processing method, and recording medium
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
KR20150059631A (ko) 심박수 측정 방법 및 이를 위한 장치
JP6326847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN113627306B (zh) 关键点处理方法及装置、可读存储介质、终端
Satriya et al. Robust pupil tracking algorithm based on ellipse fitting
Cheong et al. A novel face detection algorithm using thermal imaging
JPWO2020170299A1 (ja) 疲労判定装置、疲労判定方法、および疲労判定プログラム
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
Santos et al. Eye gaze as a human-computer interface
US20170109569A1 (en) Hybrid face recognition based on 3d data
US10671881B2 (en) Image processing system with discriminative control
Huang et al. Accurate and efficient pulse measurement from facial videos on smartphones
KR101276792B1 (ko) 눈 검출 장치 및 방법
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
CN107403133A (zh) 确定设备和确定方法
WO2021239000A1 (zh) 运动模糊图像的识别方法、装置、电子设备和支付设备
JP7576240B2 (ja) 血圧測定装置、及び血圧測定プログラム