[go: up one dir, main page]

TWI666941B - 多層次狀態偵測系統與方法 - Google Patents

多層次狀態偵測系統與方法 Download PDF

Info

Publication number
TWI666941B
TWI666941B TW107110400A TW107110400A TWI666941B TW I666941 B TWI666941 B TW I666941B TW 107110400 A TW107110400 A TW 107110400A TW 107110400 A TW107110400 A TW 107110400A TW I666941 B TWI666941 B TW I666941B
Authority
TW
Taiwan
Prior art keywords
state
probability
level state
item
patent application
Prior art date
Application number
TW107110400A
Other languages
English (en)
Other versions
TW201943263A (zh
Inventor
林昭源
Zhao-Yuan Lin
Original Assignee
緯創資通股份有限公司
Wistron Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司, Wistron Corporation filed Critical 緯創資通股份有限公司
Priority to TW107110400A priority Critical patent/TWI666941B/zh
Priority to CN201810306046.4A priority patent/CN110309693B/zh
Priority to US15/961,596 priority patent/US10621424B2/en
Application granted granted Critical
Publication of TWI666941B publication Critical patent/TWI666941B/zh
Publication of TW201943263A publication Critical patent/TW201943263A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Operations Research (AREA)
  • Psychiatry (AREA)

Abstract

一種多層次狀態偵測系統，包含影像擷取裝置，用以擷取偵測對象的影像；位置偵測單元，決定影像當中是否偵測到人；人臉識別單元，透過人臉識別資料庫以偵測決定影像當中是否包含有人臉；多層次狀態辨識器，接收人臉識別單元的偵測結果，據以決定偵測對象的相應狀態及機率；神經網路預測模型資料庫，儲存已訓練的神經網路預測模型，其相關於複數狀態類別，如果人臉識別單元未偵測到人臉，則多層次狀態辨識器透過神經網路預測模型資料庫以辨識得到偵測對象的相應狀態；及多層次狀態更新器，接收多層次狀態辨識器所產生的目前狀態與至少一先前狀態的機率，據以產生最終狀態。

Description

多層次狀態偵測系統與方法
本發明係有關一種監視器，特別是關於一種多層次狀態偵測系統與方法。
嬰兒監視器(baby monitor)是一種無線系統，用以從遠端聽到嬰兒的聲音或/且看到嬰兒的影像。例如，使用麥克風置於嬰兒附近以接收嬰兒的聲音，並於遠端藉由揚聲器即時聽到所接收的聲音。又例如，使用攝影機(video camera)近距拍攝嬰兒的影像，將其即時傳送至遠端的顯示器，因此又稱為嬰兒攝影機(baby cam)。
傳統嬰兒監視器僅傳送未處理的影像或/且聲音給父母，因此能夠提供的訊息極為有限。較先進的嬰兒監視器使用穿戴式感測器，例如重力感測器(g-sensor)，但其穿戴會造成嬰兒的不舒適。有些嬰兒床使用監控式感測器，例如壓力感測器(pressure sensor)，然而，這類感測器僅能用以判斷嬰兒的睡眠品質，並無法真正的偵測出睡眠狀態。此外，傳統嬰兒監視器無法偵測得知一些急迫的狀態，例如臉部被覆蓋，因此無法藉以儘速排除危險情況。
因此亟需提出一種狀態偵測機制，用以克服傳統嬰兒監視器的缺失。
鑑於上述，本發明實施例的目的之一在於提出一種多層次狀態偵測系統與方法，其使用深度(deep)神經網路以進行多層次機器學習(machine learning)，用以偵測被測對象(例如嬰兒)的各種狀態，且能提供更準確的狀態機率。
根據本發明實施例，多層次狀態偵測系統包含影像擷取裝置、位置偵測單元、人臉識別單元、多層次狀態辨識器、神經網路預測模型資料庫及多層次狀態更新器。影像擷取裝置用以擷取偵測對象的影像。位置偵測單元決定影像當中是否偵測到人。人臉識別單元透過人臉識別資料庫以偵測決定影像當中是否包含有人臉。多層次狀態辨識器接收人臉識別單元的偵測結果，據以決定偵測對象的相應狀態及機率。神經網路預測模型資料庫儲存已訓練的神經網路預測模型，其相關於複數狀態類別，如果人臉識別單元未偵測到人臉，則多層次狀態辨識器透過神經網路預測模型資料庫以辨識得到偵測對象的相應狀態。多層次狀態更新器接收多層次狀態辨識器所產生的目前狀態與至少一先前狀態的機率，據以產生最終狀態。
第一圖顯示本發明實施例之多層次(multi-level)狀態偵測系統100的方塊圖。本實施例可適用以偵測嬰兒的睡眠狀態，但也可應用於嬰兒以外（例如老年人），或者應用於睡眠以外的狀態偵測。第一圖的方塊可使用硬體或/且軟體來實施。第二圖顯示本發明實施例之多層次狀態偵測方法200的流程圖。
在本實施例中，多層次狀態偵測系統100(以下簡稱偵測系統)可包含影像擷取裝置10，用以擷取偵測對象(例如嬰兒)的影像(步驟20)。在一例子中，影像擷取裝置10可為攝影機(video camera)，用以擷取得到一序列影像，其中至少一部份的影像會進行後續的處理。攝影機可為紅綠藍-紅外光(RGB-IR)攝影機，較一般可見光攝影機可擷取得到範圍更廣的影像，且不受周圍光線的影響。在另一例子中，影像擷取裝置10可為相機，可依固定時間間隔(或排定時程)擷取影像，每次可擷取得到一張影像以進行後續的處理。
本實施例之偵測系統100可包含影像介面11，設於影像擷取裝置10與偵測系統100的其他元件之間，用以傳送影像擷取裝置10所擷取的(單張或多張)影像(步驟21)。影像介面11可用以支援影像擷取裝置10的各種應用功能，例如選擇(selecting)、安裝(installing) 、配置(configuring) 、設定參數(setting parameters) 及存取資料，但不限定於此。藉此，影像介面11可讓影像擷取裝置10有效地進行影像的擷取與傳送。在本實施例中，影像介面11包含V4L2(Video4Linux version 2)影像介面，其為支援Linus作業系統的一種即時影像擷取的驅動程式(device driver)與應用程式介面(application programming interface (API))。
本實施例之偵測系統100可包含位置偵測單元12，其接收影像介面11所傳送的影像，並據以決定影像當中是否偵測到人(例如嬰兒)(步驟22)及其位置。如果未偵測到人，則表示所要偵測的對象(例如嬰兒)不在場；如果偵測到人，則進入步驟23。
在本實施例中，位置偵測單元12係使用You Only Look Once (YOLO)物件偵測(object detection)技術，其使用單一神經網路以處理整張影像。相較於傳統物件偵測技術於影像的不同區域進行個別訓練，YOLO物件偵測技術可加快運算速度。YOLO物件偵測技術的細節可參閱Joseph Redmon等人所發表的“You Only Look Once: Unified, Real-Time Object Detection”，發表於2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)。
本實施例之偵測系統100可包含人臉識別(face recognition)單元13與人臉識別資料庫(或函式庫)14。其中，人臉識別單元13接收影像介面11所傳送的影像，萃取(extract)得到影像當中的人臉特徵(facial feature)，並與人臉識別資料庫14所儲存的人臉特徵作比較(步驟23)，以偵測決定影像當中是否包含有人臉。在本實施例中，人臉識別資料庫14係使用(但不限定於)多工串接卷積神經網路(multi-task cascaded convolutional neural network, MTCNN)技術產生的，其對於自然環境中的光線、角度和人臉表情變化較為強健(robust)，因此識別效果優於傳統的人臉識別方法，例如開源電腦視覺(Open Source Computer Vision, OpenCV)或dlib。其中，開源電腦視覺(OpenCV)使用基於Haar特徵的分類器(Haar feature-based classifiers)，但無法識別側面/歪斜/光線不足的人臉；dlib雖然改善了開源電腦視覺(OpenCV)的識別效果，但無法實現即時的人臉識別。多工串接卷積神經網路(MTCNN)由於儲存量不大，因此可以實現即時的人臉識別。多工串接卷積神經網路(MTCNN)的技術細節可參閱Kaipeng Zhang等人所發表的“Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks”，發表於2016 IEEE Signal Processing Letters。
本實施例之偵測系統100可包含多層次狀態辨識(identification)器15，其接收人臉識別單元13的偵測結果，並對其作進一步的辨識，以決定相應的狀態(例如嬰兒的睡眠狀態)。在一例子中，如果人臉識別單元13偵測得到人臉(步驟24)，則多層次狀態辨識器15對所偵測到的人臉進一步辨識其眼睛的閉合或張開(步驟25)，以決定相應狀態為睡著或醒著。此外，根據眼睛的閉合或張開程度，多層次狀態辨識器15可產生睡著或醒著的機率。
本實施例之偵測系統100可包含神經網路預測模型資料庫16，其儲存已訓練的神經網路預測模型，其相關於複數狀態類別。在一例子中，神經網路預測模型資料庫16的狀態類別包含臉部被覆蓋及側趴睡。在本實施例中，如果多層次狀態辨識器15自人臉識別單元13所接收的偵測結果係未偵測到人臉(步驟24)，則多層次狀態辨識器15會透過神經網路預測模型資料庫16以辨識得到影像的相應狀態類別(步驟26)，例如臉部被覆蓋或側趴睡。此外，根據影像與神經網路預測模型資料庫16的符合程度，多層次狀態辨識器15可產生各個狀態類別(例如臉部被覆蓋及側趴睡)的機率。如果各個狀態類別的機率皆未超過或等於預設閥值(步驟27)，則多層次狀態辨識器15可將影像歸為未知(undetermined)。本實施例的神經網路預測模型資料庫16係使用(但不限定於)Google®提出的Inception module來實施。Inception module的技術細節可參閱Christian Szegedy等人所發表的“Going Deeper with Convolutions”，發表於2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)。
在一例子中，嬰兒的狀態類別包含臉部被覆蓋、側趴睡、不在場、醒著、睡著，其中臉部被覆蓋、側趴睡來自步驟27，不在場來自步驟22，醒著、睡著來自步驟25。狀態機率可表示為陣列形式： [臉部被覆蓋 側趴睡 不在場 醒著 睡著] 其中所有狀態的機率值之和為1。
舉例而言，如果人臉識別單元13偵測到人臉，且多層次狀態辨識器15辨識得到眼睛為張開，則狀態的機率陣列可能為[0 0 0 0.7 0.3]。如果多層次狀態辨識器15透過神經網路預測模型資料庫16而辨識得到狀態為臉部被覆蓋，則狀態的機率陣列可能為[0.6 0.2 0.2 0 0]。如果人臉識別單元13未偵測到人臉，且各個狀態類別的機率皆未超過或等於預設閥值0.6，則多層次狀態辨識器15可將影像歸為未知。
本實施例之偵測系統100可包含多層次狀態更新器17，其接收多層次狀態辨識器15所產生的目前與先前狀態機率，據以產生最終狀態(步驟28)。藉此，多層次狀態更新器17所產生的最終狀態，其準確度較多層次狀態辨識器15所決定的狀態來得高。
在一例子中，多層次狀態更新器17對先前狀態機率S1與目前狀態機率S0，產生加權和(weighted sum)作為最終狀態機率，可表示如下： 其中α為權重。
將上述推廣至多個先前狀態機率，產生加權和作為最終狀態機率，可表示如下： 其中S0為目前狀態機率，S1為前一次狀態機率，Si為S1之前的(n-1)次狀態機率，α為權重。
第三圖顯示多層次狀態更新器17產生最終狀態的例子。對於一般的狀態(例如醒著狀態)，由於目前狀態為醒著與先前狀態為醒著為強連結(亦即，若目前為醒著，則先前很可能也是醒著)，因此分派較大的權重α(例如0.3)給先前的相同狀態的狀態機率，但分派較小的權重(例如0.2)給先前的相異狀態的狀態機率。
第四圖顯示多層次狀態更新器17產生最終狀態的另一例子。對於急迫的狀態(例如臉部被覆蓋狀態)，為了避免漏失掉狀態為臉部被覆蓋的偵測機會，因此分派較小的權重α(例如0.1)給先前的相同狀態的狀態機率，但分派較大的權重給先前的相異狀態的狀態機率。
在一例子中，先前的相異狀態對應的權重α可以是不同的。例如，取決於目前狀態與每一該先前的相異狀態各自的連結強度，越大的連結強度對應至越大的權重α。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100‧‧‧多層次狀態偵測系統
10‧‧‧影像擷取裝置
11‧‧‧影像介面
12‧‧‧位置偵測單元
13‧‧‧人臉識別單元
14‧‧‧人臉識別資料庫
15‧‧‧多層次狀態辨識器
16‧‧‧神經網路預測模型資料庫
17‧‧‧多層次狀態更新器
200‧‧‧多層次狀態偵測方法
20‧‧‧擷取影像
21‧‧‧透過影像介面傳送影像
22‧‧‧是否偵測到人
23‧‧‧偵測人臉
24‧‧‧是否偵測到人臉
25‧‧‧眼睛是否張開
26‧‧‧透過神經網路預測模型資料庫以辨識狀態
27‧‧‧狀態機率是否超過或等於閥值
28‧‧‧根據目前與先前狀態機率以產生最終狀態
α‧‧‧權重
第一圖顯示本發明實施例之多層次狀態偵測系統的方塊圖。 第二圖顯示本發明實施例之多層次狀態偵測方法的流程圖。 第三圖顯示多層次狀態更新器產生最終狀態的例子。 第四圖顯示多層次狀態更新器產生最終狀態的另一例子。

Claims (27)

  1. 一種多層次狀態偵測系統，包含： 一影像擷取裝置，用以擷取偵測對象的影像； 一位置偵測單元，決定該影像當中是否偵測到人； 一人臉識別單元，透過人臉識別資料庫以偵測決定該影像當中是否包含有人臉； 一多層次狀態辨識器，接收該人臉識別單元的偵測結果，據以決定偵測對象的相應狀態及機率； 一神經網路預測模型資料庫，儲存已訓練的神經網路預測模型，其相關於複數狀態類別，如果該人臉識別單元未偵測到人臉，則該多層次狀態辨識器透過該神經網路預測模型資料庫以辨識得到偵測對象的相應狀態；及 一多層次狀態更新器，接收該多層次狀態辨識器所產生的目前狀態與至少一先前狀態的機率，據以產生最終狀態。
  2. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中該偵測對象為嬰兒。
  3. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中該影像擷取裝置包含紅綠藍-紅外光攝影機。
  4. 根據申請專利範圍第1項所述之多層次狀態偵測系統，更包含一影像介面，用以傳送該影像擷取裝置所擷取的影像。
  5. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中該位置偵測單元使用You Only Look Once (YOLO)物件偵測技術以偵測人。
  6. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中該人臉識別資料庫係使用多工串接卷積神經網路(MTCNN)技術產生的。
  7. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中如果該人臉識別單元偵測到人臉，則該多層次狀態辨識器對所偵測到的人臉辨識其眼睛的閉合或張開，以決定相應狀態為睡著或醒著。
  8. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中該神經網路預測模型資料庫的狀態類別包含臉部被覆蓋及側趴睡。
  9. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中如果所有狀態的機率皆未超過或等於預設閥值，則該多層次狀態辨識器將該影像歸為未知。
  10. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中該神經網路預測模型資料庫係使用Google®提出的Inception module技術產生的。
  11. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中該多層次狀態更新器對先前狀態的機率S1與目前狀態的機率S0，產生加權和作為最終狀態機率，表示如下：
    Figure TWI666941B_C0001
    Figure TWI666941B_C0002
    其中α為權重。
  12. 根據申請專利範圍第11項所述之多層次狀態偵測系統，其中對於急迫的狀態，分派較小的權重給先前的相同狀態的機率，但分派較大的權重給先前的相異狀態的機率。
  13. 根據申請專利範圍第11項所述之多層次狀態偵測系統，其中該多層次狀態更新器分派不同的權重給先前的相異狀態的機率，其中該目前狀態與每一該先前的相異狀態的連結強度越大，則對應越大的權重。
  14. 根據申請專利範圍第1項所述之多層次狀態偵測系統，其中該多層次狀態更新器對複數先前狀態的機率與目前狀態的機率，產生加權和作為最終狀態機率，表示如下：
    Figure TWI666941B_C0003
    其中S0為目前狀態機率，S1為前一次狀態機率，Si為S1之前的(n-1)次狀態機率，α為權重。
  15. 一種多層次狀態偵測方法，包含： (a)擷取偵測對象的影像； (b)決定該影像當中是否偵測到人； (c)透過人臉識別資料庫以偵測決定該影像當中是否包含有人臉； (d)根據步驟(c)的偵測結果，據以決定偵測對象的相應狀態及機率； (e)提供一神經網路預測模型資料庫，儲存已訓練的神經網路預測模型，其相關於複數狀態類別，如果步驟(c)未偵測到人臉，則透過該神經網路預測模型資料庫以辨識得到偵測對象的相應狀態；及 (f)根據目前狀態與至少一先前狀態的機率，據以產生最終狀態。
  16. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中該偵測對象為嬰兒。
  17. 根據申請專利範圍第15項所述之多層次狀態偵測方法，更包含一步驟：透過影像介面以傳送步驟(a)所擷取的影像。
  18. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中該步驟(b)使用You Only Look Once (YOLO)物件偵測技術以偵測人。
  19. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中該人臉識別資料庫係使用多工串接卷積神經網路(MTCNN)技術產生的。
  20. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中如果步驟(c)偵測到人臉，則對所偵測到的人臉辨識其眼睛的閉合或張開，以決定相應狀態為睡著或醒著。
  21. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中該神經網路預測模型資料庫的狀態類別包含臉部被覆蓋及側趴睡。
  22. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中如果所有狀態的機率皆未超過或等於預設閥值，則將該影像歸為未知。
  23. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中該神經網路預測模型資料庫係使用Google®提出的Inception module技術產生的。
  24. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中該步驟(f)對先前狀態的機率S1與目前狀態的機率S0，產生加權和作為最終狀態機率，表示如下：
    Figure TWI666941B_C0001
    Figure TWI666941B_C0002
    其中α為權重。
  25. 根據申請專利範圍第24項所述之多層次狀態偵測方法，其中對於急迫的狀態，分派較小的權重給先前的相同狀態的機率，但分派較大的權重給先前的相異狀態的機率。
  26. 根據申請專利範圍第24項所述之多層次狀態偵測方法，其中該步驟(f)分派不同的權重給先前的相異狀態的機率，其中該目前狀態與每一該先前的相異狀態的連結強度越大，則對應越大的權重。
  27. 根據申請專利範圍第15項所述之多層次狀態偵測方法，其中該步驟(f)對複數先前狀態的機率與目前狀態的機率，產生加權和作為最終狀態機率，表示如下：
    Figure TWI666941B_C0003
    其中S0為目前狀態機率，S1為前一次狀態機率，Si為S1之前的(n-1)次狀態機率，α為權重。
TW107110400A 2018-03-27 2018-03-27 多層次狀態偵測系統與方法 TWI666941B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107110400A TWI666941B (zh) 2018-03-27 2018-03-27 多層次狀態偵測系統與方法
CN201810306046.4A CN110309693B (zh) 2018-03-27 2018-04-08 多层次状态侦测系统与方法
US15/961,596 US10621424B2 (en) 2018-03-27 2018-04-24 Multi-level state detecting system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107110400A TWI666941B (zh) 2018-03-27 2018-03-27 多層次狀態偵測系統與方法

Publications (2)

Publication Number Publication Date
TWI666941B true TWI666941B (zh) 2019-07-21
TW201943263A TW201943263A (zh) 2019-11-01

Family

ID=68049721

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107110400A TWI666941B (zh) 2018-03-27 2018-03-27 多層次狀態偵測系統與方法

Country Status (3)

Country Link
US (1) US10621424B2 (zh)
CN (1) CN110309693B (zh)
TW (1) TWI666941B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10684681B2 (en) * 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
CN112470462B (zh) * 2018-07-31 2024-06-07 索尼半导体解决方案公司 层叠式光接收传感器和电子装置
TWI737300B (zh) * 2020-05-15 2021-08-21 國立陽明交通大學 深度神經網路壓縮的方法
US12125305B2 (en) * 2021-10-26 2024-10-22 Avaya Management L.P. Usage and health-triggered machine response
US12432443B2 (en) 2022-08-29 2025-09-30 Samsung Electronics Co., Ltd. System and method for detecting a user intent to start a video recording

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201118802A (en) * 2009-11-18 2011-06-01 Ind Tech Res Inst Multi-state target tracking mehtod and system
TW201137795A (en) * 2010-04-21 2011-11-01 Hon Hai Prec Ind Co Ltd System and method for detecting baby sleeping

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750578B2 (en) * 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
CN101876815B (zh) 2009-04-28 2012-09-19 深圳富泰宏精密工业有限公司 婴儿睡眠监控系统及方法
CN101564302B (zh) * 2009-05-25 2011-06-29 重庆科技学院 基于多源信息融合的婴儿睡眠躁动监测方法及检测系统
EP2570772A1 (en) * 2011-09-16 2013-03-20 Deutsches Zentrum für Luft- und Raumfahrt e.V. Method for localisation and mapping of pedestrians or robots using wireless access points
CN102789672B (zh) * 2012-07-03 2017-10-10 深圳市瑞工科技有限公司 一种婴儿睡姿智能识别方法及装置
US10372855B2 (en) * 2014-02-28 2019-08-06 Mentor Graphics Corporation Scan cell selection for partial scan designs
CN107209864B (zh) 2015-01-27 2018-03-30 北京市商汤科技开发有限公司 人脸识别方法和装置
WO2016205246A1 (en) 2015-06-15 2016-12-22 Knit Health, Inc. Remote biometric monitoring system
CN105574215B (zh) 2016-03-04 2019-11-12 哈尔滨工业大学深圳研究生院 一种基于多层特征表示的实例级图像搜索方法
WO2018167991A1 (ja) * 2017-03-14 2018-09-20 オムロン株式会社 運転者監視装置、運転者監視方法、学習装置及び学習方法
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
CN107330387B (zh) 2017-06-21 2021-04-23 哈尔滨工业大学深圳研究生院 基于图像数据的行人检测方法
US10565846B2 (en) * 2017-10-27 2020-02-18 Benjamin Lui Systems and methods for a machine learning baby monitor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201118802A (en) * 2009-11-18 2011-06-01 Ind Tech Res Inst Multi-state target tracking mehtod and system
TW201137795A (en) * 2010-04-21 2011-11-01 Hon Hai Prec Ind Co Ltd System and method for detecting baby sleeping

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joseph Redmon et.al, <You Only Look Once: Unified, Real-Time Object Detection>, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016/06/30 *
Joseph Redmon et.al, <You Only Look Once: Unified, Real-Time Object Detection>, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016/06/30,

Also Published As

Publication number Publication date
TW201943263A (zh) 2019-11-01
US10621424B2 (en) 2020-04-14
US20190303656A1 (en) 2019-10-03
CN110309693A (zh) 2019-10-08
CN110309693B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
TWI666941B (zh) 多層次狀態偵測系統與方法
CN110291489B (zh) 计算上高效的人类标识智能助理计算机
US11217076B1 (en) Camera tampering detection based on audio and video
US10853698B2 (en) System and method of using multi-frame image features for object detection
EP3511938A1 (en) Audio events triggering video analytics
US11968412B1 (en) Bandwidth estimation for video streams
US10609344B1 (en) Audio/video recording and communication doorbell devices including transistor assemblies, and associated systems and methods
EP2913799A2 (en) System and method having biometric identification intrusion and access control
CN117975638B (zh) 基于信息融合技术的智慧安防报警系统及其方法
JP2006510109A (ja) 表情不変顔認識方法及び装置
WO2016197298A1 (zh) 活体检测方法、活体检测系统以及计算机程序产品
KR102274581B1 (ko) 개인화된 hrtf 생성 방법
WO2016172923A1 (zh) 视频检测方法、视频检测系统以及计算机程序产品
WO2017098265A1 (en) Method and apparatus for monitoring
KR20170132109A (ko) 기계 학습 기반 목의 기울기 별 앉은 자세 인식을 이용한 거북목 식별 방법 및 장치
US20240046701A1 (en) Image-based pose estimation and action detection method and apparatus
TWI698121B (zh) 網路裝置、影像處理方法及電腦可讀媒體
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
US10733857B1 (en) Automatic alteration of the storage duration of a video
US11032762B1 (en) Saving power by spoofing a device
KR20110137469A (ko) 얼굴 검출을 이용한 지능형 영상출입장치 및 그 출입제어방법
US20240312254A1 (en) Method for adapting the quality and/or frame rate of a live video stream based upon pose
US10735696B1 (en) Backup doorbell communication system and method
TWI866612B (zh) 人臉辨識系統及方法
WO2021241083A1 (ja) 生体判定装置および生体判定方法