TWI790715B - 智慧影像辨識溺水警示系統 - Google Patents
智慧影像辨識溺水警示系統 Download PDFInfo
- Publication number
- TWI790715B TWI790715B TW110130551A TW110130551A TWI790715B TW I790715 B TWI790715 B TW I790715B TW 110130551 A TW110130551 A TW 110130551A TW 110130551 A TW110130551 A TW 110130551A TW I790715 B TWI790715 B TW I790715B
- Authority
- TW
- Taiwan
- Prior art keywords
- drowning
- action
- human body
- joint point
- water area
- Prior art date
Links
- 206010013647 Drowning Diseases 0.000 title claims abstract description 89
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 78
- 238000002372 labelling Methods 0.000 claims abstract description 33
- 238000013135 deep learning Methods 0.000 claims abstract description 27
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- 230000037081 physical activity Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 9
- 230000001788 irregular Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 206010044565 Tremor Diseases 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 238000004904 shortening Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 239000003643 water by type Substances 0.000 description 9
- 230000009182 swimming Effects 0.000 description 8
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Burglar Alarm Systems (AREA)
Abstract
本發明係揭露一種智慧影像辨識溺水警示系統，其包括攝影機、深度學習影像辨識單元及警示裝置。攝影機用以於每一預設間隔時間擷取水域的人體活動成像為水域活動影像。深度學習影像辨識單元包含骨骼關節點標註模組及溺水動作辨識模組。骨骼關節點標註模組用以對水域活動影像特徵擷出人體特徵，並影像處理為相應的骨骼關節點特徵。溺水動作辨識模組建立特徵資料庫，用以將即時及前數次接收之各骨骼關節點特徵輸入特徵資料庫，以辨識出各骨骼關節點特徵與的溺水動作特徵樣本之符合機率，當符合機率大於預設機率時，則判定為溺水，並輸出包警告訊號。警示裝置用以將警告訊號輸出為包含有人體目前位置的警告資訊，俾能藉由人體骨骼關節點標註與深度學習影像技術的整合設置，而可透過連續動作姿態、移動速度及向量座標等資訊來判斷泳客的動作是否為溺水，因而具有縮短辨識運算時間、有效提升影像辨識成功率及加快溺水救援速度等特點。
Description
本發明係有關一種智慧影像辨識溺水警示系統，尤指一種可以藉由人體骨骼關節點標註與深度學習影像技術的整合設置而可透過連續動作姿態、移動速度及向量座標等資訊來判斷泳客動作是否為溺水的溺水救生技術。
按，一般供水上娛樂或水上活動的水域，如水上樂園、海水浴場或是游泳池等場域已然是現代人舒緩身心的最佳場所之一。該水域除了可以達到避暑解熱的效果之外，並可達到遊戲娛樂以及游泳健身等功效。然而，在戲水、游泳或是從事水上活動的過程中，戲水者或泳者有可能因身體或環境等多種因素而發生溺水的意外事件，若是救生員能在第一時間搶救，或許還能挽救溺水者的寶貴性命；反之，若是救生員因泳池人數眾多、自身疏忽或是其他因素而未能在第一時間進行溺水搶救，以致溺水者的性命較難以挽救，由此可見，保障戲水者或泳者於水域活動的安全性，對於相關業者而言，無疑是一種嚴苛的挑戰，因此，如何開發出一套可以有效提升戲水者或泳者活動安全性的水域影像監控技術實已成為相關技術領域業者所亟欲解決與挑戰的技術課題。
為改善上述缺失，相關技術領域業者已然開發出一種如發明公開第201308264號『水域警示救生系統』所示的專利，該專利雖然可以透
過影像辨識技術來提升戲水者或泳者於水域活動的安全性；但是該專利仍具有如下所述的缺失：
1.該專利並非採用基於人工智慧的深度學習影像辨識技術，所以除了必須耗費更多的記憶體資源與辨識運算時間之外，影像辨識成功率亦無法有效提升，以致溺水認定的誤判機率較高。
2.該專利必須讓所有泳客配帶一組定位發送裝置，於此才能有效監控每位泳客的定位訊息；惟，配帶定位發送裝置除了會讓泳客感到配帶不適感之外，還會增加硬體設備的建置成本。
3.該專利係利用穿戴式裝置的各項感應器設備來察覺泳客是否已經溺水，但是穿戴式裝置會使得泳客在游泳時會有異物感、阻礙泳客游泳，況且穿戴式裝置上的感應器設備，此外穿戴式裝置在泳客游泳等劇烈動作，都有可能造成感應器的損毀以及失靈。
此外，另有一種如新型第M608940號『智能溺水救援裝置』所示的專利。該專利雖然可以接收溺水者之人臉表情，用以接收並傳輸溺水者之人臉表情至顯示螢幕以即時顯示及影像辨識；惟，該專利僅於水面上設置數組攝影模組，並無於水面下及水底設置攝影模組，以致所擷取之影像會因攝影視角不足而導致影像辨識精度較差的情事產生，而且該專利亦無人體骨骼關節點標註用於泳客是否溺水的辨識機能設置，以致無法透過人體骨骼關節點的動作姿態、移動速度及向量座標等資訊來判斷泳客的動作是否為溺水。
有鑑於此，習知技術及前述該等專利尚未有一種採用人體骨骼關節點標註用於泳客是否溺水的深度學習影像辨識技術的專利或是論文
被提出，而且基於相關產業的迫切需求之下，本發明人乃經不斷的努力研發之下，終於研發出一套有別於上述習知技術與專利的本發明。
本發明主要目的，在於提供一種智慧影像辨識溺水警示系統，主要是藉由人體骨骼關節點標註與深度學習影像技術的整合設置，而可透過連續動作姿態、移動速度及向量座標等資訊來判斷泳客的動作是否為溺水，因而具有縮短辨識運算時間、有效提升影像辨識成功率及加快溺水救援速度等特點。達成本發明主要目的採用之技術手段，係包括攝影機、深度學習影像辨識單元及警示裝置。攝影機用以於每一預設間隔時間擷取水域的人體活動成像為水域活動影像。深度學習影像辨識單元包含骨骼關節點標註模組及溺水動作辨識模組。骨骼關節點標註模組用以對水域活動影像特徵擷出人體特徵，並影像處理為相應的骨骼關節點特徵。溺水動作辨識模組建立特徵資料庫，用以將即時及前數次接收之各骨骼關節點特徵輸入特徵資料庫，以辨識出各骨骼關節點特徵與的溺水動作特徵樣本之符合機率，當符合機率大於預設機率時，則判定為溺水，並輸出包警告訊號。警示裝置用以將警告訊號輸出為包含有人體目前位置的警告資訊。
10:攝影機
20:深度學習影像辨識單元
21:骨骼關節點標註模組
22:溺水動作辨識模組
220:特徵資料庫
30:警示裝置
40:水域
I:水域活動影像
圖1係本發明於水域裝設攝影機的實施示意圖。
圖2係本發明系統架構的控制實施示意圖
圖3係本發明人體骨骼關節點標註的實施示意圖。
圖4係本發明深度學習的訓練流程實施示意圖。
圖5係本發明深度學習的資料處理流程實施示意圖。
圖6係本發明深度學習的影像辨識流程實施示意圖。
圖7係本發明於一種視角的溺水動作特徵樣本實施示意圖。
圖8係本發明於另一種視角的溺水動作特徵樣本實施示意圖。
為讓 貴審查委員能進一步瞭解本發明整體的技術特徵與達成本發明目的之技術手段，玆以具體實施例並配合圖式加以詳細說明：
請配合參看圖1~8所示，為達成本發明主要目的之具體實施例，係包括複數攝影機10、一深度學習影像辨識單元20及一警示裝置30等技術特徵。複數攝影機10設於一水域40(如水上樂園、海水浴場或是游泳池)，用以於每一預設間隔時間(影像擷取速度大約是每秒數張；或是1~3秒擷取1張；但不以此為限)影像擷取水域40的至少一人體活動成像為一水域活動影像I。該深度學習影像辨識單元20具備深度學習訓練功能以執行影像辨識功能，該深度學習影像辨識單元20包含一骨骼關節點標註模組21及一溺水動作辨識模組22，該骨骼關節點標註模組21用以對水域活動影像擷出至少一人體特徵影像，並將至少一人體特徵影像處理為相應的骨骼關節點特徵。該溺水動作辨識模組22建立包括至少一內建有複數種溺水動作特徵樣本的特徵資料庫220，用以將即時及前數次接收之各骨骼關節點特徵依序輸入特徵資料庫220，以影像辨識出各骨骼關節點特徵與的溺水動作特徵樣本之符合機率的辨識結果資訊，當符合機率大於預設機率時，則判定該人體為溺水，並輸出包含有該人體目前位置的警告訊號。該警示裝置30(如圖2以警示框格標註溺水者骨骼姿態的顯示幕及音頻裝置)用以將警告訊號輸出為包含有人體目前位置的警告資訊。
請配合參看圖1所示，該攝影機10的數量為複數，該複數攝影機10係為時間同步地進行影像擷取成像為複數水域活動影像I。其一複數攝影機10設於水域40的水面上，用以依序朝下擷取水域40之水面
活動的複數水域活動影像I；其二複數攝影機10設於水域40的水面下，用以擷取水域40之水面下活動的複數水域活動影像I；其三複數攝影機10設於該水域40的水底，用以朝上擷取該水域40之水底活動的複數水域活動影像I；該深度學習影像辨識單元20係以Mapping座標定位法對複數水域活動影像I進行座標定位，以得到時間同步及不同視角之同一人體的複數水域活動影像I，並將複數水域活動影像I送至骨骼關節點標註模組21中進行相關的影像處理。
具體的，該辨識結果資訊可以是該人體的移動速度、移動方向、目前位置或是動作姿態的其中一種資訊。該骨骼關節點特徵可以是該人體之複數關節點、各關節點的編號標註(如圖3所示)，各關節點位置或是各關節點之間關係之向量座標的其中至少一種特徵資訊。
於一種具體的應用實施例中，該溺水動作特徵樣本係為當人體持續20秒內未脫離水域40、其頭部之各關節點連接線段位於水下或於水面與水下之間擺動而呈停滯狀態及其手臂或腿部之各關節點連接線段有快速不規律性擺動的動作。具體的，該快速不規律性擺動的動作係選自異常揮臂動作及異常踢腿動作的其中一種；該快速不規律性擺動的動作時間係為持續超過3秒及動作頻率為每秒1~4次。
於另一種具體的應用實施例中，該溺水動作特徵樣本係為當頭部之各關節點連接線段相對水面上仰、於水域40內滯留的時間超過1分鐘、該連接線段相對水面上仰且載浮載沉的頻率超過每分鐘30次以上、該連接線段相對水面上仰及僅約五分之一以下的小面積臉部露出水面。
於又一種具體的應用實施例中，該溺水動作特徵樣本係為該人體的雙手臂之各關節點連接線段伸出水面且不斷揮舞或顫抖的頻率超過每分鐘30次以上、雙手臂之各關節點連接線段高舉做左右揮擺的動
作、單手手臂之各關節點連接線段伸出水面不斷揮手或顫抖的頻率超過每分鐘30次以上及單手臂之各關節點連接線段高。
除此之外，如圖7~8所示，為本發明不同視角之連續動作溺水動作特徵樣本的圖片示意。
請配合參看圖6所示，該骨骼關節點標註模組21係為一種骨骼關節點標註網路；該溺水動作辨識模組22係為一種溺水動作辨識模型；該深度學習影像辨識單元20執行影像辨識時則包括下列步驟：
步驟一，依序將每五張水域活動影像I輸入至骨骼關節點標註網路中。
步驟二，該骨骼關節點標註網路特徵擷取出該至少一人體影像並依序標註複數關節點的編號，並判斷編號1、8、11之關節點是否有標註，當判斷結果為否時，則扣除屬於該人體所有骨骼關節點後結束。
步驟三，當判斷結果為是時，則判斷該人體之所有關節點是否標註完全。
步驟四，判斷結果為是時，扣除頭部五個關節點，並計算五個關節點座標及關節點速度變化，以得到該骨骼關節特徵。
步驟五，當判斷結果為否時，則利用人體左右對稱性進行填充缺失的關節點座標，並進入該步驟四。
步驟六，將該骨骼關節特徵輸入至該溺水動作辨識模型中，並以遞迴卷積神經網路進行溺水動作之辨識，當判定溺水機率大於正常機率時則判定為溺水；當判定溺水機率低於正常機率時則判定為正常無溺水。
此外，本發明主要是藉由攝影機10即時回傳的影像進行深度學習之動作辨識，將影像中所有泳客的動作進行即時判斷，並將經過動作辨識網路辨識出為溺水的泳客，即時傳訊息給現場救生員或是及時發出緊報等…後續救援處理方式，此外利用影像進行溺水動作辨識的方法，泳客不會有配戴感應器之異物感，也不用擔心穿戴式裝置受損影響溺水判斷
的狀況發生。
首先說明攝影機10的擺放位置，攝影機10有水上及水下及不同視角及方向的攝影機10擺放，如圖1所示，藉由攝影機10拍攝的影像及時回傳至主機端進行動作辨識；接著，在動作辨識上採取使用人體的骨骼關節點座標進行動作辨識處理，在網路架構上，如圖2所示，系統架構圖中主要分成兩大階段，首先為了提取骨骼關節點資訊做為後續的動作辨識網路輸入的資料，因此需要使用骨骼關節點標註網路進行畫面中的人物進行骨骼關節點位置的標註，本發明在骨骼關節點標註上，為了達到即時骨骼關節點標註，因此使用Bottom-up之OpenPose骨骼關節點標註網路，在OpenPose標註網路中選用將VGG-19替代為Thin-MobileNet較輕量型的標註網路，經過這階段的骨骼關節點座標標註過後便會輸出每張畫面中所有泳客的關節點位置，以及其關節點與關節點之間關係的向量座標資訊。在骨骼關節點特徵提取當中，選用每位泳客的所有骨骼關節點座標以及每個關節點位置移動的速度位移向量作為後續動作辨識網路的輸入資料，這些資料本發明將它稱為後續用來進行動作分類的骨骼關節點特徵，並作為後續動作辨識網路的輸入資料。因為溺水動作的每個影像畫面跟時間具有相關聯性，因此在動作辨識網路的選擇上本發明選用專門用來處理序列資料的遞歸網路模型進行動作辨識，本發明測試使用了RNN、LSTM、BiLSTM這三種遞歸網路模型進行溺水的動作辨識，並測試其辨識結果，並最終選用溺水動作判斷錯誤率最低的BiLSTM作為最終的動作辨識網路。所使用的骨骼關節點標註網路，選擇的是較能達到Realtime的方法，在後續第二階段中採取的是使用能夠提取出較多序列資訊的遞歸神經網路進行最終的動作辨識。
如圖5所示，本發明包含資料預處理步驟，執行該步驟時，
因為動作辨識資料由預先拍攝的影片取得，首先須將影片依每秒裁剪影像出來，並建立一個與影片檔名相同的資料夾，存放這些影像。接下來將資料夾中的圖片依序由1開始命名，如圖5所示。依據資料夾中影像中的影像所屬類別，在資料夾名稱前面增加類別名稱，建立一個空白文件，因為每個影像可能有參雜不屬於該類別的影像，因此需標註從第幾張圖到第幾張圖才是本發明要的影片，如圖5所示，完成空白文件後即代表完成資料預處理步驟。
如圖3、4所示，本發明包含訓練流程步驟，執行該步驟時，訓練圖片會先依照先前製作好的空白文件，依序每五張圖片輸入進去骨骼關節點標註網路當中，當影像中關節點編號1、8、11關節點(編號圖如Openpose-18-keypoints圖片所示)同時沒標註到，則會判斷為沒標註到人，因此其關節點位置不會存起來。若這三個關節點都有標到，則會判斷為找到人，會繼續進行骨骼關節點標註，因為攝影機10影像若是拍到人物的側邊影像時，會有另外一側關節點無法從影像中直接標註到，因此會利用人體的左右對稱性，將人物的其中一側關節點根據人體中心點mapping到另外一側，將另一側關節點補齊。因為怕輸入到深度學習網路資料長度不一樣，因為有些時候泳客頭部不會再水面下，骨骼關節點網路無法標到水上的頭部關節點。因此將每個人物的頭部5個關節點刪除；接著，進行計算同一人體每個時間同一個關節點之間的變化，並計算成關節點變化的速度向量。結合關節點座標以及關節點的速度變化向量，便是輸入至下一階段動作辨識網路的輸入資料。這邊選用遞歸神經網路BiLSTM作為動作辨識用，經過網路訓練後，便會得到一個能夠辨識是否溺水的溺水動作辨識模型。
如圖6所示，本發明包含辨識流程步驟，執行該步驟時，係先經過網路模型的訓練過後，則會得到一個專門用來辨識溺水動作的溺水
動作辨識模型，因此，當影像輸入後，則會將影像輸入至骨骼關節點標註網路，標註到骨骼關節點標註網路後，即可得到的關節點座標位置以及速度向量等資訊，這些資訊會輸入至以訓練好的網路模型當中，再根據這個以訓練好的溺水動作辨識模型(即網路模型)便可順利地根據每個泳客的骨骼關節點來辨識是溺水的機率為何？
經本發明的實驗結果顯示，無論泳客在影像中是呈現正面(如圖7)或是呈現側身(如圖8)皆可辨識出來，因為溺水為連續動作，故可以每五張影像輸入至網路模型當中進行判斷，在訓練時採用的是監督式學習方式，跟電腦說從訓練資料中第幾個影像到第幾個影像屬於溺水的動作，第幾個影像到第幾個影像屬於正常動作，因此深度學習影像辨識單元(如電腦內建的深度學習軟體)會根據這些資訊將這些影像進行骨骼關節點標註並得到骨骼關節點特徵資料，該深度學習軟體便可以學習這些特徵進而學習當抓取到什麼樣的關節骨骼點特徵時會是溺水什麼樣的骨骼關節點特徵為正常的。因此，並無法知道骨骼關節點什麼樣子時為溺水，骨骼關節點什麼樣子時為正常，本發明只能教導電腦影像在訓練影像中第幾張影像到第幾張影像是溺水還是正常。
以上所述，僅為本發明之可行實施例，並非用以限定本發明之專利範圍，凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施，皆應包含於本發明之專利範圍內。本發明所具體界定於請求項之結構特徵，未見於同類物品，且具實用性與進步性，已符合發明專利要件，爰依法具文提出申請，謹請 鈞局依法核予專利，以維護本申請人合法之權益。
10:攝影機
40:水域
Claims (8)
- 一種智慧影像辨識溺水警示系統，其包括：複數攝影機，其設於一水域，用以於每一預設間隔時間擷取該水域的至少一人體活動成像為一水域活動影像；一深度學習影像辨識單元，其具備深度學習訓練功能以執行影像辨識功能，該深度學習影像辨識單元包含一骨骼關節點標註模組及一溺水動作辨識模組，該骨骼關節點標註模組用以對該水域活動影像擷出至少一人體特徵影像，並將該至少一人體特徵影像處理為相應的骨骼關節點特徵；該溺水動作辨識模組建立包括至少一內建有複數種溺水動作特徵樣本的特徵資料庫，用以將即時及前數次接收之各該骨骼關節點特徵依序輸入該特徵資料庫，以影像辨識出各該骨骼關節點特徵與的該溺水動作特徵樣本之符合機率的辨識結果資訊，當該符合機率大於一預設機率時，則判定該至少一人體為溺水，並輸出一包含有該至少一人體目前位置的警告訊號；及一警示裝置，其用以將該警告訊號輸出為包含有該至少一人體目前位置的警告資訊；其中，其一該複數攝影機設於該水域的水面上，用以依序朝下擷取該水域之水面活動的該複數水域活動影像；其二該複數攝影機設於該水域的水面下，用以擷取該水域之水面下活動的該複數水域活動影像；其三該複數攝影機設於該水域的水底，用以朝上擷取該水域之水底活動的該複數水域活動影像；該深度學習影像辨識單元係以Mapping座標定位法對該複數水域活動影像進行座標定位，以得到時間同步及不同視角之同一該至少一人體的該複數水域活動影像，並將該複數水域活動影像送至該骨骼關節點標註模組中進行相關的該影像處理。
- 如請求項1所述之智慧影像辨識溺水警示系統，其中，該複數攝影機係為時間同步地進行影像擷取成像為複數該水域活動影像。
- 如請求項1所述之智慧影像辨識溺水警示系統，其中，該辨識結果資訊係選自該至少一人體的移動速度、移動方向、目前位置及動作姿態的其中一種資訊；該骨骼關節點特徵係選自該至少一人體之複數關節點、各該關節點的編號標註、各該關節點位置以及各該關節點之間關係之向量座標的其中至少一種特徵資訊。
- 如請求項3所述之智慧影像辨識溺水警示系統，其中，該溺水動作特徵樣本係為當該至少一人體於該水域持續20秒內未脫離該水域、其頭部之各關節點連接線段位於水下或於水面與水下之間擺動而呈停滯狀態及其手臂或腿部之各關節點連接線段有快速不規律性擺動的動作。
- 如請求項4所述之智慧影像辨識溺水警示系統，其中，該快速不規律性擺動的動作係選自異常揮臂動作及異常踢腿動作的其中一種；該快速不規律性擺動的動作時間係為持續超過3秒及動作頻率為每秒1~4次。
- 如請求項3所述之智慧影像辨識溺水警示系統，其中，該溺水動作特徵樣本係為當該頭部之各關節點連接線段相對水面上仰且於該水域內滯留的時間超過1分鐘、該連接線段相對水面上仰且載浮載沉的頻率超過每分鐘30次以上、該連接線段相對水面上仰且僅約五分之一以下的小面積臉部露出水面。
- 如請求項3所述之智慧影像辨識溺水警示系統，其中，該溺水動作特徵樣本係為該至少一人體的雙手臂之各關節點連接線段伸出水面且不斷揮舞或顫抖的頻率超過每分鐘30次以上、雙手臂之各該關節點連接線段高舉做左右揮擺的動作、單手手臂之各關節點連接線段伸出水面不斷揮手或顫抖的頻率超過每分鐘30次以上及單手臂之各該關節點連接線段高舉做左右或前後的旋擺動作。
- 如請求項1所述之智慧影像辨識溺水警示系統，其中，該骨骼關節 點標註模組係為骨骼關節點標註網路；該溺水動作辨識模組係為溺水動作辨識模型；該深度學習影像辨識單元執行該影像辨識時則包括下列步驟：步驟一，依序將每五張該水域活動影像輸入至該骨骼關節點標註網路中；步驟二，該骨骼關節點標註網路特徵擷取出該至少一人體影像並依序標註複數關節點的編號，並判斷編號1、8、11之該關節點是否有標註，當判斷結果為否時，則扣除屬於該人體所有骨骼關節點後結束；步驟三，當判斷結果為是時，則判斷該人體之所有關節點是否標註完全；步驟四，判斷結果為是時，扣除頭部五個關節點，並計算五個關節點座標及關節點速度變化，以得到該骨骼關節特徵；步驟五，當判斷結果為否時，則利用人體左右對稱性進行填充缺失的關節點座標，並進入該步驟四；及步驟六，將該骨骼關節特徵輸入至該溺水動作辨識模型中，並以建立有該特徵資料庫的遞迴卷積神經網路進行溺水動作之辨識，當判定溺水機率大於正常機率時則判定為溺水；當判定溺水機率低於正常機率時則判定為正常無溺水。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110130551A TWI790715B (zh) | 2021-08-18 | 2021-08-18 | 智慧影像辨識溺水警示系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110130551A TWI790715B (zh) | 2021-08-18 | 2021-08-18 | 智慧影像辨識溺水警示系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI790715B true TWI790715B (zh) | 2023-01-21 |
| TW202309848A TW202309848A (zh) | 2023-03-01 |
Family
ID=86670124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110130551A TWI790715B (zh) | 2021-08-18 | 2021-08-18 | 智慧影像辨識溺水警示系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI790715B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218579A (zh) * | 2023-09-12 | 2023-12-12 | 常州先进制造技术研究所 | 一种游泳池溺水检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484654A (zh) * | 2014-12-19 | 2015-04-01 | 苏州大学 | 基于模式识别与指纹匹配定位算法的防溺水识别方法 |
| US20190034712A1 (en) * | 2016-01-26 | 2019-01-31 | Coral Detection Systems Ltd. | Methods and systems for drowning detection |
| CN110555975A (zh) * | 2019-08-28 | 2019-12-10 | 成都理工大学工程技术学院 | 一种防溺水的监控方法及系统 |
| CN112489371A (zh) * | 2020-11-26 | 2021-03-12 | 上海天健体育科技发展有限公司 | 一种基于计算机视觉的泳池防溺水预警系统 |
-
2021
- 2021-08-18 TW TW110130551A patent/TWI790715B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484654A (zh) * | 2014-12-19 | 2015-04-01 | 苏州大学 | 基于模式识别与指纹匹配定位算法的防溺水识别方法 |
| US20190034712A1 (en) * | 2016-01-26 | 2019-01-31 | Coral Detection Systems Ltd. | Methods and systems for drowning detection |
| CN110555975A (zh) * | 2019-08-28 | 2019-12-10 | 成都理工大学工程技术学院 | 一种防溺水的监控方法及系统 |
| CN112489371A (zh) * | 2020-11-26 | 2021-03-12 | 上海天健体育科技发展有限公司 | 一种基于计算机视觉的泳池防溺水预警系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218579A (zh) * | 2023-09-12 | 2023-12-12 | 常州先进制造技术研究所 | 一种游泳池溺水检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202309848A (zh) | 2023-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753747B (zh) | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 | |
| WO2021129064A9 (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
| CN105740780B (zh) | 人脸活体检测的方法和装置 | |
| CN114049590B (zh) | 一种基于视频的跳台滑雪运动分析方法 | |
| CN116152928A (zh) | 基于轻量级人体姿态估计模型的防溺水预警方法和系统 | |
| CN109961039A (zh) | 一种个人进球视频捕捉方法及系统 | |
| CN115761901B (zh) | 一种骑马姿势检测评估方法 | |
| CN113408435B (zh) | 一种安全监控方法、装置、设备和存储介质 | |
| CN118397700A (zh) | 一种基于st-gcn的人体溺水检测方法及检测系统 | |
| WO2023097967A1 (zh) | 一种动作检测方法、装置、设备、存储介质及计算机程序产品 | |
| CN104484654B (zh) | 基于模式识别与指纹匹配定位算法的防溺水识别方法 | |
| TWI790715B (zh) | 智慧影像辨識溺水警示系統 | |
| CN118021271B (zh) | 一种基于虚拟现实的健身监测装置及健身监测方法 | |
| CN115105821A (zh) | 一种基于OpenPose的体操训练辅助系统 | |
| Jian et al. | Deep learning used to recognition swimmers drowning | |
| Yang et al. | Research on face recognition sports intelligence training platform based on artificial intelligence | |
| CN115273243A (zh) | 跌倒检测方法、装置、电子设备和计算机可读存储介质 | |
| CN114639160A (zh) | 一种通过视觉识别定义人体头部动作、姿势和各关节关系的方法 | |
| CN118172389B (zh) | 一种基于跨摄像头多目标跟踪的短跑监测系统及方法 | |
| CN112036324B (zh) | 一种用于复杂多人场景的人体姿态判定方法及系统 | |
| CN118609312A (zh) | 基于人工智能和边缘计算的溺水检测报警系统 | |
| CN116597612A (zh) | 一种基于人体关键点距离矩阵的防溺水报警方法和系统 | |
| CN112580560A (zh) | 一种应用于泳池的智能监控方法及系统 | |
| CN117095457A (zh) | 一种数字人重建运动评分方法、系统、设备及介质 | |
| CN110705496A (zh) | 一种基于九轴传感器的游泳姿势识别方法 |