[go: up one dir, main page]

TWI884391B - 船舶追蹤暨監控系統及其運作方法 - Google Patents

船舶追蹤暨監控系統及其運作方法 Download PDF

Info

Publication number
TWI884391B
TWI884391B TW111136872A TW111136872A TWI884391B TW I884391 B TWI884391 B TW I884391B TW 111136872 A TW111136872 A TW 111136872A TW 111136872 A TW111136872 A TW 111136872A TW I884391 B TWI884391 B TW I884391B
Authority
TW
Taiwan
Prior art keywords
processing module
aquatic
camera
water
monitoring system
Prior art date
Application number
TW111136872A
Other languages
English (en)
Other versions
TW202414337A (zh
Inventor
吳家瑜
宋彥陞
彭煜庭
劉建宏
Original Assignee
財團法人船舶暨海洋產業研發中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人船舶暨海洋產業研發中心 filed Critical 財團法人船舶暨海洋產業研發中心
Priority to TW111136872A priority Critical patent/TWI884391B/zh
Priority to US18/082,574 priority patent/US20240104746A1/en
Priority to GB2219002.9A priority patent/GB2622894A/en
Publication of TW202414337A publication Critical patent/TW202414337A/zh
Application granted granted Critical
Publication of TWI884391B publication Critical patent/TWI884391B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明提供了一種船舶追蹤暨監控系統及其運作方法。具體來說，該船舶追蹤暨監控系統包含至少一攝影機、一處理模組以及一儲存模組。並且，該處理模組能將該至少一攝影機辨識並偵測到的至少一水上物件隨時保持於監視畫面的中心範圍。據此，本發明可對該至少一水上物件進行追蹤以及船舶類別的辨識，協助在各種環境條件下，如港口等地區的船舶進出管理和追蹤。

Description

船舶追蹤暨監控系統及其運作方法
本發明係關於一種船舶追蹤暨監控系統及其運作方法，尤指一種能將該至少一攝影機辨識並偵測到的至少一水上物件隨時保持於監視畫面的中心範圍，並協助如港口等地區在各種環境條件下，管理和追蹤船舶的進港和出港。
一般來說，對於港口港內和海際線等視野範圍之內，時常有大量的水上物件，如船舶等水上載具頻繁的航行以及出入。普遍來說，如果依賴人力，將難以在有限的時間和成本內做好港口附近的船舶出入管理；於此同時，如海上的船舶發生意外的時候，也難以於第一時間得知並派出救援。
縱使隨著監視器的發明，於岸端裝設監視器進行監控也是行之有年的事。但目前大多監視器的使用上還是需要仰賴人工進行檢查。同樣地，對於港口內如經營休憩遊艇的船隊的業者來說，對於其船隊內的船舶管理亦屬於一大挑戰。
因此，目前針對港口或海際線附近出現的船舶，實際上缺乏一套有效且精準的自動管理系統。目前亟需一種精準且自動化的船舶追蹤管理系統，來協助人們更有效率的管理港口附近的事物。
為了解決先前技術的問題，本發明目的為提供一種船舶追蹤暨監控系統及其運作方法。具體來說，本發明所述的船舶追蹤暨監控系統包含至少一攝影機、一處理模組以及一儲存模組。
其中，該至少一攝影機具有至少三維的運鏡能力，並且該至少一攝影機拍攝至少一監視畫面。而該處理模組與該至少一攝影機連接。該處理模組根據該至少一監視畫面中的至少一水上物件進行一物體偵測（Object detection）。
並且，該處理模組確認該至少一水上物件位於該至少一監視畫面中的位置後，依據該至少一水上物件於該至少一監視畫面中的位置距離該至少一監視畫面的一中心範圍的遠近程度，控制該至少一攝影機轉動將該至少一水上物件移動至該至少一監視畫面的該中心範圍，並將該至少一水上物件隨時保持於該至少一監視畫面的該中心範圍。
至於該儲存模組則儲存有至少一水上物件資料集（Data Set）。該至少一水上物件資料集（Data Set）提供該處理模組偵測及辨識該至少一水上物件的位置及類別。
於此同時，本發明船舶追蹤暨監控系統的運作方法包含下述步驟。首先，步驟(A)係先提供如前所述的該船舶追蹤暨監控系統。接著步驟(B)係使該至少一攝影機維持待命狀態，直至該至少一水上物件進入該至少一攝影機的攝影範圍內，將包含有該至少一水上物件的該至少一監視畫面傳送至該處理模組。
接著步驟(C)係由該處理模組根據該至少一監視畫面中的該至少一水上物件進行該物體偵測（Object detection），並確認該至少一水上物件位於該至少一監視畫面中的位置。接著，步驟(D)中，該處理模組依據該至少一水上物件於該至少一監視畫面中的位置距離該至少一監視畫面的一中心範圍的遠近程度，控制該至少一攝影機轉動將該至少一水上物件移動至該至少一監視畫面的該中心範圍。
最後，步驟(E)係由該處理模組控制該至少一攝影機將該至少一水上物件隨時保持於該至少一監視畫面的該中心範圍。
以上對本發明的簡述，目的在於對本發明之數種面向和技術特徵作一基本說明。發明簡述並非對本發明的詳細表述，因此其目的不在特別列舉本發明的關鍵性或重要元件，也不是用來界定本發明的範圍，僅為以簡明的方式呈現本發明的數種概念而已。
為能瞭解本發明的技術特徵及實用功效，並可依照說明書的內容來實施，茲進一步以如圖式所示的較佳實施例，詳細說明如後：
本實施方式中提及的「連接」實際上並不具有空間和位置上的絕對限定。具體來說，「連接」一詞應合理地被理解為任何可以實現功能的物理連接。所述物理連接包含但不限於機械連接、電性連接、有線連接或無線連接，本發明並不加以限制。
首先請參照圖1，圖1係本發明船舶追蹤暨監控系統實施例的架構圖。如圖1所示，本實施例所述的船舶追蹤暨監控系統10包含至少一攝影機100、一處理模組300以及一儲存模組400。首先，在本實施例中，處理模組300更與不可見光攝影機200連接。具體來說，本實施例不可見光攝影機200可以採用熱成像等不可見光的感測技術實現之。在如夜晚或雨天等可見光不足情況下發揮輔助追蹤和辨識的效果。
而在可見光充足的條件下，本實施例的攝影機100雖然僅以單個繪示；然實際上，攝影機100的數量可以根據如不同港口的地理位置而設置為複數個，本發明並不加以限制。
具體來說，本實施例採用的攝影機100具有至少三維的運鏡能力。所述至少三維的運鏡能力可以是左右（Pan）、上下（Tile）以及放大（Zoom）等三個維度的畫面控制能力。更進一步來說，針對上述運鏡所需的轉動，本實施例採用的攝影機100每秒轉動的角度以120度為最佳。在某些實施例中，如攝影機100本身內建有如熱成像等不可見光感測功能者，亦可免去不可見光攝影機200的使用，本發明並不加以限制。
本實施例之至少一攝影機100可以拍攝依據其設置數量拍攝至少一監視畫面101（可先參照圖3）。具體來說，每個攝影機100所拍攝到的監視畫面101係為方便說明本實施例而示意之。實際上，監視畫面101在處理模組300連接具有螢幕或顯示器終端裝置的狀況下可以進行輸出並顯示，本發明並不加以限制。
因此，本實施例之處理模組300與至少一攝影機100連接，且該處理模組300可以根據每個監視畫面101中出現（即進入攝影機100攝影範圍內）的水上物件V進行物體偵測（Object detection）。
在本實施例中，水上物件V可以包含但不限於任何可於水上隨著水體搖晃的水上物件V。具體來說，本實施例所述的水上物件V可為水上載具或其他水上人造物，包含但不限於救生圈、浮標或船舶等，本發明並不加以限制。
並且，本實施例之處理模組300可透過攝影機100的監視畫面101確認水上物件V位於該監視畫面101中的位置後，依據該水上物件V於監視畫面101中的位置距離該監視畫面101中心範圍C的遠近程度，控制對應於該監視畫面101的攝影機100轉動，將該水上物件V移動至該監視畫面101的中心範圍C。最後將水上物件V隨時保持於該監視畫面101的中心範圍C。
在本實施例中，所謂「處理模組300依據該水上物件V於監視畫面101中的位置距離該監視畫面101中心範圍C的遠近程度，控制對應於該監視畫面101的攝影機100轉動」係指當水上物件V距離監視畫面101中心範圍C越遠的時候，處理模組300控制攝影機100轉動將水上物件V回歸監視畫面101中心範圍C的轉動速度會越快的方式進行設計。
反之，隨著攝影機100轉動而將水上物件V逐漸移動靠近監視畫面101中心範圍C的時候，處理模組300會控制攝影機100逐漸減緩其轉動速度，進而將水上物件V隨時保持於攝影機100監視畫面101的中心範圍C（可先參照圖4和圖5）。
另一方面，本實施例之處理模組300係與儲存模組400連接。具體來說，本實施例之儲存模組400可以是如固態硬碟（SSD）等元件，得以儲存有至少一水上物件資料集（Data Set）。該至少一水上物件資料集（Data Set）可以是已經人工標註好樣本並提供處理模組300偵測及辨識水上物件V的位置及類別的水上物件資料集（Data Set）。因此，本實施例的處理模組300實際上可以包含用以運行影像辨識人工智慧的中央處理器（Central Processing Unit, CPU）、圖形處理器（Graphics Processing Unit, GPU）或其組合。
而儲存模組400中可以儲存提供處理模組300運行並偵測或辨識監視畫面101出現的水上物件V之影像辨識人工智慧模型。當然，所述影像辨識人工智慧模型也可以由處理模組300透過網路存取雲端伺服器上的影像辨識人工智慧模型，本發明並不加以限制。具體來說，本實施例由提供處理模組300運行之影像辨識人工智慧模型為yolov3-tiny。該影像辨識人工智慧模型係利用儲存在儲存模組400中的至少一水上物件資料集（Data Set）進行訓練，並確認偵測和辨識準確率均達到85%以上後才進行實施。
因此，透過本實施例訓練並由處理模組300運行的影像辨識人工智慧模型可以配合攝影機100的硬體規格，在距離攝影機100 1.5公里內的水上物件V均可無須進行光學或數位放大即可達到85%以上的偵測和辨識準確率。並且，在處理模組300運行的影像辨識人工智慧模型偵測和辨識水上物件V後，可將水上物件V保持於監視畫面101的中心範圍C維持追蹤介於0.5至6公里的範圍。
接著請同時參照圖1到圖5。其中圖2係本發明船舶追蹤暨監控系統實施例的運作方法流程圖；圖3係本發明船舶追蹤暨監控系統實施例監視畫面調整示意圖；圖4係本發明船舶追蹤暨監控系統實施例另一監視畫面調整示意圖；以及圖5係本發明船舶追蹤暨監控系統實施例又一監視畫面調整示意圖。
請同時參照圖1到圖3。首先，如圖2所示，本實施例之步驟(A)係先提供如前實施例（即圖1）所述的該船舶追蹤暨監控系統10。接著步驟(B)係使至少一攝影機100維持待命狀態，直至如圖3所示的至少一水上物件V進入該至少一攝影機100的攝影範圍內，並且將包含有該至少一水上物件V的監視畫面101傳送至處理模組300。
具體來說，本實施例進入至少一攝影機100的攝影範圍而能夠被呈現於至少一監視畫面101的水上物件V實際上可以不只是單艘水上物件V，更可以是多艘水上物件V。惟本實施例後述的方法可以在監視畫面101呈現複數艘水上物件V的時候進行逐一偵測以及辨識，並依照處理模組300所收受任務的優先順序鎖定優先追蹤的對象，本發明並不加以限制。
舉例而言，如處理模組300於運作期間被設定為將「軍艦」列為最優先追蹤對象。則當監視畫面101呈現複數艘水上物件V時，待本實施例後述的步驟進行偵測及辨識複數艘水上物件V任務結束後，複數艘水上物件V中如包含因該水上物件V具有「艦砲」等軍艦特徵而被辨識為「軍艦」時，處理模組300會優先擇定追蹤該具有「艦砲」的水上物件V。
接著，如圖2所示，本實施例之步驟(C)係由該處理模組300根據該至少一監視畫面101中的至少一水上物件V進行該物體偵測（Object detection），並確認該至少一水上物件V位於該至少一監視畫面101中的位置。具體來說，所謂物體偵測（Object detection）係指由本實施例處理模組300運行之影像辨識人工智慧模型進行，該影像辨識人工智慧模型為yolov3-tiny。
在本實施例中，所謂物體偵測（Object detection）係由處理模組300利用儲存於儲存模組400中之至少一水上物件資料集（Data Set），偵測水上物件V的位置。更進一步來說，所述影像辨識人工智慧模型係利用儲存在儲存模組400中的至少一水上物件資料集（Data Set）進行訓練，並確認偵測和辨識準確率均達到85%以上後才進行實施。當然，處理模組300亦可以透過網路利用儲存於雲端伺服器（甚至儲存模組400本身就是雲端伺服器的記憶體）的影像辨識人工智慧模型進行偵測、辨識或訓練偵測辨識準確率，本發明並不加以限制。
因此，本實施例的處理模組300進行物體偵測（Object detection）確認該至少一水上物件V位於該至少一監視畫面101中的位置後，具體會有兩種情況。當偵測到單艘水上物件V時，可以參照圖3，會以物體偵測OBT的框選方式框選出水上物件V所在的位置及其目前被偵測到出現在監視畫面101的二維座標何處。相對地，當水上物件V為複數艘時，監視畫面101中會出現複數個物體偵測OBT，此時會依照該些物體偵測OBT矩陣重心點連線形成的多變形幾何圖形之重心點作為該些水上物件V的中心位置，作為定義該些水上物件V出現在監視畫面101的二維座標位置。
因此，以本實施例圖3為例，當處理模組300運行所述影像辨識人工智慧模型進行偵測後，可以根據物體偵測OBT矩陣的位置確認水上物件V位於監視畫面101橫坐標X5以及縱坐標Y2的位置。為方便說明，本實施方式後述對於橫坐標X1~X6以及縱座標Y1~Y6的說明係以（Xn, Yn）的方式表示之；其中，n的值介於1到6之間。
於此同時，由於本實施例監視畫面101的二維座標設計維橫軸縱軸均為偶數個數值的緣故，因此中心範圍C定義是以最中間的兩個橫坐標及縱座標所劃分的區塊構成，包含（X3, Y4）、（X4, Y4）、（X3, Y3）以及（X4, Y3）。據此，便執行步驟(D)。
在本實施例步驟(D)中，處理模組300會依據水上物件V（或複數個水上物件V物體偵測OBT矩陣重心點連線形成的多變形幾何圖形之重心點）於監視畫面101中的位置距離監視畫面101中心範圍C的遠近程度，控制至少一攝影機100轉動，將水上物件V移動至監視畫面101的該中心範圍C之內。
具體來說，可以參照圖4，由處理模組300確認水上物件V的座標位置後，就會依照水上物件V（或複數個水上物件V物體偵測OBT矩陣重心點連線形成的多變形幾何圖形之重心點）離監視畫面101中心範圍C的遠近位置，以機電控制的方式控制攝影機100由快至慢逐漸將水上物件V回歸到監視畫面101中心範圍C之內，並使攝影機100進行對焦。
具體來說，當水上物件V物體偵測OBT矩陣所判定的座標離中心範圍C越遠時，處理模組300控制攝影機100轉動所產生的位移D5最大。而隨著水上物件V物體偵測OBT矩陣越來越靠近監視畫面101的中心範圍C時，位移D4~D1明顯產生逐漸遞減並為零的控制方式。因此，本實施例處理模組300透過這種計算水上物件V物體偵測OBT矩陣距離中心範圍C的距離與攝影機100位移速度成正比的控制方式，可以將欲追蹤的水上物件V維持在監視畫面101的正中央進行有效追蹤。
因此，本實施例之攝影機100為了達到此目的，可以選用具有多段轉速的攝影機100。而攝影機100應具備多少段轉速可以依照監視畫面101中內建的二維座標數量來決定。舉例而言，本實施例之監視畫面101中所使用的二維座標無論橫坐標或縱坐標均具有六個位置。因此，攝影機100的轉動速度應至少具有零至五個等級至少六個速度可以提供轉動速度變化。在此概念之下，其餘與本實施例概念類似應用於船舶追蹤的攝影機100機電控制方法，應均屬於本發明的範圍之內。除此之外，本實施例處理模組300更新水上物件V於監視畫面101的二維座標位置亦可以設定為逐影格（frame）或是固定時間更新，本發明並不加以限制。
因此，如圖5所示，本實施例之步驟(E)係由處理模組300控制至少一攝影機100將水上物件V（即水上物件V物體偵測OBT矩陣）隨時保持於監視畫面101的中心範圍C矩陣的範圍之內，並隨著水上物件V位移離開中心範圍C矩陣的範圍，以逐影格（frame）或是固定時間更新水上物件V物體偵測OBT矩陣的座標位置。最後處理模組300將隨時透過更新後的水上物件V物體偵測OBT矩陣的座標位置來控制攝影機100的轉動。
當然，本實施例步驟(E)持續保持追蹤水上物件V的情況下，假若水上物件V在監視畫面101中被至少一遮蔽物遮蔽時，處理模組300會啟動物件位置預測方法來更新水上物件V的二維座標位置。所述至少一遮蔽物可以是海浪、浪花或是非預期狀況下出現的其他水上物件V等均可，本發明並不加以限制。
本實施例所稱的物件位置預測方法係先執行步驟(E1)，處理模組300會先擷取水上物件V被遮蔽物遮蔽當下的第一遮蔽影格，接著步驟(E2)中，該處理模組300擷取第一遮蔽影格後間距至少一影格的第二遮蔽影格。
接著，步驟 (E3)將由該處理模組300根據第一遮蔽影格以及第二遮蔽影格之間對水上物件V未被該遮蔽物遮蔽的部份執行前述步驟(C)採用過的物體偵測（Object detection），依序由第一遮蔽影格以及第二遮蔽影格獲得第一水上物件位置以及第二水上物件位置。
最後，步驟(E4)中，處理模組300會根據第一水上物件位置及第二水上物件位置的相對座標和距離變化的軌跡，判斷水上物件V的真實水上物件位置，並依照該真實水上物件位置當作水上物件V的二維座標，將水上物件V隨時保持於監視畫面101的中心範圍C，直到遮蔽物未遮蔽水上物件V後，才回到步驟(E)續行。
除上述的方法之外，本實施例每次啟動物件位置預測方法並執行到步驟(E4)後，待步驟(E4)結束後會由處理模組300將是次判定的真實水上物件位置儲存至儲存模組400中。透過日積月累的執行，使儲存模組400建立遮蔽預判資料庫。據此，本實施例之處理模組300於後續再次因應需求而啟動物件位置預測方法時，更可依照該遮蔽預判資料庫配合前述第一水上物件位置及第二水上物件位置的相對座標和距離變化的軌跡，更精確地判斷水上物件V當下的真實水上物件位置。
接著，由於將水上物件V固定於監視畫面101的中心範圍C後，便可進一步地對水上物件V進行物件識別（Object recognition）。具體來說，本實施例更可選地包含步驟(F)和步驟(G)，用以對水上物件V進行物件識別（Object recognition）來確認水上物件V的類別，以決定是否要繼續以步驟(A)到步驟(E)的方法繼續追蹤。
具體來說，所述物件識別（Object recognition）同樣由處理模組300運行前述影像辨識人工智慧模型來達成。而本實施例接續步驟(E)的步驟(F)是由處理模組300利用儲存於儲存模組400中之至少一水上物件資料集（Data Set），以物件識別（Object recognition）分辨該至少一水上物件V的類別。
在本實施例中，至少一水上物件V的類別可以但不限於貨櫃船、油輪、漁船、遊艇或軍艦等。本實施例可辨識的船舶類別係由處理模組300運行的影像辨識人工智慧模型來決定。更進一步來說，係由前述影像辨識人工智慧模型經過儲存於儲存模組400中之水上物件資料集（Data Set）的資料內容訓練後的成果決定。
換言之，如果本實施例由處理模組300運行的影像辨識人工智慧模型需要照著自動識別系統（Automatic Identification System, AIS）中的船舶分類來進行船舶類別辨別定義，則儲存於儲存模組400中之水上物件資料集（Data Set）應儲存有包含但不限於經過人工標註好的飛翼船（Wing In Grnd, airfoil）、水翼船 （Hydrofoil）、巡邏船（Patrol Vessel）、在地船（Local vessel）、漁船（Fishing）、拖船（Tug）、渡輪（Ferry）、挖泥船（Dredger）、郵輪（Cruise ship）、軍艦（Naval ship）、貨櫃船（Container ship）、帆船（Sailing vessel）、散貨船（Bulk carrier）、遊艇（Pleasure Craft）、油輪（Tanker）、氣墊船（Hovercraft）、潛水船（Submarine）、搜救船（Search and rescue vessel）、港口補給船（Port Tender）、汙染控制船（Pollution control vessel）、醫療船（Hospital ship）、特種船（Special vessel）、引航船 （Pilot Vessel）及遠方船舶的影像檔。
接著，本實施例之步驟(G)係由處理模組300根據該水上物件V的類別決定是否繼續追蹤該水上物件V。在本實施例之步驟(G)中，處理模組300決定是否繼續追蹤水上物件V係可透過人工設定優先順位排序，本發明並不加以限制。舉例而言，當港口預計舉辦遊艇嘉年華等活動時，針對遊艇（Pleasure Craft）的持續追蹤就會被列在第一順位進行追蹤；相對地其他類別的船舶就會被排除。
因此，如處理模組300決定繼續追蹤該水上物件V，則持續執行步驟(E)直至該水上物件V離開攝影機100的攝影範圍。以本實施例來說，攝影機100的攝影範圍能承受的追蹤距離可介於0.5至6公里之間。而如處理模組300根據水上物件V的類別決定不繼續追蹤水上物件V，則處理模組300會回到步驟(B)尋找新的水上物件V。
同樣地，當本實施例執行步驟(F)辨識水上物件V的類別時，如處理模組300判斷水上物件V於監視畫面101的解析度不足或被遮蔽物遮蔽的情況下，處理模組300會啟動一細部物件辨識方法。
具體來說，所述該細部物件辨識方法係先執行步驟(F1)，由該處理模組300控制攝影機100以一放大手段放大監視畫面101中的水上物件V。所述放大手段包含但不限控制攝影機100利用光學放大、數位放大或其組合的方式增加水上物件V的顯示面積。
接著，本實施例之(F2)係由處理模組300根據儲存於儲存模組400中的水上物件資料集（Data Set）運行前述的影像辨識人工智慧模型，對經放大手段放大後的水上物件V其上可辨識的至少一特徵物件進行該物件識別（Object recognition）。在本實施例中，所述至少一特徵物件包含但不限於船艏、船艉、煙囪、吊臂、救生艇、旗幟、顏色、雷達、艦砲、識別牌或其組合。相對地，當有特別需要辨識的特徵物件時，應可理解到儲存於儲存模組400中的水上物件資料集（Data Set）也相應具有標註好的相關影像並提供給影像辨識人工智慧模型進行訓練過，本發明並不加以限制。
最後，步驟(F3)即由處理模組300根據被辨識出的至少一特徵物件類別分辨水上物件V的類型，之後進入步驟(G)。
在上述本實施例步驟(A)~(G)中，只要有任何一個偵測或辨識的步驟遭遇到監視畫面101的可見光亮度低於一辨識亮度閾值時，處理模組300便會啟動圖1中的至少一不可見光攝影機200，改由至少一不可見光攝影機200依照步驟(A)~(F)自主或是輔助攝影機100運作。而本實施例之辨識亮度閾值可以設定利用包含但不限於攝影機100以外的外部光感測器來實現之。
具體來說，可以是與處理模組300連接的光感測器，該光感測器可以測定環境可見光的流明（lm）值來判斷是否為陰天，抑或是與處理模組300連接的各種天氣感測器（例如氣壓計、溼度計、懸浮微粒感測器或溫度計等等），以判斷天氣條件是否可能會有遮蔽或妨礙攝影機100接收可見光的程度來啟動不可見光攝影機200，本發明並不加以限制。
同樣地，在上述本實施例步驟(A)~(G)中，只要有任何一個偵測或辨識的步驟，當監視畫面101中出現的至少一水上物件V經過步驟(C)之物體偵測（Object detection）後，發現如圖3一般物體偵測OBT矩陣所佔監視畫面101的面積小於一面積閾值時，該處理模組300便可控制攝影機100以前述的放大手段放大該至少一水上物件V。而所述面積閾值可以是水上物件V之物體偵測OBT矩陣佔該監視畫面101的面積百分比（%）等，本發明並不加以限制。
除此之外，如在上述本實施例步驟(A)~(G)中，特別是步驟(E)在執行的期間，如處理模組300無需控制攝影機100旋轉即可將水上物件V持續保持於監視畫面101的中心範圍C，並且超過一時間閾值，則處理模組300可進一步啟動前述的步驟(F1)~(F3)來辨識水上物件V是否具有如火光或濃煙等圖像出現在畫面中，如水上物件V被辨識具有火光或濃煙等圖像，則處理模組300可透過有線或無線通訊的方式向如港口管理人員手機、電腦等至少一終端裝置發出警示訊號，提示目前水上物件V可能遭遇的緊急情況。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即依本發明申請專利範圍及說明內容所作之簡單變化與修飾，皆仍屬本發明涵蓋之範圍內。
10:船舶追蹤暨監控系統 100:攝影機 101:監視畫面 200:不可見光攝影機 300:處理模組 400:儲存模組 (A)~(E):步驟 C:中心範圍 V:水上物件 OBT:物體偵測 X1~X6:橫坐標 Y1~Y6:縱坐標 D1~D5:位移
圖1係本發明船舶追蹤暨監控系統實施例的架構圖。
圖2係本發明船舶追蹤暨監控系統實施例的運作方法流程圖。
圖3係本發明船舶追蹤暨監控系統實施例監視畫面調整示意圖。
圖4係本發明船舶追蹤暨監控系統實施例另一監視畫面調整示意圖。
圖5係本發明船舶追蹤暨監控系統實施例又一監視畫面調整示意圖。
(A)~(E):步驟

Claims (20)

  1. 一種船舶追蹤暨監控系統，包括：至少一攝影機，該至少一攝影機具有至少三維的運鏡能力，並且該至少一攝影機拍攝至少一監視畫面；一處理模組，與該至少一攝影機連接，該處理模組根據該至少一監視畫面中的至少一水上物件進行一物體偵測(Object detection)並確認該至少一水上物件位於該至少一監視畫面中的位置後，依據該至少一水上物件於該至少一監視畫面中的位置距離該至少一監視畫面的一中心範圍的遠近程度，控制該至少一攝影機轉動將該至少一水上物件移動至該至少一監視畫面的該中心範圍，並將該至少一水上物件隨時保持於該至少一監視畫面的該中心範圍；以及一儲存模組，與該處理模組連接，該儲存模組儲存有至少一水上物件資料集(Data Set)，該至少一水上物件資料集(Data Set)提供該處理模組偵測及辨識該至少一水上物件的位置及類別；當該至少一水上物件距離該中心範圍越遠的時候，該處理模組控制該至少一攝影機轉動將該水上物件回歸該中心範圍的轉動速度會越快，而該水上物件逐漸靠近該中心範圍的時候，該處理模組控制該至少一攝影機逐漸減緩其轉動速度，將該至少一水上物件隨時保持於該中心範圍。
  2. 如請求項1所述的船舶追蹤暨監控系統，其中該處理模組包含一中央處理器(Central Processing Unit,CPU)。
  3. 如請求項2所述的船舶追蹤暨監控系統，其中該處理模組更包含一圖形處理器(Graphics Processing Unit,GPU)。
  4. 如請求項1所述的船舶追蹤暨監控系統，其中該船舶追蹤暨監控系統更包含至少一不可見光攝影機，該不可見光攝影機與該處理模組連接。
  5. 如請求項1所述的船舶追蹤暨監控系統，其中該至少一攝影機得感測不可見光。
  6. 如請求項1所述的船舶追蹤暨監控系統，其中該至少一攝影機每秒的轉動角度介於0至120度。
  7. 如請求項1所述的船舶追蹤暨監控系統，其中該至少一水上物件為水上載具。
  8. 如請求項1所述的船舶追蹤暨監控系統，其中該至少一水上物件為船舶、浮標、救生圈或其組合。
  9. 一種船舶追蹤暨監控系統的運作方法，包括：(A)提供如請求項1所述的該船舶追蹤暨監控系統；(B)該至少一攝影機維持待命狀態，直至該至少一水上物件進入該至少一攝影機的攝影範圍內，將包含有該至少一水上物件的該至少一監視畫面傳送至該處理模組；(C)該處理模組根據該至少一監視畫面中的該至少一水上物件進行該物體偵測(Object detection)，並確認該至少一水上物件位於該至少一監視畫面中的位置； (D)該處理模組依據該至少一水上物件於該至少一監視畫面中的位置距離該至少一監視畫面的一中心範圍的遠近程度，控制該至少一攝影機轉動將該至少一水上物件移動至該至少一監視畫面的該中心範圍；以及(E)該處理模組控制該至少一攝影機將該至少一水上物件隨時保持於該至少一監視畫面的該中心範圍。
  10. 如請求項9所述的船舶追蹤暨監控系統的運作方法，其中步驟(E)完成後更包含：(F)該處理模組利用儲存於該儲存模組中之該至少一水上物件資料集(Data Set)透過一物件識別(Object recognition)分辨該至少一水上物件的類別；以及(G)該處理模組根據該至少一水上物件的類別決定是否繼續追蹤該至少一水上物件；其中，步驟(G)如該處理模組決定繼續追蹤該至少一水上物件，則持續執行步驟(E)直至該至少一水上物件離開該至少一攝影機的攝影範圍；如該處理模組決定不繼續追蹤該至少一水上物件，則回到步驟(B)。
  11. 如請求項9所述的船舶追蹤暨監控系統的運作方法，其中步驟(C)之該物體偵測(Object detection)係由該處理模組利用儲存於該儲存模組中之該至少一水上物件資料集(Data Set)，提供該處理模組偵測該至少一水上物件的位置。
  12. 如請求項9所述的船舶追蹤暨監控系統的運作方法，當步驟(E)之該至少一監視畫面中的該至少一水上物件被至少一遮蔽物遮蔽時，啟動一物件位置預測方法，該物件位置預測方法包含： (E1)該處理模組擷取該至少一水上物件被該至少一遮蔽物遮蔽當下的一第一遮蔽影格；(E2)該處理模組擷取該第一遮蔽影格後至少一影格的一第二遮蔽影格；(E3)該處理模組根據該第一遮蔽影格以及該第二遮蔽影格之間對該至少一水上物件未被該至少一遮蔽物遮蔽的部份執行該物體偵測(Object detection)，依序獲得一第一水上物件位置以及一第二水上物件位置；以及(E4)該處理模組根據該第一水上物件位置及該第二水上物件位置的相對座標和距離變化的軌跡判斷該至少一水上物件的一真實水上物件位置，並依照該真實水上物件位置將該至少一水上物件隨時保持於該至少一監視畫面的該中心範圍，直到該至少一遮蔽物未遮蔽該至少一水上物件後，再回到步驟(E)。
  13. 如請求項12所述的船舶追蹤暨監控系統的運作方法，步驟(E4)之該真實水上物件位置於步驟(E4)結束後會由該處理模組儲存至該儲存模組中，使該儲存模組建立一遮蔽預判資料庫。
  14. 如請求項13所述的船舶追蹤暨監控系統的運作方法，步驟(E4)之該處理模組更依照該遮蔽預判資料庫配合該第一水上物件位置及該第二水上物件位置的相對座標和距離變化的軌跡判斷該至少一水上物件當下的該真實水上物件位置。
  15. 如請求項10所述的船舶追蹤暨監控系統的運作方法，其中如步驟(F)由該處理模組判斷該至少一水上物件於該至少一監視畫面的解析度不足或被至少一遮蔽物遮蔽的情況，啟動一細部物件辨識方法，該細部物件辨識方法包含：(F1)該處理模組控制該至少一攝影機以一放大手段放大該至少一監視畫面中的該 至少一水上物件；(F2)該處理模組根據儲存於該儲存模組中的該至少一水上物件資料集(Data Set)對該至少一水上物件上的至少一特徵物件進行該物件識別(Object recognition)；以及(F3)該處理模組根據該至少一特徵物件的類別分辨該至少一水上物件的類別，之後進入步驟(G)。
  16. 如請求項15所述的船舶追蹤暨監控系統的運作方法，其中該放大手段包含光學放大、數位放大或其組合。
  17. 如請求項15所述的船舶追蹤暨監控系統的運作方法，其中該至少一特徵物件包含船艏、船艉、煙囪、吊臂、救生艇、旗幟、顏色、雷達、艦砲、識別牌或其組合。
  18. 如請求項10所述的船舶追蹤暨監控系統的運作方法，其中當該至少一監視畫面的可見光亮度低於一辨識亮度閾值時，該處理模組啟動至少一不可見光攝影機，並且該至少一不可見光攝影機依照步驟(A)~(F)運作。
  19. 如請求項10所述的船舶追蹤暨監控系統的運作方法，其中當該至少一監視畫面中該至少一水上物件經過該物體偵測(Object detection)所佔該至少一監視畫面的面積小於一面積閾值時，該處理模組控制該至少一攝影機以一放大手段放大該至少一監視畫面中的該至少一水上物件。
  20. 如請求項9所述的船舶追蹤暨監控系統的運作方法，步驟(E)中如該至少一攝影機不旋轉即可將該至少一水上物件保持於該至少一監視畫面的該中心範圍 超過一時間閾值和該至少一水上物件具有一緊急情況圖像，則該處理模組透過有線或無線通訊的方式向至少一終端裝置發出一警示訊號。
TW111136872A 2022-09-28 2022-09-28 船舶追蹤暨監控系統及其運作方法 TWI884391B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111136872A TWI884391B (zh) 2022-09-28 2022-09-28 船舶追蹤暨監控系統及其運作方法
US18/082,574 US20240104746A1 (en) 2022-09-28 2022-12-15 Vessel tracking and monitoring system and operating method thereof
GB2219002.9A GB2622894A (en) 2022-09-28 2022-12-15 Vessel tracking and monitoring system and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111136872A TWI884391B (zh) 2022-09-28 2022-09-28 船舶追蹤暨監控系統及其運作方法

Publications (2)

Publication Number Publication Date
TW202414337A TW202414337A (zh) 2024-04-01
TWI884391B true TWI884391B (zh) 2025-05-21

Family

ID=85035900

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111136872A TWI884391B (zh) 2022-09-28 2022-09-28 船舶追蹤暨監控系統及其運作方法

Country Status (3)

Country Link
US (1) US20240104746A1 (zh)
GB (1) GB2622894A (zh)
TW (1) TWI884391B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740988B (zh) * 2023-05-26 2025-12-09 东南大学 可见光和热成像相机的全时段桥梁自适应防船撞预警方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910204A (zh) * 2016-12-30 2017-06-30 中国人民解放军空军预警学院监控系统工程研究所 一种对海面船只自动跟踪识别的方法和系统
CN110060281A (zh) * 2019-03-25 2019-07-26 同济大学 一种船舶及水上漂浮物轨迹追踪系统
CN110517280A (zh) * 2019-08-14 2019-11-29 武汉理工大学 基于红外识别船舶尾气监测系统
CN111339977A (zh) * 2020-03-03 2020-06-26 河南中光学集团有限公司 一种基于远程视频监控的小目标智能识别系统及其识别方法
US20200365035A1 (en) * 2019-05-13 2020-11-19 Hoseo University Academic Cooperation Foundation Method and system for recognition of objects near ship by using deep neural network
CN113507577A (zh) * 2021-07-07 2021-10-15 杭州海康威视系统技术有限公司 目标对象检测方法、装置、设备及存储介质
CN113990108A (zh) * 2021-10-22 2022-01-28 苏交科集团股份有限公司 一种船舶优化识别和实时跟踪方法及防撞预警系统
CN114140753A (zh) * 2021-11-29 2022-03-04 广州中科智巡科技有限公司 一种海洋船舶识别的方法、装置及系统
CN114267012A (zh) * 2021-12-14 2022-04-01 杭州海康威视系统技术有限公司 船舶类型检测方法、装置、电子设备及可读存储介质
CN114821494A (zh) * 2022-06-27 2022-07-29 杭州声飞光电技术有限公司 船舶信息匹配方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005125209A1 (en) * 2004-06-22 2005-12-29 Stratech Systems Limited Method and system for surveillance of vessels
KR102145277B1 (ko) * 2018-09-20 2020-08-18 김세진 순찰용 드론 관제 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
CN111899450B (zh) * 2020-07-24 2022-04-29 宁波盛洋电子科技有限公司 一种监控进出港口船舶并发现危险船舶的方法及系统
CN113489893B (zh) * 2020-07-31 2023-04-07 深圳技术大学 实时目标物体追踪定位方法以及实时目标物体追踪定位装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910204A (zh) * 2016-12-30 2017-06-30 中国人民解放军空军预警学院监控系统工程研究所 一种对海面船只自动跟踪识别的方法和系统
CN110060281A (zh) * 2019-03-25 2019-07-26 同济大学 一种船舶及水上漂浮物轨迹追踪系统
US20200365035A1 (en) * 2019-05-13 2020-11-19 Hoseo University Academic Cooperation Foundation Method and system for recognition of objects near ship by using deep neural network
CN110517280A (zh) * 2019-08-14 2019-11-29 武汉理工大学 基于红外识别船舶尾气监测系统
CN111339977A (zh) * 2020-03-03 2020-06-26 河南中光学集团有限公司 一种基于远程视频监控的小目标智能识别系统及其识别方法
CN113507577A (zh) * 2021-07-07 2021-10-15 杭州海康威视系统技术有限公司 目标对象检测方法、装置、设备及存储介质
CN113990108A (zh) * 2021-10-22 2022-01-28 苏交科集团股份有限公司 一种船舶优化识别和实时跟踪方法及防撞预警系统
CN114140753A (zh) * 2021-11-29 2022-03-04 广州中科智巡科技有限公司 一种海洋船舶识别的方法、装置及系统
CN114267012A (zh) * 2021-12-14 2022-04-01 杭州海康威视系统技术有限公司 船舶类型检测方法、装置、电子设备及可读存储介质
CN114821494A (zh) * 2022-06-27 2022-07-29 杭州声飞光电技术有限公司 船舶信息匹配方法及装置

Also Published As

Publication number Publication date
GB202219002D0 (en) 2023-02-01
US20240104746A1 (en) 2024-03-28
TW202414337A (zh) 2024-04-01
GB2622894A (en) 2024-04-03

Similar Documents

Publication Publication Date Title
KR102530691B1 (ko) 접안 모니터링 장치 및 방법
ES3050833T3 (en) System and method for identifying an object in water
EP3242248B1 (en) Person detection in a marine environment
CN113342019B (zh) 一种基于无人机的海上搜救方法、系统、设备及介质
CN111163290B (zh) 一种夜间航行船舶检测并跟踪的方法
CA2282064A1 (en) A system and method for use with a moveable platform
CA2279165A1 (en) A system and method for use with a moveable platform
CN116577779A (zh) 一种水上异常目标探测系统及方法
CN207241978U (zh) 一种海上防碰撞装置
TWI884391B (zh) 船舶追蹤暨監控系統及其運作方法
US20240177503A1 (en) Port district sea line multiple vessel monitoring system and operating method thereof
CN110667783A (zh) 一种无人艇辅助驾驶系统及其方法
US20250130046A1 (en) System and method for automated navigational marker detection
TW202414247A (zh) 船舶身份影像即時辨識疊合系統及其運作方法
CN107293103A (zh) 一种基于红外传感的无人艇智能寻迹系统
CN210924849U (zh) 一种船舶人员落水监控系统
US20250384656A1 (en) Real-time vessel identity and image matching system and operating method thereof
KR20240059205A (ko) 선박 가이드용 무인비행체와 이를 이용한 선박 가이드 시스템 및 선박 가이드 방법
Wang et al. Research on Thermal Infrared Imaging and Positioning Technology for Emergency Rescue at Sea in Bad Weather
KR102763168B1 (ko) 복수의 센서들을 이용하여 허상 객체를 필터링하는 방법 및 장치
KR102923671B1 (ko) 미등록 선박 분류 기능이 탑재된 드론 및 이를 이용한 선박 분류 방법
US12400548B1 (en) Other-ship tracking monitoring system and other-ship tracking monitoring method
KR20240085175A (ko) 드론을 이용한 미등록 선박 인지 시스템 및 이의 동작 방법
KR20250088403A (ko) 미등록 선박 분류 기능이 탑재된 드론 및 이를 이용한 선박 분류 방법