TWI730605B - 智慧巡檢系統及智慧巡檢方法 - Google Patents

Abstract

一種適用於5G企業專網的智慧巡檢系統包括：可攜式裝置及人工智慧巡檢分析平台。可攜式裝置包括攝像模組、無線通訊模組、處理器及通知輸出模組。攝像模組用以取得環境影像。無線通訊模組用以發送關聯於環境影像之環境資訊及接收通知訊號。處理器用以控制無線通訊模組發送環境資訊。通知輸出模組用以輸出通知訊號。人工智慧巡檢分析平台用以接收環境資訊，載入三維模型資料庫及路線資訊，依據環境資訊及三維模型資料庫執行比對程序以獲取位置資訊，依據位置資訊及路線資訊產生並發送通知訊號。

Description

智慧巡檢系統及智慧巡檢方法

本發明涉及巡檢及影像辨識，特別是一種基於三維建模技術與高速通訊網路實現在石化業廠房內產生巡檢路線的系統及其方法。

在石化業的廠房中具有複雜的管線、種類繁多的設備及儀表，為了維護廠房內各項資產設備的安全，安控中心需配置人員在廠房內按既定路線移動並且進行巡檢，巡檢人員除了例行性地監測設備指標數據，更需要隨時針對突發事件進行故障排除。

然而，對於新進巡檢人員而言，恐無法立刻熟悉動線複雜的巡檢路線，而容易闖入具有高溫或高壓氣體的危險區域。需注意的是，傳統在廠區內設置定位點進行路線導引的方式並不適用於石化產業，這是由於若設置在定位點的電子感測器因故障產生火花，極有可能引起石化管線周邊外洩的可燃性氣體的連鎖爆炸反應，導致難以估計的損失。

有鑑於此，本發明提出一種智慧巡檢系統及智慧巡檢方法，在第五代行動通訊技術（5 ^thGeneration mobile networks，5G）專用頻譜之企業專網布建而成的高速通訊環境底下實現石化業廠區內的智慧空間動線引導，以及實現針對每個巡檢人員的智慧派工。

依據本發明一實施例敘述的一種智慧巡檢系統包括：可攜式裝置及人工智慧巡檢分析平台。可攜式裝置包括攝像模組、無線通訊模組、處理器及通知輸出模組。攝像模組用以取得環境影像。無線通訊模組用以發送關聯於環境影像之環境資訊及接收通知訊號。處理器電性連接攝像模組及無線通訊模組。處理器用以控制無線通訊模組發送環境資訊。通知輸出模組電性連接處理器。通知輸出模組用以輸出通知訊號。人工智慧巡檢分析平台通訊連接無線通訊模組以接收環境資訊。人工智慧巡檢分析平台用以載入三維模型資料庫及路線資訊。路線資訊包含三維模型資料庫的多個座標點的順序。人工智慧巡檢分析平台依據環境資訊及三維模型資料庫執行比對程序以獲取位置資訊。人工智慧巡檢分析平台依據位置資訊及路線資訊產生並發送通知訊號。

依據本發明一實施例敘述的一種智慧巡檢方法，包括：可攜式裝置之攝像模組取得環境影像；可攜式裝置之處理器控制可攜式裝置之無線通訊模組發送關聯於環境影像之環境資訊至人工智慧巡檢分析平台；人工智慧巡檢分析平台載入三維模型資料庫；人工智慧巡檢分析平台依據該環境資訊及三維模型資料庫執行比對程序以獲取位置資訊；人工智慧巡檢分析平台依據位置資訊及路線資訊產生並發送通知訊號至可攜式裝置，其中路線資訊包括三維模型資料庫的多個座標點的順序；可攜式裝置之無線通訊模組接收通知訊號；以及可攜式裝置之通知輸出模組輸出通知訊號。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參考圖1，其繪示本發明一實施例敘述的智慧巡檢系統100的方塊架構圖。所述的智慧巡檢系統100適用於已佈建高速行動通訊網路N的石化業廠房。在一實施例中，高速行動通訊網路N由多個無線存取點AP及基地台所組成，這些無線存取點AP係透過第五代行動通訊技術（5 ^thGeneration mobile networks，5G）專用頻譜之企業專網彼此互相連接。

如圖1所示，智慧巡檢系統100包括：可攜式裝置3及人工智慧巡檢分析平台5。可攜式裝置3係透過前述無線存取點AP其中一者通訊連接至人工智慧巡檢分析平台5。

如圖1所示，可攜式裝置3包括攝像模組32、無線通訊模組34、處理器36及通知輸出模組38。處理器36電性連接至攝像模組32、無線通訊模組34及通知輸出模組38。人工智慧巡檢分析平台5通訊連接無線通訊模組34以接收環境資訊。在一實施例中，人工智慧巡檢分析平台5係一伺服器或伺服器叢集，並且通訊連接至以5G實現的高速行動通訊網路N。藉此，人工智慧巡檢分析平台5可在較小延遲的條件下接收到每個可攜式裝置3回傳的環境資訊。

請參考圖2，其繪示本發明一實施例敘述的可攜式裝置3的外觀示意圖。在一實施例中，可攜式裝置3為供巡檢人員配戴的一智慧型頭盔。因攝像模組32之設置鄰近於配戴智慧型頭盔型態的可攜式裝置3的巡檢人員的眼部位置，故巡檢人員可輕易地透過攝像模組32收集其所看到的廠房內部的影像資訊。在其他實施例中，可攜式裝置3的外觀型態亦可以是智慧型眼鏡、智慧型手機、平板電腦或個人數位助理（Personal Digital Assistant，PDA）等。本發明對於可攜式裝置3的外觀或硬體類型並未加以限制。

請參考圖3，其繪示本發明一實施例敘述的智慧巡檢方法的流程圖。所述的智慧巡檢方法適用於前述的智慧巡檢系統100。以下結合圖3繪示的智慧巡檢方法的流程，進一步說明智慧巡檢系統100中各項元件的組成及實現方式。

請參考步驟S1，攝像模組32取得環境影像。詳言之，在石化業廠房中，在巡檢人員巡檢時，其所配戴的可攜式裝置3中的攝像模組32已被啟動，且攝像模組32可自動拍攝當前位置的環境影像。舉例來說，攝像模組32係高畫質攝影機，藉此拍攝高解析度的石化廠內部環境的影像。在一實施例中，攝像模組32包含二個以上的鏡頭，其中一個鏡頭設置於額頭的位置，另一個鏡頭設置於頭頂的位置。因此攝像模組32可獲取不同視角的環境影像。

在一實施例中，在步驟S1之前（即：可攜式裝置3之攝像模組32取得環境影像之前，相當於巡檢人員開始巡檢之前），更包括下列步驟：可攜式裝置3之攝像模組32取得起點影像，在取得起點影像之後，處理器36控制無線通訊模組34發送起點影像及復歸訊號；以及人工智慧巡檢分析平台5依據接收到的復歸訊號及起點影像執行比對程序以獲得確認訊號，並發送確認訊號至可攜式裝置3。詳言之，當巡檢人員開始巡檢之前，需先到達位於廠房內的巡檢起點。在巡檢人員到達起點後，巡檢人員啟動可攜式裝置3且攝像模組32拍攝起點影像，然後巡檢人員對可攜式裝置3進行特定的操作（例如在攝像模組32的鏡頭前比出特定的手勢供處理器36進行影像辨識）以發送復歸訊號，這代表巡檢人員通知安控中心其已就定位。在安控中心的人工智慧巡檢分析平台5收到復歸訊號之後，依據三維模型資料庫中作為快取的多個預設影像（巡檢起點的預設影像）執行比對程序（或是直接依據三維模型資料庫的所有影像資料進行比對程序），藉此確認可攜式裝置3所回傳的起點影像是否正確，若正確，則發送確認訊號給可攜式裝置3。完成上述的起點就定位的程序之後，巡檢人員才可開始既定路線的巡檢並且拍攝巡檢路線上的環境影像。

在另一實施例中，在步驟S1之前，更包括下列步驟：攝像模組32取得起點影像，處理器36比對起點影像及本身儲存的多個預設影像，當起點影像與這些預設影像之中一者相符，處理器36控制無線通訊模組34發送對應於相符的預設影像的預設座標點。一般而言，巡檢人員在開始巡檢之前，通常係於廠房內的固定地點集合後再出發。因此，處理器36中預先儲存多個巡檢起始點周圍的環境影像作為預設影像，且每個預設影像對應於一個預設座標點。因此，在處理器36比對起點影像與預設影像並確認兩者相符之後，便可發送本次巡檢人員起始位置的座標點至位於安控中心的人工智慧巡檢分析平台5，且在無線通訊模組34發送預設座標點之後，始以攝像模組32取得環境影像。透過上述機制，本發明一實施例的智慧巡檢系統100可完整掌握每一個巡檢人員是否從規定位置開始巡檢，而且，可彈性地決定每次巡檢人員的巡檢路線，例如：要求巡檢人員移動到正確的巡檢起始點，或是依據當前的起始點調整巡檢人員接下來的巡檢路線。

請參考步驟S2，處理器36控制無線通訊模組34發送環境資訊。環境資訊關聯於環境影像。在一實施例中，環境資訊即係環境影像。在另一實施例中，處理器36預先對攝像模組32拍攝到的環境影像進行影像前處理程序，藉此減少後續的環境資訊傳輸所佔用的資料頻寬。關於影像前處理程序，舉例來說可包含以下兩個步驟：首先建立與環境影像中的物件姿態無關的物件特徵，例如處理器36將環境影像旋轉，並使用局部座標對管線或設備的表面影像點進行編碼；其次在三維場景中偵測感興趣區域（Region of Interest，ROI），例如處理器36採用三維線索法（3-D cueing）在環境影像中偵測感興趣區域。最後處理器36送出的環境資訊為感興趣區域的影像。在具有多個配戴可攜式裝置3的巡檢人員同時巡檢時，上述機制除了可縮短影像傳輸到安控中心的時間，更可提升智慧巡檢系統100整體運作的效率。

請參考步驟S3，人工智慧巡檢分析平台5載入三維模型資料庫並接收環境資訊。整體而言，人工智慧巡檢分析平台5可載入三維模型資料庫及路線資訊，並依據環境資訊及三維模型資料庫執行比對程序以獲取位置資訊，以及依據位置資訊及路線資訊產生並發送通知訊號。在一實施例中，所述三維模型資料庫包括一或多個電腦輔助設計（Computer Aided Design，CAD）檔案及多個座標點。舉例來說，可取用石化業廠房在設計時的CAD檔建立此三維模型資料庫，所述的多個座標點包括巡迴路線的起點、終點及中繼點。請參考圖4，其係繪示巡檢路線上的多個座標點a，b及c的示意圖。在其他實施例中，可運用雷射掃描或石化廠詳細施工圖來逆向建立管路與其他設備的三維模型資料庫。舉例來說，利用三維掃瞄儀器取得管路或設備表面的空間資訊，並利用點雲辨識軟體將其轉換為具有實體意義的立體模型。舉另一例來說，根據詳細施工圖找出管線的起迄點或參考點的座標，然後藉由CAD軟體系統半自動地建立三維模型資料庫。

請參考步驟S4，人工智慧巡檢分析平台5執行比對程序產生位置資訊。詳言之，人工智慧巡檢分析平台5依據環境資訊比對三維模型資料庫的多個座標點所對應的樣本影像並判斷其中是否具有相符者。在一實施例中，環境資訊為環境影像或感興趣區域的影像，且比對程序係比對二維影像的相似程度。在另一實施例中，攝像模組32中更包含深度攝影機或是距離感測器，並且在可攜式裝置3回傳的環境資訊中，更包含以深度攝影機或距離感測器所取得的影像深度資訊，且人工智慧巡檢分析平台5所執行的比對程序係比對三維影像的相似程度。在又一實施例中，人工智慧巡檢分析平台5接收可攜式裝置3在同一時間拍攝到的多個視角的環境影像（透過可攜式裝置3上多個不同設置位置的攝影模組32的鏡頭）並且分別執行比對程序，藉此確認這些環境影像是否屬於同一個位置的座標點範圍。透過上述機制，本發明提出的智慧巡檢系統100可提高以環境影像辨識巡檢人員位置的精準度。另需補充的是，人工智慧巡檢分析平台5可同時針對不同硬體架構的可攜式裝置3，選擇性地執行二維影像的比對程序或是三維影像的辨識程序，本發明對此不予限制。

請參考步驟S5，人工智慧巡檢分析平台5依據位置資訊及路線資訊產生並發送通知訊號。路線資訊包含三維模型資料庫的多個座標點的順序。舉例來說，如圖4所示，一個可行的路線資訊如圖4中的座標點a、b及c所構成的巡檢路線。實務上，人工智慧巡檢分析平台5依據巡檢人員當前所處的位置，發送到達下一個座標點的相關通知訊號。舉例來說，通知內容可包括下一次轉彎的方向以及在下一次轉彎之前預計前進的距離。

請參考步驟S6，無線通訊模組34接收通知訊號且通知輸出模組38輸出通知訊號。無線通訊模組34除了可發送關聯於環境影像之環境資訊外，更用以接收通知訊號。請參考圖1，通知輸出模組38電性連接處理器36。通知輸出模組38用以輸出通知訊號。在一實施例中，通知訊號係包含一路線影像，且通知輸出模組38係一顯示裝置，例如圖2所示的智慧頭盔上的眼鏡鏡片。顯示裝置可呈現路線影像。因此巡檢人員可按照路線影像指示的方向逐步完成巡檢路線。在另一實施例中，通知訊號係包含一語音，且通知輸出模組38係一揚聲器，該揚聲器用以播放該語音。因此巡檢人員可按照揚聲器指示的語音逐步完成巡檢路線。

在又一實施例中，可攜式裝置3更包括一慣性測量模組（Inertial Measurement Unit，IMU）電性連接處理器36。慣性測量模組用以取得可攜式裝置3之移動資訊。且前述的環境影像係一第一環境影像，環境資訊係一第一環境資訊，位置資訊係一第一位置資訊。在步驟S1之後，處理器36更用以控制攝像模組32在取得第一環境影像並經過一間隔時間之後取得第二環境影像。無線通訊模組34更用以發送關聯於第二環境影像的第二環境資訊及移動資訊。人工智慧巡檢分析平台5更用以接收第二環境資訊，依據第二環境資訊、三維模型資料庫、間隔時間及移動資訊執行比對程序以獲得一第二位置資訊。並依據第一位置資訊、第二位置資訊及路線資訊選擇性地產生一警示訊號。實務上，為避免新進的巡檢人員在複雜的廠房中迷路，因此攝像模組32每隔一段時間即回傳當下的環境影像供人工智慧巡檢分析平台5分析巡檢人員是否按既定巡檢路線前進。若巡檢人員脫離預定的巡檢路線，則人工智慧巡檢分析平台5將發送警示訊號，可攜式裝置3在接收到警示訊號後，將透過通知輸出模組38告知巡檢人員，例如播放「已進入危險區域，請儘速退後」的語音，或是在顯示裝置上呈現具有明顯提醒作用的圖層或文字訊息。

綜上所述，本發明提出的智慧巡檢系統可提升巡檢執行效能，提高工安安全性。對場域進行人員管制追蹤，並進行巡檢資訊收集回饋，及石化廠房內資產設備的監控管理。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

100:智慧巡檢系統

N:高速行動通訊網路

AP:無線存取點

3:可攜式裝置

32:攝像模組

34:無線通訊模組

36:處理器

38:通知輸出模組

5:人工智慧巡檢分析平台

a、b、c:巡檢路線座標點

S1~S6:步驟

圖1係依據本發明一實施例繪示的智慧巡檢系統的方塊架構圖。 圖2係依據本發明一實施例繪示的可攜式裝置的外觀示意圖。 圖3係依據本發明一實施例繪示的智慧巡檢方法的流程圖。 圖4係繪示本發明一實施例的巡檢路線的示意圖。

100:智慧巡檢系統

N:高速行動通訊網路

AP:無線存取點

3:可攜式裝置

32:攝像模組

34:無線通訊模組

36:處理器

38:通知輸出模組

5:人工智慧巡檢分析平台

Claims (10)

1. 一種智慧巡檢系統，所述的智慧巡檢系統包括：一可攜式裝置，包括：一攝像模組，用以取得一環境影像；一無線通訊模組，該無線通訊模組用以發送關聯於該環境影像之一環境資訊及接收一通知訊號；一處理器，電性連接該攝像模組及該無線通訊模組，該處理器用以控制該無線通訊模組發送該環境資訊；及一通知輸出模組，電性連接該處理器，該通知輸出模組用以輸出該通知訊號；以及一人工智慧巡檢分析平台，通訊連接該無線通訊模組以接收該環境資訊，該人工智慧巡檢分析平台用以載入一三維模型資料庫及一路線資訊，該路線資訊包括該三維模型資料庫的多個座標點的一順序，該人工智慧巡檢分析平台依據該環境資訊及該三維模型資料庫執行一比對程序以獲取一位置資訊，並依據該位置資訊及該路線資訊產生並發送該通知訊號；其中該比對程序係以該人工智慧巡檢分析平台比對該環境資訊及一巡檢定點的預設影像，或比對該環境資訊及該三維模型資料庫中的多個影像資料，以判斷該環境資訊所對應的該環境影像是否與該預設影像或與該些影像資料之一相符。
2. 如請求項1所述智慧巡檢系統，適用於一高速網路環境，該高速網路環境包括多個無線存取點，該些無線存取點應用第五代行動通訊技術(5^th Generation mobile networks，5G)專用頻譜之企業專網彼此 互相連接，且該無線通訊模組係透過該些無線存取點其中一者通訊連接至該人工智慧巡檢分析平台。
3. 如請求項1所述的智慧巡檢系統，其中該通知訊號係包含一路線影像，該通知輸出模組係一顯示裝置，該顯示裝置用以呈現該路線影像。
4. 如請求項1所述的智慧巡檢系統，其中該通知訊號係包含一語音，該通知輸出模組係一揚聲器，該揚聲器用以播放該語音。
5. 如請求項1所述的智慧巡檢系統，更包括：一慣性測量模組，電性連接該處理器，該慣性測量模組用以取得該可攜式裝置之一移動資訊；其中該環境影像係一第一環境影像，該環境資訊係一第一環境資訊，該位置資訊係一第一位置資訊；該處理器更用以控制該攝像模組在取得該第一環境影像並經過一間隔時間之後取得一第二環境影像；該無線通訊模組更用以發送關聯於該第二環境影像的一第二環境資訊及該移動資訊；該人工智慧巡檢分析平台更用以接收該第二環境資訊，依據該第二環境資訊、該三維模型資料庫、該間隔時間及該移動資訊執行該比對程序以獲得一第二位置資訊；並依據該第一位置資訊、該第二位置資訊及該路線資訊選擇性地產生一警示訊號。
6. 如請求項1所述的智慧巡檢系統，其中該三維模型資料庫包括一電腦輔助設計檔案。
7. 一種智慧巡檢方法，包括：以一可攜式裝置之一攝像模組取得一環境影像；以該可攜式裝置之一處理器控制該可攜式裝置之一無線通訊模組發送關聯於該環境影像之一環境資訊至一人工智慧巡檢分析平台；以該人工智慧巡檢分析平台載入一三維模型資料庫；以該人工智慧巡檢分析平台依據該環境資訊及該三維模型資料庫執行一比對程序以獲取一位置資訊，其中該比對程序係以該人工智慧巡檢分析平台比對該環境資訊及一巡檢定點的預設影像，或比對該環境資訊及該三維模型資料庫中的多個影像資料，以判斷該環境資訊所對應的該環境影像是否與該預設影像或與該些影像資料之一相符；以該人工智慧巡檢分析平台依據該位置資訊及一路線資訊產生並發送該通知訊號至該可攜式裝置，其中該路線資訊包括該三維模型資料庫的多個座標點的一順序；以該可攜式裝置之該無線通訊模組接收該通知訊號；以及以該可攜式裝置之一通知輸出模組輸出該通知訊號。
8. 如請求項7所述的智慧巡檢方法，其中該通知訊號係包含一路線影像，該通知輸出模組係一顯示裝置，且以該可攜式裝置之該通知輸出模組輸出該通知訊號係以該顯示裝置呈現該路線影像。
9. 如請求項7所述的智慧巡檢方法，其中在以該可攜式裝置之該攝像模組取得該環境影像之前，更包括：以該可攜式裝置之該攝像模組取得一起點影像； 在取得該起點影像之後，以該處理器控制該無線通訊模組發送該起點影像及一復歸訊號；以及以該人工智慧巡檢分析平台依據該復歸訊號及該起點影像執行該比對程序以獲得一確認訊號，並發送該確認訊號至該可攜式裝置。
10. 如請求項7所述的智慧巡檢方法，其中該處理器更用以儲存複數個預設影像，每一該些預設影像對應該些座標點中之一預設座標點，在以該可攜式裝置之該攝像模組取得該環境影像之前，更包括：以該攝像模組取得一起點影像；以該處理器比對該起點影像及每一該些預設影像；以及當該起點影像與該些預設影像之中一者相符，以該處理器控制該無線通訊模組發送對應於該些預設影像之中該者的該預設座標點。

Images