[go: up one dir, main page]

TWI751381B - 機器視覺的效能評估方法與系統 - Google Patents

機器視覺的效能評估方法與系統 Download PDF

Info

Publication number
TWI751381B
TWI751381B TW107133907A TW107133907A TWI751381B TW I751381 B TWI751381 B TW I751381B TW 107133907 A TW107133907 A TW 107133907A TW 107133907 A TW107133907 A TW 107133907A TW I751381 B TWI751381 B TW I751381B
Authority
TW
Taiwan
Prior art keywords
standard frame
frame
prediction
standard
image
Prior art date
Application number
TW107133907A
Other languages
English (en)
Other versions
TW202013246A (zh
Inventor
林昀廷
蕭妟如
劉書承
林承毅
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW107133907A priority Critical patent/TWI751381B/zh
Priority to US16/231,419 priority patent/US10983892B2/en
Publication of TW202013246A publication Critical patent/TW202013246A/zh
Application granted granted Critical
Publication of TWI751381B publication Critical patent/TWI751381B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Image Analysis (AREA)

Abstract

本發明實施例提供一種機器視覺的效能評估方法與系統。所述方法包括：獲得影像，其中所述影像呈現多個物件且所述物件包括第一物件與第二物件；經由機器視覺對所述影像執行影像辨識以獲得對應於所述第一物件與所述第二物件的至少其中之一的預測框；合併對應於所述第一物件的第一標準框與對應於所述第二物件的第二標準框以獲得第三標準框；以及根據所述第三標準框與所述預測框獲得評估資訊，其中所述評估資訊反映所述機器視覺對於所述影像中的所述物件的預測效率。

Description

機器視覺的效能評估方法與系統
本發明是有關於一種影像辨識技術，且特別是有關於一種機器視覺的效能評估方法與系統。
影像辨識技術已經發展的越來越成熟，但對於機器視覺的效能評估機制仍有不足。例如，當遇到影像中聚集在一起的多個物件時，機器視覺可能會大範圍選取此些物件。但是，以最早期的評估機制來說，此評估機制可能會因為沒有對此些物件逐一標記，而認為機器視覺的效能不佳。此外，根據谷歌(Google)所提出的OpenImage的規範，雖然聚集在一起的多個物件可以被視為一次性地辨識成功，但是仍無法具體區分這些物件中到底有幾個被成功辨識並予以評分。
本發明提供一種機器視覺的效能評估方法與系統，可改善上述問題。
本發明實施例提供一種機器視覺的效能評估方法，其包括：獲得影像，其中所述影像呈現多個物件且所述物件包括第一物件與第二物件；經由機器視覺對所述影像執行影像辨識以獲得對應於所述第一物件與所述第二物件的至少其中之一的預測框；合併對應於所述第一物件的第一標準框與對應於所述第二物件的第二標準框以獲得第三標準框；以及根據所述第三標準框與所述預測框獲得評估資訊，其中所述評估資訊反映所述機器視覺對於所述影像中的所述物件的預測效率。
本發明實施例另提供一種機器視覺的效能評估系統，其包括儲存裝置、影像辨識模組及處理器。所述儲存裝置儲存影像，其中所述影像呈現多個物件且所述物件包括第一物件與第二物件。所述處理器耦接所述儲存裝置與所述影像辨識模組。所述影像辨識模組經由機器視覺對所述影像執行影像辨識以獲得對應於所述第一物件與所述第二物件的至少其中之一的預測框。所述處理器合併對應於所述第一物件的第一標準框與對應於所述第二物件的第二標準框以獲得第三標準框，並且所述處理器根據所述第三標準框與所述預測框獲得評估資訊，其中所述評估資訊反映所述機器視覺對於所述影像中的所述物件的預測效率。
基於上述，在獲得包含第一物件與第二物件的影像後，可經由機器視覺對所述影像執行影像辨識以獲得對應於所述第一物件與所述第二物件的至少其中之一的預測框。接著，對應於所述第一物件的第一標準框與對應於所述第二物件的第二標準框可被合併以獲得第三標準框。根據所述第三標準框與所述預測框，評估資訊可被獲得。所述評估資訊反映所述機器視覺對於所述影像中的所述物件的預測效率。藉此，可有效改善以往機器視覺針對群聚物件的識別無法有效評分的缺陷。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是根據本發明的一實施例所繪示的機器視覺的效能評估系統的示意圖。請參照圖1，系統(亦稱為機器視覺的效能評估系統)10包括儲存裝置11、影像辨識模組12及處理器13。在一實施例中，系統10可實作於智慧型手機、平板電腦、筆記型電腦、桌上型電腦或工業電腦等具影像處理與運算功能的電子裝置。在一實施例中，系統10可包含多個彼此獨立的電子裝置，此些電子裝置可有線或無線地彼此連接。例如，在一實施例中，儲存裝置11與影像辨識模組12可實作於本地裝置，而處理器13可位於遠端伺服器。本地裝置與遠端伺服器可經由網際網路(Internet)或區域網路連接。
儲存裝置11用以儲存一或多個影像與其他資料。例如儲存裝置11可包括揮發式儲存媒體與非揮發式儲存媒體。揮發式儲存媒體可以是隨機存取記憶體(RAM)，而非揮發性儲存媒體可以是唯讀記憶體(ROM)、固態硬碟(SSD)或傳統硬碟(HDD)等。
影像辨識模組12用以經由機器視覺對儲存裝置11所儲存的影像執行影像辨識，以辨識影像中的目標物件。影像辨識模組12可實作為軟體模組、韌體模組或硬體電路。例如，在一實施例中，影像辨識模組12可包括至少一圖形處理器(GPU)或類似的處理晶片，以執行機器視覺的影像辨識。或者，在一實施例中，影像辨識模組12為可載入至儲存裝置11且可由處理器13執行的程式碼。此外，影像辨識模組12可具有機器學習及/或深度學習等人工智慧架構並可經由訓練而持續改善其影像辨識性能。
處理器13耦接至儲存裝置11與影像辨識模組12。處理器13可以是中央處理單元(Central Processing Unit, CPU)，或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。
儲存裝置11所儲存的某一影像(亦稱為目標影像)呈現多個物件(亦稱為目標物件)。所述多個目標物件至少包括第一物件與第二物件。須注意的是，第一物件與第二物件在目標影像中的最短距離間隔小於一個距離門檻值。在一實施例中，響應於第一物件與第二物件在目標影像中的最短距離間隔小於距離門檻值，處理器13可判定第一物件與第二物件屬於群聚物件。此外，若第一物件與第二物件在目標影像中的最短距離間隔不小於距離門檻值，處理器13可判定第一物件與第二物件不屬於群聚物件。
影像辨識模組12可經由機器視覺對目標影像執行影像辨識，以獲得對應於第一物件與第二物件的至少其中之一的至少一預測框。例如，第一物件、第二物件及預測框可分別涵蓋目標影像中的一個影像範圍(亦稱為像素範圍)。此預測框在目標影像中的位置與所涵蓋的影像範圍反映影像辨識模組12藉由機器視覺的自動影像辨識而認為這個影像範圍內存在待尋找的一或多個目標物件。處理器13可分析目標影像與影像辨識模組12的辨識結果並產生評估資訊。此評估資訊可反映影像辨識模組12的機器視覺對於目標影像中的多個目標物件的預測效率。
具體而言，處理器13可在目標影像中決定對應於第一物件的一個標準框(亦稱為第一標準框)與對應於第二物件的一個標準框(亦稱為第二標準框)。第一標準框反映第一物件在目標影像中的真實位置與所涵蓋的影像範圍。第二標準框反映第二物件在目標影像中的真實位置與所涵蓋的影像範圍。例如，處理器13可根據對應於目標影像的設定資訊而自動決定某一個標準框的位置與涵蓋範圍。或者，處理器13可根據使用者的操作而決定某一個標準框的位置與涵蓋範圍。
處理器13可合併對應於第一物件的第一標準框與對應於第二物件的第二標準框以獲得另一標準框(亦稱為第三標準框)。此第三標準框涵蓋第一標準框的至少一部分影像範圍與第二標準框的至少一部分影像範圍。然後，處理器13可根據第三標準框與所述預測框獲得所述評估資訊。
圖2是根據本發明的一實施例所繪示的目標影像的示意圖。請參照圖2，影像21為目標影像的一個範例。影像21包括物件201~206。物件201~206中的每一者皆為一個待尋找的目標物件。在本實施例中，目標物件是以棒球圖案作為範例。然而，在另一實施利中，目標物件亦可以是其他類型的物件圖案，本發明不加以限制。例如，在一實施例中，影像21為藉由內視鏡拍攝的人體內部影像，且物件201~206可為結石(例如膽結石或腎結石)的圖案。
須注意的是，物件201與202在影像21中的最短距離間隔、物件204與205在影像21中的最短距離間隔及物件205與206在影像21中的最短距離間隔皆小於所述距離門檻值。因此，物件201與202屬於群聚物件，且物件204~206也屬於群聚物件。此外，物件203與其他物件之間的最短距離間隔皆大於所述距離門檻值，故物件203不屬於群聚物件。在另一實施例中，影像21亦可不包括不屬於群聚物件的物件(例如物件203)，本發明不加以限制。
圖3是根據本發明的一實施例所繪示的標準框與預測框的示意圖。請參照圖1至圖3，標準框311~316是對應於物件201~206而被分別決定與產生。此外，經過機器視覺的影像辨識後，預測框301~304可依序被決定與產生。例如，預測框301可能是對應於物件201與202的至少其中之一而被產生，預測框302可能是對應於物件203而被產生，預測框303可能是對應於影像21中的雜訊圖案而被產生(表示預測錯誤)，且預測框304可能是對應於物件204至206的至少其中之一而被產生。也就是說，影像辨識模組12可能認為預測框301~304所涵蓋的影像範圍內分別包含至少一個目標物件。
在一實施例中，預測框301~304是依序產生，且預測框301~304的產生順序反映影像辨識模組12對於影像辨識結果的信心度。例如，預測框301是最先產生，表示影像辨識模組12認為預測框301包含至少一個目標物件的可能性最高；而預測框304最後產生，表示影像辨識模組12認為預測框304包含至少一個目標物件的可能性相對於其他預測框301~303包含目標物件的可能性來得低。
在一實施例中，處理器13可判斷對應於群聚物件的標準框311與312是否屬於對應於預測框301的一個目標群(亦稱為第一目標群)。例如，處理器13可根據標準框311與預測框301之間的重疊狀態判定標準框311是否屬於第一目標群。此外，處理器13可根據標準框312與預測框301之間的重疊狀態判定標準框312是否屬於第一目標群。
在一實施例中，處理器13可獲得標準框311所涵蓋的影像範圍與預測框301所涵蓋的影像範圍。處理器13可根據標準框311所涵蓋的影像範圍與預測框301所涵蓋的影像範圍獲得標準框311與預測框301之間的重疊狀態。此重疊狀態反映標準框311所涵蓋的影像範圍與預測框301所涵蓋的影像範圍的重疊程度。
在一實施例中，處理器13可獲得標準框311所涵蓋的影像範圍與預測框301所涵蓋的影像範圍之間的重疊面積(亦稱為第一面積)。在一實施例中，某一影像範圍與另一影像範圍之間的重疊區域亦稱為交集(intersection set)區域。此外，處理器13可獲得標準框311所涵蓋的影像範圍的面積(亦稱為第二面積)。然後，處理器13可將第一面積除以第二面積以獲得一個數值(亦稱為第一數值)。處理器13可判斷第一數值是否大於一個預設值(亦稱為第一預設值)。若第一數值大於第一預設值，處理器13可判定標準框311屬於第一目標群。然而，若第一數值不大於第一預設值，處理器13可判定標準框311不屬於第一目標群。在本實施例中，第一數值大於第一預設值，故處理器13可判定標準框311屬於對應於預測框301的第一目標群。基於類似方式，處理器13可判定標準框312也屬於對應於預測框301的第一目標群並判定標準框314與315屬於對應於預測框304的目標群(亦稱為第二目標群)。
須注意的是，在一實施例中，處理器13可根據標準框316與預測框304之間的重疊狀態判定標準框316不屬於第二目標群。例如，根據標準框316與預測框304之間的重疊狀態，處理器13可獲得標準框316所涵蓋的影像範圍與預測框304所涵蓋的影像範圍之間的重疊面積(亦稱為第三面積)。此外，處理器13可獲得標準框316所涵蓋的影像範圍的面積(亦稱為第四面積)。然後，處理器13可將第三面積除以第四面積以獲得一個數值(亦稱為第二數值)。在本實施例中，第二數值不大於第一預設值，故處理器13可判定標準框316不屬於對應於預測框304的第二目標群。
圖4是根據本發明的一實施例所繪示的合併標準框的示意圖。請參照圖1至圖4，響應於標準框311與312皆屬於對應於預測框301的第一目標群，處理器13可合併標準框311與312為一個標準框401。此外，響應於標準框314與315皆屬於對應於預測框304的第二目標群，處理器13可合併標準框314與315為一個標準框402。須注意的是，在本實施例中，標準框316不屬於對應於預測框304的第二目標群，故用於產生標準框402的合併操作不包括合併標準框316。
須注意的是，在圖4的實施例中，標準框401所涵蓋的影像範圍(僅)包含標準框311與312所涵蓋的原始影像範圍。此外，標準框402所涵蓋的影像範圍(僅)包含標準框314與315所涵蓋的原始影像範圍。然而，在另一實施例中，合併第一標準框與第二標準框的操作還包括合併目標影像中不屬於第一標準框及/或第二標準框的部分影像區域。
圖5是根據本發明的一實施例所繪示的合併標準框的示意圖。請參照圖3與圖5，在本實施例中，響應於標準框311與312皆屬於對應於預測框301的第一目標群，標準框311與312可被合併為一個標準框501，且區域510與520也可被合併為標準框501的一部分。區域510與520為標準框311與312的至少其中之一的相鄰區域。區域510與520不屬於標準框311與312的涵蓋範圍。此外，響應於標準框314與315皆屬於對應於預測框304的第二目標群，標準框314與315可被合併為一個標準框502，且區域530與540也可被合併為標準框502的一部分。區域530與540為標準框314與315的至少其中之一的相鄰區域。區域530與540不屬於標準框314與315的涵蓋範圍。
圖6是根據本發明的一實施例所繪示的標準框與預測框的示意圖。須注意的是，在圖6的實施例中，是以圖5的標準框501與502作為經合併的標準框的範例。然而，在圖6的另一實施例中，亦可以是以圖4的標準框401與402作為經合併的標準框的範例，本發明不加以限制。
請參照圖1、圖2及圖6，處理器13可根據標準框501、313、316、502及預測框301~304獲得評估資訊。此評估資料可反映機器視覺對於影像21中的物件201~206的預測效率。以預測框301為例，處理器13可根據標準框501與預測框301之間的重疊狀態獲得預測框301的預測狀態。例如，此重疊狀態反映標準框501所涵蓋的影像範圍與預測框301所涵蓋的影像範圍的重疊程度。
在一實施例中，處理器13可獲得標準框501所涵蓋的影像範圍與預測框301所涵蓋的影像範圍之間的交集區域的面積(亦稱為第五面積)。此外，處理器13可獲得標準框501所涵蓋的影像範圍與預測框301所涵蓋的影像範圍之間的聯集(union of sets)區域的面積(亦稱為第六面積)。在本實施例中，此聯集區域的面積等於預測框301的面積。然後，處理器13可將第五面積除以第六面積以獲得一個數值(亦稱為第三數值)。處理器13可判斷第三數值是否大於一個預設值(亦稱為第二預設值)。若第三數值大於第二預設值，處理器13可判定物件201與202已被機器視覺找到。然而，若第三數值不大於第二預設值，則處理器13可判定物件201與202未被機器視覺找到。在本實施例中，第三數值大於第二預設值，故處理器13可獲得對應於預測框301的一個預測狀態以反映物件201與202已被機器視覺找到。
以預測框302為例，處理器13可獲得標準框313所涵蓋的影像範圍與預測框302所涵蓋的影像範圍之間的交集區域的面積(亦稱為第七面積)。此外，處理器13可獲得標準框313所涵蓋的影像範圍與預測框302所涵蓋的影像範圍之間的聯集區域的面積(亦稱為第八面積)。然後，處理器13可將第七面積除以第八面積以獲得一個數值(亦稱為第四數值)。處理器13可判斷第四數值是否大於第二預設值。在本實施例中，第四數值大於第二預設值，故處理器13可獲得對應於預測框302的一個預測狀態以反映物件203已被機器視覺找到。
以預測框303為例，預測框303並未涵蓋任何標準框，故處理器13可獲得對應於預測框303的一個預測狀態以反映預測框303並未找到任何目標物件。此外，以預測框304為例，處理器13可根據標準框502與預測框304之間的重疊狀態獲得預測框304的預測狀態。在本實施例中，預測框304的預測狀態反映物件204與205已被機器視覺找到。此外，處理器13可根據標準框316與預測框304之間的重疊狀態判定物件206並未被機器視覺找到。根據對應於預測框301~304的預測狀態，處理器13可獲得反映機器視覺對於影像21中的物件201~206之預測效率的評估資訊。
圖7是根據本發明的一實施例所繪示的評估資訊的示意圖。請參照圖1至圖3、圖6及圖7，處理器13可根據對應於預測框301~304的預測狀態與預測框301~304的產生順序(即預測順序)更新第一類參數與第二類參數。然後，處理器13可根據第一類參數與第二類參數獲得評估資訊71。在一實施例中，第一類參數亦稱為精確(precision)參數及/或第二類參數亦稱為召回(recall)參數。
在本實施例中，預測順序0代表還沒有預測框產生，且預測順序1~4分別代表經由機器視覺的影像辨識而依序產生預測框301~304。對應於預測順序0，沒有任何預測框被產生，故第一類參數與第二類參數皆為初始值(例如0)。
對應於預測順序1，預測框301被產生。根據預測框301的預測狀態，物件201與202被找到。因此，處理器13可根據已找到的物件201與202所對應的標準框501的總數(例如1)與已產生的預測框301的總數(例如1)更新第一類參數為1/1。此外，處理器13可根據已找到的物件201與202所對應的原始的標準框311與312的總數(例如2)與原始的標準框311~316的總數(例如6)更新第二類參數為2/6。亦即，對應於預測順序0至1，第二類參數的變化量為2/6。
對應於預測順序2，預測框302被產生。根據預測框302的預測狀態，物件203被找到。因此，處理器13可根據已找到的物件201至203所對應的標準框501與313的總數(例如2)與已產生的預測框301與302的總數(例如2)更新第一類參數為2/2。此外，處理器13可根據已找到的物件201至203所對應的原始的標準框311至313的總數(例如3)與原始的標準框311~316的總數(例如6)更新第二類參數為3/6。亦即，對應於預測順序1至2，第二類參數的變化量為1/6。
對應於預測順序3，預測框303被產生。根據預測框303的預測狀態，沒有任何目標物件被找到。因此，處理器13可根據已找到的物件201至203所對應的標準框501與標準框313的總數(例如2)與已產生的預測框301至303的總數(例如3)更新第一類參數為2/3。此外，處理器13可將第二類參數維持在3/6。亦即，對應於預測順序2至3，第二類參數的變化量為0。
對應於預測順序4，預測框304被產生。根據預測框304的預測狀態，物件204與205被找到。因此，處理器13可根據已找到的物件201至205所對應的標準框501、313及502的總數(例如3)與已產生的預測框301至304的總數(例如4)更新第一類參數為3/4。此外，處理器13可根據已找到的物件201至205所對應的原始的標準框311至315的總數(例如5)與原始的標準框311~316的總數(例如6)更新第二類參數為5/6。亦即，對應於預測順序3至4，第二類參數的變化量為2/6。
處理器13可將第二類參數每一次的變化量乘上相應的第一類參數並根據相乘結果的總和獲得評估資訊71。例如，處理器13可根據以下方程式(1)獲得準確率資訊AP為0.75。準確率資訊AP可反映影像辨識模組12針對包含群聚物件(與非群聚物件)的物件201~206的辨識準確度(或預測效率)約為75%。
Figure 02_image001
(1)
相對於傳統上不考慮群聚效應的準確率計算方式以及由Google提出的OpenImage算法，評估資訊71的準確率資訊AP(例如0.75)可更精確地反映出影像辨識模組12同時針對群聚物件與非群聚物件的辨識準確度。在一實施例中，評估資訊71可用於維護或修改影像辨識模組12所採用的影像辨識演算法及/或人工智慧模組。
圖8是根據本發明的一實施例所繪示的機器視覺的效能評估方法的流程圖。請參照圖8，在步驟S801中，獲得影像。所述影像呈現多個物件(即目標物件)且所述物件包括第一物件與第二物件。在步驟S802中，經由機器視覺對所述影像執行影像辨識以獲得對應於所述第一物件與所述第二物件的至少其中之一的預測框。在步驟S803中，合併對應於所述第一物件的第一標準框與對應於所述第二物件的第二標準框以獲得第三標準框。在步驟S804中，根據所述第三標準框與所述預測框獲得評估資訊。所述評估資訊反映所述機器視覺對於所述影像中的目標物件的預測效率。
綜上所述，在獲得包含多個目標物件的影像後，可經由機器視覺對所述影像執行影像辨識以獲得對應於第一物件與第二物件的至少其中之一的預測框。接著，對應於所述第一物件的第一標準框與對應於所述第二物件的第二標準框可被合併以獲得第三標準框。根據所述第三標準框與所述預測框，評估資訊可被獲得。所述評估資訊反映所述機器視覺對於所述影像中的所述物件的預測效率。藉此，可有效改善以往機器視覺針對群聚物件的識別無法有效評分的缺陷。此外，所述評估資訊可用於維護或修改影像辨識模組所採用的影像辨識演算法及/或人工智慧模組，進而對影像辨識技術及/或影像辨識裝置作出改善。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:機器視覺的效能評估系統11:儲存裝置12:影像辨識模組13:處理器21:影像201~206:物件301~304:預測框311~316、401、402、501、502:標準框510~540:區域71:評估資訊S801~S804:步驟
圖1是根據本發明的一實施例所繪示的機器視覺的效能評估系統的示意圖。 圖2是根據本發明的一實施例所繪示的目標影像的示意圖。 圖3是根據本發明的一實施例所繪示的標準框與預測框的示意圖。 圖4是根據本發明的一實施例所繪示的合併標準框的示意圖。 圖5是根據本發明的一實施例所繪示的合併標準框的示意圖。 圖6是根據本發明的一實施例所繪示的標準框與預測框的示意圖。 圖7是根據本發明的一實施例所繪示的評估資訊的示意圖。 圖8是根據本發明的一實施例所繪示的機器視覺的效能評估方法的流程圖。
S801~S804:步驟

Claims (16)

  1. 一種機器視覺的效能評估方法，包括：獲得一影像，其中該影像呈現多個物件且該多個物件包括一第一物件與一第二物件，其中該第一物件不同於該第二物件；經由一機器視覺對該影像執行一影像辨識以獲得對應於該第一物件與該第二物件的至少其中之一的一預測框，並且決定涵蓋該第一物件的一第一標準框以及涵蓋該第二物件的一第二標準框；合併對應於該第一物件的該第一標準框與對應於該第二物件的該第二標準框以獲得一第三標準框，其中該第三標準框涵蓋該第一標準框的至少一部分影像範圍與該第二標準框的至少一部分影像範圍；以及根據該第三標準框與該預測框獲得一評估資訊，其中該評估資訊反映該機器視覺對於該影像中的該多個物件的一預測效率。
  2. 如申請專利範圍第1項所述的機器視覺的效能評估方法，其中該第一物件與該第二物件在該影像中的一最短距離間隔小於一距離門檻值。
  3. 如申請專利範圍第1項所述的機器視覺的效能評估方法，其中合併對應於該第一物件的該第一標準框與對應於該第二物件的該第二標準框以獲得該第三標準框的步驟包括：判斷該第一標準框是否屬於一目標群；判斷該第二標準框是否屬於該目標群；以及 響應於該第一標準框與該第二標準框皆屬於該目標群而合併該第一標準框與該第二標準框以獲得該第三標準框。
  4. 如申請專利範圍第3項所述的機器視覺的效能評估方法，其中判斷該第一標準框是否屬於該目標群的步驟包括：根據該第一標準框與該預測框之間的一重疊狀態判定該第一標準框屬於該目標群。
  5. 如申請專利範圍第1項所述的機器視覺的效能評估方法，其中合併對應於該第一物件的該第一標準框與對應於該第二物件的該第二標準框以獲得該第三標準框的步驟包括：將該影像中不屬於該第一標準框與該第二標準框的一部分區域合併為該第三標準框的一部分。
  6. 如申請專利範圍第1項所述的機器視覺的效能評估方法，其中根據該第三標準框與該預測框獲得該評估資訊的步驟包括：根據該第三標準框與該預測框之間的一重疊狀態獲得該預測框的一預測狀態，其中該預測狀態反映該第一物件與該第二物件皆被該機器視覺找到；以及根據該預測狀態獲得該評估資訊。
  7. 如申請專利範圍第6項所述的機器視覺的效能評估方法，其中根據該預測狀態獲得該評估資訊的步驟包括：根據該預測狀態與該預測框的一產生順序更新一第一類參數與一第二類參數；以及 根據該第一類參數與該第二類參數獲得該評估資訊。
  8. 如申請專利範圍第7項所述的機器視覺的效能評估方法，更包括：根據該預測框的總數更新該第一類參數；以及根據該第一標準框與該第二標準框的總數更新該第二類參數。
  9. 一種機器視覺的效能評估系統，包括：一儲存裝置，儲存一影像，其中該影像呈現多個物件且該多個物件包括一第一物件與一第二物件，其中該第一物件不同於該第二物件；一影像辨識模組；以及一處理器，耦接該儲存裝置與該影像辨識模組，其中該影像辨識模組經由一機器視覺對該影像執行一影像辨識以獲得對應於該第一物件與該第二物件的至少其中之一的一預測框，並且決定涵蓋該第一物件的一第一標準框以及涵蓋該第二物件的一第二標準框，該處理器合併對應於該第一物件的該第一標準框與對應於該第二物件的該第二標準框以獲得一第三標準框，其中該第三標準框涵蓋該第一標準框的至少一部分影像範圍與該第二標準框的至少一部分影像範圍，並且該處理器根據該第三標準框與該預測框獲得一評估資訊，其中該評估資訊反映該機器視覺對於該影像中的該多個物件的一預 測效率。
  10. 如申請專利範圍第9項所述的機器視覺的效能評估系統，其中該第一物件與該第二物件在該影像中的一最短距離間隔小於一距離門檻值。
  11. 如申請專利範圍第9項所述的機器視覺的效能評估系統，其中該處理器合併對應於該第一物件的該第一標準框與對應於該第二物件的該第二標準框以獲得該第三標準框的操作包括：判斷該第一標準框是否屬於一目標群；判斷該第二標準框是否屬於該目標群；以及響應於該第一標準框與該第二標準框皆屬於該目標群而合併該第一標準框與該第二標準框以獲得該第三標準框。
  12. 如申請專利範圍第11項所述的機器視覺的效能評估系統，其中該處理器判斷該第一標準框是否屬於該目標群的操作包括：根據該第一標準框與該預測框之間的一重疊狀態判定該第一標準框屬於該目標群。
  13. 如申請專利範圍第9項所述的機器視覺的效能評估系統，其中該處理器合併對應於該第一物件的該第一標準框與對應於該第二物件的該第二標準框以獲得該第三標準框的操作包括：將該影像中不屬於該第一標準框與該第二標準框的一部分區域合併為該第三標準框的一部分。
  14. 如申請專利範圍第9項所述的機器視覺的效能評估系統，其中該處理器根據該第三標準框與該預測框獲得該評估資訊的操作包括：根據該第三標準框與該預測框之間的一重疊狀態獲得該預測框的一預測狀態，其中該預測狀態反映該第一物件與該第二物件皆被該機器視覺找到；以及根據該預測狀態獲得該評估資訊。
  15. 如申請專利範圍第14項所述的機器視覺的效能評估系統，其中該處理器根據該預測狀態獲得該評估資訊的操作包括：根據該預測狀態與該預測框的一產生順序更新一第一類參數與一第二類參數；以及根據該第一類參數與該第二類參數獲得該評估資訊。
  16. 如申請專利範圍第15項所述的機器視覺的效能評估系統，其中該處理器更根據該預測框的總數更新該第一類參數並根據該第一標準框與該第二標準框的總數更新該第二類參數。
TW107133907A 2018-09-26 2018-09-26 機器視覺的效能評估方法與系統 TWI751381B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107133907A TWI751381B (zh) 2018-09-26 2018-09-26 機器視覺的效能評估方法與系統
US16/231,419 US10983892B2 (en) 2018-09-26 2018-12-22 Method and system for estimating efficiency of machine vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107133907A TWI751381B (zh) 2018-09-26 2018-09-26 機器視覺的效能評估方法與系統

Publications (2)

Publication Number Publication Date
TW202013246A TW202013246A (zh) 2020-04-01
TWI751381B true TWI751381B (zh) 2022-01-01

Family

ID=69883393

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107133907A TWI751381B (zh) 2018-09-26 2018-09-26 機器視覺的效能評估方法與系統

Country Status (2)

Country Link
US (1) US10983892B2 (zh)
TW (1) TWI751381B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229308A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 目标对象识别方法、装置、存储介质和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760801B2 (en) * 2015-05-12 2017-09-12 Lawrence Livermore National Security, Llc Identification of uncommon objects in containers
US10289932B2 (en) * 2017-07-31 2019-05-14 Google Llc Object recognition state indicators
US10740694B2 (en) * 2018-08-10 2020-08-11 Vis Machina Inc. System and method for capture and adaptive data generation for training for machine vision

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229308A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 目标对象识别方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
US20200097383A1 (en) 2020-03-26
TW202013246A (zh) 2020-04-01
US10983892B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
JP6832504B2 (ja) 物体追跡方法、物体追跡装置およびプログラム
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
CN110660066A (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
CN114897779A (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
US20190266747A1 (en) Object detection method, device, system and storage medium
CN108765315B (zh) 图像补全方法、装置、计算机设备及存储介质
CN112464829B (zh) 一种瞳孔定位方法、设备、存储介质及视线追踪系统
EP3712825A1 (en) Model prediction method and device
CN110197147A (zh) 遥感影像的建筑物实例提取方法、装置、存储介质及设备
CN111967464A (zh) 一种基于深度学习的弱监督目标定位方法
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
CN112001401A (zh) 实例分割网络的训练模型及训练方法，实例分割网络
WO2022206729A1 (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN110414562B (zh) X光片的分类方法、装置、终端及存储介质
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
CN118865063A (zh) 钢材表面缺陷目标检测方法、装置、计算机设备及介质
CN109993178B (zh) 一种特征数据生成和特征匹配方法及装置
CN117726790A (zh) 一种基于图像的弱纹理场景识别系统、方法、装置及介质
EP3942469A1 (en) A method and device for recognizing a gesture in real-time
CN111091022A (zh) 机器视觉的效能评估方法与系统
TWI751381B (zh) 機器視覺的效能評估方法與系統
CN116263959A (zh) 图像处理方法、目标跟踪方法、装置和电子设备