TWI729331B

TWI729331B - 圖像標註資訊處理方法、裝置、伺服器及系統

Info

Publication number: TWI729331B
Application number: TW107143890A
Authority: TW
Inventors: 胡越; 郭昕; 章海濤; 程丹妮; 吳博坤
Original assignee: 開曼群島商創新先進技術有限公司
Priority date: 2018-01-11
Filing date: 2018-12-06
Publication date: 2021-06-01
Also published as: WO2019137196A1; CN108197658A; CN108197658B; TW201931151A

Abstract

本說明書實施例公開了一種圖像標註資訊處理方法、裝置、伺服器及系統，可以提供多個節點不同處理結果的監督和判斷處理邏輯，當圖像標註資訊出錯時可以自動返回結果，使作業人員進行重新審查、修改等處理。這樣可以在不斷的審核反饋交互中提升作業人員的業務能力，逐漸提高圖像標註效率，極大提高了訓練集圖片標註準確率。利用本說明實施方案可以有效的保證標註品質，並提供了作業流中及時、有效的資訊反饋，提高樣本圖像標註資訊作業效率。

Description

圖像標註資訊處理方法、裝置、伺服器及系統

本發明係有關電腦資料處理的技術領域，尤其是一種圖像中的標註資訊處理方法、裝置、伺服器及系統。

現有應用中檢測圖像中物體的方式主要是依靠訓練得到的目標檢測/識別模型，如車輛定損業務中的部件識別模型、通過拍照圖片確定購買物品的模型等。這些目標檢測/識別的模型通常需要依賴于大量的已打標樣本圖像進行訓練得到，因此樣本圖像中標註資訊的準確性對模型輸出結果的影響十分重大。前期樣本圖像標註資訊的處理時，樣本圖像中常常出現包括多個目標主體的情況。多目標標註任務相對於常規的類似判斷某張圖片上是否是狗或者貓的顯著性很強的單個主體分類更加複雜，常常要求在一個圖像中標註所有目標的所在區域並給出對應的目標分類結果。尤其是在一些較為專業的業務領域中，有些任務不僅需要靠常規認識/理解來完成，通常還要求標註人員具有一定專業性，還需要一定的專業培訓和技巧強化過程。一些為某個專業領域的圖像多目標檢測算法準備訓練樣本的專業多目標標註處理要求十分嚴格，例如識別並標註人體器官、骨骼結構是醫學領域專業人員或者非專業人員經過一段時間專業培訓後才能進行標註的複雜任務類型。而當需要處理的樣本圖像數量較多、多數圖像中的目標主體較為密集(至少兩個)時，人工標註處理時一方面因為注意力有限，另一方面因為分類過多，需要專業性的同時還容易混淆，常常導致輸出的樣本圖像標註資訊準確率不高，難以保障標註品質，進而導致圖像識別算法效果不佳，圖像中目標預測準確率低。因此，所以如何有效保障樣本圖像標註資訊的準確率是目前亟需解決的一個技術問題。

本說明書實施例目的在於提供一種圖像標註資訊處理方法、裝置、伺服器及系統，可以有效提高多目標樣本圖像標註資訊的處理準確率，進而提高圖像目標檢測算法的準確率。本說明書實施例提供的一種圖像標註資訊處理方法、裝置、伺服器及系統是包括以下方式實現的：一種圖像標註資訊處理方法，所述方法包括：第一節點接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別，以及所述目標的標註框；第一節點接收所述任務圖像的檢查結果，將第一檢查處理後的任務圖像發送給第二節點，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；所述第二節點接收複查結果，若所述複查結果包括標註資訊存在錯誤，則將複查結果發送給所述第一節點進行第一重檢查處理，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型；所述第一節點接收第一重檢查結果，將所述第一重檢查結果發送給所述第二節點進行所述第二檢查處理，所述第一重檢查結果包括基於所述複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果。一種圖像標註資訊處理方法，所述方法包括：接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別，以及所述目標的標註框；接收所述任務圖像的檢查結果，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；接收所述任務圖像的複查結果，若所述複查結果包括標註資訊存在錯誤，則反饋錯誤類型，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型；接收第一重檢查結果，對所述第一重檢查結果進行所述第二檢查處理，所述第一重檢查結果包括基於所述錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果。一種樣本圖像標註資訊處理裝置，所述裝置包括：圖像接收模組，用於接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別，以及所述目標的標註框；標註檢查交互模組，用於接收所述任務圖像的檢查結果，將第一檢查處理後的任務圖像發送給標註複查交互模組，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；還用於接收第一重檢查結果，將所述第一重檢查結果發送所述標註複查交互模組進行第二檢查處理，所述第一重檢查結果包括基於複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果；標註複查交互模組，用於接收複查結果，以及在所述複查結果包括標註資訊存在錯誤時，將複查結果發送給所述標註檢查交互模組進行第一重檢查處理，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型。一種伺服器，包括處理器以及用於儲存處理器可執行指令的儲存器，所述處理器執行所述指令時實現：接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別以及所述目標的標註框；接收所述任務圖像的檢查結果，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；接收所述任務圖像的複查結果，若所述複查結果包括標註資訊存在錯誤，則反饋錯誤類型，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型；接收第一重檢查結果，對所述第一重檢查結果進行所述第二檢查處理，所述第一重檢查結果包括基於所述錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果。一種樣本圖像標註資訊處理系統，包括：第一處理終端，用於接收任務圖像以及所述任務圖像的檢查結果，將檢查處理後的任務圖像發送給第二處理終端；還用於接收第一重檢查結果，將所述第一重檢查結果發送第二終端進行第二檢查處理，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別以及所述目標的標註框，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果，所述第一重檢查結果包括基於所述複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果；第二處理終端，用於接收複查結果，以及在所述複查結果包括標註資訊存在錯誤時，將複查結果發送給所述第一處理終端進行第一重檢查處理；還用於接收第二重檢查結果，將所述第二重檢查結果發送給第三處理終端，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果；第三處理終端，用於接收所述第二處理終端發送的標註資訊正確的任務圖像，還用於接收抽檢結果，以及在所述抽檢結果包括標註資訊存在錯誤時，將相應的抽檢圖像的抽檢資訊發送至所述第二終端進行第二重檢查處理，所述抽檢結果包括：按照預設規則從接收的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果。本說明書實施例提供的一種樣本圖像標註資訊處理方法、裝置、伺服器及系統，可以在複雜和專業性較強的多目標樣本圖像標註資訊處理作業中提供多個節點不同處理結果的監督和判斷處理邏輯，當圖像標註資訊出錯時可以自動返回結果，使作業人員進行重新審查、修改等處理，實現系統與作業人員的良好交互反饋、品質監控、能力檢測、防止不同節點作業人員串通等。這樣可以在不斷的審核反饋交互中提升作業人員的業務能力，逐漸提高圖像標註效率，有效提高訓練樣本圖像標註資訊的準確率。

為了使本技術領域的人員更好地理解本說明書中的技術方案，下面將結合本說明書實施例中的圖式，對本說明書實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本說明書中的一部分實施例，而不是全部的實施例。基於本說明書中的一個或多個實施例，本領域普通技術人員在沒有作出進步性勞動前提下所獲得的所有其他實施例，都應當屬於本說明書實施例保護的範圍。在一些業務場景中，常常需要處理目標分類繁多或專業性較強的訓練樣本圖像標註資訊的情況。在樣本圖像標註資訊處理中，通常要求識別出圖像中的目標主體、標記出目標的類別、目標在圖像中的位置區域等。所述的類別可以包括目標的不同分類或選取的某一維度的屬性值(如基於位置、連接關係、材質、顏色、用途等的分類)，可以是類別的名稱或代碼、編號等，具體的可以預先根據規則定義目標的分類。本說明書中所述的目標通常的包括圖像中的主體物體，如人體解剖圖像中的各個器官或組織、車輛圖像中的各個車輛部件等。訓練樣本的圖像處理，在識別出圖像中的目標後，通常還需要標註出目標的位置區域，具體的可以在圖像中以標註框的方式顯示主體的位置區域。所述的標註框可以為矩形或其他規則、不規則的圖形表示，可以為封閉的圖形，如矩形框，也可以包括類似線段加箭頭的方式指示位置區域的方式，具體的對此不做限制。為了統一描述，本說明書的一個或多個實施例中可以將標識圖像中目標位置區域的標註資訊統一稱為標註框。當圖像中目標分類較多，通常還會要求標註出圖像中所有的目標以及類型和框圖，但實際應用中由於標註人員存在自身注意力、工作狀態、記憶力等多種局限，往往出現各種類型的錯誤，如誤檢、漏檢、分類標號錯誤、標註框過大或過小等。以上任何一類錯誤發生都會影響最終進入訓練集中的樣本圖像標註資訊的準確率，進而導致算法訓練效果不佳，預測準確率降低。一個應用場景示例如圖1所示，圖1是一種對樣本圖像中的多目標進行標註的作業場景示意圖，要求作業人員標註出汽車各個部件及對應部件分類標號，例如輪胎的標號為31，31對應的標註框大小要合理的框出輪胎所在位置區域。但實際作業中，標註人員因為受到人本身注意力有限和專業性不足等的影響，總會犯錯誤，例如標註框31太小，或輪胎標號標錯為30，或者遺漏圖像中的“前擋泥板”部件。而目前普遍採用的是單一的業務層面上的培訓來提高訓練樣本圖像標註資訊的準確率，如專業領域知識培訓、汽車部件分類標號記憶等。而本說明書提供的一個或多個樣本圖像標註資訊處理方法的實施例中，採用機器與作業人員的快速、高效的標註資訊交互反饋，實現標準化作業流轉，有效發現和反饋作業問題，監督和提高樣本圖像標註資訊處理品質。可以通過設置多個控制節點的標註資訊的檢查處理來及時反饋、修正錯誤的標註資訊，使得作業人員在樣本圖像標註資訊的持續作業中逐漸提高標註作業能力，並可以有效保障標註品質，使得整個標註處理系統的效率得到提高。本說明書提供的一些實施例中，可以根據對標註資訊的不同處理階段劃分多個控制節點，如用於檢查樣本圖像中初始的標註資訊的第一節點、對第一節點檢測處理後的圖像的標註資訊進行複查的第二節點，甚至在一些實施例中還可以加入隨機抽檢第一節點或第二節點標註處理結果的第三節點。當某個節點發現上個節點的標註資訊出現錯誤時可以及時的進行反饋，進行修正後可以繼續檢查。標註資訊檢查通過的圖像可以作為模型訓練的樣本圖像，加入到訓練樣本集合中。這樣，通過不同節點之間的交互處理和資訊反饋，可以實現標註資訊的品質監控，逐漸提高標註人員業務能力，極大的提高了落入訓練樣本集合中標註樣本的準確率。例如一個簡單的應用示例中，第二節點的作業人員A發現第一節點的標註人員B做錯了，可以在系統中選擇標註資訊錯誤的選項，並可以給出錯誤備註或錯誤分類，系統可以自動返回給第一節點，使得第一節點的標註人員B進行及時的修改。B修改後可以返回給第二節點的作業人員A繼續檢查，如果正確就通過，如果錯誤還可以再次返回。通過本方案的圖像標註資訊處理方式，標註人員B可以逐漸的減少樣本圖像標註資訊的錯誤率。本說明書提供的一種實施方案可以應用到多終端的系統構架中(包括屬於同一系統的不同終端)、分布式系統中，或者專用的圖像標註資訊處理應用中。所述的系統可以包括單台電腦設備，也可以包括多個伺服器組成的伺服器集群，或者分布式系統結構。在一些應用場景中，作業人員可以與所述系統進行交互，本說明書的一個實施例中可以根據不同的作業人員或不同的作業階段(流程)將所述系統劃分為相應的處理節點，例如上述中所述的檢查樣本圖像中初始的標註資訊的第一節點、對第一節點檢測處理後的圖像的標註資訊進行複查的第二節點等。需要說明的是，所述的第一節點、第二節點，以及其他實施例中所涉及的第三節點，可以為標註資訊處理系統的不同終端，例如給外包作業人員對伺服器自動產生的標註資訊進行首次檢查的第一節點的電腦終端，類似的還可以有專門提供給作業人員進行標註資訊複查的第二節點的電腦終端，以及內部人員對標註資訊進行隨機抽檢的第三節點的電腦終端。當然，本說明書不排除其他的實施方式中，所述的第一節點、第二節點、第三節點等中的一個或多個可以為相同的終端，或者其中的部分節點為相同的終端。這些相同或不同的終端，所述方法在具體的應用系統中實施時可以從業務處理邏輯上劃分為不同的處理節點，這些節點可以是實體上分開的不同終端，也可以為同一終端設備。下面以一個具體的車損樣本圖像應用場景為例對本說明書實施方案進行說明。具體的，圖2是本說明書提供的所述一種樣本圖像標註資訊處理方法實施例的流程示意圖。雖然本說明書提供了如下述實施例或圖式所示的方法操作步驟或裝置結構，但基於常規或者無需進步性的勞動在所述方法或裝置中可以包括更多或者部分合併後更少的操作步驟或模組單元。在邏輯性上不存在必要因果關係的步驟或結構中，這些步驟的執行順序或裝置的模組結構不限於本說明書實施例或圖式所示的執行順序或模組結構。所述的方法或模組結構的在實際中的裝置、伺服器或終端產品應用時，可以按照實施例或者圖式所示的方法或模組結構進行順序執行或者並行執行(例如並行處理器或者多線程處理的環境、甚至包括分布式處理、伺服器集群的實施環境)。具體的一種實施例如圖2所示，所述方法可以包括： S0：第一節點接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別以及所述目標的標註框。在本實施例一個車損樣本圖像標註資訊處理的應用場景中，可以對現場採集的原始的車損圖像進行標註資訊的預處理，得到本實施例中需要處理的任務圖像。所述的預處理可以包括對所述車損圖像的目標進行標註，獲取標註資訊。一般的，在所述預處理中獲取標註資訊通暢可以採用預設算法進行快速的識別出圖像中的部件，標記出部件的類別編號，同時可以框出部件所在位置的標註框。任務圖像中的標註資訊可以採用多種圖標目標檢測算法實現，本說明書實施例對此不做限制。一些應用場景中，可以通過作業的案件級別將所述任務圖像以派單方式傳送給第一節點進行處理。例如可以一次給出一個車損案件的所有圖片，作業人員在第一節點的終端設備上對AI(Artificial Intelligence，人工智慧，這裡可以指採用預設算法對車損圖像進行預處理得到標註資訊的伺服器系統)預標註的標註資訊進行檢查和修改。終端設備的標註界面上可以給出AI預測的標註框並可以允許作業人員修改。作業人員可以對第一節點接收的任務圖像中的標註資訊進行第一檢測處理，檢測任務圖像中的標註資訊是否存在錯誤，若存在錯誤，則可以進行修正，保存修正後的檢測結果；對於一張任務圖像而言，若作業人員檢測後發現目標均檢測正確並且所有標註框和分類也正確，則可以確定該任務圖像標註資訊沒有錯誤的檢測結果。作業人員在第一節點對任務圖像中的標註資訊檢測，對AI預標註錯誤的標註資訊進行修正後流轉至第二節點，若沒有錯誤，則可以直接流轉至第二節點。因此，所述方法中進一步的還可以包括： S2：第一節點接收所述任務圖像的檢查結果，將檢查處理後的任務圖像發送給第二節點，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果。第二節點處的作業人員可以對第一節點進行第一檢測處理後的任務圖像進行複查。該節點的作業人員主要是對第一節點的作業任務的標識檢測作業結果的對錯做出判斷，具體的應用中，標註處理界面可以與第一節點作業人員的處理界面相似，不同是可以單獨給出第一節點作業人員標註作業處理錯誤的錯誤類型。如圖3所示，當第二節點的作業人員複查任務圖像P1的標註資訊時，判斷標註資訊是否存在錯誤，若有則可以選出第一節點作業人員在進行第一檢測處理時得到的第一檢測結果的錯誤類型，若沒有，則可以直接通過。例如圖3中，沒有錯誤時，可以在第二節點的終端設備的標註處理界面上勾選“A：正確”，若存在錯誤，則可以根據相應的錯誤類型勾選“B1：遺漏標記框”、“B2：分類錯誤”、“B3誤檢(無損傷判斷為有損傷)”等等中的一個或多個錯誤類型。在第二節點處，若作業人員複查到認為圖像的標註資訊存在錯誤，則可以將該圖片的複查結果退回給第一節點，使第一節點的作業人員重新進行檢查，修正標註資訊(在此可以稱為第一重檢查處理)。因此，所述方法進一步的可以包括： S4：所述第二節點接收複查結果，若所述複查結果包括標註資訊存在錯誤，則將複查結果發送給所述第一節點進行第一重檢查處理，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型； S6：所述第一節點接收第一重檢查結果，將所述第一重檢查結果發送給所述第二節點進行所述第二檢查處理，所述第一重檢查結果包括基於所述複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果。當第二節點的作業人員進行第二檢測發現第一節點的檢測結果出現錯誤時，可以將錯誤的資訊如本實施例中所示的錯誤類型反饋給第一節點。第一節點可以將該複查結果展示在第一節點終端設備的展示界面上，或者以通知、提醒的資訊方式展示，使得第一節點的作業人員根據反饋的複查結果對檢測錯誤的任務圖像的標註資訊進行重新檢查處理。一種實施方式中，第二節點返回給第一節點的複查結果可以包括第一檢測結果出現錯誤的錯誤類型，而不包括錯誤對應的任務圖像，這種情況下第一節點可以使用緩存或者備用的任務圖像進行重新檢查處理，這樣可以減少第二節點發送給第一節點是資料量，節約網路開銷。當然，本說明書的其他實施例中，所述的複查結果也可以包括複查中出現標註資訊錯誤的任務圖像，將錯誤類型連通相應的任務圖像一同反饋給第一節點，這樣可以使第一節點的作業人員快速定位重新檢查的圖像，及時進行處理，提高錯誤修正處理效率。需要說明是，上述中所述第一檢查處理、第二檢查處理、第一重檢查處理，甚至包括下述實施例中所述的第二重檢查處理，可以為相同的對圖像標註資訊檢查的處理方式，如相同的標註資訊檢查項目或相同的檢查作業流程、要求等。當然，也可以設置第二檢查處理與第二檢查處理不同，由於第二檢查主要實現對第二節點作業人員的檢測結果進行複查，因此可以根據實際作業場景設置針對性的第二檢測處理的操作。第一節點的作業人員根據複查結果對出現錯誤的任務圖像進行重新修正處理後確定第一重檢結果，然後可以將對應任務圖像的第一重檢結果再次發送給第二節點，由第二節點的作業人員再次進行第二檢查處理。重新修正處理後，如果標註資訊還出現錯誤，本實施例應用場景中可以再次反饋複查結果給第一節點進行處理；如果修正後第二檢查處理沒有發現錯誤，則標註資訊在第二節點的複查通過，可以流轉至下一處理節點。樣本圖像標註資訊的處理是一項基礎且重要的業務處理，對後續線上產品的目標檢測、識別，以及相關聯業務如產品定位、搜索、推送等的影響十分重大。在本說明書的一個或多個實施例中，通過對其中至少兩個節點的作業人員的交互和作業結果反饋處理，可以有效並及時的發現和反饋標錯誤的標註資訊。通常本實施例方案中作業人員與各個節點的資訊交互反饋，可以使各個節點作業人員不斷的意識到自己的薄弱環節，進而輔助其針對性的逐步改進作業能力，提高整個樣本圖像標註資訊的處理品質。上述實施例中經過第二節點複查處理後的任務圖像可以作為樣本圖像，放入相應的樣本圖像集合中，也可以對第二節點處理後的任務圖像進行其他處理後再標記為樣本圖像。本說明書提供的所述方法的另一個實施例中，還可以增加第三節的與作業人員交互反饋處理。所述的第三節點可以對第二節點的複查結果進行抽檢處理，驗證第二節點作業人員處理的任務圖像的標註資訊是否正確。如果抽檢的圖像中發現標註資訊存在錯誤，一種實施方式中可以將標註資訊錯誤的任務圖像發送給第二節點進行重新檢查，另一種實施方式中可以將標註資訊錯誤的任務圖像所在的那一批次的任務圖像發送給第二節點。第三節點的作業人員可以包括內部的質檢人員，或者專門設置的定期或不定期對任務圖像的標註資訊進行抽檢處理的作業人員，可以是內部的作業人員，也可以是委託的第三方機構。因此，如圖4所示，圖4是本說明提供的所述方法的另一個實施例，所述方法還可以包括： S80：將所述複查結果中所述標註資訊正確的任務圖像發送至第三節點； S82：所述第三節點接收抽檢結果，若所述抽檢結果包括標註資訊存在錯誤，則將相應的抽檢圖像的抽檢資訊發送至所述第二節點進行第二重檢查處理，所述抽檢結果包括：按照預設規則從接收的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果； S84：所述第二節點接收第二重檢查結果，將所述第二重檢查結果發送給所述第三節點，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果。第三節點的作業人員可以隨機抽取任務圖像，也可以基於“檢查人”或“複檢人”、“檢查日期”中的一個或多個來抽取任務圖像，為便於描述，這裡將按照預設規則從接收的任務圖像中選取處理的用於籌集處理的圖像稱為抽檢圖像。因此，所述方法的一個實施例中，所述選取抽檢圖像可以包括：基於標註資訊處理的使用者標識和執行日期中的至少一項選取任務圖像。所述的執行日期可以包括上述中第二節點進行複查的複查日期。當然，其他的實施例中，如果是對第一節點的任務圖像進行複查的實施場景，則執行日期可以包括作業人員在第一節點進行檢查的檢查日期。第二節點將複查中標註資訊正確的任務圖像發送給第三節點，第三節點可以持久化任務圖像。第三節點的作業人員可以從第三節點中獲取抽檢圖像進行標註資訊的驗證處理。如果抽檢圖像的標註資訊抽檢結果為正確，則可以將相應的任務圖像或者任務圖像對應的批次標記為訓練樣本。如果所述抽檢結果包括標註資訊存在錯誤，則可以將相應的抽檢圖像的抽檢資訊發送至所述第二節點進行第二重檢查處理。所述的第二檢查處理和同上述實施例中所述的第二檢查處理相同，或者與第一重檢查處理相同。當然，也可以針對抽檢結果單獨設置標註資訊處理的方式。上述中抽檢處理中發現標註資訊錯誤發生給第二節點的抽檢資訊，一種實施例中可以將標註資訊錯誤的抽檢圖像發送給第二節點，可以不用發送具體的錯誤資訊和任務圖像；另一種實施方式中，可以僅將標識錯誤資訊發送給第二圖像，標識錯誤資訊中可以包括抽檢的是哪張圖像發生的什麼錯誤的具體資訊，可以不發送任務圖像；其他的實施例中，若標註資訊存在錯誤，則可以將該批次對應的所有圖像發送給第二節點進行重新檢查。因此，本說明書所述方法的另一個實施例中，所述將相應的抽檢圖像的抽檢資訊發送至所述第二節點包括下述中的至少一種方式：將標註資訊存在錯誤的抽檢圖像發送給所述第二節點；若標註資訊存在錯誤，則將抽檢圖像對應的任務圖像集合發送給所述第二節點；將抽檢圖像的標註錯誤資訊發送給所述第二節點。當然，一些實施例中也可以結合上述其中多種方式進行處理。如將存在標註資訊錯誤的批次的所有任務圖像返回給第二節點，同時返回標註錯誤資訊。所述的批次可以包括按照預定維度劃分的任務圖像的集合，例如一個車損案件為一個批次，其案件下的所有圖像均在一個任務圖像集合中，如一個車輛單車碰撞事故的案件中包含100張車損圖像，經過AI預標註、第一節點檢查修正、第二節點複查後，在第三節點隨機抽檢該案件的10張圖像來驗證其標註資訊是否正確。如果10張圖像的標註資訊均正確，則該案件的100張車損圖像均加入樣本圖像訓練集，如果抽檢的10張圖像中有至少一種圖像的標註資訊不正確，則可以將該案件的100張車損圖像全部返回給第二節點(一些實施例中也可以直接返回給第一節點)，由第二節點的作業人員重新檢查處理。或者也可以按照第一節點檢測人員的身份標識或檢查日期劃分批次，例如當抽檢複查人員A在日期2017年12月20日的複查結果中發現標註資訊存在錯誤，則可以將改複查人員A在2017年12月20日這一天中所有複查處理的任務圖像全部返還至第二節點進行重新檢查。當然，根據實際的作業需要或品質監控標準，可以相應的設置返回的抽檢資訊的具體內容和方式。本實施例中所述的第三節點的抽檢處理具體的實施中可以是對每一批次的任務圖像進行抽檢處理，在抽檢通過之後才能作為訓練樣本圖像。也可以是定期不定期的對第二節點流轉來的任務圖像中的部分圖像進行抽檢處理，沒有被抽檢處理到的任務圖像或任務圖像集合(批次)可以按照正確的業務流程作為訓練樣本圖像，如持久化3天後沒有內抽檢處理則默認通過，可以加入到相應的樣本圖像訓練集中。因此，本說明書所述方法的另一個實施例中，還可以包括：將抽檢結果為標註資訊正確的抽檢圖像所對應的任務圖像集合標記為訓練樣本圖像。這樣，利用本實施例樣本圖像標記資訊處理方法得到的訓練樣本圖像中的標記資訊的準確率更高，標記品質和作業人員水平逐步穩健提高，進而提高基於訓練樣本圖像的算法的準確率。上述所述的抽檢圖像所對應的任務圖像集合可以包括任務圖像所在的批次的圖像集合，通常包括多張任務圖像，但本說明書不排除所述的任務圖像集合中包括一張任務圖像的實施情況。本說明書提供的所述方法的另一些實施例中，還可以設置在任務圖像中進行埋點，以檢測作業人員在工作流中標註資訊處理的正確率。設置了埋點資訊的任務圖像在此可以稱為監控圖像，所述的監控圖像通常包括預先已經識別並確定出的圖像中的所有目標、目標所屬的類別和目標的標記框大小位置等。可以預先在任務圖片中添加一定比例的監控圖像，一個實施例中可以在第一節點處根據對監控圖像的標註資訊的識別結果來確定第一節點作業人員處理的檢測結果的準確率。具體的一個實施例中，所述方法還包括： S102：在所述任務圖像中添加預定比例的監控圖像，所述監控圖像的已知標註資訊包括識別出的目標以及對應的類別和標註框資訊； S104：獲取所述檢查結果中所述監控圖像的標註資訊的識別結果； S106：比較所述識別結果與所述已知標註資訊，確定所述檢查結果的檢查準確率。例如一個具體的實施示例如圖5所示，可以對比監控圖像中已識別出的目標的標註框與作業人員檢測處理得到的檢查結果中的標註框的面積比值(本示例中可以採用框圖交叉面積/兩個框的合併面積，圖5中實線框和虛線框所示)以及對應的類別。若標記的目標的類別正確，均為車輛前門，且標註框面積比值在誤差範圍內，則可以認為作業人員處理的檢查結果中的標記框為標註正確。對一張圖像而言，如果所有框都標註正確則可以確定該圖像的標註資訊正確。在實際應用中，在待標註圖片中加入一定比例的正確框圖作為埋點，可以監測標註人員工作流中的檢查正確率，然後可以設置基於該檢查正確率觸發相應的訊息或動作，有效實現標註資訊監督和品質把控。因此，一些實施例中，所述方法還可以包括：當所述檢查準確率在第一預設週期內達到第一閾值時，發出相應的通知訊息。上述一些實施例中描述了可以在任務圖像中添加監控圖像並在第一節點的檢查結果中根據監控圖像的標註資訊的識別結果來確定作業人員檢查準確率。本說明書提供的所述方法的另一個實施例中，也可以通過所述監控圖像來埋點檢測第二節點複查人員複查結果處理的準確率，實現複查處理的品質監督和反饋。具體的，所述方法還可以包括： S122：在所述任務圖像中添加預定比例的監控圖像，所述監控圖像的已知標註資訊包括識別出的目標以及對應的類別和標註框資訊； S124：獲取所述複查結果中所述監控圖像的標註資訊的識別結果； S126：基於所述識別結果確定所述複查結果的複查準確率。通過上述方案可以通過實時監控複查準確率。可以基於有標準監控資訊監控圖像的檢查結果，對比複查人員對監控圖像標註資訊的檢查結果，在兩者的誤差符合預期時可以任務複查人員的複查處理正常，符合崗位要求。參考檢查準確率的處理，所述方法的另一個實施例中還可以包括：當所述複查準確率在第二預設週期內達到第二閾值時，發出相應的通知訊息。所述的第一預設週期、第二預設週期，以及相應的發出通知的第一閾值、第二閾值可以根據實際需要進行設置。例如若所述複查準確率在第二預設週期內低於第二閾值，則向指定接收方發出調崗建議訊息，所述第二閾值可以設置小於所述第一閾值。例如，對某些時間段準確率低的標註人員進行建議提醒，對長期正確率低的標註人員可以向指定接收方，如管理人終端或人事管理終端發出調崗建議訊息。利用本實施例方案還可以獲取標註人員標註的準確率時間關係，作為優化管理的資料支撐，提高標註資訊處理效率。需要說明的是，上述所述的通過埋點獲得檢查準確率、複查準確率的處理可以在指定的節點實現，例如在第一節點計算檢查準確率，在第二節點計算複查準確率，也可以單獨設置邏輯處理單元實現。本說明書提供的所述方法的另一個實施例中，在所述第三節點的抽檢處理中，可以結合複查準確率和抽檢結果來確定任務圖像是否可以作為訓練樣本圖像。具體的，所述方法的另一個實施例中，還可以包括： S140：若所述複查準確率在誤差範圍內，且所述抽檢結果通過，則將抽檢圖像對應的任務圖像集合添加至訓練樣本集合。可以對比複查人員複查結果和埋點檢測結果的一致率，如果內部抽檢通過，且一致率符合預期，則可以批量通過該複查人員處理的任務圖像，將其添加到相應的訓練樣本集合中。上述實施例的不同節點和檢查準確率、複查準確率的計算在實際應用中可以佈局在不同的處理環節，例如一個應用示例中，第一節點和第二節點可以由外部的作業人員進行處理，而第三節的內部抽查可以由內部作業人員進行處理，這樣通過外部和內部兩個環節的任務質檢，可以避免外部作業人員串通導致大批任務圖像的標註處理任務放水。同時還可以在內部通過埋點檢測作業人員處理的準確率，及時發現問題，反饋給作業人員或提醒更換作業人員等。通過本說明書提供的一個或多個實施例的節點交互和反饋處理，可以有效提高最終落入訓練樣本集中圖像標註資訊的準確率，相比於常規的不斷強調標註規則和內容培訓，可以從另一個角度使得整個樣本圖像標註資訊處理實現邊做邊學邊進步，有效的保證了標註品質，並提供了作業流中及時、有效的資訊反饋，提高樣本圖像標註資訊作業效率。上述實施例描述了可以以不同邏輯處理節點來實現樣本圖像標註資訊處理方法的實施方式，具體不同的處理節點可以為系統中不同的終端設備實現，如第一節點的第一伺服器、第二節點的第二伺服器、第三節點的第三伺服器，或者第一節點和第二節點的實施步驟由相同的伺服器或伺服器系統(應用)實現。本說明書提供的所述方法也可以由同一實體終端設備實現，或者成套的多個終端設備實現，如樣本圖像標註資訊系統伺服器，該系統伺服器中不同的作業人員可以與之進行資訊交互，例如作業人員A可以在該系統伺服器上對任務圖像的標註資訊進行檢查，修正AI的標註資訊，確定並持久化檢查結果。作業人員B可以在該系統伺服器上對作業人員A的檢查結果進行複查，如果發現標註資訊錯誤，則可以進行標記並通過系統伺服器反饋給作業人員A標註資訊錯誤的錯誤類型。相應的，作業人員C也可以通過該系統伺服器對作業人員B的複查結果進行抽查，當然一些實施場景中也可以實現對作業人員A的檢查結果進行抽查。因此，本說明書提供的一種樣本圖像標註資訊處理方法的另一個實施例中，可以包括： S100：接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別，以及所述目標的標註框； S200：接收所述任務圖像的檢查結果，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果； S300：接收所述任務圖像的複查結果，若所述複查結果包括標註資訊存在錯誤，則反饋錯誤類型，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型； S400：接收第一重檢查結果，對所述第一重檢查結果進行所述第二檢查處理，所述第一重檢查結果包括基於所述錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果。圖6是本說明書提供的所述方法另一種實施例的方法流程示意圖。當然，如前述實施例描述，所述方法的另一個實施例中，還可以實現對任務圖像的抽檢，以進一步保障訓練樣本圖像的標註資訊的準確率。因此，所述方法還可以包括： S500：接收所述任務圖像的抽檢結果，所述抽檢結果包括：按照預設規則從複查結果為所述標註資訊正確的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果； S502：若所述抽檢結果包括標註資訊存在錯誤，則反饋相應的抽檢圖像的抽檢資訊； S504：接收第二重檢查結果，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果。需要說明的是，本說明書上述實施例所述的可以應用到同一系統伺服器的樣本圖像標註資訊處理方法，根據前述劃分多個節點、設置相應節點終端設備的方法實施例的描述還可以包括其他的實施方式，例如設置埋點監測不同處理節點作業人員標註資訊處理的正確率等。具體的實現方式可以參照相關方法實施例的描述，在此不作一一贅述。本說明書中上述方法的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。相關之處參見方法實施例的部分說明即可。本說明書實施例所提供的方法實施例可以在行動終端、電腦終端、伺服器或者類似的運算裝置中執行。以運行在伺服器上為例，圖7是本發明實施例的一種訓練樣本圖像標註資訊處理伺服器的硬體結構方塊圖。如圖7所示，伺服器10可以包括一個或多個(圖中僅示出一個)處理器102(處理器102可以包括但不限於微處理器MCU或可程式化邏輯器件FPGA等的處理裝置)、用於儲存資料的儲存器104、以及用於通訊功能的傳輸模組106。本領域普通技術人員可以理解，圖7所示的結構僅為示意，其並不對上述電子裝置的結構造成限定。例如，伺服器10還可包括比圖7中所示更多或者更少的組件，例如還可以包括其他的處理硬體，如GPU(Graphics Processing Unit，圖像處理器)，或者具有與圖7所示不同的配置。儲存器104可用于儲存應用軟體的軟體程式以及模組，如本發明實施例中的搜索方法對應的程式指令/模組，處理器102通過運行儲存在儲存器104內的軟體程式以及模組，從而執行各種功能應用以及資料處理，即實現上述導航交互界面內容展示的處理方法。儲存器104可包括高速隨機儲存器，還可包括非易失性儲存器，如一個或者多個磁性儲存裝置、快閃記憶體、或者其他非易失性固態儲存器。在一些實例中，儲存器104可進一步包括相對於處理器102遠程設置的儲存器，這些遠程儲存器可以通過網路連接至電腦終端10。上述網路的實例包括但不限於網際網路、企業內部網、區域網路、行動通訊網及其組合。

傳輸模組106用於經由一個網路接收或者發送資料。上述的網路具體實例可包括電腦終端10的通訊供應商提供的無線網路。在一個實例中，傳輸模組106包括一個網路適配器(Network Interface Controller,NIC)，其可通過基站與其他網路設備相連從而可與網際網路進行通訊。在一個實例中，傳輸模組106可以為射頻(Radio Frequency，RF)模組，其用於通過無線方式與網際網路進行通訊。

基於上述所述的樣本圖像標註資訊處理方法，本說明書還提供一種樣本圖像標註資訊處理裝置。所述的裝置可以包括使用了本說明書實施例所述方法的系統(包括分布式系統)、軟體(應用)、模組、組件、伺服器、客戶端等並結合必要的實施硬體的設備裝置。基於同一創新構思，本說明書提供的一種實施例中的處理裝置如下面的實施例所述。由於裝置解決問題的實現方案與方法相似，因此本說明書實施例具體的處理裝置的實施可以參見前述方法的實施，重複之處不再贅述。儘管以下實施例所描述的裝置較佳地以軟體來實現，但是硬體，或者軟體和硬體的組合的實現也是可能並被構想的。具體的，如圖8所示，圖8是本說明書提供的一種樣本圖像標註資訊處理裝置實施例的模組結構示意圖，具體的可以包括：圖像接收模組201，可以用於接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別以及所述目標的標註框；標註檢查交互模組202，可以用於接收所述任務圖像的檢查結果，將檢查處理後的任務圖像發送給標註複查交互模組203，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；還可以用於接收第一重檢查結果，將所述第一重檢查結果發送所述標註複查交互模組203進行第二檢查處理，所述第一重檢查結果包括基於所述複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果；標註複查交互模組203，可以用於接收複查結果，以及在所述複查結果包括標註資訊存在錯誤時，將複查結果發送給所述標註檢查交互模組202進行第一重檢查處理，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型。

如圖9所示，圖9是本說明書提供的一種樣本圖像標註資訊處理裝置另一種實施例的模組結構示意圖，所述裝置還可以包括：標註抽查交互模組204，可以用於所述標註複查交互模組203發送的標註資訊正確的任務圖像，還可以用於接收抽檢結果，以及在所述抽檢結果包括標註資訊存在錯誤時，將相應的抽檢圖像的抽檢資訊發送至所述標註複查交互模組203進行第二重檢查處理，所述抽檢結果包括：按照預設規則從接收的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果；相應的，所述標註複查交互模組203還可以用於接收第二重檢查結果，將所述第二重檢查結果發送給所述標註抽查交互模組204，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果。

所述裝置的另一個實施例中，所述標註抽查交互模組204選取抽檢圖像具體的可以包括：基於標註資訊處理的使用者標識和執行日期中的至少一項選取任務圖像。

所述裝置的另一個實施例中，所述標註抽查交互模組204將相應的抽檢圖像的抽檢資訊發送至所述標註複查交互模組203可以包括下述中的至少一種方式：將標註資訊存在錯誤的抽檢圖像發送給所述標註複查交互模組203；若標註資訊存在錯誤，則將抽檢圖像對應的任務圖像集合發送給所述標註複查交互模組203；將抽檢圖像的標註錯誤資訊發送給所述標註複查交互模組203。

所述裝置的另一個實施例中，可以將抽檢通過的任務圖像或者任務圖像對應的圖像集合加入到對應的訓練樣本集合中，這樣得到的訓練樣本集合中的圖像的標註資訊更加準確，使得後續基於訓練樣本圖像的算法處理準確率更高。具體的，另一個實施例中，所述裝置還可以包括：輸出模組205，可以用於將抽檢結果為標註資訊正確的抽檢圖像所對應的任務圖像集合標記為訓練樣本圖像，存入至相應的訓練樣本集合中。

本說明書提供的所述裝置另一種實施例中還可以包括：

第一埋點處理模組206，可以用於識別在所述任務圖像中添加的預定比例的監控圖像，所述監控圖像的已知標註資訊包括識別出的目標以及對應的類別和標註框資訊；還可以用於獲取所述檢查結果中所述監控圖像的標註資訊的識別結果；還可以用於比較所述識別結果與所述已知標註資訊，確定所述檢查結果的檢查準確率。

圖10是本說明書提供的所述裝置另一種實施例的模組結構示意圖，如圖10所示，所述裝置的另一個實施例中還可以對第二節點的作業人員的複查結果進行埋點監測。此處埋點監測使用的監控圖像可以與第一節點或第一埋點處理模組206使用的監控圖像相同，即可以使用同一批監控圖像來計算不同作業人員標註資訊處理的正確率，當然，也可以使用不同的監控圖像。具體的，所述裝置的另一個實施例中，還可以包括：

第二埋點處理模組207，可以用於識別在所述任務圖像中添加的預定比例的監控圖像，所述監控圖像的已知標註資訊包括識別出的目標以及對應的類別和標註框資訊；還可以用於獲取所述檢查結果中所述監控圖像的標註資訊的識別結果；還可以用於比較所述識別結果與所述已知標註資訊，確定所述檢查結果的檢查準確率。

所述裝置的另一個實施例中，還可以根據埋點計算得到的檢測準確率或複查準確率相應的發出通知訊息。例如作業人員A檢查準確率在一周內處於第一閾值區間時，可以向作業人員A發出“標註資訊準確率較低，請檢查原因，慎重處理”。若作業人員A在10個工作日的檢查準確率平均低於最低考核閾值，則可以向指定的監督終端發出通知訊息，例如向標註抽查交互模組104或專用的終端設備發出訊息，甚至可以附帶建議調崗或者統計錯誤類型等資訊一同反饋給指定接收方。因此，本說明書提供的所述裝置的另一個實施例中，還可以包括：第一通知模組2082，可以用於當所述檢查準確率在第一預設週期內達到第一閾值時，發出相應的通知訊息。相應的，所述裝置的另一個實施例中，還可以包括：第二通知模組2084，可以用於當所述複查準確率在第二預設週期內達到第二閾值時，發出相應的通知訊息。圖11是本說明書提供的所述裝置另一種實施例的模組結構示意圖。所述裝置的另一個實施例中，所述輸出模組105可以結合抽檢結果和埋點計算得到的複查準確率來確定抽檢的任務圖像或任務圖像集合是否通過。具體的，所述裝置的另一個實施例中，所述輸出模組105在所述複查準確率在誤差範圍內，且所述抽檢結果通過時，將對應的任務圖像集合添加至訓練樣本集合。本說明書實施例提供的樣本圖像標註資訊處理方法可以在電腦中由處理器執行相應的程式指令來實現，如使用windows、Linux操作系統的應用程式化語言在PC端實現，或其他例如android、iOS系統相對應的應用設計語言集合必要的硬體實現，或者基於量子電腦的處理邏輯實現等。具體的，本說明書提供的一種伺服器實現上述方法的實施例中，所述伺服器可以包括處理器以及用於儲存處理器可執行指令的儲存器，所述處理器執行所述指令時實現：接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別以及所述目標的標註框；接收所述任務圖像的檢查結果，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；接收所述任務圖像的複查結果，若所述複查結果包括標註資訊存在錯誤，則反饋錯誤類型，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型；接收第一重檢查結果，對所述第一重檢查結果進行所述第二檢查處理，所述第一重檢查結果包括基於所述錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果。所述的伺服器可以為單獨的伺服器，也可以為伺服器集群，或者分布式系統中的伺服器，其分佈在不同處理節點的伺服器終端可以被視為同一伺服器。基於上述所述的方法、裝置或伺服器，本說明書還提供一種樣本圖像標註資訊處理系統，圖12是本說明書提供的所述系統一種實施例的框架結構示意圖，如圖11所示，可以包括：第一處理終端，可以用於接收任務圖像以及所述任務圖像的檢查結果，將檢查處理後的任務圖像發送給第二處理終端，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別以及所述目標的標註框，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；還用於接收第一重檢查結果，將所述第一重檢查結果發送所述第一終端進行第二檢查處理，所述第一重檢查結果包括基於所述複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果；第二處理終端，可以用於接收複查結果，以及在所述複查結果包括標註資訊存在錯誤時，將複查結果發送給所述第一處理終端進行第一重檢查處理，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型；還可以用於接收第二重檢查結果，將所述第二重檢查結果發送給第三處理終端，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果第三處理終端，可以用於接收所述第二處理終端發送的標註資訊正確的任務圖像，還用於接收抽檢結果，以及在所述抽檢結果包括標註資訊存在錯誤時，將相應的抽檢圖像的抽檢資訊發送至所述第二終端進行第二重檢查處理，所述抽檢結果包括：按照預設規則從接收的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果。上述的指令可以儲存在多種電腦可讀儲存媒介中。所述電腦可讀儲存媒介可以包括用於儲存資訊的實體裝置，可以將資訊數位化後再以利用電、磁或者光學等方式的媒體加以儲存。本實施例所述的電腦可讀儲存媒介有可以包括：利用電能方式儲存資訊的裝置如，各式儲存器，如RAM、ROM等；利用磁能方式儲存資訊的裝置如，硬碟、軟碟、磁帶、磁芯儲存器、磁泡儲存器、隨身碟；利用光學方式儲存資訊的裝置如，CD或DVD。當然，還有其他方式的可讀儲存媒介，例如量子儲存器、石墨烯儲存器等等。下述所述的裝置或伺服器或客戶端或系統中的指令同上描述。需要說明的是，本說明書實施例上述所述的裝置、伺服器、系統，根據相關方法實施例的描述還可以包括其他的實施方式。具體的實現方式可以參照方法實施例的描述，在此不作一一贅述。本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於硬體+程式類實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。上述對本說明書特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下，在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在圖式中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多任務處理和並行處理也是可以的或者可能是有利的。本說明書提供多處作業節點不同處理結果的交互判斷處理邏輯，當圖像標註資訊出錯時可以自動返回使作業人員進行重新審查、修改等處理。這樣可以在不斷的反饋交互中提升作業人員的業務能力，逐漸提高標註效率，有效提高訓練樣本圖像標註資訊的準確率。雖然本申請提供了如實施例或流程圖所述的方法操作步驟，但基於常規或者無進步性的勞動可以包括更多或者更少的操作步驟。實施例中列舉的步驟順序僅僅為眾多步驟執行順序中的一種方式，不代表唯一的執行順序。在實際中的裝置或客戶端產品執行時，可以按照實施例或者圖式所示的方法順序執行或者並行執行(例如並行處理器或者多線程處理的環境)。儘管本說明書實施例內容中提到通過標註框面積計算檢查準確率/複查準確率、第三節點對第二節點進行抽查等之類的資料獲取、交互、計算、判斷等操作和資料描述，但是，本說明書實施例並不局限於必須是符合行業通訊標準、標準圖像資料處理協議、通訊協議和標準資料模型/模板或本說明書實施例所描述的情況。某些行業標準或者使用自定義方式或實施例描述的實施基礎上略加修改後的實施方案也可以實現上述實施例相同、等同或相近、或變形後可預料的實施效果。應用這些修改或變形後的資料獲取、儲存、判斷、處理方式等獲取的實施例，仍然可以屬於本說明書的可選實施方案範圍之內。在20世紀90年代，對於一個技術的改進可以很明顯地區分是硬體上的改進(例如，對二極體、電晶體、開關等電路結構的改進)還是軟體上的改進(對於方法流程的改進)。然而，隨著技術的發展，當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都通過將改進的方法流程程式化到硬體電路中來得到相應的硬體電路結構。因此，不能說一個方法流程的改進就不能用硬體實體模組來實現。例如，可程式化邏輯器件(Programmable Logic Device, PLD)(例如現場可程式化閘陣列(Field Programmable Gate Array, FPGA))就是這樣一種積體電路，其邏輯功能由使用者對器件程式化來確定。由設計人員自行程式化來把一個數位系統“整合”在一片PLD上，而不需要請晶片製造廠商來設計和製作專用的積體電路晶片。而且，如今，取代手工地製作積體電路晶片，這種程式化也多半改用“邏輯編譯器(logic compiler)”軟體來實現，它與程式開發撰寫時所用的軟體編譯器相類似，而要編譯之前的原始代碼也得用特定的程式化語言來撰寫，此稱之為硬體描述語言(Hardware Description Language, HDL)，而HDL也並非僅有一種，而是有許多種，如ABEL (Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL (Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)與Verilog。本領域技術人員也應該清楚，只需要將方法流程用上述幾種硬體描述語言稍作邏輯程式化並程式化到積體電路中，就可以很容易得到實現該邏輯方法流程的硬體電路。控制器可以按任何適當的方式實現，例如，控制器可以採取例如微處理器或處理器以及儲存可由該(微)處理器執行的電腦可讀程式代碼(例如軟體或韌體)的電腦可讀媒介、邏輯閘、開關、專用積體電路(Application Specific Integrated Circuit, ASIC)、可程式化邏輯控制器和嵌入微控制器的形式，控制器的例子包括但不限於以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，儲存器控制器還可以被實現為儲存器的控制邏輯的一部分。本領域技術人員也知道，除了以純電腦可讀程式代碼方式實現控制器以外，完全可以通過將方法步驟進行邏輯程式化來使得控制器以邏輯閘、開關、專用積體電路、可程式化邏輯控制器和嵌入微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件，而對其內包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至，可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。上述實施例闡明的系統、裝置、模組或單元，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦。具體的，電腦例如可以為個人電腦、膝上型電腦、車載人機交互設備、蜂窩電話、相機電話、智慧電話、個人數位助理、媒體播放器、導航設備、電子郵件設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任何設備的組合。雖然本說明書實施例提供了如實施例或流程圖所述的方法操作步驟，但基於常規或者無進步性的手段可以包括更多或者更少的操作步驟。實施例中列舉的步驟順序僅僅為眾多步驟執行順序中的一種方式，不代表唯一的執行順序。在實際中的裝置或終端產品執行時，可以按照實施例或者圖式所示的方法順序執行或者並行執行(例如並行處理器或者多線程處理的環境，甚至為分布式資料處理環境)。術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、產品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、產品或者設備所固有的要素。在沒有更多限制的情況下，並不排除在包括所述要素的過程、方法、產品或者設備中還存在另外的相同或等同要素。為了描述的方便，描述以上裝置時以功能分為各種模組分別描述。當然，在實施本說明書實施例時可以把各模組的功能在同一個或多個軟體及/或硬體中實現，也可以將實現同一功能的模組由多個子模組或子單元的組合實現等。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以整合到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些介面，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。本領域技術人員也知道，除了以純電腦可讀程式代碼方式實現控制器以外，完全可以通過將方法步驟進行邏輯程式化來使得控制器以邏輯閘、開關、專用積體電路、可程式化邏輯控制器和嵌入微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件，而對其內部包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至，可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖及/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖及/或方塊圖中的每一流程及/或方塊、以及流程圖及/或方塊圖中的流程及/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式化資料處理設備的處理器以產生一個機器，使得通過電腦或其他可程式化資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程及/或方塊圖一個方塊或多個方塊中指定的功能的裝置。這些電腦程式指令也可儲存在能引導電腦或其他可程式化資料處理設備以特定方式工作的電腦可讀儲存器中，使得儲存在該電腦可讀儲存器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程及/或方塊圖一個方塊或多個方塊中指定的功能。這些電腦程式指令也可裝載到電腦或其他可程式化資料處理設備上，使得在電腦或其他可程式化設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式化設備上執行的指令提供用於實現在流程圖一個流程或多個流程及/或方塊圖一個方塊或多個方塊中指定的功能的步驟。在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。記憶體可能包括電腦可讀媒介中的非永久性儲存器，隨機存取儲存器(RAM)及/或非易失性記憶體等形式，如唯讀儲存器(ROM)或快閃記憶體(flash RAM)。記憶體是電腦可讀媒介的示例。電腦可讀媒介包括永久性和非永久性、可行動和非可行動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒介的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取儲存器(SRAM)、動態隨機存取儲存器(DRAM)、其他類型的隨機存取儲存器(RAM)、唯讀儲存器(ROM)、電可抹除可程式化唯讀儲存器(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀儲存器(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、卡式磁帶，磁帶磁磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒介，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，電腦可讀媒介不包括暫存電腦可讀媒體(transitory media)，如調變的資料信號和載波。本領域技術人員應明白，本說明書的實施例可提供為方法、系統或電腦程式產品。因此，本說明書實施例可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本說明書實施例可採用在一個或多個其中包含有電腦可用程式代碼的電腦可用儲存媒介(包括但不限於磁碟儲存器、CD-ROM、光學儲存器等)上實施的電腦程式產品的形式。本說明書實施例可以在由電腦執行的電腦可執行指令的一般上下文中描述，例如程式模組。一般地，程式模組包括執行特定任務或實現特定抽象資料類型的例程、程式、對象、組件、資料結構等等。也可以在分布式計算環境中實踐本說明書實施例，在這些分布式計算環境中，由通過通訊網路而被連接的遠程處理設備來執行任務。在分布式計算環境中，程式模組可以位於包括儲存設備在內的本地和遠程電腦儲存媒介中。本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於系統實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本說明書實施例的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結合。此外，在不相互矛盾的情況下，本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特徵進行結合和組合。以上所述僅為本說明書實施例的實施例而已，並不用於限制本說明書實施例。對於本領域技術人員來說，本說明書實施例可以有各種更改和變化。凡在本說明書實施例的精神和原理之內所作的任何修改、等同替換、改進等，均應包含在本說明書實施例的請求項範圍之內。

S0‧‧‧步驟 S2‧‧‧步驟 S4‧‧‧步驟 S6‧‧‧步驟 S80‧‧‧步驟 S82‧‧‧步驟 S84‧‧‧步驟 S86‧‧‧步驟 S100‧‧‧步驟 S200‧‧‧步驟 S300‧‧‧步驟 S400‧‧‧步驟 10‧‧‧伺服器 102‧‧‧處理器 104‧‧‧非易失性儲存器 106‧‧‧傳輸模組 201‧‧‧圖像接收模組 202‧‧‧標註檢查交互模組 203‧‧‧標註複查交互模組 204‧‧‧標註抽查交互模組 206‧‧‧第一埋點處理模組 207‧‧‧第二埋點處理模組 2082‧‧‧第一通知模組 2084‧‧‧第二通知模組

為了更清楚地說明本說明書實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本說明書中記載的一些實施例，對於本領域普通技術人員來講，在不付出進步性勞動性的前提下，還可以根據這些圖式獲得其他的圖式。圖1是本說明書所述方法一種對樣本圖像中的多目標進行標註的作業場景示意圖；圖2是本說明書提供的所述一種樣本圖像標註資訊處理方法實施例的流程示意圖；圖3是本說明書一個實施場景中在第二節點對任務圖像進行複查的處理過程示意圖；圖4是本說明書提供的所述方法另一個實施例的方法流程示意圖；圖5是本說明書一個確定檢查準確率的處理場景示意圖；圖6是本說明書提供的一種用於伺服器的樣本圖像標註資訊處理方法流程示意圖；圖7是本發明實施例的一種訓練樣本圖像標註資訊處理伺服器的硬體結構方塊圖；圖8是本說明書提供的一種樣本圖像標註資訊處理裝置實施例的模組結構示意圖；圖9是本說明書提供的所述裝置另一種實施例的模組結構示意圖；圖10是本說明書提供的所述裝置另一種實施例的模組結構示意圖圖11是本說明書提供的所述裝置另一種實施例的模組結構示意圖；圖12是本說明書提供的所述系統一種實施例的框架結構示意圖。

Claims

一種圖像標註資訊處理方法，所述方法包括：第一節點接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別，以及所述目標的標註框；第一節點接收所述任務圖像的檢查結果，將第一檢查處理後的任務圖像發送給第二節點，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；所述第二節點接收複查結果，若所述複查結果包括標註資訊存在錯誤，則將複查結果發送給所述第一節點進行第一重檢查處理，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型；所述第一節點接收第一重檢查結果，將所述第一重檢查結果發送給所述第二節點進行所述第二檢查處理，所述第一重檢查結果包括基於所述複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果；在所述任務圖像中添加預定比例的監控圖像，所述監控圖像的已知標註資訊包括識別出的目標以及對應的類別和標註框資訊。
如請求項1所述的方法，所述方法還包括：將所述複查結果中所述標註資訊正確的任務圖像發送至第三節點；所述第三節點接收抽檢結果，所述抽檢結果包括：按照預設規則從接收的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果；若所述抽檢結果包括標註資訊存在錯誤，則將相應的抽檢圖像的抽檢資訊發送至所述第二節點進行第二重檢查處理；相應的，所述第二節點接收第二重檢查結果，將所述第二重檢查結果發送給所述第三節點，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果。
如請求項2所述的方法，所述選取抽檢圖像包括：基於標註資訊處理的使用者標識和執行日期中的至少一項選取任務圖像。
如請求項2所述的方法，所述將相應的抽檢圖像的抽檢資訊發送至所述第二節點包括下述中的至少一種方式：將標註資訊存在錯誤的抽檢圖像發送給所述第二節點；若標註資訊存在錯誤，則將抽檢圖像對應的任務圖像集合發送給所述第二節點；將抽檢圖像的標註錯誤資訊發送給所述第二節點。
如請求項2所述的方法，所述方法還包括：將抽檢結果為標註資訊正確的抽檢圖像所對應的任務圖像集合標記為訓練樣本圖像。
如請求項1所述的方法，所述方法還包括：獲取所述檢查結果中所述監控圖像的標註資訊的識別結果；比較所述識別結果與所述已知標註資訊，確定所述檢查結果的檢查準確率。
如請求項6所述的方法，所述方法還包括：當所述檢查準確率在第一預設週期內達到第一閾值時，發出相應的通知訊息。
如請求項2所述的方法，所述方法還包括：獲取所述複查結果中所述監控圖像的標註資訊的識別結果；比較所述識別結果與所述已知標註資訊，確定所述複查結果的複查準確率。
如請求項8所述的方法，所述方法還包括：當所述複查準確率在第二預設週期內達到第二閾值時，發出相應的通知訊息。
請求項8所述的方法，所述方法還包括：若所述複查準確率在誤差範圍內，且所述抽檢結果通過，則將抽檢圖像對應的任務圖像集合添加至訓練樣本集合。
一種圖像標註資訊處理方法，所述方法包括：接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別，以及所述目標的標註框；接收所述任務圖像的檢查結果，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；接收所述任務圖像的複查結果，若所述複查結果包括標註資訊存在錯誤，則反饋錯誤類型，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型；接收第一重檢查結果，對所述第一重檢查結果進行所述第二檢查處理，所述第一重檢查結果包括基於所述錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果；在所述任務圖像中添加預定比例的監控圖像，所述監控圖像的已知標註資訊包括識別出的目標以及對應的類別和標註框資訊。
如請求項11所述的方法，所述方法還包括：接收所述任務圖像的抽檢結果，所述抽檢結果包括：按照預設規則從複查結果為所述標註資訊正確的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果；若所述抽檢結果包括標註資訊存在錯誤，則反饋相應的抽檢圖像的抽檢資訊；接收第二重檢查結果，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果。
一種樣本圖像標註資訊處理裝置，所述裝置包括：圖像接收模組，用於接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別，以及所述目標的標註框；標註檢查交互模組，用於接收所述任務圖像的檢查結果，將第一檢查處理後的任務圖像發送給標註複查交互模組，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；還用於接收第一重檢查結果，將所述第一重檢查結果發送所述標註複查交互模組進行第二檢查處理，所述第一重檢查結果包括基於複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果；標註複查交互模組，用於接收複查結果，以及在所述複查結果包括標註資訊存在錯誤時，將複查結果發送給所述標註檢查交互模組進行第一重檢查處理，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型。
如請求項13所述的裝置，所述裝置還包括：標註抽查交互模組，用於接收所述標註複查交互模組發送的標註資訊正確的任務圖像，還用於接收抽檢結果，以及在所述抽檢結果包括標註資訊存在錯誤時，將相應的抽檢圖像的抽檢資訊發送至所述標註複查交互模組進行第二重檢查處理，所述抽檢結果包括：按照預設規則從接收的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果；相應的，所述標註複查交互模組還用於接收第二重檢查結果，將所述第二重檢查結果發送給所述標註抽查交互模組，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果。
如請求項14所述的裝置，所述標註抽查交互模組選取抽檢圖像包括：基於標註資訊處理的使用者標識和執行日期中的至少一項選取任務圖像。
如請求項14所述的裝置，所述標註抽查交互模組將相應的抽檢圖像的抽檢資訊發送至所述標註複查交互模組包括下述中的至少一種方式：將標註資訊存在錯誤的抽檢圖像發送給所述標註複查交互模組；若標註資訊存在錯誤，則將抽檢圖像對應的任務圖像集合發送給所述標註複查交互模組；將抽檢圖像的標註錯誤資訊發送給所述標註複查交互模組。
如請求項14所述的裝置，所述裝置還包括：輸出模組，用於將抽檢結果為標註資訊正確的抽檢圖像所對應的任務圖像集合標記為訓練樣本圖像，存入至相應的訓練樣本集合中。
如請求項13所述的裝置，所述裝置還包括：第一埋點處理模組，用於識別在所述任務圖像中添加的預定比例的監控圖像，所述監控圖像的已知標註資訊包括識別出的目標以及對應的類別和標註框資訊；還用於獲取所述檢查結果中所述監控圖像的標註資訊的識別結果；還用於比較所述識別結果與所述已知標註資訊，確定所述檢查結果的檢查準確率。
如請求項14所述的裝置，所述裝置還包括：第二埋點處理模組，用於識別在所述任務圖像中添加的預定比例的監控圖像，所述監控圖像的已知標註資訊包括識別出的目標以及對應的類別和標註框資訊；還用於獲取所述複查結果中所述監控圖像的標註資訊的識別結果；還用於比較所述識別結果與所述已知標註資訊，確定所述複查結果的檢查準確率。
如請求項18所述的裝置，還包括：第一通知模組，用於當所述檢查準確率在第一預設週期內達到第一閾值時，發出相應的通知訊息。
如請求項19所述的裝置，還包括：第二通知模組，用於當所述複查準確率在第二預設週期內達到第二閾值時，發出相應的通知訊息。
如請求項21所述的裝置，其中，所述裝置還包括輸出模組，用於在所述複查準確率在誤差範圍內，且所述抽檢結果通過時，將對應的任務圖像集合添加至訓練樣本集合。
一種伺服器，包括處理器以及用於儲存處理器可執行指令的儲存器，所述處理器執行所述指令時實現：接收任務圖像，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別以及所述目標的標註框；接收所述任務圖像的檢查結果，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果；接收所述任務圖像的複查結果，若所述複查結果包括標註資訊存在錯誤，則反饋錯誤類型，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型；接收第一重檢查結果，對所述第一重檢查結果進行所述第二檢查處理，所述第一重檢查結果包括基於所述錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果。
一種圖像標註資訊處理系統，包括：第一處理終端，用於接收任務圖像以及所述任務圖像的檢查結果，將檢查處理後的任務圖像發送給第二處理終端；還用於接收第一重檢查結果，將所述第一重檢查結果發送第二終端進行第二檢查處理，所述任務圖像中至少包括下述標註資訊：識別出的任務圖像中的目標所對應的類別以及所述目標的標註框，所述檢查結果包括：對所述任務圖像的標註資訊進行第一檢查處理，確定所述標註資訊存在錯誤時，對所述標註資訊進行修正後得到的標註結果，所述第一重檢查結果包括基於所述複查結果中的錯誤類型對所述任務圖像的標註資訊進行修正得到的標註結果；第二處理終端，用於接收複查結果，以及在所述複查結果包括標註資訊存在錯誤時，將複查結果發送給所述第一處理終端進行第一重檢查處理；還用於接收第二重檢查結果，將所述第二重檢查結果發送給第三處理終端，所述複查結果包括：對所述任務圖像進行第二檢查處理，在所述標註資訊存在錯誤時，確定的所述檢查結果出現錯誤的錯誤類型，所述第二重檢查結果包括基於所述抽檢資訊對相應的任務圖像的標註資訊進行修正得到的標註結果；第三處理終端，用於接收所述第二處理終端發送的標註資訊正確的任務圖像，還用於接收抽檢結果，以及在所述抽檢結果包括標註資訊存在錯誤時，將相應的抽檢圖像的抽檢資訊發送至所述第二終端進行第二重檢查處理，所述抽檢結果包括：按照預設規則從接收的任務圖像中選取抽檢圖像，驗證所述抽檢圖像的標註資訊是否正確而得到的處理結果。