TWI897031B

TWI897031B - 智慧藥物取樣與標註方法、系統及其設備

Info

Publication number: TWI897031B
Application number: TW112134731A
Authority: TW
Inventors: 陳銘哲; 王明舜; 張萬榮; 戴嘉榮; 戴品志
Original assignee: 南臺學校財團法人南臺科技大學; 百國科技股份有限公司
Priority date: 2023-09-12
Filing date: 2023-09-12
Publication date: 2025-09-11
Also published as: TW202512112A

Abstract

本發明提供一種智慧藥物取樣與標註方法、系統及其設備，其中，智慧藥物取樣與標註方法，步驟包含: 擷取一待標註藥品之一第一外觀影像及一第一定位資訊；運算該第一外觀影像及該第一定位資訊，產生對應之一待標註外觀資訊；以一匹配資訊比對該待標註外觀資訊，產生對應之一特徵點；及篩選該特徵點，產生一標註資訊。並以本系統執行該方法，同時，採用藥物取樣與標註設備，使得擷取裝置能夠在相同的空間及焦距取得之外觀影像，降低背景雜訊干擾，以提高特徵點提取的精確程度，使自動化標註效率更高。

Description

智慧藥物取樣與標註方法、系統及其設備

一種取樣與標註方法、系統及其設備，特別是涉及一種智慧藥物取樣與標註方法、系統及其設備。

人工標註為一種常見的資料標註方式，其係用於訓練機器學習模型或進行其他人工智慧相關任務，惟人工標註需要大量的人力和時間，特別是涉及大型數據集處理，由於需要標註者逐一檢視樣本進行標記，這也導致進度緩慢且成本較高，再者，不同標註者可能根據自己的理解和觀點進行標註，導致主觀偏差，這可能導致標註結果不一致的情形，進而影響機器學習模型的準確性和一般化能力，同時，人工標註可能存在錯誤，即使是經驗豐富的標註者也可能因為疲勞或注意力不集中而出錯，但這些錯誤可能會被當作真實樣本來訓練模型，影響模型的品質。

特別是複雜性較高的標註任務，在某些情況下標註者可能難以確定應該如何標記，例如:呈現多種模態的數據，可能對於人工標註來說更加困難，因為需要整合來自多種類型的標註，而這些標註結果也可能大幅影響數據集的品質，且，當數據集規模需要擴大時，人工標註的成本與時間將大幅增加，間接的限制數據集的規模與機器學習模型的性能。

在藥物辨識的領域上，人工標註更是面臨著耗時耗力、主觀性、精確度、標註困難等缺點，為此，本發明提供一種智慧藥物取樣與標註方法、系統及其設備，其係以匹配資訊比對待標註藥品之外觀資訊，而可以自動化的進行標註，以解決習知主觀性及標註困難等缺失，大幅降低人力與時間成本，提高標註效率與精準度。

本發明之主要目的，係提供一種智慧藥物取樣與標註方法，以匹配資訊自動化標註藥品，大幅降低人力與時間成本。

本發明之另一目的，係提供一種智慧藥物取樣與標註系統，以取樣模組結合標註模組，並透過伺服器儲存並傳輸對應之匹配資訊，自動化執行標註，解決習知主觀性及標註困難之問題。

本發明之再一目的，係提供一種藥物取樣與標註設備，其以殼體作為藥品之取樣空間，並以擷取裝置擷取藥品之外觀資訊，同時，此一取樣空間可保證能夠以相同的焦距取得其外觀影像，而可將該些個外觀資訊傳輸至邊緣運算模組進行自動化標註，提高標註精準度。

為了達到上述之目的，本發明之一實施例係揭示一種智慧藥物取樣與標註方法，步驟包含: 擷取一待標註藥品之一第一外觀影像及一第一定位資訊；運算該第一外觀影像及該第一定位資訊，產生對應之一待標註外觀資訊；以一匹配資訊比對該待標註外觀資訊，產生對應之一特徵點；及篩選該特徵點，產生一標註資訊。

於較佳實施例中，於以一匹配資訊比對該待標註外觀資訊，產生對應之一特徵點之步驟中，以一演算法與該待標註外觀資訊進行運算，產生對應於該待標註外觀資訊之該特徵點。

於較佳實施例中，該演算法選自特徵比對法SIFT(Scale-Invariant Feature Transform)、樣板比對法(Match Template)或上述之組合。

於較佳實施例中，包含步驟: 擷取一藥品之一第二外觀影像及一第二定位資訊；運算該第二外觀影像及該第二定位資訊，產生對應之一預設外觀資訊；輸入對應該預設外觀資訊之一藥物資訊；及訓練該預設外觀資訊及該藥物資訊，生成該匹配資訊。

為了達到上述之另一目的，本發明之一實施例係揭示一種智慧藥物取樣與標註系統，包含: 一伺服器，包含一資料庫，該資料庫儲存一匹配資訊；一取樣模組，用以擷取一待標註藥品之一待標註外觀資訊；及一標註模組，分別與該伺服器及該取樣模組訊號連接，以一演算法取得該待標註外觀資訊之一特徵點，並以該特徵點與該匹配資訊進行比對，產生一標註資訊。

於較佳實施例中，包含一訓練模組，分別與該伺服器及該取樣模組訊號連接，以該取樣模組擷取一藥品之一預設外觀資訊及對應之一藥物資訊，該訓練模組以該預設外觀資訊及該藥物資訊進行訓練，產生該匹配資訊。

為了達到上述之再一目的，本發明之一實施例係揭示一種藥物取樣與標註設備，包含: 一殼體，包含一取樣空間，該取樣空間係提供置放一藥品及一待標註藥品；一擷取裝置，設置於該取樣空間之一側，用以擷取該待標註藥品之一待標註外觀資訊，及擷取該藥品之一預設外觀資訊；一輸入裝置，輸入對應於該藥品之一藥物資訊；及一邊緣運算模組，分別與該輸入裝置及該擷取裝置訊號連接，根據該待標註外觀資訊進行運算，產生對應之一特徵點，以該特徵點與一匹配資訊進行比對，產生一標註資訊，以及根據該預設外觀資訊及對應之該藥物資訊進行訓練，以產生該匹配資訊。

於較佳實施例中，包含一光源模組，設置於該取樣空間之一側，用以提供一光源。

於較佳實施例中，該殼體設有一轉盤，該轉盤提供置放該藥品及該待標註藥品，該轉盤係旋轉使該擷取裝置擷取多種角度之該待標註外觀資訊與該預設外觀資訊。

本發明之有益功效在於可以自動化執行標註，解決習知人工標註之主觀性及標註困難等問題，提高標註效率與準確性。

讓本發明上述及/或其他目的、功效、特徵更明顯易懂，下文特舉較佳實施方式，作詳細說明於下：

請參閱第一A圖至第一B圖，其為本發明之一實施例之方法流程圖及部分方法流程圖。如圖所示，本發明之智慧藥物取樣與標註方法，步驟包含:

步驟S1: 擷取一待標註藥品之一第一外觀影像及一第一定位資訊；

步驟S2: 運算該第一外觀影像及該第一定位資訊，產生對應之一待標註外觀資訊；

步驟S3: 以一匹配資訊比對該待標註外觀資訊，產生對應之一特徵點；及

步驟S4: 篩選該特徵點，產生一標註資訊。

如步驟S1所示，首先，將待標註藥品置入藥物取樣與標註設備中，並擷取待標註藥品之第一外觀影像及對應之第一定位資訊，於一實施例中，第一外觀影像的數量並不被限制，較佳的，依序旋轉並擷取待標註藥品之多個外觀影像及每一外觀影像所對應之定位資訊，如此一來，即可得知每一面的外觀影像對應的下一個外觀影像的所有順序以及位置，但不在此限。

如步驟S2所示，運算第一外觀影像及對應之第一定位資訊，產生對應之待標註外觀資訊，即取得待標註藥品的外觀資訊，於一實施例中，此一外觀資訊係具有順序性，例如: 順時針旋轉3次，取得待標註藥品之外觀資訊及定位資訊依序包含A面、B面、C面及D面，即表示與A面緊連的下一個外觀資訊為B面，而與B面緊連的下一個外觀資訊為C面，與C面緊連的下一個外觀資訊為D面，以及與D面緊連的下一個外觀資訊為A面，但不在此限。

如步驟S3所示，將前述之待標註外觀資訊與匹配資訊進行比對，產生對應之特徵點，即藉由演算法以匹配資訊與待標註外觀資訊中找出特徵點的分布，於一實施例中，演算法選自特徵比對法SIFT(Scale-Invariant Feature Transform)、樣板比對法(Match Template)或上述之組合。

於一實施例中，當待標註藥品之外觀資訊與匹配資訊比對時，當A面比對完後，若接續的下一個非B面，則表示兩者並不相符，則接續比對下一個匹配資訊，直到比對出與A面緊連的下一個外觀資訊為B面，或比對出B面後，接續與B面緊連的下一個外觀資訊為C面，或比對出C面後，接續與C面緊連的下一個外觀資訊為D面，或比對出D面後，接續與D面緊連的外觀資訊為A面之組合時，則表示匹配成功，並接續下一步驟。

如步驟S4所示，將前述產生之特徵點進行篩選，而可產生標註資訊，而完成自動化標註。

其中，匹配資訊是藉由訓練產生，其包含步驟如下:

步驟S5: 擷取一藥品之一第二外觀影像及一第二定位資訊；

步驟S6: 運算該第二外觀影像及該第二定位資訊，產生對應之一預設外觀資訊；

步驟S7: 輸入對應該預設外觀資訊之一藥物資訊；及

步驟S8: 訓練該預設外觀資訊及該藥物資訊，生成該匹配資訊。

如步驟S5所示，與步驟S1相同，將藥品置入藥物取樣與標註設備中，並擷取藥品之第二外觀影像及對應之第二定位資訊，於一實施例中，第二外觀影像的數量並不被限制，較佳的，依序旋轉並擷取藥品之多個外觀影像及其所對應之定位資訊，如此一來，即可得知每一面的外觀影像對應的下一個外觀影像的所有順序以及位置，但不在此限。

如步驟S6所示，與步驟S2相同，運算第二外觀影像及對應之第二定位資訊，產生對應之外觀資訊，即取得藥品的外觀資訊，於一實施例中，此一外觀資訊同樣具有順序性，如此一來在與待標註藥品之外觀資訊比對時，即可根據其外觀影像之組合判斷出兩者是否為相同之藥品，大幅提升其標準精準度。

如步驟S7所示，輸入對應於預設外觀資訊之藥物資訊，並接續如步驟S8所示，訓練前述預設外觀資訊及其對應之藥物資訊，生成匹配資訊。

具體而言，即藉由演算法從待標註外觀資訊與預設外觀資訊提取感興趣之多個關鍵點，嗣後，針對各個關鍵點提取每一個區域的特徵，其可以是由梯度與角度所組成的直方圖，並由待標註外觀資訊與預設外觀資訊之關鍵點進行特徵匹配，計算出匹配並篩選出距離最小的特徵點。

較佳的，於待標註外觀資訊與預設外觀資訊以不同尺度採用高斯模糊進行卷積運算，以比對不同模糊比例之間之變化情形，進而確認其關鍵點，但不在此限。

於一實施例中，演算法更可以選自FAST(Fast Feature Detector)、STAR(Star Feature Detector)、加速穩健特徵(Speeded Up Robust Features, SURF)、ORB(Oriented Fast and Rotated Brief)、BRISK(Binary Robust Invariant Scalable Keypoints)、最大穩定極值區域(Maximally Stable Extremal Regions, MSER)、GFTT(Good Features To Track Detector)、哈里斯邊角偵測(Harris Corner Detector)、SimpleBlobDetector，但不在此限。

請參閱第二圖，其為本發明之一實施例之系統示意圖。如圖所示，本發明之智慧藥物取樣與標註系統，包含: 伺服器1、取樣模組2、標註模組3及訓練模組4，其中，標註模組3係分別與伺服器1及取樣模組2訊號連接，及訓練模組4係分別與伺服器1及取樣模組2訊號連接，並詳細說明作動方式如下:

伺服器1係包含資料庫11，資料庫11係儲存匹配資訊。

取樣模組2係用於取得樣本之外觀資訊，即擷取待標註藥品之待標註外觀資訊，以及擷取藥品之預設外觀資訊。

標註模組3係以演算法取得待標註外觀資訊之特徵點，並將特徵點與匹配資訊進行比對，最終產生標註資訊，其中，較佳的，演算法可以選自特徵比對法SIFT(Scale-Invariant Feature Transform)、樣板比對法(Match Template)或上述之組合，但不在此限。

訓練模組4係根據藥品之預設外觀資訊及其對應之藥物資訊進行訓練，而產生匹配資訊。

請參閱第三圖及第四圖，其為本發明之一實施例之設備方塊圖及部分設備示意圖。如圖所示，本發明之藥物取樣與標註設備，包含: 殼體5、擷取裝置6、輸入裝置7、邊緣運算模組8及光源模組9，其中，邊緣運算模組8係分別與輸入裝置7及擷取裝置6訊號連接，並詳細說明作動方式如下:

殼體5係包含取樣空間51，取樣空間51可以提供置放欲進行取樣之樣本A，此處的樣本A可以是藥品及待標註藥品，於一實施例中，殼體5設有轉盤52，此一轉盤52提供置放藥品及待標註藥品，且，轉盤52將會旋轉，而使得擷取裝置6可以擷取多種角度之待標註外觀資訊與預設外觀資訊，但不在此限。

於一實施例中，當欲擷取外觀影像時，首先，擷取樣本A之A面外觀影像，並取得其對應之定位資訊，接續旋轉轉盤52使樣本A移至B面，並擷取B面外觀影像，並取得其對應之定位資訊，接續旋轉轉盤52使樣本A移至C面，並擷取C面外觀影像，並取得其對應之定位資訊，接續旋轉轉盤52使樣本A移至D面，並擷取D面外觀影像，並取得其對應之定位資訊，由前一定位資訊可以了解後續每一個外觀影像對應位置，此時，當樣本A的A面、B面、C面及D面之外觀影像收集齊全後，即可得知A面、B面、C面及D面的所有相對位置，使得匹配精準度更高。

於一實施例中，殼體5可以呈現圓柱狀，且，設有蓋體(圖未示)，當藥品或待標註藥品置入取樣空間51後，蓋體將會關閉，使整個取樣空間51形成封閉空間，此時，當擷取裝置6開始對當藥品或待標註藥品進行取樣時，則可以維持光源的一致性，也降低背景干擾取樣與標註的精準度，但不在此限。

擷取裝置6係設置於取樣空間51之一側，用以擷取待標註藥品之待標註外觀資訊，及擷取藥品之預設外觀資訊，在此一情形下，擷取裝置6可以與待標註藥品及藥品具有相同的焦距，使得其所擷取之待標註外觀資訊與預設外觀資訊角度及背景相似，以此降低背景雜訊干擾。

輸入裝置7輸入對應藥品之藥物資訊。

邊緣運算模組8係根據待標註外觀資訊進行運算，以產生特徵點，再以特徵點與匹配資訊進行比對，產生標註資訊，其中，匹配資訊係根據預設外觀資訊及藥物資訊進行訓練而產生。

光源模組9係設置於取樣空間51之一側，用以提供光源給藥品及待標註藥品，使擷取裝置6在擷取外觀影像時，能夠取得更加清晰之外觀影像，於一實施例中，光源模組9與擷取裝置6設置於同一側，較佳的，可以在取樣空間51的頂部位置，並且，光源模組9之發光件可以環設於頂部位置，使光源更加均勻地分布於藥品及待標註藥品上，但不在此限。

為更清楚的說明本發明之一實施例之作動流程，請參閱第五A圖至第五B圖，其為本發明之一實施例之實施流程示意圖，並說明如下:

擷取藥品之預設外觀資訊及對應之藥物資訊進行訓練，以生成深度學習相關之訓練檔案，即匹配資訊，接續匹配資訊即可以作為待標註藥品之待標註外觀資訊的特徵比對之參考樣本，並藉由演算法找出待標註外觀資訊特徵點分布，而可以自動的產生對應之標註資訊，其過程耗費時間約0.12ms。

其中，從圖中可以看出，人工標註(綠框)與自動化標註(紅框)的差異，其採用IOU算法(Intersection Over Union)進行運算，可以得到數值0.92/1，即人工標註與自動標註的相似度很高，即表示自動化標註具備高品質及客觀性。

綜上所述，本發明提供一種智慧藥物取樣與標註方法、系統及其設備，其係以匹配資訊比對待標註藥品之待標註外觀資訊，而可以自動化的進行標註，以解決習知主觀性及標註困難等缺失，大幅降低人力與時間成本，提高標註效率與精準度，而可以達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例，但不能以此限定本發明實施之範圍；故，凡依本發明申請專利範圍及說明書內容所做之簡單的等效改變與修飾，皆仍屬本發明專利涵蓋之範圍內。

1:伺服器 11:資料庫 2:取樣模組 3:標註模組 4:訓練模組 5:殼體 51:取樣空間 52:轉盤 6:擷取裝置 7:輸入裝置 8:邊緣運算模組 9:光源模組 S1:步驟 S2:步驟 S3:步驟 S4:步驟 S5:步驟 S6:步驟 S7:步驟 S8:步驟

第一A圖: 其為本發明之一實施例之方法流程圖；第一B圖: 其為本發明之一實施例之部分方法流程圖；第二圖: 其為本發明之一實施例之系統示意圖；第三圖: 其為本發明之一實施例之設備方塊圖；第四圖: 其為本發明之一實施例之部分設備示意圖；第五A圖: 其為本發明之一實施例之實施流程示意圖；及第五B圖: 其為本發明之一實施例之實施流程示意圖。

S1:步驟

S2:步驟

S3:步驟

S4:步驟

Claims

一種智慧藥物取樣與標註方法，步驟包含：以一取樣模組擷取一待標註藥品之一第一外觀影像及一第一定位資訊；以一標註模組運算該第一外觀影像及該第一定位資訊，產生對應之一待標註外觀資訊；該標註模組係以一伺服器之一匹配資訊比對該待標註外觀資訊，產生對應之一特徵點；及以該標註模組篩選該特徵點，產生一標註資訊；其中，更包含步驟：以該取樣模組擷取一藥品之一第二外觀影像及一第二定位資訊；以該標註模組運算該第二外觀影像及該第二定位資訊，產生對應之一預設外觀資訊；以一輸入裝置輸入對應該預設外觀資訊之一藥物資訊；及以一訓練模組訓練該預設外觀資訊及該藥物資訊，生成該匹配資訊；其中，該第一定位資訊係該第一外觀影像對應之順序及位置，及該第二定位資訊係該第二外觀影像對應之順序及位置；其中，該特徵點係由該標註模組以一演算法從該待標註外觀資訊提取感興趣之多個關鍵點，並於每一關鍵點提取每一區域的特徵，計算並篩選出距離最小的特徵點；其中，該演算法選自FAST(Fast Feature Detector)、STAR(Star Feature Detector)、加速穩健特徵(Speeded Up Robust Features,SURF)、ORB(Oriented Fast and Rotated Brief)、BRISK(Binary Robust Invariant Scalable Keypoints)、最大穩定極值區域(Maximally Stable Extremal Regions,MSER)、GFTT(Good Features To Track Detector)、哈里斯邊角偵測(Harris Corner Detector)、SimpleBlobDetector。
依據請求項1所述之智慧藥物取樣與標註方法，其中，該演算法選自特徵比對法SIFT(Scale-Invariant Feature Transform)、樣板比對法(Match Template)或上述之組合。
一種智慧藥物取樣與標註系統，包含：一伺服器，包含一資料庫，該資料庫儲存一匹配資訊；一取樣模組，用以擷取一待標註藥品之一待標註外觀資訊；一標註模組，分別與該伺服器及該取樣模組訊號連接，以一演算法取得該待標註外觀資訊之一特徵點，並以該特徵點與該匹配資訊進行比對，產生一標註資訊；及一訓練模組，分別與該伺服器及該取樣模組訊號連接，以該取樣模組擷取一藥品之一預設外觀資訊及對應之一藥物資訊，該訓練模組以該預設外觀資訊及該藥物資訊進行訓練，產生該匹配資訊；其中，該特徵點係由該標註模組以該演算法從該待標註外觀資訊提取感興趣之多個關鍵點，並於每一關鍵點提取每一區域的特徵，計算並篩選出距離最小的特徵點；其中，該演算法選自FAST(Fast Feature Detector)、STAR(Star Feature Detector)、加速穩健特徵(Speeded Up Robust Features,SURF)、ORB(Oriented Fast and Rotated Brief)、BRISK(Binary Robust Invariant Scalable Keypoints)、最大穩定極值區域(Maximally Stable Extremal Regions,MSER)、GFTT(Good Features To Track Detector)、哈里斯邊角偵測(Harris Corner Detector)、SimpleBlobDetector。
依據請求項3所述之智慧藥物取樣與標註系統，其中，該演算法選自特徵比對法SIFT(Scale-Invariant Feature Transform)、樣板比對法(Match Template)或上述之組合。
一種藥物取樣與標註設備，包含：一殼體，包含一取樣空間，該取樣空間係提供置放一藥品及一待標註藥一擷取裝置，設置於該取樣空間之一側，用以擷取該待標註藥品之一待標註外觀資訊，及擷取該藥品之一預設外觀資訊；一輸入裝置，輸入對應於該藥品之一藥物資訊；及一邊緣運算模組，分別與該輸入裝置及該擷取裝置訊號連接，根據該待標註外觀資訊進行運算，產生對應之一特徵點，以該特徵點與一匹配資訊進行比對，產生一標註資訊，以及根據該預設外觀資訊及對應之該藥物資訊進行訓練，以產生該匹配資訊；其中，該匹配資訊係由一訓練模組以該預設外觀資訊及該藥物資訊進行訓練；其中，該特徵點係以一演算法從該待標註外觀資訊提取感興趣之多個關鍵點，並於每一關鍵點提取每一區域的特徵，計算並篩選出距離最小的特徵點；其中，該演算法選自FAST(Fast Feature Detector)、STAR(Star Feature Detector)、加速穩健特徵(Speeded Up Robust Features,SURF)、ORB(Oriented Fast and Rotated Brief)、BRISK(Binary Robust Invariant Scalable Keypoints)、最大穩定極值區域(Maximally Stable Extremal Regions,MSER)、GFTT(Good Features To Track Detector)、哈里斯邊角偵測(Harris Corner Detector)、SimpleBlobDetector。
依據請求項5所述之藥物取樣與標註設備，包含一光源模組，設置於該取樣空間之一側，用以提供一光源。
依據請求項5所述之藥物取樣與標註設備，其中，該殼體設有一轉盤，該轉盤提供置放該藥品及該待標註藥品，該轉盤係旋轉使該擷取裝置擷取多種角度之該待標註外觀資訊與該預設外觀資訊。