[go: up one dir, main page]

TWI847016B - 提高偵測隱形眼鏡邊緣缺陷與其他缺陷的電腦實施處理方法 - Google Patents

提高偵測隱形眼鏡邊緣缺陷與其他缺陷的電腦實施處理方法 Download PDF

Info

Publication number
TWI847016B
TWI847016B TW110106710A TW110106710A TWI847016B TW I847016 B TWI847016 B TW I847016B TW 110106710 A TW110106710 A TW 110106710A TW 110106710 A TW110106710 A TW 110106710A TW I847016 B TWI847016 B TW I847016B
Authority
TW
Taiwan
Prior art keywords
image
computer
processing method
edge
implemented processing
Prior art date
Application number
TW110106710A
Other languages
English (en)
Other versions
TW202202831A (zh
Inventor
循威 黄
庫達普拉 帕倫馬許瓦拉 史瑞凡斯
Original Assignee
新加坡商億美人工智慧私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商億美人工智慧私人有限公司 filed Critical 新加坡商億美人工智慧私人有限公司
Publication of TW202202831A publication Critical patent/TW202202831A/zh
Application granted granted Critical
Publication of TWI847016B publication Critical patent/TWI847016B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9583—Lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Eyeglasses (AREA)

Abstract

本發明係關於一種針對深度學習神經網路架構，以使用高解析度影像來建立物體偵測模型的電腦實施處理方法。更具體是，本發明旨在提高隱形眼鏡中邊緣檢測的分類精度和可靠性。本發明為一種呈現軟體架構的電腦實施處理方法，該軟體架構包含呈現應用程式核心功能模組的軟體組件及其相互依存關係。本發明的系統和方法在於捕捉高解析度影像；將鏡片的圓形邊緣轉置為呈現圓形邊緣的水平線；通過消除邊緣周圍的像素資料來限制該影像大小；將該水平邊緣影像劃分為多個重疊部分；及將該等已擷取影像垂直堆疊以形成單一高解析度影像，該影像非常適合在增強具有由生成對抗網路(Generative Adversarial Network)所產生新影像的原始影像資料叢集(Dataset)之後，由卷積神經網路(Convolution Neural network)進行處理和分析，以實現缺陷的準確分類。

Description

提高偵測隱形眼鏡邊緣缺陷與其他缺陷的電腦實施處理方法
本發明係關於通過擷取特定相關像素資料並去除不相關資料，以獲得和維持隱形眼鏡的高解析度影像，從而就準確性和速度而言提高影像分類處理的效率。通過重新排列和重建影像可提高效率，其中重新排列和重建影像有助於使用神經網路加速檢測系統訓練，並在自動系統中隱形眼鏡檢測期間應用經過訓練的決策模型。
隱形眼鏡缺陷檢測系統和方法繼續朝向提高效率的方向發展，同時降低成本。模式識別、影像關聯、直方圖均衡(Histogram equalization)、不連續色調混色(Dithering)等為檢測方法中常用的一些常見影像處理演算法。隨著缺陷檢測標準變得更加嚴格，實施其他演算法以提高耗時的檢測效率。每增加一演算法都會增加檢測時間，從而降低工作效率。CPU速度、先進GPU(繪圖處理單元)、高速記憶體等的技術改進有助於提高影像處理速度，但是從高解析度 相機獲取的影像尺寸不斷增加卻只會降低工作效率。因此，認真研究重新配置高解析度影像以幫助檢測處理，實現高精度和可重複性的軟體方法至關重要。
神經網路提供在不犧牲檢測系統品質和工作效率的情況下，提高檢測品質的新途徑。然而，隨著影像尺寸顯著增加，導入影像壓縮演算法以最小化像素資料，從而導致關鍵缺陷資料的劣化。因此，檢測品質受到影響，並且下一處理的效率受到影響。神經網路在中等大小的影像上效率更高。影像大小的增加會對神經網路和深度學習方法的性能產生負面影響。
當前技術缺乏在不損害檢測品質的情況下使用軟體方法，特別是當微缺陷識別和特徵擷取是檢測系統在處理高解析度影像時的基本要求時。
本發明提倡使用電腦實施處理方法，該處理方法藉由結合高性能CPU支援的高解析度相機、GPU輔助的高速記憶體來通過識別和丟棄不重要像素資料，並僅保留重要區域來偵測缺陷(即邊緣)，以分析和處理最佳化的影像。電腦實施處理方法提供一未壓縮的最佳化影像，但可對其進行預處理以最大程度減少冗餘像素資料，並對未壓縮影像應用平滑技術以增強缺陷候選項，從而實現更好的偵測。在識別鏡片內缺陷的情況下，高解析度影像分為數個最佳和預定的影像大小，這些影像更適合通過深度學習模組(由用於特徵擷取和分類的多個神經網路模組所構成)加速處理。重要的是要注意，即使在鏡片內識別出缺陷的情況下，當從原始影像重新排列或擷取影像時也不會施加影像壓縮。
減少或重新排列影像的優點之一是消除鏡片邊緣周圍的冗餘像素。隨後，通過同時將影像劃分為預定大小的影像，這些影像很容易被深度學習模組處理，以提高速度和準確性。
本發明的多個目的之一是提供一種隱形眼鏡圓形邊緣的高解析度和最佳化預處理影像，而不會壓縮或扭曲像素資料。
本發明的另一態樣為採用一種有助於更快處理影像的方式，以重構和重新排列隱形眼鏡的圓形邊緣。這通過偵測圓形隱形眼鏡的邊緣、展開邊緣並將其轉換為水平邊緣來實現。通過刪除邊緣周圍的冗餘像素資料以最小化影像大小，可進一步進行影像最佳化。
將像素排列為水平和垂直邊緣的多個優點之一為改善該處理，這有助於演算法更快處理該等影像。換句話說，基本上改善處理速度。該演算法可為一邊緣偵測演算法。
垂直堆疊預定大小的影像(影像區域段)以形成正方形影像的另一優點是正方形影像的長度和寬度相同，例如，當掃描正方形影像時，逐一像素比掃描矩形影像需要更少的計算。優點在於計算速度，不過計算次數並未減少。例如，相較於矩形影像，處理正方形影像要快得多。
本發明的另一目的為進一步重新排列水平邊緣，該水平邊緣被分成彼此重疊的較小長度，並且將其彼此堆疊，以產生具有所有邊緣資料的正方形影像，這適合任何神經網路輸入層的需求，並避免使用冗餘的黑色像素資料填充影像來實現正方形大小。
本發明的另一目的為建立一組分析模組，以在建構用於機器學習的檢測系統期間幫助訓練電腦實施處理。
本發明之另一目的為應用一種生成對抗網路演算法來進一步變換所分割的影像，以產生類似於原始缺陷的多個全新、真實缺陷特徵。新生成的影像用於在建構用於機器學習的檢測系統期間，進一步強化電腦實施處理的訓練。
本發明的其他態樣包括本發明前述態樣之一或多者的各種組合，以及如在以下實施方式中發現或可從其衍生的本發明各個具體實施例之一或多個組合。應當理解，本發明的前述態樣也具有相應的電腦實施處理，這也屬於本發明態樣。另應瞭解，熟習該項技藝者可從以下對本發明特定具體實施例的詳細描述及從根據本發明的系統描述和特定具體實施例中，得出本發明的其他具體實施例。
10,30:系統
12,32:獲取處理動作
14:擷取處理動作
16:轉置處理動作
18:消除處理動作
20:分割處理動作
22:堆疊處理步驟
24,40:結束
33:定位處理動作
34:繪製處理步驟
35:填色處理步驟
36:可編程分割處理動作
38:深度學習擷取處理動作
50:鏡片
51:缺陷
58:影像
65:正方形影像
66:高解析度影像
70:分割影像
500,502,504,506,508:像素區域段
600,602,604,606,608,610,612,614,616:部分
A1-A2,52,53,54,55:位置
從以下描述、申請專利範圍和附圖將變得更瞭解本發明的具體特徵、態樣和優點，其中：圖1為描述訓練隱形眼鏡檢測系統以識別隱形眼鏡邊緣周圍缺陷及其在不同標準下後續分類的步驟流程圖，以實現本發明的多個具體實施例之一。
圖1a為描述訓練隱形眼鏡檢測系統以識別隱形眼鏡之內缺陷及其在不同標準下後續分類的步驟流程圖，以實現本發明的另一具體實施例。
圖2為隱形眼鏡邊緣的影像圖示。
圖2a為隱形眼鏡邊緣在極性變換之後的影像圖示。
圖3為圖2所示邊緣按特定順序堆疊的擷取區域之影像圖示。
圖4為適合在鏡片內進行缺陷檢測的隱形眼鏡高解析影像之影像圖示。
圖5為在識別要擷取區域之後的圖4所示影像圖示。
圖6為在擷取要當成下一處理的輸入之各別重疊區域之後的圖5所示影像圖示。
在下列本發明較佳具體實施例的說明中將會參考附圖，將參考形成其一部分的附圖，並且其中藉由說明實踐本發明實施的特定具體實施例來顯示。應瞭解到，在不悖離本發明精神的前提之下，可利用其他具體實施例並進行結構性修改。
圖1顯示根據本發明的系統和方法之一般流程圖。通過在獲取處理動作12中獲取隱形眼鏡的高解析度影像來開始系統10。然後在擷取處理動作14中處理所獲取的影像，以擷取鏡片圓形邊緣。然後在轉置處理動作16中，將擷取的圓形邊緣轉置為水平影像。在消除處理動作18中，消除水平邊緣周圍的無關像素資料，以最小化影像大小。隨後在分割處理動作20中，將水平邊緣影像分割成數個重疊的影像。所分割的影像集合逐一堆疊，形成隱形眼鏡邊緣的高解析度影像，以在堆疊處理步驟22中進行分析。堆疊處理步驟22中的重建和重新排列影像可隨後用來當成深度學習模組的輸入，以進行訓練和分析。處理流程結束於步驟24。
圖1a顯示根據本發明的系統和方法之另一具體實施例的一般性流程圖。通過在獲取處理動作32中獲取隱形眼鏡的高解析度影像來開始系統30。然後在定位處理動作33中處理該影像，以定位鏡片圓形邊緣。在繪製處理步驟34中繪製一正方形，緊密包圍隱形眼鏡的圓形邊緣。在填色處理步驟35中，用深色 像素填充鏡片圓形邊緣的預定區域外之像素資料。該預定區域可為16 x 16至128 x 128像素。然後在可編程分割處理動作36中，將隱形眼鏡影像分成具有重疊影像的預定大小。該預定大小可為相等大小，或者該預定大小可為不同大小。在深度學習擷取處理動作38中，擷取影像中的標記區域並分開儲存，以當成深度學習模組的輸入來進行訓練和分析。處理流程結束於步驟40。
上面已描述根據本發明的一般系統和方法，接下來的段落提供上述處理動作的細節。
圖2為圖1所示處理流程圖的示意圖。在圖2中，鏡片50表示隱形眼鏡的高解析度影像。在圖2中，缺陷51呈現撕裂缺陷，並且在策略上定位成使熟習該項技藝者能夠理解隱形眼鏡的圓形邊緣之展開概念，將在下文中討論。如圖2a所示，將鏡片50展開或轉置為從A1-A2開始的水平影像，此為鏡片50與圖2所示黑色陰影內圈510之間的區域。如圖2a中的像素區域段500、502、504、506和508所示，圖2所示的外圓經過水平轉置。像素區域可具有相等的大小或具有不同(但相等)的大小。如圖2a所示，圖2a的影像區域段500在位置A1-A2之前開始，並且在與影像區域段502重疊的位置52之後結束。圖2a中的影像區域段502在影像區域段500中的位置52之前開始，並在重疊到影像區域段504中的位置53之後結束。圖2a中的影像區域段504在影像區域段502中的位置53之前開始，並在重疊到影像區域段506中的位置54之後結束。圖2a中的影像區域段506在影像區域段504中的位置54之前開始，並在重疊到影像區域段508中的位置55之後結束。圖2a中的影像區域段508在影像區域段506中的位置55之前開始，並在重疊到影像區域段500中的位置A1-A2之後結束。重疊到相鄰段中的這種方法之一優點在於，確保不會遺失或忽略影像邊緣周圍的區域，重要的是要注意缺陷51在圖2a所示 的未包圍影像中之位置。在圖3中，影像58包括影像區域段500、502、504、506和508，其中由於重疊，影像區域段500、502、504、506和508在垂直方向上包含較大區域。如圖3所示，影像區域段500、502、504、506和508依次堆疊在一起，以形成正方形影像58。自動計算段數和每段的寬度，以在堆疊時產生正方形影像。重要的是要注意，影像58的正方形形狀由隨後的處理步驟決定。如果下一處理步驟需要不同設置的影像形狀或尺寸，則將在影像佈置期間滿足這些要求。圖3中的影像為隱形眼鏡邊緣的高解析度影像。圖3中的影像可作為輸入影像應用於由神經網路組成的深度學習模組，這些模組有助於加速訓練和分析。再次，重要的是要注意圖3所示堆疊影像58中撕裂缺陷51的位置。
圖4例示隱形眼鏡的影像。圖4為圖1a所示處理流程圖的示意圖。在圖4中，66表示位於正方形影像65包圍中的隱形眼鏡之高解析度影像。首先偵測隱形眼鏡的外緣，然後繪製外邊界，隨後在像素的外邊界和外緣之間填充深色像素。鏡片66的圓形邊緣和正方形65所界定的區域填入深色像素，因為這對於檢測而言並不重要。一旦通過邊緣偵測演算法識別出鏡片邊緣，就將圖4中大小為X1，Y1的隱形眼鏡之高解析度影像分割為彼此重疊的多個影像段。影像可具有相等的大小或不同的大小。影像分割可用許多方式進行。一種方法就是定義和繪製影像的邊界，一旦繪製邊界，就可計算整個影像的大小。為了說明起見，圖5中大小為X1，Y1的高解析度影像分為九個相等的部分600、602、604、606、608、610、612、614、616。每個分割影像最好具有適合由繪圖處理單元和深度學習軟體模組進行高速處理的特定尺寸。預先確定分割後的影像大小X'，Y'，以在訓練神經網路之前更好地分析缺陷特徵並提高效率。圖6的70顯示大小為X'，Y'的典型分割影像。
此時已描述本發明的一些具體實施例，熟習該項技藝者應明白，前述內容僅為例示性而非限制性，僅以範例的方式呈現出來。許多修改和其他具體實施例在熟習該項技藝者的範疇內，並且被認為落在由申請專利範圍及其同等項所限定的本發明範圍內。
10:系統
12:獲取處理動作
14:擷取處理動作
16:轉置處理動作
18:消除處理動作
20:分割處理動作
22:堆疊處理步驟
24:結束

Claims (10)

  1. 一種使用神經網路建立物體偵測模型以提高檢測效率的電腦實施處理方法，係包括使用至少一高性能處理器、快速存取記憶體和數個平行繪圖處理單元，該方法包含：該物體的一未壓縮高解析度影像；通過應用平滑演算法對該影像進行預處理，以增強缺陷資訊而無需壓縮像素資料；分割該預處理影像並通過將其重構為最適合輸入該繪圖處理單元的正方形區域，以執行尺寸正歸化；將深度學習演算法應用於該預處理影像，以擷取每個影像中的特徵資訊，幫助機器學習和訓練；通過神經網路的應用，將已擷取和已校正的特徵資訊分成為數類；將通過應用對抗網路生成的新影像中擷取之特徵類別重新分類為已最佳化和未壓縮的影像；建立在影像中偵測到所擷取特徵的廣泛資料庫，以供未壓縮影像的微缺陷檢測；將神經網路與領域知識資料庫結合使用，以快速高效檢測新裝置。
  2. 如請求項1之電腦實施處理方法，其更包含移除與已檢測缺陷無關的冗餘資料。
  3. 如請求項1之電腦實施處理方法，其更包含移除冗餘資料並用深色像素取代，以提高神經網路的精確度。
  4. 如請求項1之電腦實施處理方法，其更包含擷取一圓形物體的邊緣並將其與重疊區域水平轉置，以擷取一圓形物體的邊緣並將其展開為一水平線，然後將此線分為多個具有重疊區域的線段，以免在連接兩相鄰邊緣時遺失任何像素資訊。
  5. 如請求項4之電腦實施處理方法，其更包含將每一水平區域逐一堆疊，以建立正歸化的正方形影像來進一步分析之處理。
  6. 如請求項5之電腦實施處理方法，其中使用深度學習模組對該未壓縮的影像進行處理，以根據任意特定時間上該處理步驟對該物體進行訓練、分析或檢測。
  7. 如請求項1之電腦實施處理方法，其更包含追蹤一圓形物體的輪廓，並將一圓形區域分成多個重疊正方形，以最佳化輸入該繪圖處理單元。
  8. 如請求項7之電腦實施處理方法，其中擷取該等重疊正方形區域並用黑色像素填充圓形邊緣外的所有冗餘像素之處理可提高精度。
  9. 如請求項8之電腦實施處理方法，其中通過對已擷取缺陷的特徵和特性進行分析和分類之處理，以進一步提高所積累領域知識資料庫之效率。
  10. 如請求項9之電腦實施處理方法，其中新物體的缺陷檢測是在製程中使用通過深度學習模組建構的領域知識來執行，以實現高精度和高速可重複性。
TW110106710A 2020-02-25 2021-02-25 提高偵測隱形眼鏡邊緣缺陷與其他缺陷的電腦實施處理方法 TWI847016B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10202001656V 2020-02-25
SG10202001656VA SG10202001656VA (en) 2020-02-25 2020-02-25 A computer implemented process to enhance edge defect detection and other defects in ophthalmic lenses

Publications (2)

Publication Number Publication Date
TW202202831A TW202202831A (zh) 2022-01-16
TWI847016B true TWI847016B (zh) 2024-07-01

Family

ID=77176356

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110106710A TWI847016B (zh) 2020-02-25 2021-02-25 提高偵測隱形眼鏡邊緣缺陷與其他缺陷的電腦實施處理方法

Country Status (7)

Country Link
US (1) US11816824B2 (zh)
JP (2) JP7742624B2 (zh)
CN (1) CN113376182A (zh)
DE (1) DE102021201767A1 (zh)
MY (1) MY207212A (zh)
SG (1) SG10202001656VA (zh)
TW (1) TWI847016B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488020B2 (en) * 2020-06-02 2022-11-01 Sap Se Adaptive high-resolution digital image processing with neural networks
US12051191B2 (en) * 2021-07-28 2024-07-30 Coopervision International Limited Systems and methods for acquiring and inspecting lens images of ophthalmic lenses
CN114862867A (zh) * 2021-12-27 2022-08-05 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN116055778B (zh) * 2022-05-30 2023-11-21 荣耀终端有限公司 视频数据的处理方法、电子设备及可读存储介质
CN115222658B (zh) * 2022-06-01 2025-12-02 湖南长步道光学科技有限公司 一种多工位并行镜片缺陷检测方法和装置
CN114782288A (zh) * 2022-06-22 2022-07-22 深圳市润之汇实业有限公司 基于图像的透镜生产工艺监督方法、装置、设备及介质
CN115661451A (zh) * 2022-10-20 2023-01-31 北京航空航天大学 一种深度学习单帧红外弱小目标高分辨率分割方法
CN116506595B (zh) * 2023-05-26 2025-08-26 深圳中科软件科技有限公司 一种摄像头外观检测方法
US20250095157A1 (en) * 2023-09-19 2025-03-20 Jered Donald Aasheim System and method for field line reconstruction within video of american football
KR20250164892A (ko) * 2024-05-17 2025-11-25 충북대학교 산학협력단 인공지능을 이용한 콘택트렌즈 중심점 이탈 거리 측정 장치 및 방법
CN119338797B (zh) * 2024-10-22 2025-09-30 平方和(北京)科技有限公司 一种基于极坐标系下的高精度多光场隐形眼镜边缘瑕疵检测方法及装置
CN120107195B (zh) * 2025-02-17 2025-09-16 灵宝宝鑫电子科技有限公司 基于机器学习的铜箔表面缺陷检测方法、系统及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1374509A (zh) * 1992-12-21 2002-10-16 庄臣及庄臣视力产品有限公司 自动检验眼镜片的方法和系统
TW201350838A (zh) * 2012-06-08 2013-12-16 Power Assist Instr Scient Corp 隱形眼鏡邊緣檢測裝置
US10262229B1 (en) * 2015-03-24 2019-04-16 Hrl Laboratories, Llc Wide-area salient object detection architecture for low power hardware platforms
CN109804302A (zh) * 2017-01-27 2019-05-24 卡尔蔡司股份公司 用于确定眼镜镜片边缘的表示的方法和设备及计算机程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011025451A1 (en) * 2009-08-24 2011-03-03 Singapore Health Services Pte Ltd A method and system of determining a grade of nuclear cataract
JP2014178229A (ja) 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd 教師データ作成方法、画像分類方法および画像分類装置
JP6390746B2 (ja) 2016-09-01 2018-09-19 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
US11501429B2 (en) * 2017-07-19 2022-11-15 Altius Institute For Biomedical Sciences Methods of analyzing microscopy images using machine learning
CN108074231B (zh) * 2017-12-18 2020-04-21 浙江工业大学 一种基于卷积神经网络的磁片表面缺陷检测方法
CN110261410A (zh) * 2019-05-24 2019-09-20 西安交通大学 一种玻璃透镜缺陷的检测装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1374509A (zh) * 1992-12-21 2002-10-16 庄臣及庄臣视力产品有限公司 自动检验眼镜片的方法和系统
TW201350838A (zh) * 2012-06-08 2013-12-16 Power Assist Instr Scient Corp 隱形眼鏡邊緣檢測裝置
US10262229B1 (en) * 2015-03-24 2019-04-16 Hrl Laboratories, Llc Wide-area salient object detection architecture for low power hardware platforms
CN109804302A (zh) * 2017-01-27 2019-05-24 卡尔蔡司股份公司 用于确定眼镜镜片边缘的表示的方法和设备及计算机程序

Also Published As

Publication number Publication date
SG10202001656VA (en) 2021-09-29
JP7742624B2 (ja) 2025-09-22
KR20210108338A (ko) 2021-09-02
DE102021201767A1 (de) 2021-08-26
US20210264585A1 (en) 2021-08-26
CN113376182A (zh) 2021-09-10
TW202202831A (zh) 2022-01-16
JP2025170406A (ja) 2025-11-18
US11816824B2 (en) 2023-11-14
JP2021152886A (ja) 2021-09-30
MY207212A (en) 2025-02-06

Similar Documents

Publication Publication Date Title
TWI847016B (zh) 提高偵測隱形眼鏡邊緣缺陷與其他缺陷的電腦實施處理方法
CN107808141A (zh) 一种基于深度学习的输电线路绝缘子爆裂识别方法
CN112070649B (zh) 一种去除特定字符串水印的方法及系统
CN114943729B (zh) 一种高分辨率细胞图像的细胞计数方法及系统
CN117422970A (zh) 基于YOLOv8改进的缺陷PCB检测方法
Jiang et al. Some further results of experimental comparison of range image segmentation algorithms
CN114266894B (zh) 一种图像分割方法、装置、电子设备及存储介质
CN110880000A (zh) 图片文字定位方法、装置、计算机设备和存储介质
CN117173225A (zh) 一种用于复杂pcb的高精度配准方法
CN111753782A (zh) 一种基于双流网络的假脸检测方法、装置及电子设备
CN113657539A (zh) 基于两阶段检测网络的显示面板微缺陷检测方法
WO2017041552A1 (zh) 纹理特征提取方法及装置
CN116612294A (zh) 一种基于两阶段yolo的超大图像目标检测方法及装置
CN116433978A (zh) 一种高质量瑕疵图像自动生成与自动标注方法及装置
CN112070689A (zh) 一种基于深度图像的数据增强方法
CN110008949A (zh) 一种图像目标检测方法、系统、装置和存储介质
CN114647361A (zh) 一种基于人工智能的触摸屏物体定位方法及装置
CN117474916B (zh) 一种图像检测方法、电子设备及存储介质
CN114049625B (zh) 基于新型图像收缩方法的多方向文本检测方法
KR102922613B1 (ko) 안과 렌즈의 에지 결함 및 다른 결함의 검출을 향상시키기 위한 컴퓨터 구현 프로세스
CN118071785A (zh) 用于芯片版图级的标准单元自动提取方法及装置
EP4434010A1 (en) Machine learning system and method for object-specific recognition
CN111435448A (zh) 图像显著性物体检测方法、装置、设备及介质
CN116758302A (zh) 基于边缘完整清晰性和双流网络的图像显著目标检测方法
CN116386064A (zh) 图像文本的检测方法、装置、设备和可读存储介质