[go: up one dir, main page]

JP2018180545A - 欠陥検出方法、欠陥検出のためのシステムおよび訓練方法 - Google Patents

欠陥検出方法、欠陥検出のためのシステムおよび訓練方法 Download PDF

Info

Publication number
JP2018180545A
JP2018180545A JP2018079940A JP2018079940A JP2018180545A JP 2018180545 A JP2018180545 A JP 2018180545A JP 2018079940 A JP2018079940 A JP 2018079940A JP 2018079940 A JP2018079940 A JP 2018079940A JP 2018180545 A JP2018180545 A JP 2018180545A
Authority
JP
Japan
Prior art keywords
patches
image
defects
defect
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018079940A
Other languages
English (en)
Other versions
JP6917943B2 (ja
JP2018180545A5 (ja
Inventor
承 煥 李
Janghwan Lee
承 煥 李
チャン イーウェイ
Yiwei Zhang
チャン イーウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of JP2018180545A publication Critical patent/JP2018180545A/ja
Publication of JP2018180545A5 publication Critical patent/JP2018180545A5/ja
Application granted granted Critical
Publication of JP6917943B2 publication Critical patent/JP6917943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/08—Fault-tolerant or redundant circuits, or circuits in which repair of defects is prepared
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】 欠陥検出のためのシステムおよびそのシステムを用いた欠陥検出方法を提供する。【解決手段】ディスプレイパネルで画像の一つ以上の欠陥を検出する方法は、 前記ディスプレイパネルの前記画像を受信することと、前記画像を複数のパッチに分割することと、前記複数のパッチに対する複数の特徴ベクトルを生成することと、マルチクラスサポートベクトルマシン（ＳＶＭ）を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上の欠陥を検出することと、を含み、前記複数のパッチのそれぞれは、ｍ画素×ｎ画素領域（ｍとｎは１より大きいかまたは等しい整数）に対応し、前記複数の特徴ベクトルのそれぞれは、前記複数のパッチのそれぞれに対応し、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含む。【選択図】図２

Description

本発明は、欠陥検出のためのシステムおよびそのシステムを用いた欠陥検出方法に関するものである。
最近、新たなディスプレイ技術が市場に紹介されるにつれてディスプレイ産業が急速に成長している。モバイル装置、ＴＶ、仮想現実（ＶＲ）ヘッドセットおよびその他のディスプレイは、より高い解像度とより正確な色再現でディスプレイを駆動することにおいて持続的な力になった。新たなタイプのディスプレイパネルモジュールおよび生産方法が使用されることにより従来の方法を用いて表面欠陥を検査するのが難しくなった。
本発明は、ディスプレイパネルの画像の欠陥検出の速度および正確性を向上させるためのものである。
本発明の実施形態は、ホワイトスポットのムラ欠陥の検出のような欠陥検出の速度および正確性を向上させるために機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を用いる自動化された検査システムおよび方法に関するものである。一実施形態による自動化された検査システムは、ディスプレイ装置で撮影された画像を受信し、画像を複数のパッチに分割し、各パッチの画像の特徴を計算し、訓練されたサポートベクトルマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いて計算された特徴を用いてホワイトスポットムラのような欠陥を含むパッチを識別する。一実施形態によれば、前記特徴はテクスチャ特徴と画像モーメントの組み合わせを含む。
本発明の一実施形態によって、ディスプレイパネルで画像の一つ以上の欠陥を検出する方法が提供され、前記方法は、前記ディスプレイパネルの前記画像を受信することと、前記画像を複数のパッチに分割することと、前記複数のパッチに対する複数の特徴ベクトルを生成することと、マルチクラスサポートベクトルマシン（ＳＶＭ）を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上の欠陥を検出することと、を含み、前記複数のパッチのそれぞれは、ｍ画素×ｎ画素領域（ｍとｎは１より大きいかまたは等しい整数）に対応し、前記複数の特徴ベクトルのそれぞれは、前記複数のパッチのそれぞれに対応し、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含む。
複数のパッチは、互いに重畳しなくてもよい。
前記複数のパッチの各パッチは、平均的な欠陥の大きさより大きくてもよい。
前記複数のパッチの各パッチは、前記ディスプレイパネルの３２×３２画素領域に対応してもよい。
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列（ＧＬＣＭ）テクスチャ特徴および非類似ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含んでもよい。
前記一つ以上の画像モーメント特徴は、３次中心モーメント（μ30）、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含んでもよい。
前記マルチクラスＳＶＭは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練されてもよい。
前記複数のパッチを分類することは、前記マルチクラスＳＶＭに前記複数のパッチに対する前記複数の特徴ベクトルを提供して、前記複数の特徴ベクトルを基に前記一つ以上の欠陥を識別することと、前記複数のパッチのうちの前記識別された一つ以上の欠陥を含む一つ以上のパッチを欠陥としてラベリングすることと、を含んでもよい。
一実施形態による、ディスプレイパネルで画像の一つ以上の欠陥を検出するためのシステムを訓練する方法が提供され、前記方法は、前記ディスプレイパネルの前記画像を受信することと、前記画像を、前記ディスプレイパネルの前記画像にそれぞれ対応する第１複数のパッチおよび第２複数のパッチに分解することと、それぞれが前記第１および第２複数のパッチのうちの一つに対応し欠陥があるか欠陥がないということを示す複数のラベルを受信することと、それぞれが前記第１および第２複数のパッチのうちの一つに対応し一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含む複数の特徴ベクトルを生成することと、マルチクラスサポートベクトルマシンに前記複数の特徴ベクトルおよび前記複数のラベルを提供することによって一つ以上の欠陥を検出するように前記ＳＶＭを訓練することと、を含む。
前記第２複数のパッチは、前記第１複数のパッチからオフセットされており、前記第１複数のパッチと重畳してもよい。
前記複数のパッチのそれぞれは、前記画像のｍ×ｎ画素領域（ｍおよびｎは１より大きいかまたは等しい整数）に対応してもよい。
前記画像を分解することは、前記ディスプレイパネルの前記画像にそれぞれ対応する第３複数のパッチおよび第４複数のパッチに前記画像をさらに分解することを含み、前記複数のラベルは、前記第３および第４複数のパッチに対応し欠陥があるか欠陥がないということを示す付加的なラベルをさらに含み、前記複数の特徴ベクトルのそれぞれは、前記第１、第２、第３および第４複数のパッチのうちの一つに対応し、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含み、前記第１〜第４複数のパッチのそれぞれは前記画像の３２×３２ピクセル領域に対応し、前記第１〜第４複数のパッチのうちの一つ以上は、前記画像の長さ方向および幅方向のうちの少なくとも一つの方向に１６ピクセルだけ互いにオフセットされていてもよい。
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列（ＧＬＣＭ）テクスチャ特徴と非類似ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含んでもよい。
前記一つ以上の画像モーメント特徴は、３次中心モーメント（μ30）、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含んでもよい。
一実施形態による、ディスプレイパネルで画像の一つ以上の欠陥を検出するためのシステムが提供され、前記システムは、プロセッサーと、前記プロセッサーに接続されているメモリと、を含み、前記メモリは、前記プロセッサーが、前記ディスプレイパネルの前記画像を受信することと、前記画像を複数のパッチに分割することと、前記複数のパッチに対する複数の特徴ベクトルを生成することと、マルチクラスサポートベクトルマシン（ＳＶＭ）を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上の欠陥を検出することと、を実行するようにする指示を保存する。
前記複数のパッチは、互いに重畳せず、前記複数のパッチの各パッチは、平均的な欠陥の大きさより大きくてもよい。
前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列（ＧＬＣＭ）テクスチャ特徴および非類似ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含んでもよい。
前記一つ以上の画像モーメント特徴は、３次中心モーメント（μ30）、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含んでもよい。
前記マルチクラスＳＶＭは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練されていてもよい。
前記複数のパッチのそれぞれを分類することは、前記マルチクラスＳＶＭに前記複数のパッチに対する前記複数の特徴ベクトルを提供して、前記複数の特徴ベクトルを基に前記一つ以上の欠陥を識別することと、前記複数のパッチのうちの前記識別された一つ以上の欠陥を含む一つ以上のパッチを欠陥としてラベリングすること、とを含んでもよい。
本実施形態によれば、ディスプレイパネルの画像の欠陥の検出速度および正確性を向上させることができる。
本発明の実施形態による画像取得および欠陥検出システムのブロック図である。 本発明の実施形態による欠陥検出部のブロック図である。 本発明の実施形態による、訓練モードで画像分解部によって生成されたパッチの複数のセットを示す。 本発明の実施形態による、ディスプレイパネルの分解された画像の中のラベリングされた欠陥を含むパッチを示す。 本発明の実施形態による、ディスプレイパネルの一つ以上の欠陥を検出するための欠陥検出システムを訓練するためのプロセスを示すフローチャートである。 本発明の実施形態による、欠陥検出システムを用いてディスプレイパネルで一つ以上のホワイトスポット欠陥を検出するプロセスを示すフローチャートである。
以下の詳細な説明は本発明によって提供される欠陥検出のためのシステムおよび方法の例示的な実施形態の説明であって、本発明を理解または活用できる唯一の形態を示すものではない。以下の詳細な説明は図示された実施形態に関連して本発明の特徴を説明する。しかし、本発明の思想および範囲内に含まれるように意図された他の実施形態によって同一または均等な機能および構造が達成できる。本明細書の他の部分でも言及された通り、同一な符号または番号は同一な構成要素または特徴を示す。
図１は、本発明の一実施形態による画像取得および欠陥検出システム１００のブロック図である。
図１に示されているように、画像取得および欠陥検出システム１００（以下、単に「欠陥検出システム」という。）は、ディスプレイパネル１０２の画像を用いてディスプレイパネル１０２の欠陥を検出するように構成される。一実施形態によれば、欠陥検出システム１００は、テスト対象のディスプレイパネル１０２でホワイトスポットのムラ欠陥（ｗｈｉｔｅ ｓｐｏｔ Ｍｕｒａ ｄｅｆｅｃｔ）（例えば、輝度非均一性（ｂｒｉｇｈｔｎｅｓｓ ｎｏｎ−ｕｎｉｆｏｒｍｉｔｙ））の存在を検出し、その位置を把握するように構成され得る。一実施形態によれば、ブラックスポット（ｂｌａｃｋ ｓｐｏｔ）、ホワイトストリーク（ｗｈｉｔｅ ｓｔｒｅａｋｓ）、水平ラインムラ（ｈｏｒｉｚｏｎｔａｌ ｌｉｎｅ Ｍｕｒａｓ）、ガラスの欠陥、埃、および斑などのようなディスプレイパネル１０２に存在することがある全ての他のタイプの欠陥を無視して、ホワイトスポットのムラ欠陥のみが検出され得る。
一実施形態によれば、欠陥検出システム１００は、カメラ１０４および欠陥検出部１０６を含む。カメラ１０４は、ディスプレイパネル１０２の上部面（例えば、表示面）の画像（例えば、ＲＡＷ、非圧縮（ｕｎｃｏｍｐｒｅｓｓｅｄ）の画像）を取り込む（ｃａｐｔｕｒｅ）ことができる。一実施形態によれば、ディスプレイパネル１０２は、テストまたは製造設備のコンベヤーベルトに沿って移動していてもよい。一実施形態によれば、画像はディスプレイパネル１０２の上部面の全体の非圧縮の画像（例えば、ＲＡＷ形式の画像）であってもよく、カメラ１０４はディスプレイパネル１０２の全ての画素、またはほとんど全ての画素の画像を取り込むことができる。カメラ１０４は取り込んだ画像を欠陥検出部１０６に伝送することができる。欠陥検出部１０６は画像を分析して欠陥（例えば、ホワイトスポットのムラ欠陥）の存在を検出することができる。
一実施形態によれば、プロセッサー１０８およびプロセッサー１０８に接続されたメモリ１１０を含む欠陥検出部１０６は、取り込まれた画像を検出のための複数のパッチ（ｐａｔｃｈｅｓ）に分割する。パッチは、画像を複数の領域に分割したときの各領域である。その後、訓練された機械学習部（ｔｒａｉｎｅｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｃｏｍｐｏｎｅｎｔ）は、ホワイトスポットのムラ欠陥のような欠陥について各パッチを分析する。一実施形態によれば、機械学習部は、例えばマルチクラスＳＶＭ（ｍｕｌｔｉ−ｃｌａｓｓ ＳＶＭ）のようなサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ,ＳＶＭ）を含む。サポートベクトルマシンは、欠陥を有しているもの（例えば、ホワイトスポットのムラ欠陥）、または欠陥がないものの二つのカテゴリーのうちの一つに入力を分類するように構成されている管理型学習モデル（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）（事前決定された数式ではない。）である。欠陥検出部１０６は各画像パッチに対する特徴の組み合わせを生成し、分類のためにこれらをＳＶＭに提供する。例えば、このような特徴はテクスチャ特徴（ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ）と画像モーメント（ｉｍａｇｅ ｍｏｍｅｎｔｓ）との組み合わせを含むことができる。ＳＶＭは各画像パッチを、欠陥を有するものか有しないもの（例えば、ホワイトスポットムラの場合）に分類し、欠陥（例えば、ホワイトスポットムラの場合）が存在する画像パッチにラベリング（ｌａｂｅｌｉｎｇ）する。ラベリングは、少なくとも、欠陥が存在するパッチ（画像パッチ）にラベル（識別子）を付与することを含む。
一実施形態によれば、ＳＶＭは以下でさらに詳しく説明されるように、操作者１１２によって訓練され得る。操作者１１２は人間操作者であってもよい。
図２は、本発明の一実施形態による欠陥検出部１０６をさらに詳細に示したブロック図である。
図２を参照すれば、欠陥検出部１０６は、画像分解部２００、特徴抽出部２０２およびＳＶＭ（例えば、マルチクラスＳＶＭ）２０４を含む。欠陥検出部１０６は、訓練モードおよび検出モードで動作するように構成される。
一実施形態によれば、画像分解部２００は、訓練モードで動作するとき、カメラ１０４から受信したディスプレイパネルの画像を複数のパッチのセットに分解（例えば、分割または区画）するように構成される。各セットのパッチはディスプレイパネルの画素の全部またはほとんど全部をカバーすることができる。即ち、各セットのパッチは他の全てのセットの対応するパッチと重畳してもよい。
特徴抽出部２０２は、画像分解部２００によって生成された各パッチに対して動作して、各パッチの画像の特徴を抽出する。一実施形態によれば、特徴は一つ以上の画像テクスチャ特徴（テクスチャ特徴とも呼ばれる。）および一つ以上の画像モーメント特徴（画像モーメントとも呼ばれる。）を含む。一実施形態によれば、画像テクスチャ特徴は、コントラストグレーレベル同時生起行列（ｃｏｎｔｒａｓｔ ｇｒｅｙ−ｌｅｖｅｌ ｃｏ−ｏｃｃｕｒｒｅｎｃｅ ｍａｔｒｉｘ、ＧＬＣＭ）テクスチャ特徴および非類似（Ｄｉｓｓｉｍｉｌａｒｉｔｙ）ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含むことができる。なお、グレーレベル同時生起行列テクスチャ特徴は、グレーレベルの同時生起行列を使用したテクスチャ解析により得られる特徴である。この明細書において、非類似ＧＬＣＭテクスチャ特徴は、グレーレベル同時生起行列を使用して得られる非類似性（異質性ともいう。）の特徴のことである。非類似ＧＬＣＭテクスチャ特徴については、例えば、文献（Ｇｌｅｂ Ｂｅｌｉａｋｏｖ, Ｓｉｍｏｎ Ｊａｍｅｓ ａｎｄ Ｌｕｉｇｉ Ｔｒｏｉａｎｏ、“Ｔｅｘｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ｕｓｉｎｇ ＧＬＣＭ ａｎｄ ｖａｒｉｏｕｓ ａｇｇｒｅｇａｔｉｏｎ ｆｕｎｃｔｉｏｎｓ”、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ａｂｓｔｒａｃｔ／ｄｏｃｕｍｅｎｔ／４６３０５６６／＞、（２００８年））にも記載されている。画像モーメント特徴は、３次中心モーメント（ｃｅｎｔｒｏｉｄ ｍｏｍｅｎｔ）（μ30）、第５Ｈｕ不変モーメント（Ｈｕ ｉｎｖａｒｉａｎｔ ｍｏｍｅｎｔ）（Ｉ5）、および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含むことができる。
当業者によって理解されるように、ＧＬＣＭ特徴は、一つの画像で特定空間関係にありながら特定輝度値（例えば、グレーレベル）を有する画素の対がどれくらいの頻度で発生するかを計算することによって画像のテクスチャを特性化することを助ける。また、３次中心モーメント（μ30）は並進不変（ｔｒａｎｓｌａｔｉｏｎａｌ ｉｎｖａｒｉａｎｔ）であり、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）は並進（ｔｒａｎｓｌａｔｉｏｎ）、大きさおよび回転変換に対して不変である。このような画像モーメント特徴の公式的な定義は明細書最後に記載された内容から確認することができ、その全体内容は本明細書に参考として含まれる。
特徴抽出部２０２は、それぞれのパッチに対して前記一つ以上の画像テクスチャ特徴および前記一つ以上の画像モーメント特徴を含む特徴ベクトルを構成することができる。一例によれば、構成された特徴ベクトルは、３次中心モーメント（μ30）、コントラストＧＬＣＭテクスチャ特徴、非類似ＧＬＣＭテクスチャ特徴、第５Ｈｕ不変モーメント（Ｉ5）、および第１Ｈｕ不変モーメント（Ｉ1）を含むことができる。しかし、本発明の実施形態はこれに制限されない。例えば、構成された特徴ベクトルは、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）および／または非類似ＧＬＣＭテクスチャ特徴のうちの一つまたは全てを排除することができる。訓練段階にあるとき、特徴抽出部２０２は構成されたベクトルを第１訓練データセットとしてＳＶＭ２０４に伝送する。
画像分解部２００によって生成されたパッチのセットは、各パッチを欠陥（例えば、ホワイトスポットのムラ欠陥）の存在に関して手動で検査し、各パッチを欠陥があるかまたは欠陥がないと手動でラベリングする操作者１１２にも提供され得る。その結果は第２訓練データセットとしてＳＶＭ２０４に提供される。一実施形態によれば、操作者１１２はブラックスポット、ホワイトストリークなどのような他の全てのタイプの欠陥を排除し、ホワイトスポットのムラ欠陥のみを識別することができる。このように、一実施形態によれば、マルチクラスＳＶＭ２０４はホワイトスポットのムラ欠陥のみ検出し、他の全てのタイプの欠陥は無視するように訓練され得る。
その後、ＳＶＭ（例えば、マルチクラスＳＶＭ）２０４は、欠陥（例えば、ホワイトスポットのムラ欠陥）検出のための欠陥検出部１０６を訓練するために、欠陥パッチおよび非欠陥パッチの両方ともを含む各パッチの特徴ベクトルだけでなく欠陥または非欠陥の対応するラベル（または表示）を使用する。一例によれば、ＳＶＭ２０４は単一の画像からのパッチだけでなく、互いに異なるディスプレイパネルからの複数の互いに異なる画像からのパッチを用いて訓練することができる。
訓練が完了すれば、欠陥検出部１０６は検出モードで動作し、その間にＳＶＭ２０４は操作者１１２に代替してディスプレイパネル１０２の画像のパッチをラベリング（表示）することができる。一実施形態によれば、訓練モードで、画像分解部２００はディスプレイパネル１０２の取り込んだ画像を、ディスプレイパネル１０２の全ての画素またはほとんど全ての画素をカバーする一セット（例えば、ただ一つのセット）の他のパッチと重畳しないパッチである非重畳パッチに分解（例えば、分割または区画）することができる。その後、特徴抽出部２０２は前述のように訓練モードを参照して非重畳パッチのセットに動作して、各パッチの画像の特徴を抽出し、各パッチに対する特徴ベクトルを生成することができる。その後、ＳＶＭ２０４は生成された特徴ベクトルを用いて各パッチを欠陥または非欠陥に分類することができる。
一実施形態で、各パッチの大きさは典型的な欠陥の大きさ（例えば、ホワイトスポットのムラ欠陥の平均大きさ）より大きいが、またディスプレイパネル上の欠陥の位置を決定するときに十分な細分性（ｇｒａｎｕｌａｒｉｔｙ）を提供するように十分に小さく選択され得る。
したがって、実施形態によれば、ディスプレイパネル１０２を視覚的に検査して画像の特徴（例えば、３次中心モーメント（μ30）、コントラストＧＬＣＭおよび非類似ＧＬＣＭテクスチャ特徴、および第１および第５Ｈｕ不変モーメント（Ｉ1およびＩ5））の適切なセットを抽出することによって、欠陥検出部１０６はホワイトスポットのムラ欠陥のような特定タイプの欠陥の存在を検出し位置を把握することができる。これは、所望の欠陥を検出し位置を把握することにおいて高い精密度を提供し、特定の場合に欠陥を補償できるようにすることができる。
一例によれば、欠陥検出部１０６によって欠陥を含むと識別されたディスプレイパネルは不合格になって製品ラインから除去され得る。しかし、他の実施形態によれば、欠陥とラベリング（表示）されたパッチの位置（例えば、座標）によって識別される欠陥（例えば、ホワイトスポットのムラ欠陥）の位置は、欠陥を電子的に（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ）補償するために用いられ、これによりディスプレイパネルの欠陥を実質的に除去することができる。したがって、欠陥検出部１０６はディスプレイパネルの欠陥補償を容易にすることによって、ディスプレイパネルの製造／生産収率を向上させるのに役に立つ。一実施形態によれば、欠陥検出部１０６および電子的補償は、欠陥がそれ以上検出されなくなるまで多様な補償パラメータを通じて繰り返すループを形成することができる。したがって、識別されたホワイトスポットのムラの各場合に対してディスプレイパネルに補償パラメータが適用されて、ディスプレイパネルの新たな画像が得られ、その画像は欠陥検出部１０６に再び提供され得る。
当業者によって理解されるように、画像分解部２００、特徴抽出部２０２、マルチクラスＳＶＭ２０４、および欠陥検出システム１０６の他の論理的な構成要素は、プロセッサー１０８およびメモリ１１０によって実現され得る。メモリ１１０は、プロセッサー１０８によって実行されるときに、プロセッサー１０８が欠陥検出システム１０６（例えば、画像分解部２００、特徴抽出部２０２、マルチクラスＳＶＭ２０４）に属する機能を実行するようにする指示を保存していてもよい。
図３ａは、本発明の一実施形態により訓練モードで画像分解部２００によって生成されたパッチ３００の複数のセットを示す。図３ｂは、本発明の一実施形態によりディスプレイパネルの分解された画像内のラベリング（表示）された欠陥を含むパッチを示す。
図３ａを参照すれば、画像３０１は、テスト画像を表示することができるディスプレイパネル１０２の上部面（例えば、表示面）の画像であって、カメラ１０４によって取り込まれた画像を示す。テスト画像は、連続的な灰色の画像のように欠陥（例えば、ホワイトスポットのムラ欠陥）の存在をテストするために適した任意の画像を含むことができる。画像３０１は、ディスプレイパネル１０２の全ての画素を含むことができる。しかし、他の実施形態によれば、画像３０１は、ディスプレイパネル１０２の一部のみをカバーしてもよい。画像分解部２００は、画像３０１の角Ａから始まる同一な大きさの画像パッチ３０３を含む第１複数のパッチ３０２に画像３０１を分割することができる。図３ａの例で、角Ａは画像３０１の上部左側の角を示し、パッチ３０３は正方形で示されているが、本発明の実施形態がこれに限定されるのではなく、角Ａは画像の適切な任意の角（例えば、左側下端、右側上端などの角）であってもよく、パッチ３０３は長方形であってもよい。
一般に、各画像パッチ３０３の大きさは、それが含むディスプレイ画素の数と関連して、ｍ×ｎ画素（ｍおよびｎは正の整数）で示され得る。一実施形態で、各画像パッチ３０３の大きさは典型的な欠陥より大きく（例えば、ホワイトスポットのムラ欠陥の平均大きさより大きく）設定され得る。例えば、各パッチ３０３は３２×３２画素であってもよく、この場合、１９２０×１０８０画素の解像度を有するディスプレイパネル１０２の画像３０１内の第１複数のパッチ３０２は、２０４０個のパッチを含むことができる。これらパッチのうち、コーナーＡと反対側に位置する画像の辺と重畳するパッチは、パッチの一部分である部分画像パッチであってもよい。
一実施形態によれば、訓練モードで、画像分解部２００は画像３０１をパッチの複数の他の重畳するセットにさらに分割することができる。例えば、画像分解部２００は、それぞれが画像パッチ３０５、３０７、３０９を含む第２、第３および第４複数のパッチ３０４、３０６、３０８に画像３０１をさらに分割することができ、画像パッチ３０５、３０７、３０９のそれぞれの大きさは画像パッチ３０３の大きさと同一であってもよい。
それぞれのパッチセットは、第１方向（例えば、ｘ軸によって示される画像３０１の長さ方向）にｄ１オフセット、および／または第２方向（例えば、ｙ軸によって示される画像３０１の幅方向）にｄ２オフセットだけ他のパッチセットからオフセット（ｏｆｆｓｅｔ）されていてもよい。例えば、第２複数のパッチ３０４は第１方向（例えば、ｘ軸に沿って）にオフセットｄ１だけ第１複数のパッチ３０２からオフセットされてもよく、第３複数のパッチ３０６は第２方向（例えば、ｙ軸に沿って）のオフセットｄ２だけ第１複数のパッチ３０２からオフセットされてもよく、第４複数のパッチ３０８は第１方向および第２方向にそれぞれオフセットｄ１およびオフセットｄ２だけ第１複数のパッチ３０２からオフセットされてもよい。一実施形態によれば、それぞれのパッチセットは、パッチのそれぞれが、先行するパッチセットの対応するパッチの領域の半分とだけ重畳するようにオフセットされてもよい。例えば、各パッチ３０３／３０５／３０７／３０９が３２×３２画素の大きさを有するとき、オフセットｄ１およびオフセットｄ２はそれぞれ１６画素と同一であってもよい。
図３ｂを参照すれば、訓練モードで、画像３０１内の任意の欠陥（例えば、ホワイトスポットのムラ欠点）３１０を発見し、欠陥の全部または一部を含むパッチをラベリング（表示）するように訓練された操作者によって、パッチのそれぞれが検査される。例えば、欠陥を含むパッチ（以下「欠陥パッチ」という。）は‘１’とラベリング（表示）され得る反面、一例によれば、残り（例えば、非欠陥）パッチは‘０’とラベリング（表示）され得る。図３ｂに示されているように、一実施形態によれば、欠陥３１０が２個のパッチの境界または４個のパッチのコーナーで発見されるとき、その境界またはコーナーを共有する全てのパッチは欠陥パッチに分類される。一方、図３ｂは説明を容易にするために第４複数のパッチ３０８のラベリング（表示）された欠陥パッチのみを示し、パッチ３０３、３０５、３０７のうちの欠陥３１０を含むパッチも欠陥に同様に分類され得る。
手動でラベリング（表示）されたパッチセット（例えば、ラベリングされた第１〜第４複数のパッチ３０２、３０４、３０６、３０８は、セット（例えば、パッチ３０３、３０５、３０７、３０９）に含まれている各パッチに対応する特徴ベクトルと共に欠陥パッチおよび非欠陥パッチの両方ともを含み、その後に訓練データとしてＳＶＭ２０４に提供される。
一実施形態によれば、検出モードで、画像分解部２００は１つのパッチのセットのみを生成し（訓練モードで生成された複数のセットの代わりに）、この１つのパッチのセットは図３ａに示された第１複数のパッチ３０２に対応する（例えば、同一である）。
図４ａは、本発明の一実施形態により、ディスプレイパネル１０２の一つ以上の欠陥を検出するための欠陥検出システム１００を訓練するためのプロセス４００を示すフローチャートである。
段階Ｓ４０２で、欠陥検出部１０６（例えば、画像分解部２００）は一つ以上のホワイトスポット欠陥を含むことができるディスプレイパネル１０２の画像を受信する。
段階Ｓ４０４で、画像分解部２００は、画像を複数のパッチセット、例えば第１複数のパッチ３０２、第２複数のパッチ３０４、第３複数のパッチ３０６、および第４複数のパッチ３０８に分解（例えば、分割）することができる。パッチセットのそれぞれは複数のパッチ（例えば、３０３、３０５、３０７および３０９）を含むことができ、ディスプレイパネル１０２の画像３０１に対応してもよい。パッチのそれぞれは画像３０１のｍ×ｎ画素領域（ここで、ｍおよびｎは１より大きいかまたは等しい整数）に対応してもよい。パッチセットのそれぞれは、パッチセットのうちの他の一つからオフセットされて重畳してもよい。他の例によれば、パッチセットのうちの一つ以上（例えば、第１〜第４複数のパッチ３０２、３０４、３０６および３０８のうちの一つ以上）は画像の長さ方向および幅方向のうちの少なくとも一方向へのセットオフセット（例えば、１画素、２画素、４画素、１６画素など）だけ互いにオフセットされていてもよい。
段階Ｓ４０６で、欠陥検出部１０６（例えば、特徴抽出部２０２）は複数のパッチセットの各パッチに対する特徴ベクトルを生成することができる。生成された複数の特徴ベクトルはそれぞれ一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含むことができる。一つ以上の画像テクスチャ特徴はコントラストＧＬＣＭテクスチャ特徴および非類似ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含むことができ、一つ以上の画像モーメント特徴は３次中心モーメント（μ30）、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含むことができる。
段階Ｓ４０８で、欠陥検出部１０６（例えば、マルチクラスサポートベクトルマシン（ＳＶＭ）２０４）は複数のラベルを受信し、各ラベルは複数のパッチのうちの一つに対応してもよく、欠陥（例えば、ホワイトスポットのムラ欠陥）の存在または欠陥（例えば、ホワイトスポットのムラ欠陥）がないことを示すことができる。一例によれば、複数のラベルはパッチのそれぞれを視覚的に検査しラベルを生成する操作者によって生成され得る。
段階Ｓ４１０で、欠陥検出部１０６（例えば、マルチクラスＳＶＭ２０４）は複数の特徴ベクトルおよび複数のラベルに基づいて一つ以上のホワイトスポットを検出するように訓練される。マルチクラスＳＶＭは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練され得る。
図４ｂは、本発明の一実施形態により、欠陥検出部１０６を用いてディスプレイパネル１０２で一つ以上のホワイトスポット欠陥を検出するためのプロセス４２０を示すフローチャートである。
段階Ｓ４２２で、欠陥検出部１０６（例えば、画像分解部２００）は一つ以上のホワイトスポット欠陥を含むことができるディスプレイパネル１０２の画像３０１を受信する。
段階Ｓ４２４で、欠陥検出部１０６（例えば、画像分解部２００）は画像３０１を複数の非重畳パッチ３０３に分割し、非重畳パッチ３０３のそれぞれは画像３０１のｍピクセル×ｎ画素領域（ここで、ｍおよびｎは１より大きいかまたは等しい整数である）に対応し、平均的なホワイトスポットのムラ欠陥よりも大きくてもよい。
段階Ｓ４２６で、欠陥検出部１０６（例えば、特徴抽出部２０２）は複数のパッチ３０３の各パッチに対する特徴ベクトルを生成する。特徴ベクトルのそれぞれは、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含むことができる。一つ以上の画像テクスチャ特徴はコントラストＧＬＣＭテクスチャ特徴および非類似ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含むことができ、一つ以上の画像モーメント特徴は３次中心モーメント（μ30）、第５Ｈｕ不変モーメント（Ｉ5）、および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含むことができる。
段階Ｓ４２８で、欠陥検出部１０６はマルチクラスＳＶＭ２０４を用いて、複数の特徴ベクトルのそれぞれを用いて複数のパッチ３０３のそれぞれを分類する。マルチクラスＳＶＭ２０４による分類に基づいて、複数のパッチ３０３のそれぞれは欠陥を有しているか欠陥（例えば、ホワイトスポットムラ）がないものとしてラベリングされ得る。この例で、マルチクラスＳＶＭ２０４は、ホワイトスポットムラの分類のために訓練されていてもよい。他の例によれば、マルチクラスＳＶＭ２０４は、他のタイプのディスプレイパネルのムラ欠陥を識別するように訓練されてもよい。例えば、マルチクラスＳＶＭ２０４は、ブラックスポットムラ、領域ムラ（ｒｅｇｉｏｎ Ｍｕｒａ）、不純物ムラ（ｉｍｐｕｒｉｔｙ Ｍｕｒａ）、またはラインムラなどを識別するように訓練され得る。
このように、本発明の実施形態は、欠陥検出だけでなく訓練目的のために、工場でディスプレイパネルの実際そのままの（即ち、シミュレーションされない）画像データを用いることができる効率的で精密な欠陥（例えば、ホワイトスポットのムラ欠陥）検出システムおよび方法を提供する。画像取得および欠陥検出システムは、人間の監督下に１度訓練されれば、自動および監督されない方式で動作して製造およびテスト中のディスプレイパネルの欠陥（例えば、ホワイトスポットのムラ欠陥）を検出することができる。したがって、このような自動化システムは、生産効率を向上させ人の肉眼検査の必要性を減らすか無くすことができる。また、一実施形態による欠陥検出システムは、いかなる欠陥でも位置を識別して欠陥の後続的な電子的補償を可能にし、これによってさらに高い生産収率およびさらに少ない全体的な生産費用が可能になる。
“第１”、“第２”、“第３”などの用語は本明細書で多様な構成要素、領域、層および／またはセクションを説明するために使用され得るが、これら構成要素、領域、層および／またはセクションがこの用語によって制限されない。このような用語は一つの構成要素、領域、層またはセクションを他の構成要素、領域、層またはセクションと区別するのに使用され得る。したがって、上で議論された第１構成要素、第１領域、第１層または第１セクションなどは本発明の思想および範囲を逸脱せずに第２構成要素、第２領域、第２層または第２セクションなどと称され得る。
本明細書で使用された用語は特定実施形態を説明するためのものであり、本発明の概念を制限しようとするのではない。本明細書で使用された単数形態は文脈上異なる指示をしない限り、複数形態を含むものとも意図される。本明細書で使用された“含む”の用語は、明示された特徴、整数、段階、動作および／または構成要素の存在を定義し、一つ以上の他の特徴、整数、段階、動作、構成要素および／またはこれらの組み合わせの存在または追加を排除しない。本明細書に使用されたような、“および／または”は一つ以上の関連して列挙された項目の任意および全ての組み合わせを含む。“少なくとも一つ”の表現が要素の目録の前に位置する時、要素の全体目録を修飾し、目録の個別要素を修飾しない。また、本発明の実施形態を記述する時、“できる”と言えば、“本発明概念の一つ以上の実施形態”を意味する。また、“例示的な”という用語は例または説明を意味する。
要素または層が他の要素または層の“上に”、“接続された”、“結合された”または“隣接した”と言及される時、その要素または層は他の要素または層に対して直接“上に”、“接続された”、“結合された”または“隣接した”ものであり、または一つ以上の他の介在要素または層が存在してもよい。一つの要素または層が他の要素または層に対して“直接上に”、“直接的に接続された”、“直接結合された”または“直ぐ隣接した”と言及される時は、中間に介在する要素または層が存在しない。
本明細書で使用された“実質的に”、“約”およびこれに類似の用語は近似の用語として用いられ、程度の用語として使用されず、当業者に認識される測定されるか計算された値に内在された変化を説明するものと意図される。
本明細書に使用された“使用する。”、“使用する”および“使用された”の用語はそれぞれ“用いる”、“用いる”および“用いられた”の用語と同意語として見なされ得る。
本発明の実施形態による欠陥検出システムおよび／または他の関連装置または構成要素は、適したハードウェア、ファームウェア（例えば、特殊用途の集積回路）、ソフトウェア、またはソフトウェア、ファームウェアおよびハードウェアの適切な組み合わせを用いて実現され得る。例えば、独立的なマルチソースディスプレイ装置の多様な構成要素は一つの集積回路（ＩＣ）チップまたは分離されたＩＣチップ上に形成されてもよい。また、欠陥検出システムの多様な構成要素は可撓性印刷回路フィルム、テープキャリアパッケージ（ＴＣＰ）、印刷回路基板（ＰＣＢ）、または同一な基板上に実現され得る。また、欠陥検出システムの多様な構成要素は、一つ以上のプロセッサー上で実行され、一つ以上のコンピューティング装置で実行され、コンピュータプログラム命令を実行し、ここで説明された多様な機能を実行するための他のシステム構成要素と相互作用するプロセッサーまたはスレッド（ｔｈｒｅａｄ）であり得る。コンピュータプログラム命令は、例えばランダムアクセスメモリ（ＲＡＭ）のような標準メモリ装置を使用するコンピューティング装置で実現され得るメモリに保存されてもよい。コンピュータプログラム命令はまた、例えばＣＤ−ＲＯＭ、フラッシュドライブなどのような他の一時的でないコンピュータ読取可能媒体に保存されてもよい。また、当業者は多様なコンピューティング装置の機能が単一コンピューティング装置に結合されるか統合され、または特定コンピューティング装置の機能が本発明の例示的な実施形態の範囲から逸脱せず一つ以上の他のコンピューティング装置にかけて分散されていてもよい。
本明細書で記載した画像モーメント（ｉｍａｇｅ ｍｏｍｅｎｔ）については、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｉｍａｇｅ＿ｍｏｍｅｎｔの説明を参照することができ、その内容は次の通りである。
Figure 2018180545
Figure 2018180545
Figure 2018180545
Figure 2018180545
本発明は、その例示的な実施形態に対する特定符号で具体的に説明されたが、ここに記述された実施形態はそれが全部であるとか発明を開示された正確な形態に本発明の権利範囲が制限されるわけではない。本発明の属する技術および技術分野の当業者は、説明された構造および組み立て方法の変形および変更が次の請求範囲に記述されたものとその均等範囲による本発明の原理、思想および範囲から有意味に逸脱せず実施され得るのを理解できる。
１００ 欠陥検出システム
１０２ ディスプレイパネル
１０４ カメラ
１０６ 欠陥検出部
１０８ プロセッサー
１１０ メモリ
１１２ 操作者
２００ 画像分解部
２０２ 特徴抽出部
２０４ サポートベクトルマシン
３００、３０２、３０３、３０４、３０５、３０６、３０７、３０８、３０９ パッチ
３０１ 画像
３１０ 欠陥

Claims (20)

  1. ディスプレイパネルで画像の一つ以上の欠陥を検出する方法であって、
    前記ディスプレイパネルの前記画像を受信することと、
    前記画像を複数のパッチに分割することと、
    前記複数のパッチに対する複数の特徴ベクトルを生成することと、
    マルチクラスサポートベクトルマシン（ＳＶＭ）を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上の欠陥を検出することと、
    を含み、
    前記複数のパッチそれぞれは、ｍ画素×ｎ画素領域（ｍとｎは１より大きいかまたは等しい整数）に対応し、
    前記複数の特徴ベクトルのそれぞれは、前記複数のパッチのそれぞれに対応し、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含む
    欠陥検出方法。
  2. 前記複数のパッチは、互いに重畳しない、請求項１に記載の欠陥検出方法。
  3. 前記複数のパッチの各パッチは、平均的な欠陥の大きさより大きい、請求項１に記載の欠陥検出方法。
  4. 前記複数のパッチの各パッチは、前記ディスプレイパネルの３２×３２画素領域に対応する、請求項１に記載の欠陥検出方法。
  5. 前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列（ＧＬＣＭ）テクスチャ特徴および非類似ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含む、請求項１に記載の欠陥検出方法。
  6. 前記一つ以上の画像モーメント特徴は、３次中心モーメント（μ30）、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含む、請求項１に記載の欠陥検出方法。
  7. 前記マルチクラスＳＶＭは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練される、請求項１に記載の欠陥検出方法。
  8. 前記複数のパッチを分類することは、
    前記マルチクラスＳＶＭに前記複数のパッチに対する前記複数の特徴ベクトルを提供して、前記複数の特徴ベクトルを基に前記一つ以上の欠陥を識別することと、
    前記複数のパッチのうちの前記識別された一つ以上の欠陥を含む一つ以上のパッチを欠陥としてラベリングすることと、
    を含む、請求項１に記載の欠陥検出方法。
  9. ディスプレイパネルで画像の一つ以上の欠陥を検出するためのシステムを訓練する方法であって、
    前記ディスプレイパネルの前記画像を受信することと、
    前記画像を、前記ディスプレイパネルの前記画像にそれぞれ対応する第１複数のパッチおよび第２複数のパッチに分解することと、
    それぞれが前記第１および第２複数のパッチのうちの一つに対応し欠陥があるか欠陥がないということを示す複数のラベルを受信することと、
    それぞれが前記第１および第２複数のパッチのうちの一つに対応し一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含む複数の特徴ベクトルを生成することと、
    マルチクラスサポートベクトルマシン（ＳＶＭ）に前記複数の特徴ベクトルおよび前記複数のラベルを提供することによって一つ以上の欠陥を検出するように前記ＳＶＭを訓練することと、
    を含む訓練方法。
  10. 前記第２複数のパッチは、前記第１複数のパッチからオフセットされており、前記第１複数のパッチと重畳する、請求項９に記載の訓練方法。
  11. 前記複数のパッチのそれぞれは、前記画像のｍ×ｎ画素領域（ｍおよびｎは１より大きいかまたは等しい整数）に対応する、請求項９に記載の訓練方法。
  12. 前記画像を分解することは、前記ディスプレイパネルの前記画像にそれぞれ対応する第３複数のパッチおよび第４複数のパッチに前記画像をさらに分解することを含み、
    前記複数のラベルは、前記第３および第４複数のパッチに対応し欠陥があるか欠陥がないということを示す付加的なラベルをさらに含み、
    前記複数の特徴ベクトルのそれぞれは、前記第１、第２、第３および第４複数のパッチのうちの一つに対応し、一つ以上の画像テクスチャ特徴および一つ以上の画像モーメント特徴を含み、
    前記第１〜第４複数のパッチのそれぞれは前記画像の３２×３２ピクセル領域に対応し、
    前記第１〜第４複数のパッチのうちの一つ以上は、前記画像の長さ方向および幅方向のうちの少なくとも一つの方向に１６ピクセルだけ互いにオフセットされている、請求項９に記載の訓練方法。
  13. 前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列（ＧＬＣＭ）テクスチャ特徴と非類似ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含む、請求項９に記載の訓練方法。
  14. 前記一つ以上の画像モーメント特徴は、３次中心モーメント（μ30）、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含む、請求項９に記載の訓練方法。
  15. ディスプレイパネルで画像の一つ以上の欠陥を検出するシステムであって、
    プロセッサーと、
    前記プロセッサーに接続されているメモリと、を含み、
    前記メモリは、前記プロセッサーが、
    前記ディスプレイパネルの前記画像を受信することと、
    前記画像を複数のパッチに分割することと、
    前記複数のパッチに対する複数の特徴ベクトルを生成することと、
    マルチクラスサポートベクトルマシン（ＳＶＭ）を用いて、前記複数の特徴ベクトルのそれぞれに基づいて前記複数のパッチのそれぞれを分類して前記一つ以上の欠陥を検出することと、
    を実行するようにする指示を保存しているシステム。
  16. 前記複数のパッチは、互いに重畳せず、
    前記複数のパッチの各パッチは、平均的な欠陥の大きさより大きい、請求項１５に記載のシステム。
  17. 前記一つ以上の画像テクスチャ特徴は、コントラストグレーレベル同時生起行列（ＧＬＣＭ）テクスチャ特徴および非類似ＧＬＣＭテクスチャ特徴のうちの少なくとも一つを含む、請求項１５に記載のシステム。
  18. 前記一つ以上の画像モーメント特徴は、３次中心モーメント（μ30）、第５Ｈｕ不変モーメント（Ｉ5）および第１Ｈｕ不変モーメント（Ｉ1）のうちの少なくとも一つを含む、請求項１５に記載のシステム。
  19. 前記マルチクラスＳＶＭは、欠陥を含む画像および欠陥を含まない画像の両方ともを用いて訓練されている、請求項１５に記載のシステム。
  20. 前記複数のパッチのそれぞれを分類することは、
    前記マルチクラスＳＶＭに前記複数のパッチに対する前記複数の特徴ベクトルを提供して、前記複数の特徴ベクトルを基に前記一つ以上の欠陥を識別することと、
    前記複数のパッチのうちの前記識別された一つ以上の欠陥を含む一つ以上のパッチを欠陥としてラベリングすること、とを含む請求項１５に記載のシステム。
JP2018079940A 2017-04-18 2018-04-18 欠陥検出方法、欠陥検出のためのシステムおよび訓練方法 Active JP6917943B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762486928P 2017-04-18 2017-04-18
US62/486,928 2017-04-18
US15/639,859 US10453366B2 (en) 2017-04-18 2017-06-30 System and method for white spot mura detection
US15/639,859 2017-06-30

Publications (3)

Publication Number Publication Date
JP2018180545A true JP2018180545A (ja) 2018-11-15
JP2018180545A5 JP2018180545A5 (ja) 2021-05-20
JP6917943B2 JP6917943B2 (ja) 2021-08-11

Family

ID=63790832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018079940A Active JP6917943B2 (ja) 2017-04-18 2018-04-18 欠陥検出方法、欠陥検出のためのシステムおよび訓練方法

Country Status (5)

Country Link
US (1) US10453366B2 (ja)
JP (1) JP6917943B2 (ja)
KR (1) KR102281106B1 (ja)
CN (1) CN108734696B (ja)
TW (1) TWI754741B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060962A (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム
JP2022544853A (ja) * 2019-11-13 2022-10-21 エヌイーシー ラボラトリーズ アメリカ インク 顔認識のための汎用特徴表現学習

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
US10643576B2 (en) * 2017-12-15 2020-05-05 Samsung Display Co., Ltd. System and method for white spot Mura detection with improved preprocessing
US10681344B2 (en) * 2017-12-15 2020-06-09 Samsung Display Co., Ltd. System and method for mura detection on a display
KR102528980B1 (ko) * 2018-07-18 2023-05-09 삼성디스플레이 주식회사 표시 장치 및 이의 얼룩 보정 방법
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
CN109949725B (zh) * 2019-03-06 2022-09-20 武汉精立电子技术有限公司 一种aoi系统图像灰度标准化方法及系统
CN110120195B (zh) * 2019-05-31 2022-10-21 昆山国显光电有限公司 数据补偿方法及智能终端
CN110243937B (zh) * 2019-06-17 2020-11-17 江南大学 一种基于高频超声的倒装焊焊点缺失缺陷智能检测方法
CN110426873A (zh) * 2019-08-26 2019-11-08 深圳市全洲自动化设备有限公司 一种lcd液晶屏测试方法
CN111178190B (zh) * 2019-12-17 2023-10-27 中国科学院深圳先进技术研究院 基于深度图像的目标检测方法、装置及存储介质
CN111161246B (zh) 2019-12-30 2024-05-14 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
DE102020000278A1 (de) 2020-01-20 2021-07-22 Marquardt Gmbh Bedien-und/oder Anzeigevorrichtung
CN113646801B (zh) * 2020-02-27 2024-04-02 京东方科技集团股份有限公司 缺陷图像的缺陷检测方法、装置及计算机可读存储介质
KR102372987B1 (ko) * 2020-03-18 2022-03-11 라온피플 주식회사 불량 이미지 생성 장치 및 방법
CN111583225B (zh) * 2020-05-08 2024-05-24 京东方科技集团股份有限公司 缺陷检测方法、装置及存储介质
US11150200B1 (en) * 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
CN111947895A (zh) * 2020-08-03 2020-11-17 深圳回收宝科技有限公司 一种用于显示装置白斑异常的检测方法及相关装置
CN112070762A (zh) * 2020-09-18 2020-12-11 惠州高视科技有限公司 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN112397002B (zh) * 2020-11-19 2024-01-12 Oppo广东移动通信有限公司 显示面板的检测方法、电子设备的检测装置及存储介质
CN113345328B (zh) * 2021-05-28 2022-08-02 Tcl华星光电技术有限公司 显示面板Mura修补方法
KR102823732B1 (ko) * 2021-09-08 2025-06-20 충북대학교 산학협력단 영상 패치 기반의 불량 검출 시스템 및 방법
CN113592859B (zh) * 2021-09-26 2022-01-14 中导光电设备股份有限公司 一种基于深度学习的用于显示面板缺陷的分类方法
CN114037701B (zh) * 2022-01-08 2022-04-05 江苏南通元辰钢结构制造有限公司 一种基于图像处理的机械零件氢损伤检测方法
CN116797590B (zh) * 2023-07-03 2024-09-20 深圳市拓有软件技术有限公司 一种基于机器视觉的Mura缺陷检测方法及系统
CN116740056B (zh) * 2023-08-10 2023-11-07 梁山水泊胶带股份有限公司 用于整芯高花纹输送带涂覆层的缺陷检测方法
GB2636789A (en) * 2023-12-21 2025-07-02 Nokia Technologies Oy An apparatus
CN118657778B (zh) * 2024-08-20 2024-10-25 杭州鸿世电器股份有限公司 一种金属面板自动化生产故障数据监测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08297020A (ja) * 1995-04-26 1996-11-12 Matsushita Electric Ind Co Ltd 欠陥検査方法とその装置
US20050286753A1 (en) * 2004-06-25 2005-12-29 Triant Technologies Inc. Automated inspection systems and methods
KR20080003456A (ko) * 2003-06-27 2008-01-07 테스트 어드밴티지 인코포레이티드 데이터 분석 방법 및 장치
KR20120027733A (ko) * 2010-09-13 2012-03-22 한국수력원자력 주식회사 서포트 벡터 머신을 이용한 회전기계의 결함진단 방법 및 장치
JP2012128201A (ja) * 2010-12-15 2012-07-05 Canon Inc 画像形成装置、画像処理装置、画像処理方法、及びプログラム
CN103913468A (zh) * 2014-03-31 2014-07-09 湖南大学 生产线上大尺寸lcd玻璃基板的多视觉缺陷检测设备及方法
JP2014173882A (ja) * 2013-03-06 2014-09-22 Mitsubishi Heavy Ind Ltd 欠陥検出装置、欠陥検出方法および欠陥検出プログラム
CN105044127A (zh) * 2015-07-31 2015-11-11 深圳市星火辉煌系统工程有限公司 一种oled微型显示器缺陷检测装置及检测方法
CN105913419A (zh) * 2016-04-07 2016-08-31 南京汇川图像视觉技术有限公司 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012422A (ja) 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
US7233708B2 (en) * 2003-11-07 2007-06-19 Microsoft Corporation Systems and methods for indexing and retrieving images
KR100689890B1 (ko) 2004-07-22 2007-03-08 주식회사 쓰리비 시스템 플랫패널용 광관련판요소의 결함검출방법
JP2006098151A (ja) 2004-09-29 2006-04-13 Dainippon Screen Mfg Co Ltd パターン検査装置およびパターン検査方法
US8559726B2 (en) * 2008-08-22 2013-10-15 Hewlett-Packard Development Company, L.P. Image analysis based on pixel brightness grouping
JP2010159979A (ja) * 2009-01-06 2010-07-22 Hitachi Ltd 外観検査方法及び外観検査システム
US8457414B2 (en) 2009-08-03 2013-06-04 National Instruments Corporation Detection of textural defects using a one class support vector machine
US8331650B2 (en) * 2010-07-29 2012-12-11 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for defect detection
US8995747B2 (en) * 2010-07-29 2015-03-31 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for defect detection and classification
US8705839B2 (en) * 2011-11-18 2014-04-22 Sharp Laboratories Of America, Inc. Electronic devices for defect detection
KR101943069B1 (ko) * 2011-12-01 2019-04-18 삼성디스플레이 주식회사 배선 및 역다중화부의 불량 검출 방법, 불량 검출 장치 및 불량 검출 장치를 포함하는 표시 패널
WO2013090830A1 (en) * 2011-12-16 2013-06-20 University Of Southern California Autonomous pavement condition assessment
US10043264B2 (en) * 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US20130278750A1 (en) * 2012-04-23 2013-10-24 Metrospec Technology, L.L.C. Self-learning machine vision system
KR20140067394A (ko) 2012-11-26 2014-06-05 엘지디스플레이 주식회사 표시장치의 얼룩 검출 장치 및 방법
KR101958634B1 (ko) * 2012-12-13 2019-03-15 엘지디스플레이 주식회사 디스플레이 장치의 무라 검출 장치 및 방법
US9378551B2 (en) * 2013-01-03 2016-06-28 Siemens Aktiengesellschaft Method and system for lesion candidate detection
KR101477665B1 (ko) 2013-04-04 2014-12-30 한국기술교육대학교 산학협력단 불균일한 텍스쳐 표면의 불량 검출방법
KR102209953B1 (ko) 2014-09-11 2021-02-02 엘지디스플레이 주식회사 무라 검출 장치
KR20180022619A (ko) * 2016-08-24 2018-03-06 주식회사 아이디디 Pcb 패널 검사 방법 및 그 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08297020A (ja) * 1995-04-26 1996-11-12 Matsushita Electric Ind Co Ltd 欠陥検査方法とその装置
KR20080003456A (ko) * 2003-06-27 2008-01-07 테스트 어드밴티지 인코포레이티드 데이터 분석 방법 및 장치
US20050286753A1 (en) * 2004-06-25 2005-12-29 Triant Technologies Inc. Automated inspection systems and methods
KR20120027733A (ko) * 2010-09-13 2012-03-22 한국수력원자력 주식회사 서포트 벡터 머신을 이용한 회전기계의 결함진단 방법 및 장치
JP2012128201A (ja) * 2010-12-15 2012-07-05 Canon Inc 画像形成装置、画像処理装置、画像処理方法、及びプログラム
JP2014173882A (ja) * 2013-03-06 2014-09-22 Mitsubishi Heavy Ind Ltd 欠陥検出装置、欠陥検出方法および欠陥検出プログラム
CN103913468A (zh) * 2014-03-31 2014-07-09 湖南大学 生产线上大尺寸lcd玻璃基板的多视觉缺陷检测设备及方法
CN105044127A (zh) * 2015-07-31 2015-11-11 深圳市星火辉煌系统工程有限公司 一种oled微型显示器缺陷检测装置及检测方法
CN105913419A (zh) * 2016-04-07 2016-08-31 南京汇川图像视觉技术有限公司 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060962A (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム
WO2021070675A1 (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム
JP7536517B2 (ja) 2019-10-08 2024-08-20 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム
US12444034B2 (en) 2019-10-08 2025-10-14 Canon Kabushiki Kaisha Teacher data generation method, trained learning model, and system
JP2022544853A (ja) * 2019-11-13 2022-10-21 エヌイーシー ラボラトリーズ アメリカ インク 顔認識のための汎用特徴表現学習
JP7270839B2 (ja) 2019-11-13 2023-05-10 エヌイーシー ラボラトリーズ アメリカ インク 顔認識のための汎用特徴表現学習

Also Published As

Publication number Publication date
JP6917943B2 (ja) 2021-08-11
KR102281106B1 (ko) 2021-07-23
CN108734696A (zh) 2018-11-02
CN108734696B (zh) 2023-05-30
US10453366B2 (en) 2019-10-22
TWI754741B (zh) 2022-02-11
TW201839384A (zh) 2018-11-01
KR20180117532A (ko) 2018-10-29
US20180301071A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
JP6917943B2 (ja) 欠陥検出方法、欠陥検出のためのシステムおよび訓練方法
KR102836468B1 (ko) 라벨 부착 화상 데이터 작성 방법, 검사 방법, 프로그램, 라벨 부착 화상 데이터 작성 장치 및 검사 장치
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
KR102611223B1 (ko) 표시 장치의 결함 감지 시스템 및 방법
US8743215B1 (en) Mura detection apparatus and method of display device
CN108414193B (zh) 显示屏的检测区域定位方法和装置
CN109932370B (zh) 利用改善的预处理的用于白色点斑检测的系统和方法
EP3671559A1 (en) Versarial training system and method for noisy labels
US20070047801A1 (en) Defect detecting method and defect detecting device
CN103927749A (zh) 图像处理方法、装置和自动光学检测机
CN104166250A (zh) 一种平面显示器面板均匀度检测方法及其系统
JP2018004272A (ja) パターン検査装置およびパターン検査方法
KR102034042B1 (ko) 평판 디스플레이 패널의 외관 스크래치 검사 방법
CN111982925B (zh) 检测方法及检测装置
KR101409568B1 (ko) 표시패널 검사장치 및 그 검사방법
CN104107806A (zh) 电脑视觉辨识输出图像辅助led晶粒挑选系统及其方法
CN115453783B (zh) 一种液晶屏检测区域的定位设备及方法
Aydın et al. Detection of printed circuit board faults with FPGA-based real-time image processing
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JP2018173732A (ja) 検査装置、検査方法、検査プログラム及び記録媒体
CN119359647B (zh) 基于多通道扫描的缺陷检测方法、装置、设备及存储介质
KR102640472B1 (ko) 디스플레이를 포함하는 전자 장치 및 이의 얼룩 검출 방법
JP2022156999A (ja) 検査方法、検査装置
WO2024090054A1 (ja) 画像処理方法、プログラム、および、画像処理装置
JP2014002178A (ja) 配向膜の修正方法、配向膜の修正装置および液晶パネルの製造方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180615

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180810

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210409

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210409

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210720

R150 Certificate of patent or registration of utility model

Ref document number: 6917943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250