JP2014119363A - フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法 - Google Patents

Abstract

【課題】画像処理により不均一性（ムラ）領域を自動検出する際に、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成する。
【解決手段】カメラにより撮像されたフラットパネルディスプレイの発光状態の入力画像に対して前処理部（２１）、欠陥候補抽出部（２２）、判定部（２３）による画像処理を施す自動ムラ検出装置であって、前処理部（２１）は、画素構造の影響を入力画像から除去することなく、入力画像からカメラノイズを除去し、後段の欠陥候補抽出部に出力し、欠陥候補抽出部（２２）は、前処理部の出力画像に対して画素毎に局所的な中央値＝（最大値＋最小値）／２を算出し、前処理部の出力画像と中央値とを画素単位で比較し、適応的に２値化することで、ムラ候補領域となる適応２値化画像を生成する。
【選択図】図１

Description

本発明は、フラットパネルディスプレイの製造工程で生じる輝度や色の不均一性（ムラ）を、画像データに基づく演算処理を行うことで自動検出するためのフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法に関する。

近年、様々な種類のフラットパネルディスプレイが開発され、製品化されている。このようなフラットパネルディスプレイの画質を低下させる欠陥の一つとして、輝度や色の不均一性（ムラ）がある。

生産現場におけるムラの検査は、従来、検査員により目視で行われていた。しかしながら、多くの時間、検査人員、費用が必要とされるため、検査の自動化が望まれており、一部自動化が進んでいる。

このような自動化の方法の一例として、発光したフラットパネルをカメラで撮影し、画像処理によってムラの検出を行う技術が開発され、検査工程において利用されるようになってきている（例えば、非特許文献１参照）。

大谷哲也他、「フラットパネルディスプレイの画質検査アルゴリズム」、横河技法、ｖｏｌ．４７ Ｎｏ．３（２００３）

しかしながら、従来技術には、以下のような課題がある。
このような自動検査は、まだまだ性能は十分でなく、特定の点欠陥や線欠陥以外の様々な欠陥に対応できるものではなかった。

従来の画像処理による欠陥検査の一般的な流れは、大別すると、以下の３つの部分に分けられる。
（１）前処理部（フィルタ等によるノイズ除去、画素構造除去、背景画像予測除去等）
（２）欠陥候補抽出部（欠陥に係わる特徴量を計算、２値化、ラベリングすることで、候補を抽出）
（３）判定部（経験に基づいた判断ルールで欠陥部分を特定、表示）

それぞれの画像処理部分では、検出対象となる欠陥の種類や撮影環境などに応じた複数の異なる処理が採用されるが、概ね複雑な処理になることが多く、安定的に検出性能が得られるとはいえなかった。

ここで、具体的に、前処理部において生じる問題について説明する。フラットパネルディスプレイの欠陥は、輝度（明暗）の微妙な変化となって見えることが多い。しかしながら、フラットパネルディスプレイは、固定画素構造のパネルであるため、画素単位の構造がカメラ撮影による画像に明暗として写り、そのままでは、フラットパネルディスプレイの欠陥を検出する妨げになることがある。

問題を避けるためには、所定の帯域を通過するフィルタをかけることで、画素構造を見えなくし、ディスプレイの各画素に表示された明暗情報のみを取り出すことを行わなければならない。しかしながら、フィルタをかけることによって、本来検出すべき欠陥の特徴をもなまらせてしまうことになり、以降の欠陥検出処理が難しくなるという新たな問題が生じる。

また、検出対象となる欠陥の種類やパネルの種類によって、帯域通過フィルタの特性や以降の欠陥検出処理アルゴリズムを微妙に調整する必要があり、さらに作業工程が増えるという問題も誘発する。

また、フィルタサイズの大きいローパスフィルタなどで背景画像予測を行い、入力画像から減算することで、ムラ部分の強調とともに、ノイズと分離し、ある閾値で２値化することで、ムラの検出を行うことが考えられる。しかしながら、このような検出に当たっては、フィルタのサイズを大きくして十分なローパス効果を実現しないと、ムラの検出性能に影響することとなる。このため、ハードウェアの負担が増大するとともに、ソフトウェアの処理時間が長くなるという問題も生じ、最終製品であるフラットパネルディスプレイのコスト高への影響が生じる。

本発明は、前記のような課題を解決するためになされたものであり、フラットパネルディスプレイの検査工程において、画像処理により不均一性（ムラ）領域を自動検出する際に、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成することのできるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることを目的とする。

本発明に係るフラットパネルディスプレイの自動ムラ検出装置は、カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、入力画像に対して前処理を行う前処理部、前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および欠陥候補抽出部により抽出されたムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、ムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出装置であって、前処理部は、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去することなく、入力画像からカメラノイズを除去し、後段の欠陥候補抽出部に出力し、欠陥候補抽出部は、前処理部の出力画像に対して所定サイズのブロック内で最大値および最小値を算出する処理を、１画素毎に注目ブロックを移動させながら実行し、画素毎に局所的な中央値＝（最大値＋最小値）／２を算出し、前処理部の出力画像と中央値とを画素単位で比較し、中央値より出力画素が大きいときは１（白）、そうでないときは０（黒）に適応的に２値化することで、ムラ候補領域となる適応２値化画像を生成するものである。

また、本発明に係る本発明に係るフラットパネルディスプレイの自動ムラ検出方法は、カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、入力画像に対して前処理を行う前処理部、前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および欠陥候補抽出部により抽出されたムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、ムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出方法であって、前処理部において、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去することなく、入力画像からカメラノイズを除去し、後段の欠陥候補抽出部に出力するステップと、欠陥候補抽出部において、前処理部の出力画像に対して所定サイズのブロック内で最大値および最小値を算出する処理を、１画素毎に注目ブロックを移動させながら実行し、画素毎に局所的な中央値＝（最大値＋最小値）／２を算出するステップと、前処理部の出力画像と中央値とを画素単位で比較し、中央値より出力画素が大きいときは１（白）、そうでないときは０（黒）に適応的に２値化することで、ムラ候補領域となる適応２値化画像を生成するステップとを備えるものである。

本発明によれば、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去する処理、および背景ノイズを除去する処理を不要とすることで前処理部を大幅にカットし、欠陥候補抽出部で画素構造を積極的に利用した適応２値化手法を採用することにより、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成することのできるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることができる。

本発明の実施の形態１におけるフラットパネルディスプレイの自動ムラ検出装置の全体構成図である。 本発明の実施の形態１における画像処理部による一連処理を示したフローチャートである。 本発明の実施の形態１における画像処理部による一連処理を示したフローチャートである。 本発明の実施の形態１における画像処理部による具体的な処理画像を示した説明図である。 従来の画像処理部による一連処理を示したフローチャートである。

以下、本発明のフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法の好適な実施の形態につき図面を用いて説明する。
なお、本願発明は、任意のパターンで発光したフラットパネルディスプレイのカメラ撮像画像をコンピュータに取り込み、画像処理によって自動的にムラを検出する手法において、以下のような手段を有することを技術的特徴とするものである。
（特徴１）局所的に最大値および最小値を検出し、検出した最大値および最小値からその中央値を閾値として算出する手段
（特徴２）入力画像に対して、中央値を閾値として適応的に２値化する手段

さらに、以下の技術的特徴を有することもできる。
（特徴３）適応２値化画像に対してクロージング処理やオープニング処理を行うことにより、微妙な変化が強調されて、不均一性（ムラ）部分を可視化し、閉領域をラベリング処理後、適当な閾値処理でムラ部分の判定を行う手段

実施の形態１．
図１は、本発明の実施の形態１におけるフラットパネルディスプレイの自動ムラ検出装置の全体構成図である。図１に示した本実施の形態１におけるフラットパネルディスプレイの自動ムラ検出装置は、カメラ１０、画像処理部２０、および表示部３０を備えて構成され、検査対象であるフラットパネルディスプレイ（以下、「検査パネル１」と称す）の自動ムラ検出を行う。

画像処理部２０は、カメラ１０で撮像された検査パネル１の発光状態に対して画像処理を施すことで、ムラが発生している領域を特定し、表示部３０に特定した場所を表示させることができる。そして、この画像処理部２０は、前処理部２１、欠陥候補抽出部２２、および判定部２３を備えて構成されている。

前処理部２１は、後段の欠陥候補抽出部２２による処理を行うために、カメラ１０で撮像された画像の補正処理を行う部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・拡大／縮小処理
・幾何学的補正
・シェーディング補正
・ノイズ除去（平滑化フィルタ、メディアンフィルタ等）
・画素構造除去
・背景画像予測除去

また、欠陥候補抽出部２２は、前処理部２１を経た画像に対して、ムラに相当する欠陥部分の候補領域を抽出する部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・エンハンス処理
・エッジ検出（ラプラシアンフィルタ、ソーベルフィルタ等）
・第１の特徴量計算
・２値化
・孤立点除去
・膨張／収縮処理
・ラベリング

さらに、判定部２３は、欠陥候補抽出部２２により抽出された候補領域について、ムラであるか否かを最終判断する部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・第２の特徴量計算
・識別（閾値判定、分類等）

次に、フローチャートおよび説明図を用いて、本実施の形態１における自動ムラ検出方法について具体的に説明する。図２、図３は、本発明の実施の形態１における画像処理部２０による一連処理を示したフローチャートである。また、図４は、本発明の実施の形態１における画像処理部２０による具体的な処理画像を示した説明図である。さらに、図５は、従来の画像処理部による一連処理を示したフローチャートである。

まず始めに、図２のフローチャートと図４の説明図を用いて、本実施の形態１における自動ムラ検出方法について具体的に説明する。ステップＳ２０１において、カメラ１０により撮影された検査パネル１の画像が、前処理部２１に入力画像（図４（ａ）参照）として入力される。前処理部２１は、詳細を図示しないが、入力画像に対してカメラノイズ除去を施した後の画像を生成する。ここでは、カメラ撮影画像の微小なノイズを取ることが目的なので、フィルタのサイズの小さい、簡単なガウシャンフィルタ等で構成できる。

次に、ステップＳ２１１およびステップＳ２１２において、欠陥候補抽出部２２は、前処理部２１により生成されたカメラノイズ除去後の画像に対して、最大値検出処理および最小値検出処理を実行する。

欠陥候補抽出部２２は、最大値検出処理および最小値検出処理においては、所定サイズのブロック単位の画素データ中から最大値および最小値を検出し、画素単位で所定サイズのブロックを移動させながら、局所的な最大値および最小値を順次算出する。

さらに、ステップＳ２１３において、欠陥候補抽出部２２は、ステップＳ２１１で検出された最大値とステップＳ２１２で検出された最小値に基づいて、下式（１）により、各画素の中央値を算出する。
中央値＝（最大値＋最小値）／２ （１）

ここで、２で割る演算は、ビットシフトで実現できるため、回路要素の増大にはならない。

次に、ステップＳ２１４において、欠陥候補抽出部２２は、前処理部２１により生成されたカメラノイズ除去後の画像の各画素に対して、ステップＳ２１３で算出された中央値との比較を行うことで、白（１）と黒（０）に２値化された適応２値化画像を生成する（図４（ｂ）参照）。より具体的には、各画素において、中央値よりも大きい入力画素は１（白）、そうでない入力画像は０（黒）に２値化されることで、適応２値化画像が生成される。

図４（ｂ）に示した適応２値化画像と、図４（ｃ）に示した入力画像の拡大画像との比較からわかるように、パネルの欠陥のある部分とない部分で、白と黒の分布に差が出ている。すなわち、適応２値化画像において、拡大画像中でスポット状の欠陥がある部分に対応するところで、黒い部分が多くなっている。

このような分布をより強調するために、次のステップＳ２１５において、欠陥候補抽出部２２は、クロージング（白の部分を膨張させた後、収縮させる）処理を行い、クロージング処理後の画像を生成する（図４（ｄ）参照）。このようなクロージング処理を行うことで、白の部分は連結され、黒の部分の隙間が見えてくる。

さらに、ステップＳ２１６において、欠陥候補抽出部２２は、白黒反転処理を行うことで、欠陥部に対応するところが白の閉領域として識別される白黒反転画像を生成する（図４（ｅ）参照）。そして、欠陥候補抽出部２２は、ステップＳ２１７において、白黒反転画像の中から白の閉領域を抽出し、続くステップＳ２１８において、抽出した閉領域のラベリング処理を行い、欠陥候補画像を生成する（図４（ｆ）参照）。

なお、図２に示したフローチャートでは、適応２値化画像に対してクロージング処理を実行することで、最終的に欠陥候補画像を生成する場合を説明した。しかしながら、本発明は、このような処理に限定されず、クロージング処理の代わりにオープニング処理を施すことによっても同様の効果を得ることができ、この一連処理を示したものが、図３のフローチャートに相当する。

図３のフローチャートにおいては、図２のフローチャートにおけるステップＳ２１５のクロージング処理およびステップＳ２１６の白黒反転処理の代わりに、ステップＳ３１５の白黒反転処理およびステップＳ３１６のオープニング処理が用いられている点が異なっている。

すなわち、オープニング処理を施す場合には、欠陥候補抽出部２２は、先に、ステップＳ３１５において、白黒反転処理を行うことで、欠陥部に対応するところが白の閉領域として識別されるようにしておく。その後、ステップＳ３１６において、欠陥候補抽出部２２は、オープニング（白の部分を収縮させた後、膨張させる）処理を行い、オープニング処理後の画像を生成する。

このようなオープニング処理を行うことによっても、先のクロージング処理を行った場合と同等の画像を得ることができる。

そして、最後に、ステップＳ２２１において、判定部２３は、図２あるいは図３のステップＳ２１８で生成された画像に関し、経験に基づいた判断ルールで欠陥部分およびその属性を特定し、結果を表示部３０に表示する。

より具体的には、判定部２３は、ステップＳ２１８により特定された不均一性（ムラ）領域候補の各領域内で、輝度値やコントラスト比やＳＥＭＵ値等のパラメータを演算する（ここで、「ＳＥＭＵ」とは、ＳＥＭＩ（Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｅｑｕｉｐｍｅｎｔ ａｎｄ Ｍａｔｅｒｉａｌｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ）において、ムラの測定単位として定義されたものであり、「ＳＥＭＩ ＭＵＲＡ」の略称に相当する）。さらに、判定部２３は、ステップＳ２１８で生成された欠陥候補画像を表示部３０に表示させるとともに、演算で求めた各パラメータを各候補領域に対応させて表示させることができる。

この結果、検査者は、表示内容に基づいた総合的な判断をすることで、不均一性（ムラ）領域の真偽判定を行うことができる。また、検査者の経験に基づいて、各パラメータからムラの発生の有無を判定するための評価値をあらかじめ設定しておくことで、判定部２３は、演算で求めた各パラメータを各評価値と比較することによって、自動ムラ判定を行うことも可能である。

図５は、従来の画像処理部による一連処理を示したフローチャートであり、図２あるいは図３に示した本実施の形態１の画像処理部による一連処理を示したフローチャートとの対比を説明する。図５に示したように、従来技術における前処理部２１は、固定画素構造を有するフラットパネルディスプレイの画素単位の構造がカメラ撮影による画像に明暗として写るため、所定の帯域を通過させるフィルタリング処理により、画素構造を除去していた（図５のステップＳ５０２参照）。

さらに、フィルタサイズの大きいローパスフィルタなどで背景画像予測を行い、入力画像から減算することで、背景ノイズを除去していた（図５のステップＳ５０３、Ｓ５０４参照）。

しかしながら、発明が解決しようとする課題として上述したように、ステップＳ５０２において、フィルタをかけることによって、本来検出すべき欠陥の特徴をもなまらせてしまうことになり、以降の欠陥検出処理が難しくなるという問題が生じていた。さらに、検出対象となる欠陥の種類やパネルの種類によって、帯域通過フィルタの特性や以降の欠陥検出処理アルゴリズムを微妙に調整する必要があり、さらに作業工程が増えるという問題もあった。

また、ステップＳ５０３におけるフィルタ処理においては、フィルタのサイズを大きくして十分なローパス効果を実現しないと、ムラの検出性能に影響することとなる。このため、ハードウェアの負担が増大するとともに、ソフトウェアの処理時間が長くなるという問題も生じ、最終製品であるフラットパネルディスプレイのコスト高への影響が生じる。

これに対して、本実施の形態１における画像処理部２０は、画素構造の除去処理、背景画像予測処理、および差分画像処理を前処理部２１によって行うことなく、欠陥候補抽出部２２において、パネルの画素構造を積極的に利用して、適応２値化処理による簡単なロジックおよびハードウェアで欠陥部分の特徴を抽出している。さらに、オープニング／クロージング処理、およびラベリング処理による簡単なロジックおよびハードウェアで、欠陥部分の特徴をより高精度に抽出している。

この結果、高速に、本来の欠陥を高精度に抽出することができ、検査工程の省力化、高速化を実現することで、最終製品であるフラットパネルディスプレイのコストダウンを達成することができる。なお、本実施の形態１における自動ムラ検出方法は、スポット状の欠陥や、ある程度の面積を持った欠陥の検査に対して特に有効である。

以上のように、実施の形態１によれば、画素構造の除去処理を前処理によって行うことなく、パネルの画素構造を積極的に利用して、欠陥候補領域の抽出を行うことができる。この結果、検査工程の省力化、高速化を実現できるとともに、最終製品であるフラットパネルディスプレイのコストダウンを達成することができるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることができる。

１ 検査パネル、１０ カメラ、２０ 画像処理部、２１ 前処理部、２２ 欠陥候補抽出部、２３ 判定部、３０ 表示部。

Claims (4)

1. カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、前記入力画像に対して前処理を行う前処理部、前記前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および前記欠陥候補抽出部により抽出された前記ムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、ムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出装置であって、
   前記前処理部は、前記フラットパネルディスプレイが有する画素構造の影響を前記入力画像から除去することなく、前記入力画像からカメラノイズを除去し、後段の前記欠陥候補抽出部に出力し、
   前記欠陥候補抽出部は、
   前記前処理部の出力画像に対して所定サイズのブロック内で最大値および最小値を算出する処理を、１画素毎に前記注目ブロックを移動させながら実行し、画素毎に局所的な中央値＝（最大値＋最小値）／２を算出し、
   前記前処理部の出力画像と前記中央値とを画素単位で比較し、前記中央値より前記出力画素が大きいときは１（白）、そうでないときは０（黒）に適応的に２値化することで、前記ムラ候補領域となる適応２値化画像を生成する
   フラットパネルディスプレイの自動ムラ検出装置。
2. 請求項１に記載のフラットパネルディスプレイの自動ムラ検出装置において、
   前記欠陥候補抽出部は、
   前記適応２値化画像に対して膨張／収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮／膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出し、
   抽出した前記閉領域をラベリングすることで、前記ムラ候補領域をさらに絞り込み、後段に出力する
   フラットパネルディスプレイの自動ムラ検出装置。
3. 請求項１または２に記載のフラットパネルディスプレイの自動ムラ検出装置において、
   前記判定部は、前記欠陥候補抽出部により算出された前記ムラ候補領域のそれぞれの領域について、輝度値あるいはコントラスト比に基づくパラメータを算出して所定の評価値と比較することで、前記ムラ候補領域の真偽判定を行う
   フラットパネルディスプレイの自動ムラ検出装置。
4. カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、前記入力画像に対して前処理を行う前処理部、前記前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および前記欠陥候補抽出部により抽出された前記ムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、ムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出方法であって、
   前記前処理部において、前記フラットパネルディスプレイが有する画素構造の影響を前記入力画像から除去することなく、前記入力画像からカメラノイズを除去し、後段の前記欠陥候補抽出部に出力するステップと、
   前記欠陥候補抽出部において、
   前記前処理部の出力画像に対して所定サイズのブロック内で最大値および最小値を算出する処理を、１画素毎に前記注目ブロックを移動させながら実行し、画素毎に局所的な中央値＝（最大値＋最小値）／２を算出するステップと、
   前記前処理部の出力画像と前記中央値とを画素単位で比較し、前記中央値より前記出力画素が大きいときは１（白）、そうでないときは０（黒）に適応的に２値化することで、前記ムラ候補領域となる適応２値化画像を生成するステップと
   を備えるフラットパネルディスプレイの自動ムラ検出装置。

Images