JP2008116207A - Image measuring apparatus, image measuring method and program - Google Patents
Image measuring apparatus, image measuring method and program Download PDFInfo
- Publication number
- JP2008116207A JP2008116207A JP2006296854A JP2006296854A JP2008116207A JP 2008116207 A JP2008116207 A JP 2008116207A JP 2006296854 A JP2006296854 A JP 2006296854A JP 2006296854 A JP2006296854 A JP 2006296854A JP 2008116207 A JP2008116207 A JP 2008116207A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- measurement
- edge extraction
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Length-Measuring Devices Using Wave Or Particle Radiation (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】計測対象物の画像データに基づいて当該計測対象物の測定を行うに当たり、自動的に最適なエッジ抽出法が適用される構成を提供することを目的とする。
【解決手段】画像データに、当該画像の撮像に係る所定の撮像条件データを添付しておき、当該画像データに基づいて前記計測対象物の計測を行うために計測対象物の輪郭に対応するエッジを抽出する際、当該画像データに添付された撮像条件データに基づいて当該画像データについて適用するエッジ抽出方法を決定するようにした。
【選択図】図2An object of the present invention is to provide a configuration in which an optimum edge extraction method is automatically applied when measuring a measurement object based on image data of the measurement object.
Edges corresponding to the contour of a measurement object in order to perform measurement of the measurement object based on the image data by attaching predetermined imaging condition data relating to imaging of the image to image data Is extracted, the edge extraction method to be applied to the image data is determined based on the imaging condition data attached to the image data.
[Selection] Figure 2
Description
本発明は画像計測装置、画像計測方法及びプログラムに係り、特に撮像によって得られた画像に基づいて計測対象物を計測するための画像計測装置、画像計測方法及びプログラムに関する。 The present invention relates to an image measurement device, an image measurement method, and a program, and more particularly to an image measurement device, an image measurement method, and a program for measuring a measurement object based on an image obtained by imaging.
測長用走査型電子顕微鏡、いわゆるCD−SEMを用いて計測対象物を撮像し、その画像データに基づいて当該計測対象物の特定箇所の長さを測定することによって、当該計測対象物の製造工程におけるプロセスの管理を行うことがなされている。この場合の計測対象物の例としては、例えば各種半導体装置、ハードディスク装置の記録・再生ヘッド等が挙げられる。 The measurement object is manufactured by imaging the measurement object using a scanning electron microscope for length measurement, so-called CD-SEM, and measuring the length of a specific portion of the measurement object based on the image data. Process management in the process is performed. Examples of measurement objects in this case include various semiconductor devices, recording / reproducing heads of hard disk devices, and the like.
ここでは撮像された画像中に特定の図形が存在することを想定し、その図形を構成するエッジ点を抽出する処理が行われる。この際には輝度値プロファイルを一方向に微分して得られる曲線を用いたエッジ抽出アルゴリズムが用いられる。 Here, assuming that a specific graphic exists in the captured image, processing for extracting edge points constituting the graphic is performed. In this case, an edge extraction algorithm using a curve obtained by differentiating the luminance value profile in one direction is used.
しかしながらエッジ部分の輝度があまり明るくない画像に対しては微分カーブが急峻とならないため、しきい値を設定して輝度プロファイル曲線との交点を求めるエッジ抽出アルゴリズムが適する場合も考えられる。 However, since the differential curve does not become steep for an image in which the brightness of the edge portion is not so bright, an edge extraction algorithm for determining an intersection with the brightness profile curve by setting a threshold value may be suitable.
上記CD−SEMによって撮影された画像は、計測対象物の製造工程中のどの段階で撮像されたかによって、同じ部位に対するものであってもその輝度分布およびプロファイル形状が異なる場合がある。このため、上記微分によるエッジ抽出法が適した画像と、しきい値処理による方法が適した画像とが混在する可能性がある。この場合何らかの方法でエッジ抽出アルゴリズムを切り替える必要がある。尚このエッジ抽出アルゴリズムについては図14とともに後述する。
本発明は上記課題に鑑みてなされたものであり、計測対象物の画像データに基づいて当該計測対象物の計測を行うに当たり、自動的に最適なエッジ抽出法が適用される構成を提供することを目的とする。 The present invention has been made in view of the above problems, and provides a configuration in which an optimal edge extraction method is automatically applied when measuring a measurement target based on image data of the measurement target. With the goal.
本発明では、計測対象物の画像データに、当該画像の撮像に係る撮像条件データを添付しておき、当該画像データに基づいて前記計測対象物の計測を行うために当該計測対象物に設けられた所定の形状の輪郭に対応するエッジを抽出する際、当該画像データに添付された撮像条件データに基づいて当該画像データについて適用するエッジ抽出方法を決定するようにした。 In the present invention, imaging condition data relating to imaging of the image is attached to the image data of the measurement object, and the measurement object is provided to measure the measurement object based on the image data. In addition, when extracting an edge corresponding to an outline of a predetermined shape, an edge extraction method to be applied to the image data is determined based on imaging condition data attached to the image data.
尚ここで撮像条件データの添付は、例えば画像データのファイルとこれに対応する撮像条件データのファイルとをコンピュータのハードディスク装置等の記憶装置における同じディレクトリに格納することで実現可能である。 The attachment of the imaging condition data can be realized by storing, for example, an image data file and a corresponding imaging condition data file in the same directory in a storage device such as a hard disk device of a computer.
本発明によれば、操作者は予め計測対象物の画像データの各々に対し、該当する撮像条件データを添付しておき、当該撮像条件データが添付された画像データを画像計測装置の記憶装置に格納しておくことにより、画像計測装置にこれら画像データに対する計測動作を順次自動実行させることが可能となる。 According to the present invention, the operator attaches corresponding imaging condition data to each image data of the measurement object in advance, and stores the image data with the imaging condition data attached to the storage device of the image measuring apparatus. By storing the data, it is possible to cause the image measurement device to automatically and sequentially perform measurement operations on these image data.
従来は計測対象物の画像データに対する計測処理を自動的に実行させようとしても、各画像データの処理において、そのエッジ抽出法の決定の工程で操作者自身が当該画像データを目視して最適なエッジ抽出法を判断する必要があった。このため計測処理の実行がその都度中断されることになってしまう。 Conventionally, even if the measurement process for the image data of the measurement object is automatically executed, in the process of each image data, the operator himself / herself visually checks the image data in the step of determining the edge extraction method. It was necessary to judge the edge extraction method. For this reason, the execution of the measurement process is interrupted each time.
これに対し本発明では予め画像計測装置にセットする画像データに対して最適なエッジ抽出法の決定のための撮像条件データを添付するようにしたため、計測処理の効果的な効率向上が図り得る。 On the other hand, in the present invention, the imaging condition data for determining the optimum edge extraction method is attached to the image data set in the image measuring apparatus in advance, so that the effective efficiency of the measurement process can be improved.
尚ここで画像データの撮像条件データとは、当該画像データが計測対象物の製造工程中のどの段階における撮像で得られたものかを示すデータである。よって操作者が当該画像データを当該計測対象物の撮像によって得る際に取得可能なデータであり、その際に添付しておくことが可能である。 Here, the imaging condition data of the image data is data indicating at which stage in the manufacturing process of the measurement object the image data is obtained by imaging. Therefore, the data can be acquired when the operator obtains the image data by imaging the measurement object, and can be attached at that time.
そして処理対象の画像データが得られたのが計測対象物の製造工程中のどの段階における撮像によるものかを示すこの撮像条件データを参照することにより、画像計測装置が自動的に対応するエッジ抽出法を決定可能な構成を設けておけばよい。例えば撮像条件データとこれに対する最適なエッジ抽出法との関係を予めテーブル化しておき、画像計測装置がこのテーブルを参照することによって与えられた画像データの撮像条件データに対する最適なエッジ抽出法を自動的に決定可能な構成とすることが可能である。 Then, by referring to this imaging condition data indicating at which stage in the manufacturing process of the measurement object the image data to be processed was obtained, the image measurement apparatus automatically extracts the corresponding edge extraction. What is necessary is just to provide the structure which can determine a law. For example, the relationship between the imaging condition data and the optimum edge extraction method for this is tabulated in advance, and the image measuring apparatus automatically refers to this table and automatically selects the optimum edge extraction method for the imaging condition data of the given image data. It is possible to have a configuration that can be determined in an automated manner.
本発明によれば計測対象物の画像データに基づく当該計測対象物の計測処理の効率を効果的に向上し得る。 ADVANTAGE OF THE INVENTION According to this invention, the efficiency of the measurement process of the said measurement target based on the image data of a measurement target can be improved effectively.
以下本発明の実施例の構成について詳細に説明する。 The configuration of the embodiment of the present invention will be described in detail below.
本発明の実施例では、CD−SEMによって計測対象物の画像を撮影する際に該当する撮影条件データのファイルを添付しておく。そして実際の計測処理時、同ファイルから画像の撮像条件データを読み出すことによってその画像の種類を特定し、その特定結果に基づいてエッジ抽出アルゴリズム、すなわちエッジ抽出法を決定する構成を設けた。 In the embodiment of the present invention, a file of photographing condition data corresponding to photographing an image of a measurement object with a CD-SEM is attached. At the time of actual measurement processing, an image extraction condition data is read from the file to identify the type of the image, and an edge extraction algorithm, that is, an edge extraction method is determined based on the identification result.
すなわち、与えられた画像が当該計測対象物の製造工程におけるどの段階で撮像されたものかを予め撮像条件データのファイルに記録しておき、同画像に基づくエッジ抽出処理の際、その撮像条件データのファイル内の文字列に基づいて最適なエッジ抽出アルゴリズムが自動的に選択されるようにした。 In other words, the stage at which the given image was captured in the manufacturing process of the measurement object is recorded in advance in a file of imaging condition data, and the imaging condition data is obtained during the edge extraction process based on the image. The optimal edge extraction algorithm is automatically selected based on the strings in the file.
本発明の実施例による画像計測装置によれば、計測対象物の撮像時に、その撮像条件データが別ファイルとして計測対象物の画像に添付され、同画像から図形が抽出され、これに基づいて計測処理がなされる。その添付された撮像条件データは実際の計測処理の前に読み出され、その読み出された撮像条件データに応じて最適なエッジ抽出アルゴリズムが選択される。 According to the image measuring apparatus according to the embodiment of the present invention, when imaging the measurement object, the imaging condition data is attached as a separate file to the image of the measurement object, and a figure is extracted from the image, and measurement is performed based on the extracted figure. Processing is done. The attached imaging condition data is read out before the actual measurement process, and an optimum edge extraction algorithm is selected according to the read imaging condition data.
更に、計測対象物の画像から1次元の輝度プロファイルが取り出され、その輝度プロファイルに対し、上記抽出に係る図形の対称軸の位置を検索する処理がなされる。そしてこの輝度プロファイルから前記図形を構成するエッジ点を抽出する際、この対称軸の右側のエッジと左側のエッジとに対して個別にしきい値処理がなされることでエッジ点を抽出する処理がなされる。又、同輝度プロファイルの形状が非対称であった場合、片側のしきい値を適宜補正してエッジを再抽出する。 Further, a one-dimensional luminance profile is extracted from the image of the measurement object, and a process for searching for the position of the symmetry axis of the figure related to the extraction is performed on the luminance profile. Then, when extracting the edge points constituting the figure from the luminance profile, the threshold points are separately applied to the right edge and the left edge of the symmetry axis, thereby performing the process of extracting the edge points. The If the shape of the luminance profile is asymmetric, the edge is re-extracted by appropriately correcting the threshold value on one side.
又このように一旦上記しきい値処理を行ってエッジ点の抽出を行い、その結果から非対称との判定がなされた際に一方のエッジを再抽出する場合には以下の動作を行う。 Further, when the threshold value processing is performed once to extract the edge point and one edge is re-extracted when it is determined as asymmetric from the result, the following operation is performed.
すなわち上記輝度プロファイル上、エッジ抽出点と輝度最大点との距離が大きい方を補正対象とする。そして同補正対象のエッジ抽出点とそのしきい値判定に用いた輝度最大点との距離が他方のエッジ抽出点と対応する輝度最大点との距離のn倍であるとき、上記しきい値判定に用いた輝度最大値と補正対象のしきい値との差が他の輝度最大値と対応するしきい値との差の1/n倍になるように、当該補正対象のしきい値を補正する。そして補正対象につき、その補正したしきい値によって再度しきい値処理を行ってエッジを再抽出を実行する。 That is, in the luminance profile, the correction target is a longer distance between the edge extraction point and the maximum luminance point. When the distance between the edge extraction point to be corrected and the maximum luminance point used for threshold determination is n times the distance between the other edge extraction point and the corresponding maximum luminance point, the threshold determination is performed. The threshold value of the correction target is corrected so that the difference between the maximum brightness value used for the correction and the threshold value to be corrected is 1 / n times the difference between the maximum brightness value and the corresponding threshold value. To do. Then, the threshold value processing is performed again for the correction target with the corrected threshold value, and the edge is re-extracted.
又、このように輝度最大値としきい値との差を適用してしきい値の補正に用いる代わりに、輝度最大値と輝度最小値との差に対するしきい値の割合を適用してしきい値の補正を行うようにしてもよい。 Further, instead of using the difference between the maximum luminance value and the threshold value to correct the threshold value, the threshold value ratio to the difference between the maximum luminance value and the minimum luminance value is applied. The value may be corrected.
又、しきい値の補正を行う際、あらかじめ補正後のしきい値の上限を設定しておく。 When the threshold value is corrected, an upper limit of the corrected threshold value is set in advance.
又、上記対称軸の位置を判定する際、あらかじめ対称軸近傍の画像を教師画像データとして設定しておき、その教師画像とのパターンマッチングにより処理対象画像における対称軸の位置を判定する。 When determining the position of the symmetric axis, an image near the symmetric axis is set in advance as teacher image data, and the position of the symmetric axis in the processing target image is determined by pattern matching with the teacher image.
或いはこの場合においてパターンマッチングを用いる代わりに、輝度プロファイルの右側から探索した際に得られる極大点と同輝度プロファイルの左側から探索した際に得られる極大点との中点を候補点とする操作を探索位置を変えて少なくとも2回行い、そのようにして得られた複数の候補点の平均をとることによって得られた位置を真の対称軸の位置として得るようにしてもよい。 Alternatively, in this case, instead of using pattern matching, an operation in which a candidate point is a midpoint between the maximum point obtained when searching from the right side of the luminance profile and the maximum point obtained when searching from the left side of the luminance profile is performed. The search position may be changed at least twice, and the position obtained by taking the average of the plurality of candidate points thus obtained may be obtained as the position of the true symmetry axis.
本発明の実施例による画像計測装置の機能、すなわち本発明の実施例による画像計測方法につき、図1とともに説明する。 The function of the image measuring apparatus according to the embodiment of the present invention, that is, the image measuring method according to the embodiment of the present invention will be described with reference to FIG.
本発明の実施例による画像計測装置或いは画像計測方法は、前処理部1(すなわち前処理段階),エッジ抽出部2(すなわちエッジ抽出段階)及び長さ計測部3(すなわち長さ計測段階)を含む。 An image measuring apparatus or an image measuring method according to an embodiment of the present invention includes a preprocessing unit 1 (that is, a preprocessing stage), an edge extracting unit 2 (that is, an edge extracting stage), and a length measuring unit 3 (that is, a length measuring stage). Including.
前処理部1では与えられた画像に含まれる白線の除去等、以降の計測処理に不要な情報の除去等の前処理を行う。エッジ抽出部2では同画像に含まれるエッジの抽出を行い、長さ計測部3ではこのように抽出されたエッジに対し、計測を行う計測位置を定め、計測位置におけるエッジ間の距離を測定する。このようにして得られた測定値を基に、当該画像の基となった計測対象物が規定通りの寸法に製造されているか等のチェックを行う。 The pre-processing unit 1 performs pre-processing such as removal of information unnecessary for subsequent measurement processing, such as removal of white lines included in a given image. The edge extraction unit 2 extracts edges included in the image, and the length measurement unit 3 determines a measurement position for measuring the extracted edge, and measures the distance between the edges at the measurement position. . Based on the measurement values obtained in this way, it is checked whether or not the measurement object that is the basis of the image is manufactured to a prescribed size.
以下、図1に示す構成の各部の機能を詳しく説明する。 Hereinafter, the function of each part of the configuration shown in FIG. 1 will be described in detail.
図2は前処理部1の機能を説明するための処理フローチャートである。 FIG. 2 is a processing flowchart for explaining the function of the preprocessing unit 1.
ステップS11では、以降の処理に不要な白線を処理対象の画像データから除去し、ステップS12では処理対象の画像データに添付されている撮像条件データのファイルから当該画像データの種類、すなわち計測対象物の製造工程中のどの段階における撮像に係る画像かを示す情報と、キャリブレーション用の寸法情報、すなわち当該画像データとその基となった計測対象物の実際の寸法との関連を示す情報とを読み取る。 In step S11, white lines unnecessary for the subsequent processing are removed from the image data to be processed, and in step S12, the type of image data, that is, the measurement object, from the imaging condition data file attached to the image data to be processed. Information indicating at which stage in the manufacturing process the image related to imaging, and dimensional information for calibration, that is, information indicating the relationship between the image data and the actual dimensions of the measurement object on which the image data is based. read.
そしてステップS13でキャリブレーションを行う。 In step S13, calibration is performed.
すなわち当該画像データにおける画素数と、当該画像データの基となった計測対象物の実際の寸法との対応関係、すなわち計測対象物の実際の単位長さに対応する画像データの画素数を求める演算を行う。 That is, the calculation for obtaining the correspondence between the number of pixels in the image data and the actual size of the measurement object that is the basis of the image data, that is, the number of pixels of the image data corresponding to the actual unit length of the measurement object I do.
又ステップS14では画像データの種類を判別する。ここでは上記撮像条件データのファイルから得られる情報、すなわち当該画像データが計測対象物の製造工程中のどの段階の撮像に係るものかを示す情報に応じて画像データの種類が選択される。 In step S14, the type of image data is determined. Here, the type of image data is selected in accordance with information obtained from the file of the imaging condition data, that is, information indicating at which stage the image data relates to imaging in the manufacturing process of the measurement object.
そして、ステップS15にて、この選択結果に応じ、予め用意されている3種類の画像のいずれかによってステップS16にてパターンマッチングが行われる。このパターンマッチングによる位置合わせによって、次のエッジ抽出部2におけるエッジ抽出処理において使用される、図形の対称軸の位置が抽出される。 In step S15, pattern matching is performed in step S16 according to any of the three types of images prepared in advance according to the selection result. By the alignment by this pattern matching, the position of the symmetry axis of the figure used in the edge extraction process in the next edge extraction unit 2 is extracted.
すなわち、計測対象物の製造工程中のどの段階の撮像に係る画像データかの情報により、その撮像条件に合致したテンプレート画像が選択され、そのテンプレート画像とのテンプレートマッチングを行う。そしてテンプレート画像と処理対象の画像との間の類似度が最大となった状態の双方の相対位置関係における当該テンプレート画像の対称軸の位置を、処理対象画像の対称軸の位置として取得する。その結果、当該画像に含まれる図形の対称軸を精度良く抽出できる。 That is, a template image that matches the imaging condition is selected based on information regarding which stage of image data is related to imaging in the manufacturing process of the measurement object, and template matching with the template image is performed. Then, the position of the symmetry axis of the template image in the relative positional relationship between the template image and the image to be processed having the maximum similarity is acquired as the position of the symmetry axis of the process target image. As a result, the symmetry axis of the figure included in the image can be extracted with high accuracy.
これは異なる撮像条件で得られた画像間のパターンマッチングによる位置合わせでは、その間の類似度として十分高いものが得られないため、位置合わせの精度を高めることが困難であるが、他方同等の撮像条件で得られた画像間のパターンマッチングによる位置合わせでは、その間の類似度として十分高いものが得られるため、位置合わせの精度を高めることが可能なことによる。そこで上記テンプレート画像として処理対象画像の撮像条件と合致する撮像条件で得られた画像を用いることにより、パターンマッチングの位置合わせの精度向上が可能であり、もって画像に含まれる図形の対称軸を高精度に得ることが可能となる。 This is because alignment by pattern matching between images obtained under different imaging conditions does not provide a sufficiently high similarity between them, so it is difficult to improve the alignment accuracy, but the other is equivalent imaging. In the alignment by pattern matching between the images obtained under the conditions, a sufficiently high similarity can be obtained, so that the alignment accuracy can be increased. Therefore, by using an image obtained under an imaging condition that matches the imaging condition of the processing target image as the template image, it is possible to improve the accuracy of pattern matching alignment, and thus increase the symmetry axis of the figure included in the image. It becomes possible to obtain the accuracy.
図3(a)はエッジ抽出部2が実行する処理について説明するための処理フローチャートである。 FIG. 3A is a process flowchart for explaining the process executed by the edge extraction unit 2.
まずステップS21では処理対象画像の輝度プロファイルを取得するための変数yがセットされる。ここで変数yとは、例えば図5に示す画像の例の場合、y座標、すなわち上下方向の座標に対応する。 First, in step S21, a variable y for acquiring the luminance profile of the processing target image is set. Here, the variable y corresponds to the y coordinate, that is, the vertical coordinate in the example of the image shown in FIG.
ステップS22では上記対称軸に対する左側のエッジEl(y)と右側のEr(y)とが抽出される。 In step S22, the left edge El (y) and the right Er (y) with respect to the symmetry axis are extracted.
ステップS23ではこれら左右のエッジが対称軸に対して左右対称な位置にあるかどうかを判定する。判定の結果左右対称でないとされた場合(NO)、ステップS22が繰り返される。 In step S23, it is determined whether or not these left and right edges are in a symmetrical position with respect to the symmetry axis. If the result of determination is that it is not symmetrical (NO), step S22 is repeated.
ここでステップS23で左右対称でないと判定された場合とは、ステップS22で抽出されたエッジが誤抽出によるものとの判定がなされた場合である。したがってその場合、ステップS22では更にエッジの探索を続行し、正しいエッジが探索され、ステップS23の判定結果がYESとなるまでこれが繰り返される。ただしエッジの探索が該当する探索範囲全体について実施された場合においても尚ステップS23の判定結果がYESとならない場合、この処理はエラー終了し、該当する変数yについて計測不能との結果を出力する。 Here, the case where it is determined in step S23 that it is not symmetrical is a case where it is determined that the edge extracted in step S22 is due to erroneous extraction. Therefore, in this case, the edge search is further continued in step S22, and a correct edge is searched for, and this is repeated until the determination result in step S23 becomes YES. However, even when the edge search is performed for the entire corresponding search range, if the determination result in step S23 is not YES, this process ends in error, and a result indicating that measurement is impossible for the corresponding variable y is output.
そしてステップS24では上記変数yに次の値をセットし、ステップS25では変数yの所定の範囲に対する処理が完了したかどうかを判定する。 In step S24, the next value is set to the variable y. In step S25, it is determined whether or not the processing for the predetermined range of the variable y is completed.
上記ステップS22のエッジ抽出処理の詳細につき、図3(b)とともに詳細に説明する。 Details of the edge extraction processing in step S22 will be described in detail with reference to FIG.
ステップS31では上記図2のステップS14の画像種類判定と同様の処理により、処理対象の画像データに添付された撮像条件データのファイルから撮像条件のデータを読み取ることにより、撮像対象の計測対象物の製造工程におけるどの段階の撮像に係る画像データかを判定し、その判定結果に応じて最適なエッジ抽出アルゴリズムを選択する。すなわち、微分値を用いてエッジ抽出(ステップS32〜S34或いはステップS35〜S37)を行うか、或いはしきい値処理によるエッジ抽出(ステップS38〜S42)を行うかを判断する。 In step S31, the imaging condition data is read from the imaging condition data file attached to the image data to be processed by the same processing as the image type determination in step S14 in FIG. It is determined at which stage in the manufacturing process the image data related to imaging, and an optimum edge extraction algorithm is selected according to the determination result. That is, it is determined whether to perform edge extraction (steps S32 to S34 or steps S35 to S37) using the differential value, or to perform edge extraction (steps S38 to S42) by threshold processing.
微分値を用いる方法は更にステップS32〜S34の処理と、ステップS35〜S37の処理とが含まれ、ステップS31ではその何れかが選択される。 The method using the differential value further includes the processes in steps S32 to S34 and the processes in steps S35 to S37, and any one of them is selected in step S31.
ステップS32とステップS35とでは異なるスムージング処理、すなわちフィルタ処理が実施される。その後ステップS33又はS36にて輝度プロファイル上の輝度値の微分値が算出される。そしてステップS34では上記対称軸から両側に向けて、エッジの内側で微分値の最大値を探索し、他方ステップS37ではエッジの外側から対称軸に向かって、エッジの外側で微分値の最大値を探索する。 In step S32 and step S35, different smoothing processing, that is, filter processing is performed. Thereafter, a differential value of the luminance value on the luminance profile is calculated in step S33 or S36. In step S34, the maximum value of the differential value is searched for inside the edge from the symmetric axis toward both sides. In step S37, the maximum value of the differential value is set outside the edge from the outside of the edge toward the symmetric axis. Explore.
画像に含まれる図形のエッジの部分では、例えば図5、図6或いは図14に示される如く、その輝度プロファイルの傾きが急峻となる。したがって輝度プロファイル上の輝度値の微分値が最大の位置を求めることによりエッジの位置を求める方法、すなわちステップS32〜S34の処理或いはステップS35〜S37の処理が適用される。 At the edge portion of the graphic included in the image, for example, as shown in FIG. 5, FIG. 6, or FIG. Therefore, the method of obtaining the position of the edge by obtaining the position where the differential value of the luminance value on the luminance profile is the maximum, that is, the processing of steps S32 to S34 or the processing of steps S35 to S37 is applied.
又、しきい値処理によるエッジ抽出アルゴリズムが選択された場合、ステップS38で輝度プロファイル上の輝度の最大値を探索し、ステップS39でその最小値を探索し、ステップS40でしきい値を設定する。 If an edge extraction algorithm by threshold processing is selected, the maximum value of luminance on the luminance profile is searched for in step S38, the minimum value is searched for in step S39, and the threshold value is set in step S40. .
ここでは例えばステップS38,S39で得られた輝度の最大値と最小値との差に対する所定の割合、例えば70%の値として、しきい値を得る。 Here, for example, the threshold value is obtained as a predetermined ratio with respect to the difference between the maximum value and the minimum value of the luminance obtained in steps S38 and S39, for example, 70%.
そしてステップS41にて、ここで得られたしきい値以下の輝度を探索することにより、輝度プロファイルが当該しきい値を横切る位置、すなわちエッジ位置を得る。そしてステップS42では、必要に応じ、図7とともに後述する左右非対称補正処理を行う。 Then, in step S41, the brightness below the threshold value obtained here is searched to obtain the position where the brightness profile crosses the threshold value, that is, the edge position. In step S42, left / right asymmetric correction processing, which will be described later with reference to FIG. 7, is performed as necessary.
このしきい値処理、すなわちステップS38〜S42の処理は図14に示されるスレッショルド法によるものである。画像に含まれる図形のエッジの部分では、例えば図5、図6或いは図14に示される如く、その輝度プロファイル上で輝度値が急上昇する。したがって一定のしきい値を設け、そのしきい値を横切る点をエッジの位置と判断する方法、すなわちスレッショルド法が適用される。 This threshold value processing, that is, the processing in steps S38 to S42, is based on the threshold method shown in FIG. At the edge portion of the graphic included in the image, for example, as shown in FIG. 5, FIG. 6, or FIG. Therefore, a method is adopted in which a certain threshold value is provided and a point crossing the threshold value is determined as the edge position, that is, the threshold method.
このように画像の種類によってエッジ抽出アルゴリズムを変えるのは以下の理由による。 The reason for changing the edge extraction algorithm depending on the type of image in this way is as follows.
すなわち、計測対象物の製造工程中の段階によって計測対象物の形状或いは材質が異なるため、例えば製造工程において計測対象物上に設けられた突部等の所定の形状の輪郭、すなわちエッジにおける光の反射の度合いが異なる。このため、製造工程中のどの段階の画像かによって最適なエッジ抽出アルゴリズムが異なる。 That is, since the shape or material of the measurement object varies depending on the stage in the manufacturing process of the measurement object, for example, the contour of a predetermined shape such as a protrusion provided on the measurement object in the manufacturing process, that is, the light at the edge The degree of reflection is different. For this reason, the optimum edge extraction algorithm differs depending on the stage of the image in the manufacturing process.
図4(a)は長さ計測部3が実行する処理について詳しく説明するための処理フローチャートである。 FIG. 4A is a process flowchart for explaining in detail the process executed by the length measuring unit 3.
ステップS50では、画像データに含まれる図形の輪郭を直線近似し、そのようにして得られた近似線を利用し、所定の方法で基準点を抽出する。 In step S50, the contour of the figure included in the image data is linearly approximated, and a reference point is extracted by a predetermined method using the approximate line thus obtained.
これは画像データに含まれる図形から撮像対象の計測対象物中の特定の位置に対応する、当該画像中の位置を基準点として求め、当該基準点を基準として当該画像中、計測すべき位置を特定するためである。 This obtains a position in the image corresponding to a specific position in the measurement target object to be imaged from a graphic included in the image data as a reference point, and determines a position to be measured in the image with reference to the reference point. This is to identify.
ステップS51では画像中、計測を行う複数の位置のうちの最初の位置に対応する番号を変数tにセットし、ステップS52で上記基準点と、図2中ステップS13のキャリブレーションで得られた単位寸法に対応する画素数から、画像中の計測すべき位置を特定する。 In step S51, a number corresponding to the first position among a plurality of positions to be measured in the image is set in a variable t. In step S52, the reference point and the unit obtained by the calibration in step S13 in FIG. The position to be measured in the image is specified from the number of pixels corresponding to the dimension.
ステップS53では、その計測すべき位置における画像データの輝度プロファイルから、所定のしきい値によるしきい値処理でエッジを求める。 In step S53, an edge is obtained by threshold processing using a predetermined threshold from the luminance profile of the image data at the position to be measured.
ステップS54では、そのようにして得られたエッジ間の幅から、求める長さW(t)を計算する。 In step S54, a desired length W (t) is calculated from the width between the edges thus obtained.
ステップS55では次の計測すべき位置に対応する番号を変数tにセットし、ステップS56で所定の複数の計測すべき位置の全てについてのW(t)値を取得したかを否かを判定する。 In step S55, the number corresponding to the next position to be measured is set in the variable t, and in step S56, it is determined whether or not the W (t) values for all of the predetermined positions to be measured have been acquired. .
判定の結果、未だ計測処理が住んでいない計測すべき位置が残っていた場合、ステップS52に戻り、上記処理を繰り返す。 As a result of the determination, if there remains a position to be measured that does not yet live in the measurement process, the process returns to step S52 and the above process is repeated.
次に図4(b)とともに、ステップS53におけるエッジ再抽出処理について説明する。 Next, the edge re-extraction process in step S53 will be described with reference to FIG.
同図のステップS61及びS62では、輝度プロファイル上で、上記ステップS22で一旦求めたエッジの近傍で最大輝度および最小輝度を求める。そしてステップS63で再度しきい値を求め、そしてステップS64にて、再度しきい値処理によるエッジの再抽出を行う。又ステップS65では、図3(b)のステップS42の処理と同様の処理にて左右非対称補正処理を行う。 In steps S61 and S62 in the figure, the maximum luminance and the minimum luminance are obtained in the vicinity of the edge once obtained in step S22 on the luminance profile. In step S63, the threshold value is obtained again, and in step S64, the edge is re-extracted by threshold processing again. In step S65, the left / right asymmetry correction process is performed by the same process as the process of step S42 in FIG.
ここでステップS61〜S65の処理は、基本的には図3(b)のステップS38〜S42の処理と同様であるが、その処理精度が高められている。特にステップS64のエッジ再抽出では上記ステップS41の場合と異なり、直線補間によるサブピクセル化を行う。その結果、ステップS64の長さ計測処理を行う場合、高精度で計測できるようにしている。 Here, the processing of steps S61 to S65 is basically the same as the processing of steps S38 to S42 in FIG. 3B, but the processing accuracy is improved. In particular, in the edge re-extraction in step S64, subpixel conversion is performed by linear interpolation unlike the case of step S41. As a result, when the length measurement process in step S64 is performed, measurement can be performed with high accuracy.
次に図3のステップS42及び上記ステップS65で行われる左右非対称補正について説明する。 Next, the left / right asymmetry correction performed in step S42 in FIG. 3 and step S65 will be described.
上記しきい値処理を行う対象となる計測対象物のCD−SEMの撮像による画像中に、例えば図5(b)に示される如く、左半面と右半面とで輝度プロファイルの傾きが異なる画像が含まれるような場合、当該画像に対して左右同じ値のしきい値を適用すると、図6(b)に示される如く、右半面のエッジが左半面のものに比べ、輝度最大点から離れた位置で検出される。 In the image obtained by the CD-SEM imaging of the measurement object to be subjected to the threshold value processing, for example, as shown in FIG. 5B, an image having a different luminance profile inclination between the left half surface and the right half surface is displayed. In such a case, if the same threshold value is applied to the image on the left and right sides, as shown in FIG. 6B, the edge of the right half surface is farther from the maximum luminance point than that of the left half surface. Detected by position.
その結果左右の輝度最大点と、検出されるエッジとの間の位置関係が不均衡となる。すなわち、図5(a)に示される如く、その輝度プロファイルが左右略対称である場合には、左右で等しいしきい値を用いても、図6(a)に示す如く、両側の輝度最大点(図中、「左半面最大点」或いは「右半面最大値」と表記)の外側で輝度プロファイルがしきい値を横切る点、すなわち抽出される左エッジ及び右エッジ(図中、「左エッジ抽出」、「右エッジ抽出」と表記)は、各々直近の輝度最大点から略等距離に存在する。 As a result, the positional relationship between the left and right maximum luminance points and the detected edges becomes unbalanced. That is, as shown in FIG. 5A, when the luminance profile is substantially symmetrical, the maximum luminance points on both sides can be obtained as shown in FIG. The point where the luminance profile crosses the threshold outside of (the left half maximum point or the right half maximum value in the figure), that is, the extracted left edge and right edge (in the figure, “left edge extraction” ”And“ Right edge extraction ”) are present at approximately equal distances from the nearest luminance maximum point.
他方図5(b)に示される如く、その輝度プロファイルが左右非対称である場合には、左右で等しいしきい値を用いると、図6(b)に示す如く、両側の輝度最大点(図中、「左半面最大点」或いは「右半面最大値」と表記)の外側で輝度プロファイルがしきい値を横切る点、すなわち抽出される左エッジ及び右エッジ(図中、「左エッジ抽出」、「右エッジ抽出」と表記)は、それぞれ直近の輝度最大点から異なる距離に存在する。このため上記不均衡が生ずる。 On the other hand, when the luminance profile is asymmetrical as shown in FIG. 5B, if the same threshold value is used on the left and right, the luminance maximum points on both sides (shown in FIG. 6B) are obtained. , The point where the luminance profile crosses the threshold outside the “left half maximum point” or “right half maximum value”), that is, the extracted left edge and right edge (“left edge extraction”, “ "Right edge extraction" is present at different distances from the most recent luminance maximum point. For this reason, the said imbalance arises.
この不均衡を修正するため、図7及び図8とともに後述するしきい値の補正を行い、この例の場合、右半面のエッジ抽出を行う際のしきい値を高く設定するようにする。 In order to correct this imbalance, threshold correction described later with reference to FIGS. 7 and 8 is performed, and in this example, the threshold for extracting the right half face is set high.
具体的には、図7のステップS71及びS72にて、上記しきい値処理にて左右のエッジをまず抽出する。その結果、例えば上記図5(b)の例の場合、図8に示される如く、右半面では輝度プロファイルの傾きが緩いことに起因して抽出されるエッジが、左半面の場合に比し、n倍外側に寄っている。すなわち、左側の輝度最大点と抽出されたエッジ点との距離Δxlに対し、右側の輝度最大点と抽出されたエッジ点との距離が、Δxr=nΔxlとなっている。 Specifically, in steps S71 and S72 in FIG. 7, left and right edges are first extracted by the threshold processing. As a result, in the case of the example of FIG. 5B, for example, as shown in FIG. 8, the edge extracted due to the slope of the luminance profile being gentle on the right half is compared to the case of the left half, n times outside. That is, the distance between the maximum luminance point on the right side and the extracted edge point is Δxr = nΔxl with respect to the distance Δxl between the maximum luminance point on the left side and the extracted edge point.
そのような場合、ステップS73では、最大輝度値としきい値との差が1/nになるように、右側のしきい値を補正する。すなわち図8に示す如く、最大輝度値としきい値との差Δylに対し、右半面についてこれを1/nとする。すなわちΔyr=1/n×Δyrとなるように右側のしきい値を補正する。 In such a case, in step S73, the right threshold value is corrected so that the difference between the maximum luminance value and the threshold value becomes 1 / n. That is, as shown in FIG. 8, the difference Δyl between the maximum luminance value and the threshold value is set to 1 / n for the right half surface. That is, the right threshold value is corrected so that Δyr = 1 / n × Δyr.
その結果、図9(b)に示される如く、右側のエッジが、補正のない場合、すなわち図9(a)の場合に比して、より内側で抽出されるようになり、結果的に左右ともに輝度最大点から略等しい距離だけ離れた位置でエッジ抽出が行えるようになる。 As a result, as shown in FIG. 9B, the right edge is extracted on the inner side as compared with the case where there is no correction, that is, in the case of FIG. In both cases, edge extraction can be performed at a position that is approximately the same distance from the maximum luminance point.
これは、人間の視覚が非線形性を有し、輝度の変化という要因をも加味する機能を有することにより、人間が判断する図形のエッジは、単純にしきい値で規定された位置とは合致しない。したがってそのような人間の視覚が有する性質に対応させるべく、上記例では、右側につき、抽出されるエッジ位置が輝度最大点に近づくように補正を行っている。 This is because human vision has non-linearity and a function that takes into account factors such as changes in luminance, so that the edges of figures determined by humans simply do not match the position defined by the threshold value. . Therefore, in order to correspond to such a property of human vision, in the above example, correction is performed so that the extracted edge position approaches the maximum luminance point on the right side.
尚このような方法による補正では、しきい値が輝度最大値に極近い値となる場合が想定される。このようにしきい値が輝度最大点に極近い値になると、ノイズによって突発的に輝度が高くなった点がエッジとして誤検出されやすくなる。 In the correction by such a method, it is assumed that the threshold value is very close to the maximum luminance value. When the threshold value is close to the maximum luminance point in this way, a point where the luminance suddenly increases due to noise is likely to be erroneously detected as an edge.
この弊害を防止するため補正後のしきい値に上限を設け、ステップS74ではその上限を越えていないかどうかの判定を行っている。 In order to prevent this harmful effect, an upper limit is set to the corrected threshold value, and it is determined whether or not the upper limit is exceeded in step S74.
上限を越える場合はステップS75でその上限値をしきい値に設定する。 If the upper limit is exceeded, the upper limit value is set as a threshold value in step S75.
ステップS76では上記補正を行った側、すなわち上記例では右側につき、再度しきい値処理によってエッジを抽出する。 In step S76, an edge is extracted again by threshold processing on the side on which the above correction is performed, that is, on the right side in the above example.
又、本実施例では抽出図形の対称軸の位置を求める必要がある。本実施例では図2のステップS16でパターンマッチングを行うことで対称軸を求めている。 In this embodiment, it is necessary to obtain the position of the symmetry axis of the extracted figure. In this embodiment, the symmetry axis is obtained by performing pattern matching in step S16 of FIG.
尚この方法以外にも、例えば図10に示される如く、輝度プロファイル上で左右両端から極大点を探索し、得られた極大点の中点を求める処理を、いくつかの異なるy座標で得られた輝度プロファイル、すなわち図10(a)の画像から得られた(b)、(c)の輝度プロファイル等に対して行い、このようにして求められた複数の中点のx座標の平均をとることによって対称軸を求めても良い。 In addition to this method, for example, as shown in FIG. 10, a process of searching for the maximum point from both the left and right ends on the luminance profile and obtaining the midpoint of the obtained maximum point can be obtained with several different y coordinates. The brightness profiles, that is, the brightness profiles of (b) and (c) obtained from the image of FIG. 10 (a) are averaged, and the average of the x coordinates of the plurality of midpoints thus obtained is taken. Thus, the symmetry axis may be obtained.
本実施例はCD−SEMによる撮像に係る画像の計測処理に対する本発明の適用例である。しかしながら、原理的には光学顕微鏡で撮像した画像に対しても同様の手法が適用可能である。 The present embodiment is an application example of the present invention to image measurement processing related to imaging by a CD-SEM. However, in principle, the same method can be applied to an image captured with an optical microscope.
本実施例の画像計測装置によれば最適なエッジ抽出アルゴリズムを選択することにより、計測対象物の製造工程中の個々の段階において計測対象物を撮像して得られる画像上の輝度分布及び輝度プロファイルが異なるような測定系においても、大量の画像を自動処理することができ、大量生産時の製品管理の効率を効果的に向上し得る。又、輝度プロファイルの傾きが左右非対称な画像に対しても、左右非対称補正処理を行うことにより、その影響を除去して左右の均衡性を得ながら計測処理を行うことができる。よって計測精度を効果的に向上可能である。 According to the image measurement apparatus of the present embodiment, by selecting an optimum edge extraction algorithm, the luminance distribution and the luminance profile on the image obtained by imaging the measurement object at each stage in the manufacturing process of the measurement object Even in measurement systems with different values, a large amount of images can be automatically processed, and the efficiency of product management during mass production can be effectively improved. Further, by performing left / right asymmetry correction processing even on an image in which the inclination of the luminance profile is asymmetrical, measurement processing can be performed while obtaining the right / left balance by removing the influence. Therefore, measurement accuracy can be improved effectively.
図18は本発明の各実施例を構成するコンピュータ50又は110の構成を示すブロック図である。 FIG. 18 is a block diagram showing the configuration of the computer 50 or 110 constituting each embodiment of the present invention.
図18に示すごとく、同コンピュータ50又は110は、与えられたプログラムを構成する命令を実行することによって様々な動作を実行するためのCPU51と、キーボード、マウス等よりなりユーザが操作内容又はデータを入力するための操作部52と、ユーザにCPU51による処理経過、処理結果等を表示するCRT、液晶表示器等よりなる表示部53と、ROM、RAM等よりなりCPU54が実行するプログラム、データ等を記憶したり作業領域として使用されるメモリ54と,プログラム、データ等を格納するハードディスク装置55と、CD−ROM57を媒介として外部からプログラムをロードしたりデータをロードするためのCD−ROMドライブ56と、インターネット、LAN等の通信網59を介して外部サーバからプログラムをダウンロード等するためのモデム58とを有する。 As shown in FIG. 18, the computer 50 or 110 includes a CPU 51 for executing various operations by executing instructions constituting a given program, a keyboard, a mouse, etc. An operation unit 52 for inputting, a display unit 53 composed of a CRT, a liquid crystal display, etc., which displays processing progress and processing results by the CPU 51 to the user, a program executed by the CPU 54, data, etc. composed of ROM, RAM, etc. A memory 54 used for storage or as a work area, a hard disk device 55 for storing programs, data, and the like; a CD-ROM drive 56 for loading programs and data from outside via a CD-ROM 57; Or an external server via a communication network 59 such as the Internet or a LAN. And a modem 58 for download, such as a program.
同コンピュータ50、110はCD−ROM57を媒介として、あるいは通信ネットワーク59を媒介として、上述の実施例の画像計測装置が実行する計測処理、すなわち図1〜図10とともに上述の処理をCPU51に実行させるための命令よりなるプログラムをロードあるいはダウンロードする。そしてこれをハードディスク装置55にインストールし、適宜メモリ54にロードしてCPU51が実行する。その結果、同コンピュータ50、110により画像計測装置が実現される。 The computers 50 and 110 cause the CPU 51 to execute the measurement process executed by the image measurement apparatus of the above-described embodiment, that is, the above-described process together with FIGS. 1 to 10 through the CD-ROM 57 or the communication network 59 as a medium. Load or download a program consisting of instructions for Then, this is installed in the hard disk device 55, loaded into the memory 54 as appropriate, and executed by the CPU 51. As a result, an image measuring device is realized by the computers 50 and 110.
次に上記図4のステップS50において近似線を求める処理において、CD−SEMによる撮像で得られた画像に含まれる図形の輪郭の近似線を求めるためのハフ変換について説明する。 Next, the Hough transform for obtaining the approximate line of the contour of the figure included in the image obtained by the CD-SEM imaging in the process for obtaining the approximate line in step S50 of FIG. 4 will be described.
ハフ(Hough)変換については、例えば田村秀行編「コンピュータ画像処理」(オーム社、2002)の204ページから206ページに以下の通り記載されている。 Hough conversion is described, for example, on pages 204 to 206 of “Computer Image Processing” edited by Hideyuki Tamura (Ohm Corp., 2002).
すなわち、検出したい線の形が予め決められており、代数方程式でその形状が表現できる場合には、線の形状を表すパラメータ空間に画像中の特徴点(エッジ点など)を写像するハフ変換(Hough Transform)が有効であるとされている。ここでは最も標準的である直線検出用ハフ変換について述べる。 That is, if the shape of the line to be detected is predetermined and the shape can be expressed by an algebraic equation, the Hough transform (which maps the feature points (edge points, etc.) in the image to the parameter space representing the shape of the line ( Hough Transform) is said to be effective. Here, the most standard Hough transform for line detection will be described.
まず直線を表す代数方程式としては、
ρ=xcosθ+ysinθ ...(B-1)
を用いる。
First, as an algebraic equation representing a straight line,
ρ = x cos θ + ysin θ. . . (B-1)
Is used.
上式中、ρは座標原点から直線に下ろした垂線の長さ、θは垂線とx軸との間の角度を表すパラメータである。この代数方程式を用いると、図13(a)に示すx−y画像空間中の直線ρ0=x0cosθ+y0sinθは、図13(b)に示すρ−θパラメータ空間中の1点として表される。 In the above equation, ρ is a length of a perpendicular line drawn straight from the coordinate origin, and θ is a parameter representing an angle between the perpendicular line and the x axis. Using this algebraic equation, a straight line ρ 0 = x 0 cos θ + y 0 sin θ in the xy image space shown in FIG. 13A is expressed as one point in the ρ-θ parameter space shown in FIG. Is done.
また、画像中の特徴点(x0、y0)を通る任意の直線は
ρ=x0cosθ+y0sinθ ...(B-2)
と表され、この式を満たす直線群図13(c)は、パラメータ空間中で図13(d)のような軌跡を形作る。
An arbitrary straight line passing through the feature points (x 0 , y 0 ) in the image is
ρ = x 0 cos θ + y 0 sin θ. . . (B-2)
A straight line group diagram 13c satisfying this formula forms a locus as shown in FIG. 13d in the parameter space.
見方を変えると、このことは、画像空間中の点(x0、y0)が式(B−2)で表されるパラメータ空間中の軌跡に写像されることを意味する。 In other words, this means that the point (x 0 , y 0 ) in the image space is mapped to the locus in the parameter space represented by the equation (B-2).
こうした画像空間とパラメータ空間との関係に基づき、ハフ変換では次のようにして直線検出を行う。 Based on the relationship between the image space and the parameter space, the Hough transform performs straight line detection as follows.
1)パラメータ空間を表す2次元配列を用意し、その値をすべて0に初期化する。 1) Prepare a two-dimensional array representing the parameter space and initialize all of its values to zero.
2)画像中の各特徴点の座標値を式(B-1)のx、yに代入した式を、ρとθに関する方程式とみなし、パラメータ空間中でその方程式の表す軌跡を描く(図13(e)参照)。 2) An expression obtained by substituting the coordinate values of each feature point in the image into x and y in the expression (B-1) is regarded as an equation relating to ρ and θ, and a locus represented by the equation is drawn in the parameter space (FIG. 13). (See (e)).
軌跡の描画は、θを一定間隔Δθずつ増加させながら方程式を満たすρの値を計算することによって軌跡の通過する配列要素を求め、その値を1増やす(投票する)ことによって軌跡を重ね書きする。 To draw a trajectory, the array element through which the trajectory passes is calculated by calculating the value of ρ that satisfies the equation while increasing θ by a constant interval Δθ, and the trajectory is overwritten by incrementing the value by 1 (voting). .
3)すべての特徴点に対応する軌跡を描いた後、多数の軌跡が集中している位置、すなわち、パラメータ空間を表す配列中で大きな極大値をもつ要素を求める。 3) After drawing trajectories corresponding to all feature points, a position where a large number of trajectories are concentrated, that is, an element having a large maximum value in an array representing the parameter space is obtained.
そうした要素が表すパラメータを(ρ*、θ*)とする。このパラメータは画像中の直線ρ*=xcosθ*+ysinθ*を表し、多数の特徴点を通る直線が検出されたことになる(図13(e)、(f)参照)。 Let the parameters represented by such elements be (ρ * , θ * ). This parameter represents a linear ρ * = xcosθ * + ysinθ * in the image, the straight line passing through a large number of feature points will have been detected (see FIG. 13 (e), (f) ).
ハフ変換は、画像中の特徴点が連続していなくてもうまく直線が検出でき、エッジの追跡などに比べて雑音にも強いとされている。このようにハフ変換は優れた特性をもっており、最初に提案された1962年以来非常に多くの改良、拡張がなされている。 Hough transform is said to be able to detect a straight line well even if feature points in the image are not continuous, and to be more resistant to noise than edge tracking. As described above, the Hough transform has excellent characteristics, and since the first proposed 1962, many improvements and extensions have been made.
ハフ変換は、直線のほか、円や楕円の検出にも利用できる。ただし、円の場合はパラメータが3つ、楕円の場合は5つ必要であり、単純は方法では、それぞれ3次元、5次元の配列を用意する必要があり、記憶容量、計算時間ともにかなり大きくなるという問題があるとされている。 The Hough transform can be used to detect circles and ellipses in addition to straight lines. However, three parameters are required for a circle and five parameters for an ellipse, and the simple method requires the preparation of 3D and 5D arrays, respectively, which significantly increases both storage capacity and calculation time. It is said that there is a problem.
この問題に対しても種々の工夫が考えられている。また、多角形など単純な代数方程式では表現できない2次元図形を検出するための方法として一般化ハフ変換がある。さらに、3次元の平面や物体の検出・認識にもハフ変換の考え方を利用することができる。 Various ideas have been considered for this problem. In addition, there is a generalized Hough transform as a method for detecting a two-dimensional figure that cannot be expressed by a simple algebraic equation such as a polygon. Furthermore, the Hough transform concept can also be used to detect and recognize 3D planes and objects.
次にエッジ抽出部2、或いは長さ計測部3のエッジ再抽出処理(図4中ステップS53)におけるエッジ抽出の方法について述べる。 Next, an edge extraction method in the edge re-extraction process (step S53 in FIG. 4) of the edge extraction unit 2 or the length measurement unit 3 will be described.
エッジ検出方法については、例えば社団法人、日本半導体製造装置協会のホームページにおけるロードマップ(平成15年度)(URL:http://www.seaj.or.jp/rdmp/indx_f.htm、2006年10月12日現在)の第5編「計測」に示されている。 For the edge detection method, for example, the roadmap on the homepage of the Japan Semiconductor Manufacturing Equipment Association (2003) (URL: http://www.seaj.or.jp/rdmp/indx_f.htm, October 2006) (As of the 12th) is shown in the fifth edition “Measurement”.
すなわち、顕微鏡画像の画素の輝度値のプロファイルを使用するものとして実際にCD−SEMに適用されているものとしては図14に示される各方式がある。又一般的には、他にも多数の方法があり、図3(b)とともに説明した如く、輝度値の微分値のプロファイルを使用する方法もある。図14中、Lは測長値を示し、Aは実際のパターン幅を示す。 That is, there are various systems shown in FIG. 14 that are actually applied to the CD-SEM as using the luminance value profile of the pixel of the microscope image. In general, there are many other methods, and as described with reference to FIG. 3B, there is also a method using a differential value profile of luminance values. In FIG. 14, L indicates a length measurement value, and A indicates an actual pattern width.
本発明は以下の付記の各々に記載の構成をとり得る。
(付記1)
計測対象物の撮像によって得られた画像データに、当該撮像に係る撮像条件データを添付されてなる画像データに基づいて前記計測対象物の計測を行う画像計測装置であって、
前記画像データに基づいて前記計測対象物上の所定の形状の輪郭に対応するエッジを抽出するエッジ抽出手段と、
エッジ抽出手段において適用されるエッジ抽出方法を前記画像データに添付された撮像条件データに基づいて決定するエッジ抽出方法決定手段とよりなる画像計測装置。
(付記2)
前記撮像条件データは、計測対象物の製造工程中の、当該撮像に係る段階を示すデータを含む構成とされてなる付記1に記載の画像計測装置。
(付記3)
前記エッジ抽出方法決定手段は、複数のエッジ抽出方法から一の方法を選択するものとされ、同複数のエッジ抽出方法は、画像データの輝度値を微分して微分値を得、その微分値が最大となる位置をエッジとして抽出する第1の方法と、画像データの輝度値に対し所定のしきい値を設定し、画像データの輝度値が同しきい値を横切る位置をエッジとして抽出する第2の方法とを含む構成とされてなる付記1又は2に記載の画像計測装置。
(付記4)
更に画像データによって示される図形の対称軸を取得する手段を有し、
前記第2の方法において対称軸の両側で異なるしきい値を設定する手段とを有する付記3に記載の画像計測装置。
(付記5)
前記対称軸の両側で異なるしきい値を設定する手段は、画像データの輝度値がピークを有する位置としきい値を有する位置との間の距離が対称軸の両側で相等しくなるようにしきい値を設定する構成とされてなる付記4に記載の画像計測装置。
(付記6)
前記画像データの輝度値のプロファイルがピークを有する位置としきい値を有する位置との間の距離が対称軸の両側で相等しくなるようにしきい値を設定する際に、輝度値の最大値及び最小値の差に対するしきい値の割合を用いて行う構成とされてなる付記5に記載の画像計測装置。
(付記7)
前記しきい値に所定の上限を設けてなる付記3乃至6のうちのいずれかに記載の画像計測装置。
(付記8)
前記対称軸を取得する手段は、予め基準となる画像を設け、同基準となる画像との間でパターンマッチングを行うことによって対称軸の位置を求める構成とされてなる付記4乃至7のうちのいずれかに記載の画像計測装置。
(付記9)
前記対称軸を取得する手段は、輝度値のプロファイルの極大値を求める動作を異なる計測位置で複数回行い、当該計測位置毎に前記輝度値のプロファイル上で極大値を有する位置の中点位置を求め、当該中点位置について前記複数回の計測の平均を求めることにより前記対称軸を求める構成とされてなる付記4乃至7のうちのいずれかに記載の画像計測装置。
(付記10)
計測対象物の撮像によって得られた画像データに、当該撮像に係る撮像条件データを添付する撮像条件添付段階と、
前記画像データに基づいて前記計測対象物の計測を行う計測段階とよりなり、
前記計測段階は、前記画像データに基づいて前記計測対象物上の所定の形状の輪郭に対応するエッジを抽出するエッジ抽出段階と、
エッジ抽出段階において適用するエッジ抽出方法を、前記撮像条件添付段階で当該画像データに添付された撮像条件データに基づいて決定するエッジ抽出方法決定段階とよりなる画像計測方法。
(付記11)
前記撮像条件データは、計測対象物の製造工程中の、当該撮像に係る段階を示すデータを含む構成とされてなる付記10に記載の方法。
(付記12)
前記エッジ抽出方法決定段階では複数のエッジ抽出方法から一の方法を選択するものとされ、同複数のエッジ抽出方法は、画像データの輝度値を微分して微分値を得、その微分値が最大となる位置をエッジとして抽出する第1の方法と、画像データの輝度値に対し所定のしきい値を設定し、画像データの輝度値が同しきい値を横切る位置をエッジとして抽出する第2の方法とを含む構成とされてなる付記10又は11に記載の方法。
(付記13)
更に画像データによって示される図形の対称軸を取得する段階を有し、
前記計測段階は、前記第2の方法において対称軸の両側で異なるしきい値を設定する段階とよりなる付記12に記載の方法。
(付記14)
前記対称軸の両側で異なるしきい値を設定する段階では、画像データの輝度値がピークを有する位置としきい値を有する位置との間の距離が対称軸の両側で相等しくなるようにしきい値を設定する構成とされてなる付記13に記載の方法。
(付記15)
前記画像データの輝度値のプロファイルがピークを有する位置としきい値を有する位置との間の距離が対称軸の両側で相等しくなるようにしきい値を設定する際に、輝度値の最大値及び最小値の差に対するしきい値の割合を用いて行う構成とされてなる付記14に記載の方法。
(付記16)
前記しきい値に所定の上限を設けてなる付記12乃至15のうちのいずれかに記載の方法。
(付記17)
前記対称軸を取得する段階では、予め基準となる画像を設け、同基準となる画像との間でパターンマッチングを行うことによって対称軸の位置を求める構成とされてなる付記13乃至16のうちのいずれかに記載の方法。
(付記18)
前記対称軸を取得する段階では、輝度値のプロファイルの極大値を求める動作を異なる計測位置で複数回行い、当該計測位置毎に前記輝度値のプロファイル上で極大値を有する位置の中点位置を求め、当該中点位置について前記複数回の計測の平均を求めることにより前記対称軸を求める構成とされてなる付記13乃至16のうちのいずれかに記載の方法。
(付記19)
計測対象物の撮像によって得られた画像データに、当該撮像に係る撮像条件データを添付してなる画像データに基づいて前記計測対象物の計測を行う計測段階をコンピュータに実行させるためのプログラムであって、
前記計測段階は、前記画像データに基づいて前記計測対象物上の所定の形状の輪郭に対応するエッジを抽出するエッジ抽出段階と、
エッジ抽出段階において適用するエッジ抽出方法を、前記撮像条件添付段階で当該画像データに添付された撮像条件データに基づいて決定するエッジ抽出方法決定段階とを含む構成とされてなるプログラム。
(付記20)
前記撮像条件データは、計測対象物の製造工程中の、当該撮像に係る段階を示すデータを含む構成とされてなる付記19に記載のプログラム。
The present invention can take the configurations described in the following supplementary notes.
(Appendix 1)
An image measurement device that measures the measurement object based on image data obtained by attaching imaging condition data related to the imaging to image data obtained by imaging the measurement object,
Edge extraction means for extracting an edge corresponding to a contour of a predetermined shape on the measurement object based on the image data;
An image measurement apparatus comprising an edge extraction method determination unit that determines an edge extraction method applied in an edge extraction unit based on imaging condition data attached to the image data.
(Appendix 2)
The image measurement apparatus according to appendix 1, wherein the imaging condition data is configured to include data indicating a stage related to the imaging in the manufacturing process of the measurement object.
(Appendix 3)
The edge extraction method determination means selects one method from a plurality of edge extraction methods, and the plurality of edge extraction methods obtain a differential value by differentiating the luminance value of the image data, and the differential value is A first method for extracting the maximum position as an edge, and a predetermined threshold value for the luminance value of the image data, and a position where the luminance value of the image data crosses the threshold value is extracted as an edge. The image measurement apparatus according to appendix 1 or 2, wherein the image measurement apparatus is configured to include two methods.
(Appendix 4)
Furthermore, it has a means for acquiring the symmetry axis of the figure indicated by the image data,
The image measuring apparatus according to appendix 3, further comprising means for setting different threshold values on both sides of the symmetry axis in the second method.
(Appendix 5)
The means for setting different threshold values on both sides of the symmetry axis is arranged such that the distance between the position where the luminance value of the image data has a peak and the position having the threshold value is equal on both sides of the symmetry axis. Item 5. The image measurement device according to appendix 4, wherein the image measurement device is configured to set.
(Appendix 6)
When setting the threshold value so that the distance between the position where the profile of the luminance value of the image data has a peak and the position having the threshold value is equal on both sides of the symmetry axis, the maximum value and the minimum value of the luminance value are set. The image measurement apparatus according to appendix 5, wherein the image measurement apparatus is configured to use a ratio of a threshold value to a value difference.
(Appendix 7)
The image measurement device according to any one of appendices 3 to 6, wherein a predetermined upper limit is provided for the threshold value.
(Appendix 8)
The means for obtaining the symmetry axis is configured to obtain a reference image in advance and obtain a position of the symmetry axis by performing pattern matching with the reference image. The image measurement device according to any one of the above.
(Appendix 9)
The means for obtaining the symmetry axis performs the operation of obtaining the maximum value of the luminance value profile a plurality of times at different measurement positions, and determines the midpoint position of the position having the maximum value on the luminance value profile for each measurement position. The image measuring device according to any one of appendices 4 to 7, which is configured to obtain the symmetry axis by obtaining an average of the plurality of measurements for the midpoint position.
(Appendix 10)
An imaging condition attaching step of attaching imaging condition data related to the imaging to image data obtained by imaging the measurement object;
A measurement step of measuring the measurement object based on the image data,
The measurement step includes an edge extraction step of extracting an edge corresponding to a contour of a predetermined shape on the measurement object based on the image data;
An image measurement method comprising an edge extraction method determination step of determining an edge extraction method to be applied in an edge extraction step based on imaging condition data attached to the image data in the imaging condition attachment step.
(Appendix 11)
The method according to appendix 10, wherein the imaging condition data is configured to include data indicating a stage related to imaging in a manufacturing process of a measurement object.
(Appendix 12)
In the step of determining the edge extraction method, one method is selected from a plurality of edge extraction methods. The plurality of edge extraction methods obtain a differential value by differentiating the luminance value of the image data, and the differential value is maximum. And a second method of setting a predetermined threshold value for the luminance value of the image data and extracting a position where the luminance value of the image data crosses the threshold value as an edge. The method according to appendix 10 or 11, wherein the method is configured to include:
(Appendix 13)
And further comprising obtaining a symmetry axis of the figure indicated by the image data,
The method according to claim 12, wherein the measuring step includes the step of setting different threshold values on both sides of the symmetry axis in the second method.
(Appendix 14)
In the step of setting different threshold values on both sides of the symmetry axis, the threshold value is set so that the distance between the position where the luminance value of the image data has a peak and the position having the threshold value is equal on both sides of the symmetry axis. 14. The method according to appendix 13, wherein the method is configured to set.
(Appendix 15)
When setting the threshold value so that the distance between the position where the profile of the luminance value of the image data has a peak and the position having the threshold value is equal on both sides of the symmetry axis, the maximum value and the minimum value of the luminance value are set. 15. The method according to appendix 14, wherein the method is configured using a ratio of a threshold value to a value difference.
(Appendix 16)
16. The method according to any one of appendices 12 to 15, wherein a predetermined upper limit is provided for the threshold value.
(Appendix 17)
In the step of acquiring the symmetry axis, the reference image is provided in advance, and pattern matching is performed with the reference image to obtain the position of the symmetry axis. The method according to any one.
(Appendix 18)
In the step of obtaining the symmetry axis, the operation for obtaining the maximum value of the luminance value profile is performed a plurality of times at different measurement positions, and the midpoint position of the position having the maximum value on the luminance value profile is determined for each measurement position. The method according to any one of supplementary notes 13 to 16, wherein the symmetry axis is obtained by obtaining and calculating an average of the plurality of measurements for the midpoint position.
(Appendix 19)
A program for causing a computer to execute a measurement step of measuring the measurement object based on image data obtained by attaching imaging condition data related to the imaging to image data obtained by imaging the measurement object. And
The measurement step includes an edge extraction step of extracting an edge corresponding to a contour of a predetermined shape on the measurement object based on the image data;
A program comprising: an edge extraction method determination step for determining an edge extraction method to be applied in an edge extraction step based on imaging condition data attached to the image data in the imaging condition attachment step.
(Appendix 20)
The program according to appendix 19, wherein the imaging condition data includes data indicating a stage related to imaging in a manufacturing process of a measurement object.
本発明の適用例としては、上述の如くの半導体装置、ハードディスク装置などの製造工程における走査型電子顕微鏡による画像に対する計測処理に対するもの限られない。例えば本発明は顕微鏡による画像を扱う全ての産業において適用可能である。又計測対象画像を得るための撮像装置としては上記走査型電子顕微鏡に限られず、光学顕微鏡、CCDカメラ、透過型電子顕微鏡等でもよく、本発明はこれらで撮像した画像に含まれる図形の計測にも適用可能である。 The application example of the present invention is not limited to the measurement process for the image by the scanning electron microscope in the manufacturing process of the semiconductor device and the hard disk device as described above. For example, the present invention can be applied to all industries that handle microscope images. The imaging apparatus for obtaining the measurement target image is not limited to the scanning electron microscope, but may be an optical microscope, a CCD camera, a transmission electron microscope, or the like. Is also applicable.
1 前処理部
2 エッジ抽出部
3 長さ計測部
50 画像計測装置
100 CD−SEM
DESCRIPTION OF SYMBOLS 1 Pre-processing part 2 Edge extraction part 3 Length measurement part 50 Image measurement apparatus 100 CD-SEM
Claims (7)
前記画像データに基づいて前記計測対象物上の所定の形状の輪郭に対応するエッジを抽出するエッジ抽出手段と、
エッジ抽出手段において適用されるエッジ抽出方法を前記画像データに添付された撮像条件データに基づいて決定するエッジ抽出方法決定手段とよりなる画像計測装置。 An image measurement device that measures the measurement object based on image data obtained by attaching imaging condition data related to the imaging to image data obtained by imaging the measurement object,
Edge extraction means for extracting an edge corresponding to a contour of a predetermined shape on the measurement object based on the image data;
An image measurement apparatus comprising an edge extraction method determination unit that determines an edge extraction method applied in an edge extraction unit based on imaging condition data attached to the image data.
前記第2の方法において対称軸の両側で異なるしきい値を設定する手段とを有する請求項3に記載の画像計測装置。 Furthermore, it has a means for acquiring the symmetry axis of the figure indicated by the image data,
The image measuring apparatus according to claim 3, further comprising: a threshold value that is different on both sides of the axis of symmetry in the second method.
前記画像データに基づいて前記計測対象物の計測を行う計測段階とよりなり、
前記計測段階は、前記画像データに基づいて前記計測対象物上の所定の形状の輪郭に対応するエッジを抽出するエッジ抽出段階と、
エッジ抽出段階において適用するエッジ抽出方法を、前記撮像条件添付段階で当該画像データに添付された撮像条件データに基づいて決定するエッジ抽出方法決定段階とよりなる画像計測方法。 An imaging condition attaching step of attaching imaging condition data related to the imaging to image data obtained by imaging the measurement object;
A measurement step of measuring the measurement object based on the image data,
The measurement step includes an edge extraction step of extracting an edge corresponding to a contour of a predetermined shape on the measurement object based on the image data;
An image measurement method comprising an edge extraction method determination step of determining an edge extraction method to be applied in an edge extraction step based on imaging condition data attached to the image data in the imaging condition attachment step.
前記計測段階は、前記画像データに基づいて前記計測対象物上の所定の形状の輪郭に対応するエッジを抽出するエッジ抽出段階と、
エッジ抽出段階において適用するエッジ抽出方法を、前記撮像条件添付段階で当該画像データに添付された撮像条件データに基づいて決定するエッジ抽出方法決定段階とを含む構成とされてなるプログラム。 A program for causing a computer to execute a measurement step of measuring the measurement object based on image data obtained by attaching imaging condition data related to the imaging to image data obtained by imaging the measurement object. And
The measurement step includes an edge extraction step of extracting an edge corresponding to a contour of a predetermined shape on the measurement object based on the image data;
A program comprising: an edge extraction method determination step for determining an edge extraction method to be applied in an edge extraction step based on imaging condition data attached to the image data in the imaging condition attachment step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006296854A JP2008116207A (en) | 2006-10-31 | 2006-10-31 | Image measuring apparatus, image measuring method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006296854A JP2008116207A (en) | 2006-10-31 | 2006-10-31 | Image measuring apparatus, image measuring method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008116207A true JP2008116207A (en) | 2008-05-22 |
Family
ID=39502270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006296854A Withdrawn JP2008116207A (en) | 2006-10-31 | 2006-10-31 | Image measuring apparatus, image measuring method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008116207A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010018869A1 (en) * | 2008-08-15 | 2010-02-18 | 株式会社アルバック | Solar cell manufacturing method and manufacturing device |
| WO2010052884A1 (en) * | 2008-11-04 | 2010-05-14 | 株式会社アルバック | Solar cell manufacturing method and manufacturing device |
| JP2010272092A (en) * | 2009-05-25 | 2010-12-02 | Canon Inc | Image search apparatus and method |
| WO2011074183A1 (en) * | 2009-12-16 | 2011-06-23 | 株式会社日立ハイテクノロジーズ | Defect observation method and defect observation device |
| JPWO2011052339A1 (en) * | 2009-10-27 | 2013-03-21 | 株式会社日立ハイテクノロジーズ | Pattern dimension measuring method and charged particle beam microscope used therefor |
-
2006
- 2006-10-31 JP JP2006296854A patent/JP2008116207A/en not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010018869A1 (en) * | 2008-08-15 | 2010-02-18 | 株式会社アルバック | Solar cell manufacturing method and manufacturing device |
| JPWO2010018869A1 (en) * | 2008-08-15 | 2012-01-26 | 株式会社アルバック | Solar cell manufacturing method and manufacturing apparatus |
| WO2010052884A1 (en) * | 2008-11-04 | 2010-05-14 | 株式会社アルバック | Solar cell manufacturing method and manufacturing device |
| CN102165601A (en) * | 2008-11-04 | 2011-08-24 | 株式会社爱发科 | Solar cell manufacturing method and manufacturing device |
| JP5193309B2 (en) * | 2008-11-04 | 2013-05-08 | 株式会社アルバック | Solar cell manufacturing method and manufacturing apparatus |
| JP2010272092A (en) * | 2009-05-25 | 2010-12-02 | Canon Inc | Image search apparatus and method |
| JPWO2011052339A1 (en) * | 2009-10-27 | 2013-03-21 | 株式会社日立ハイテクノロジーズ | Pattern dimension measuring method and charged particle beam microscope used therefor |
| WO2011074183A1 (en) * | 2009-12-16 | 2011-06-23 | 株式会社日立ハイテクノロジーズ | Defect observation method and defect observation device |
| JP2011145275A (en) * | 2009-12-16 | 2011-07-28 | Hitachi High-Technologies Corp | Defect observation method and defect observation device |
| US8824773B2 (en) | 2009-12-16 | 2014-09-02 | Hitachi High-Technologies Corporation | Defect observation method and defect observation device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10922794B2 (en) | Image correction method and device | |
| JP5699788B2 (en) | Screen area detection method and system | |
| CN110689501B (en) | Distortion correction method and device, electronic equipment and computer readable storage medium | |
| CN114529613A (en) | Method for extracting characteristic point high-precision coordinates of circular array calibration plate | |
| CN101256156B (en) | Precision measurement method for flat crack and antenna crack | |
| CN101650784B (en) | Method for matching images by utilizing structural context characteristics | |
| JP7188201B2 (en) | Image processing device, image processing method, and image processing program | |
| CN108369650A (en) | The method that candidate point in the image of calibrating pattern is identified as to the possibility characteristic point of the calibrating pattern | |
| CN109060836A (en) | High-pressure oil pipe joint external screw thread detection method based on machine vision | |
| WO1993007580A1 (en) | Method of determining direction in local region of profile segment and method of determining lines and angles | |
| JP5317250B2 (en) | Image processing method and image processing apparatus | |
| CN110634137A (en) | Bridge deformation monitoring method, device and equipment based on visual perception | |
| CN107192716A (en) | A kind of workpiece, defect quick determination method based on contour feature | |
| CN108876842A (en) | A kind of measurement method, system, equipment and the storage medium of sub-pixel edge angle | |
| CN116433885A (en) | A multi-cotter pin positioning method based on sub-pixel edge | |
| CN118351097A (en) | Method and device for detecting glue path quality, electronic equipment and storage medium | |
| CN118898600A (en) | Fully automatic analyzer sample status assessment method based on AI visual inspection | |
| CN110689586B (en) | Tongue image identification method in traditional Chinese medicine intelligent tongue diagnosis and portable correction color card used for same | |
| JP2008116207A (en) | Image measuring apparatus, image measuring method and program | |
| JP4670994B2 (en) | Color image processing method and image processing apparatus | |
| CN109084721B (en) | Method and apparatus for determining a topographical parameter of a target structure in a semiconductor device | |
| JP2008152555A (en) | Image recognition method and image recognition device | |
| CN118279618A (en) | Optical image and SAR image matching method based on steady characteristic points | |
| JP2005309914A (en) | Method for processing color image and image processor | |
| JP2008116206A (en) | Pattern dimension measuring apparatus, method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100105 |