[go: up one dir, main page]

JP2017161291A - Height data processing device, surface shape measurement device, height data correction method, and program - Google Patents

Height data processing device, surface shape measurement device, height data correction method, and program Download PDF

Info

Publication number
JP2017161291A
JP2017161291A JP2016044383A JP2016044383A JP2017161291A JP 2017161291 A JP2017161291 A JP 2017161291A JP 2016044383 A JP2016044383 A JP 2016044383A JP 2016044383 A JP2016044383 A JP 2016044383A JP 2017161291 A JP2017161291 A JP 2017161291A
Authority
JP
Japan
Prior art keywords
height data
plane
height
data processing
planes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016044383A
Other languages
Japanese (ja)
Other versions
JP6660774B2 (en
Inventor
洋輔 谷
Yosuke Tani
洋輔 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016044383A priority Critical patent/JP6660774B2/en
Publication of JP2017161291A publication Critical patent/JP2017161291A/en
Application granted granted Critical
Publication of JP6660774B2 publication Critical patent/JP6660774B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】操作者に対して過度に負担を強いることなく、傾き補正処理の基準平面を適切に決定する技術を提供する。【解決手段】高さデータ処理装置70は、平面抽出手段72と傾き補正手段74を備える。平面抽出手段72は、測定対象物である被検物14の高さデータに基づいて、被検物14の表面を構成する1つ以上の平面を抽出する。傾き補正手段74は、高さ軸方向と、平面抽出手段72で抽出された1つ以上の平面から選択された基準平面の法線方向とが一致するように、高さデータを補正する。【選択図】図5Provided is a technique for appropriately determining a reference plane for tilt correction processing without imposing an excessive burden on an operator. A height data processing device includes a plane extracting means and an inclination correcting means. The plane extracting means 72 extracts one or more planes constituting the surface of the test object 14 based on the height data of the test object 14 which is a measurement target. The inclination correction unit 74 corrects the height data so that the height axis direction matches the normal direction of a reference plane selected from one or more planes extracted by the plane extraction unit 72. [Selection diagram] FIG.

Description

本発明は、高さデータ処理装置、表面形状測定装置、高さデータ補正方法、及びプログラムに関する。   The present invention relates to a height data processing device, a surface shape measuring device, a height data correction method, and a program.

従来から、3次元物体の表面形状を非接触で測定する装置(以降、表面形状測定装置と記す)として、レーザ走査型共焦点顕微鏡装置、縞投影法を用いた装置などが知られている。   Conventionally, a laser scanning confocal microscope apparatus, an apparatus using a fringe projection method, and the like are known as apparatuses for measuring the surface shape of a three-dimensional object in a non-contact manner (hereinafter referred to as a surface shape measuring apparatus).

レーザ走査型共焦点顕微鏡装置で被検物の表面形状を測定する際には、レーザ走査型共焦点顕微鏡装置が実現する焦点深度の浅さが利用される。具体的には、対物レンズと被検物との光軸方向(Z方向ともいう)の相対距離を変えながら焦点深度の浅い共焦点画像を複数取得する。そして、複数の共焦点画像から各画素位置における最大輝度を与えるZ位置(つまり、合焦位置)を求めることで、被検物全面の表面形状の測定が行われる。なお、表面形状の測定データは、高さデータともいう。縞投影法を用いた装置においても、撮影条件を変更して取得した複数の画像から、高さデータが生成される。   When measuring the surface shape of the test object with the laser scanning confocal microscope apparatus, the shallow depth of focus realized by the laser scanning confocal microscope apparatus is used. Specifically, a plurality of confocal images having a shallow depth of focus are acquired while changing the relative distance between the objective lens and the test object in the optical axis direction (also referred to as the Z direction). Then, the surface shape of the entire surface of the test object is measured by obtaining a Z position (that is, a focus position) that gives the maximum luminance at each pixel position from a plurality of confocal images. The surface shape measurement data is also referred to as height data. Even in an apparatus using the fringe projection method, height data is generated from a plurality of images acquired by changing the shooting conditions.

表面形状測定装置で取得した高さデータを解析する場合、解析前にしばしば高さデータに対して傾き補正処理が行われる。この処理は、基準平面が対物レンズの光軸と直交するXY平面と平行になるように、高さデータ全体を補正する処理である。例えば、補正前の高さデータが図1(a)に示すような断面プロファイルを表す場合であれば、傾き補正処理は、基準平面RP1が水平になるように、図1(b)に示すような断面プロファイルを表す補正後の高さデータを生成する。補正後の高さデータを用いることで、補正前の高さデータを用いて解析する場合に比べて、基準平面RP1と平面P2の間に生じた段差STの解析が容易になる。その他、基準平面RP1からの高さが閾値Th以上にある部分のみを画像から抽出する二値化処理も容易に行うことが可能となるなど、様々なメリットがある。   When analyzing the height data acquired by the surface shape measuring apparatus, an inclination correction process is often performed on the height data before the analysis. This process is a process of correcting the entire height data so that the reference plane is parallel to the XY plane orthogonal to the optical axis of the objective lens. For example, if the height data before correction represents a cross-sectional profile as shown in FIG. 1A, the inclination correction processing is performed as shown in FIG. 1B so that the reference plane RP1 is horizontal. Height data representing a correct cross-sectional profile is generated. By using the height data after correction, the step ST generated between the reference plane RP1 and the plane P2 can be easily analyzed as compared with the case of using the height data before correction. In addition, there are various merits such that it is possible to easily perform a binarization process in which only a portion whose height from the reference plane RP1 is equal to or greater than the threshold Th is extracted from the image.

さらに、傾き補正処理は、高さデータを用いて行われる各種解析を容易にするばかりではなく、解析の精度向上にも寄与する。このため、レーザ走査型共焦点顕微鏡装置を用いた表面形状の測定のように高い精度が要求される場合には、特に効果的である。   Furthermore, the inclination correction process not only facilitates various analyzes performed using the height data, but also contributes to improving the accuracy of the analysis. For this reason, it is particularly effective when high accuracy is required as in the measurement of the surface shape using a laser scanning confocal microscope apparatus.

特許第3847422号公報Japanese Patent No. 3847422

ところで、傾き補正処理を行うためには、基準平面を決定する必要がある。基準平面の決定方法としては、装置の操作者が高さデータの中から3点以上を指定し、指定された点をもとにして最小二乗平面を算出し、算出した最小二乗平面を基準平面に決定する方法が知られている。   By the way, in order to perform the inclination correction process, it is necessary to determine a reference plane. As a method for determining the reference plane, the operator of the apparatus designates three or more points from the height data, calculates the least square plane based on the specified points, and uses the calculated least square plane as the reference plane. The method of determining is known.

この方法は、操作者が指定した点数が少ないほど結果がばらつきやすく、操作者の選択によっては基準平面が測定対象物の表面と大きく乖離してしまう可能性がある。より多くの点を操作者に指定させることで結果のばらつきを抑えることができるが、多くの点を指定する作業は操作者へ過度に負担を強いることになり望ましくない。   In this method, the smaller the number of points specified by the operator, the more easily the results are varied. Depending on the operator's selection, the reference plane may be greatly deviated from the surface of the measurement object. Although it is possible to suppress variation in results by causing the operator to specify more points, the operation of specifying many points is not desirable because it places an excessive burden on the operator.

以上のような実情を踏まえ、本発明は、操作者に対して過度に負担を強いることなく、傾き補正処理の基準平面を適切に決定する技術を提供することを課題とする。   In view of the above circumstances, an object of the present invention is to provide a technique for appropriately determining a reference plane for tilt correction processing without excessively burdening an operator.

本発明の一態様は、測定対象物の高さデータに基づいて、前記測定対象物の表面を構成する1つ以上の平面を抽出する平面抽出手段と、高さ軸方向と、前記平面抽出手段で抽出された前記1つ以上の平面から選択された基準平面の法線方向とが一致するように、前記高さデータを補正する傾き補正手段と、を備える高さデータ処理装置を提供する。   One aspect of the present invention is a plane extraction unit that extracts one or more planes constituting a surface of the measurement object based on height data of the measurement object, a height axis direction, and the plane extraction unit. There is provided a height data processing device comprising: inclination correction means for correcting the height data so that the normal direction of the reference plane selected from the one or more planes extracted in step 1 matches.

本発明の別の態様は、測定対象物の高さデータに基づいて、前記測定対象物の表面を構成する1つ以上の平面を抽出し、高さ軸方向と前記1つ以上の平面から選択された基準平面の法線方向とが一致するように、前記高さデータを補正する高さデータ補正方法を提供する。   In another aspect of the present invention, one or more planes constituting the surface of the measurement object are extracted based on height data of the measurement object, and selected from the height axis direction and the one or more planes. Provided is a height data correction method for correcting the height data so that the normal direction of the reference plane matches.

本発明のさらに別の態様は、測定対象物の表面形状を測定する表面形状測定装置のコンピュータを、前記測定対象物の高さデータに基づいて、前記測定対象物の表面を構成する1つ以上の平面を抽出する手段、高さ軸方向と前記1つ以上の平面から選択された基準平面の法線方向とが一致するように、前記高さデータを補正する手段として機能させるプログラムを提供する。   According to still another aspect of the present invention, a computer of a surface shape measuring apparatus that measures a surface shape of a measurement object is configured to include at least one of the surfaces of the measurement object based on height data of the measurement object. And a program for functioning as a means for correcting the height data so that a height axis direction matches a normal direction of a reference plane selected from the one or more planes. .

本発明によれば、操作者に対して過度に負担を強いることなく、傾き補正処理の基準平面を適切に決定する技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the technique which determines appropriately the reference plane of an inclination correction process can be provided, without imposing an excessive burden on an operator.

傾き補正処理前後の高さデータで表された断面プロファイルの例示した図である。It is the figure which illustrated the cross-sectional profile represented by the height data before and behind inclination correction processing. 第1の実施形態に係る共焦点顕微鏡装置100の構成を例示した図である。It is the figure which illustrated the composition of confocal microscope device 100 concerning a 1st embodiment. 共焦点顕微鏡装置100で取得した複数の共焦点画像の画像データを例示した図である。4 is a diagram illustrating image data of a plurality of confocal images acquired by the confocal microscope apparatus 100. FIG. 共焦点顕微鏡装置100で生成される輝度変化曲線を例示した図である。6 is a diagram illustrating a luminance change curve generated by the confocal microscope apparatus 100. FIG. 第1の実施形態に係る高さデータ補正装置70の機能ブロック図である。It is a functional block diagram of the height data correction device 70 according to the first embodiment. 高さデータ補正装置70で行われる高さデータ補正処理のフローチャートである。7 is a flowchart of height data correction processing performed by the height data correction device 70. 高さデータ補正装置70で行われる平面抽出処理のフローチャートである。5 is a flowchart of plane extraction processing performed by the height data correction device 70. 全焦点画像を例示した図である。It is the figure which illustrated the omnifocal image. 高さヒストグラスを例示した図である。It is the figure which illustrated height histograss. 基準平面の候補の表示例を示した図である。It is the figure which showed the example of a display of the candidate of a reference plane. 基準平面の候補の別の表示例を示した図である。It is the figure which showed another example of a display of the candidate of a reference plane. 傾き補正処理を説明するための図である。It is a figure for demonstrating inclination correction processing. 高さデータ補正装置70で行われる別の平面抽出処理のフローチャートである。10 is a flowchart of another plane extraction process performed by the height data correction device 70. 第2の実施形態に係る高さデータ補正装置80の機能ブロック図である。It is a functional block diagram of height data amendment device 80 concerning a 2nd embodiment. 高さデータ補正装置80で行われる高さデータ補正処理のフローチャートである。7 is a flowchart of height data correction processing performed by the height data correction device 80. 高さデータ補正装置80で行われる平面選択処理のフローチャートである。10 is a flowchart of plane selection processing performed by the height data correction device 80. 高さデータ補正装置80で行われる別の平面選択処理のフローチャートである。10 is a flowchart of another plane selection process performed by the height data correction device 80.

[第1の実施形態]
図2は、本実施形態に係る共焦点顕微鏡装置100の構成を例示した図である。共焦点顕微鏡装置100は、レーザ1を備えるレーザ走査型共焦点顕微鏡装置であり、被検物14の3次元形状を非接触で測定する表面形状測定装置である。被検物14は、例えば、半導体基板などである。まず、図2を参照しながら、共焦点顕微鏡装置100の構成について説明する。
[First Embodiment]
FIG. 2 is a diagram illustrating the configuration of the confocal microscope apparatus 100 according to this embodiment. The confocal microscope apparatus 100 is a laser scanning confocal microscope apparatus including the laser 1 and is a surface shape measuring apparatus that measures the three-dimensional shape of the test object 14 in a non-contact manner. The test object 14 is, for example, a semiconductor substrate. First, the configuration of the confocal microscope apparatus 100 will be described with reference to FIG.

共焦点顕微鏡装置100は、共焦点顕微鏡本体20と、共焦点顕微鏡本体20を制御する制御装置30と、制御装置30に接続されたコンピュータ40と、コンピュータ40に接続された表示装置50及び指示入力装置60と、を備える。   The confocal microscope apparatus 100 includes a confocal microscope main body 20, a control device 30 that controls the confocal microscope main body 20, a computer 40 connected to the control device 30, a display device 50 connected to the computer 40, and an instruction input. Device 60.

共焦点顕微鏡本体20は、レーザ1から出射したレーザ光が被検物14へ至る照明光路上に、ビームスプリッタ2、二次元偏向器3、投影レンズ4、Zスキャナ5、対物レンズ7、及び、被検物14が配置されるステージ8を備える。   The confocal microscope main body 20 includes a beam splitter 2, a two-dimensional deflector 3, a projection lens 4, a Z scanner 5, an objective lens 7, and an objective lens on the illumination optical path where the laser light emitted from the laser 1 reaches the object 14. A stage 8 on which the test object 14 is arranged is provided.

レーザ1は、レーザ光を平行光として出射する光源である。レーザ1から出射されるレーザ光の光量は、制御装置30からの入力に基づいて制御される。具体的には、例えば、レーザ1の駆動電流が制御装置30によって変更されることで、レーザ1からの出射光量が変化する。   The laser 1 is a light source that emits laser light as parallel light. The amount of laser light emitted from the laser 1 is controlled based on an input from the control device 30. Specifically, for example, the amount of light emitted from the laser 1 changes as the drive current of the laser 1 is changed by the control device 30.

ビームスプリッタ2は、例えば、偏光ビームスプリッタ、ハーフミラーなどである。ビームスプリッタ2は、レーザ1からのレーザ光を透過させ、被検物14からの反射光を反射する。   The beam splitter 2 is, for example, a polarization beam splitter or a half mirror. The beam splitter 2 transmits the laser light from the laser 1 and reflects the reflected light from the test object 14.

二次元偏向器3は、レーザ1からのレーザ光を所望の方向に偏向させる装置であり、レーザ光で被検物14を対物レンズ7の光軸15と直交する二次元方向に走査するスキャナである。二次元偏向器3は、対物レンズ7の瞳と光学的に共役な位置又はその近傍に配置された、例えば、ガルバノミラー、レゾナントスキャナ、音響光学素子などである。二次元偏向器3は、レーザ光をX方向とY方向にそれぞれ独立に偏向するように構成されている。二次元偏向器3は、制御装置30からの偏向タイミングの指示に基づいて、レーザ光のX方向についての偏向角度θとY方向についての偏向角度θを変更する。なお、図2では、偏向角度θが異なる複数の光束が図示されている。 The two-dimensional deflector 3 is a device that deflects the laser light from the laser 1 in a desired direction, and is a scanner that scans the object 14 in a two-dimensional direction perpendicular to the optical axis 15 of the objective lens 7 with the laser light. is there. The two-dimensional deflector 3 is, for example, a galvanometer mirror, a resonant scanner, an acoustooptic device, or the like disposed at or near a position optically conjugate with the pupil of the objective lens 7. The two-dimensional deflector 3 is configured to deflect laser light independently in the X direction and the Y direction, respectively. The two-dimensional deflector 3 changes the deflection angle θ x in the X direction and the deflection angle θ y in the Y direction of the laser light based on the deflection timing instruction from the control device 30. In FIG. 2, a plurality of light beams deflection angle theta x is different is shown.

投影レンズ4は、対物レンズ7の瞳を二次元偏向器3又はその近傍へ投影するレンズである。投影レンズ4は、投影レンズ4の物体側の焦点位置が対物レンズ7の後側焦点位置16近傍に位置するように配置される。投影レンズ4は、レーザ1から出射した平行光であるレーザ光の径を拡大して、対物レンズ7へ入射させる。   The projection lens 4 is a lens that projects the pupil of the objective lens 7 onto the two-dimensional deflector 3 or the vicinity thereof. The projection lens 4 is arranged such that the focal position on the object side of the projection lens 4 is located in the vicinity of the rear focal position 16 of the objective lens 7. The projection lens 4 enlarges the diameter of the laser light, which is parallel light emitted from the laser 1, and makes it incident on the objective lens 7.

Zスキャナ5は、対物レンズ7とステージ8との相対距離を変更する装置であり、被検物14を対物レンズ7の光軸15に沿った方向(以降、光軸方向、Z方向又は高さ軸方向と記す)に走査するスキャナである。Zスキャナ5は、Z方向に移動するように構成されている。Zスキャナ5には、Zスキャナ5のZ方向への移動によって生じる変位量、即ち、対物レンズ7とステージ8との相対距離の変化量を測定する変位計6が設けられている。変位計6は、例えば、光学式のリニアエンコーダである。また、静電容量式の変位計、その他の変位計であってもよい。変位計6で測定された変位量は、制御装置30へ出力される。   The Z scanner 5 is a device that changes the relative distance between the objective lens 7 and the stage 8. The Z scanner 5 is a direction along the optical axis 15 of the objective lens 7 (hereinafter, optical axis direction, Z direction, or height). This is a scanner that scans in the axial direction. The Z scanner 5 is configured to move in the Z direction. The Z scanner 5 is provided with a displacement meter 6 that measures the amount of displacement caused by the movement of the Z scanner 5 in the Z direction, that is, the amount of change in the relative distance between the objective lens 7 and the stage 8. The displacement meter 6 is, for example, an optical linear encoder. Further, a capacitance type displacement meter and other displacement meters may be used. The displacement amount measured by the displacement meter 6 is output to the control device 30.

対物レンズ7は、Zスキャナ5に装着されていて、Zスキャナ5がZ方向へ移動することでZ方向へ移動する。被検物14は、ステージ8上で対物レンズ7の前側焦点位置付近に配置される。ステージ8は、対物レンズ7の光軸15と直交するX方向とY方向に移動する可動ステージである。ステージ8は、電動ステージであっても手動ステージであってもよい。   The objective lens 7 is attached to the Z scanner 5 and moves in the Z direction when the Z scanner 5 moves in the Z direction. The test object 14 is arranged near the front focal position of the objective lens 7 on the stage 8. The stage 8 is a movable stage that moves in the X direction and the Y direction orthogonal to the optical axis 15 of the objective lens 7. The stage 8 may be an electric stage or a manual stage.

共焦点顕微鏡本体20は、さらに、被検物14を反射したレーザ光がAD変換器13に至る検出光路上に、対物レンズ7、Zスキャナ5、投影レンズ4、二次元偏向器3、ビームスプリッタ2、結像レンズ9、共焦点絞り10、光検出器11を備える。   The confocal microscope main body 20 further includes an objective lens 7, a Z scanner 5, a projection lens 4, a two-dimensional deflector 3, a beam splitter on the detection optical path where the laser light reflected from the test object 14 reaches the AD converter 13. 2, an imaging lens 9, a confocal stop 10, and a photodetector 11.

結像レンズ9、共焦点絞り10、光検出器11は、ビームスプリッタ2で反射したレーザ光が進行する反射光路上に設けられている。共焦点絞り10は、結像レンズ9の焦点位置に、共焦点絞り10に設けられたピンホールが位置するように配置される。共焦点絞り10の後段に配置された光検出器11は、例えば、フォトマルチプライヤ(PMT)、アバランシェフォトダイオード(APD)などである。   The imaging lens 9, the confocal stop 10, and the photodetector 11 are provided on a reflected light path along which the laser light reflected by the beam splitter 2 travels. The confocal stop 10 is arranged so that a pinhole provided in the confocal stop 10 is located at the focal position of the imaging lens 9. The photodetector 11 disposed at the rear stage of the confocal stop 10 is, for example, a photomultiplier (PMT), an avalanche photodiode (APD), or the like.

共焦点顕微鏡本体20は、さらに、光検出器11から出力されるアナログ信号を増幅する増幅器12と、増幅器12で増幅されたアナログ信号をデジタル信号に変換するAD変換器13を備える。   The confocal microscope main body 20 further includes an amplifier 12 that amplifies the analog signal output from the photodetector 11 and an AD converter 13 that converts the analog signal amplified by the amplifier 12 into a digital signal.

増幅器12での増幅率は、制御装置30からの入力によって決定される。具体的には、例えば、増幅器12への印加電圧によって決定される。また、ここでは、光検出器11とは別体の増幅器12によって光検出器11から出力したアナログ信号の増幅率を変更する例が示されている。しかしながら、アナログ信号の増幅率は、光検出器11内での増幅率、即ち、光検出器11から出力するアナログ信号の増幅率を変更することで、変更されてもよい。例えば、制御装置30は、光検出器11であるフォトマルチプライヤ又はアバランシェフォトダイオードへの印加電圧を変更することで、増幅率を変更してもよい。AD変換器13は、増幅器12で増幅されたアナログ信号を、例えば、12ビット或いは16ビットのデジタル信号に変換し、制御装置30へ出力する。   The amplification factor in the amplifier 12 is determined by an input from the control device 30. Specifically, for example, it is determined by the voltage applied to the amplifier 12. Here, an example is shown in which the amplification factor of the analog signal output from the photodetector 11 is changed by an amplifier 12 separate from the photodetector 11. However, the amplification factor of the analog signal may be changed by changing the amplification factor in the photodetector 11, that is, the amplification factor of the analog signal output from the photodetector 11. For example, the control device 30 may change the amplification factor by changing the voltage applied to the photomultiplier or the avalanche photodiode that is the photodetector 11. The AD converter 13 converts the analog signal amplified by the amplifier 12 into, for example, a 12-bit or 16-bit digital signal and outputs the digital signal to the control device 30.

上述した構成を有する共焦点顕微鏡本体20は、制御装置30の制御下で被検物14を走査して、光検出器11で検出した被検物14からの反射光量に応じた信号と変位計6で測定された変位量を制御装置30へ出力する。   The confocal microscope main body 20 having the above-described configuration scans the test object 14 under the control of the control device 30, and a signal and a displacement meter according to the amount of reflected light from the test object 14 detected by the photodetector 11. The displacement amount measured in 6 is output to the control device 30.

制御装置30は、共焦点顕微鏡本体20からの信号に基づいて共焦点画像の画像データを生成し、コンピュータ40へ出力する。また、変位計6で測定された変位量についても、コンピュータ40へ出力する。さらに、制御装置30は、顕微鏡の操作者が指示入力装置60を用いてコンピュータ40へ入力した指示に従って、共焦点顕微鏡本体20を制御する。例えば、制御装置30は、被検物14の走査のため、二次元偏向器3及びZスキャナ5を制御する。   The control device 30 generates image data of a confocal image based on a signal from the confocal microscope body 20 and outputs the image data to the computer 40. Further, the displacement amount measured by the displacement meter 6 is also output to the computer 40. Further, the control device 30 controls the confocal microscope main body 20 in accordance with an instruction input to the computer 40 by the microscope operator using the instruction input device 60. For example, the control device 30 controls the two-dimensional deflector 3 and the Z scanner 5 for scanning the test object 14.

コンピュータ40は、画像入力部41、記憶部42、演算処理部43、インターフェース部44を備える。画像入力部41は、制御装置30から共焦点画像の画像データの入力を受け付ける。記憶部42は、例えば、ハードディスク装置、半導体メモリなどである。記憶部42には、共焦点画像、全焦点画像などの画像データ、その他のデータが記憶される。演算処理部43は、例えば、中央演算処理装置(CPU)などであり、記憶部42に記憶されているプログラムを実行することで、各種の演算を行う。例えば、制御装置30から入力された共焦点画像の画像データ及びZ方向の変位量に基づいて、被検物14の三次元形状(表面高さ)の測定と解析を行う。より具体的には、被検物14の高さデータを生成し、生成した高さデータを基準平面に応じて補正し、補正された新たな高さデータを生成することで、被検物14の三次元形状を測定する。また、補正された高さデータに基づいて、種々の解析を行う。インターフェース部44は、コンピュータ40と他の装置との間で必要なデータをやり取りする。   The computer 40 includes an image input unit 41, a storage unit 42, an arithmetic processing unit 43, and an interface unit 44. The image input unit 41 receives input of confocal image data from the control device 30. The storage unit 42 is, for example, a hard disk device or a semiconductor memory. The storage unit 42 stores image data such as confocal images and omnifocal images, and other data. The arithmetic processing unit 43 is, for example, a central processing unit (CPU) or the like, and performs various calculations by executing a program stored in the storage unit 42. For example, the measurement and analysis of the three-dimensional shape (surface height) of the test object 14 is performed based on the image data of the confocal image input from the control device 30 and the amount of displacement in the Z direction. More specifically, the height data of the test object 14 is generated, the generated height data is corrected according to the reference plane, and the corrected new height data is generated, whereby the test object 14 is generated. Measure the three-dimensional shape. Various analyzes are performed based on the corrected height data. The interface unit 44 exchanges necessary data between the computer 40 and other devices.

表示装置50は、被検物14の共焦点画像、全焦点画像、三次元画像、及び、基準平面の候補などを表示する装置である。表示装置50は、例えば、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ、CRT(Cathode Ray Tub)ディスプレイなどである。指示入力装置60は、操作者がコンピュータ40に指示を入力するための装置であり、例えば、キーボード、マウスなどである。表示装置50及び指示入力装置60は、コンピュータ40と一体に構成されていても良く、コンピュータ40の一部であってもよい。   The display device 50 is a device that displays a confocal image, an omnifocal image, a three-dimensional image, a reference plane candidate, and the like of the test object 14. The display device 50 is, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, a CRT (Cathode Ray Tub) display, or the like. The instruction input device 60 is a device for an operator to input an instruction to the computer 40, and is, for example, a keyboard or a mouse. The display device 50 and the instruction input device 60 may be configured integrally with the computer 40 or may be a part of the computer 40.

以上のように、共焦点顕微鏡装置100では、共焦点顕微鏡本体20と制御装置30は、測定対象物である被検物14の共焦点画像を取得する画像取得装置である。また、コンピュータ40は、高さデータを生成し、補正する高さデータ処理装置である。   As described above, in the confocal microscope apparatus 100, the confocal microscope main body 20 and the control apparatus 30 are image acquisition apparatuses that acquire a confocal image of the test object 14 that is a measurement object. The computer 40 is a height data processing device that generates and corrects height data.

次に、共焦点顕微鏡装置100における共焦点画像を取得し共焦点画像の画像データを生成する方法について説明する。レーザ1から出射したレーザ光は、ビームスプリッタ2を透過して二次元偏向器3を介して投影レンズ4に入射する。投影レンズ4に入射した平行光であるレーザ光は、投影レンズ4によりその光束径が拡大されて、対物レンズ7に入射する。その後、レーザ光は、対物レンズ7の屈折力により、対物レンズ7の前側焦点面上にスポット状に集光し、対物レンズ7の前側焦点位置近傍に配置された被検物14に照射される。   Next, a method for acquiring a confocal image in the confocal microscope apparatus 100 and generating image data of the confocal image will be described. Laser light emitted from the laser 1 passes through the beam splitter 2 and enters the projection lens 4 via the two-dimensional deflector 3. The laser beam, which is parallel light incident on the projection lens 4, has its beam diameter enlarged by the projection lens 4 and enters the objective lens 7. Thereafter, the laser light is condensed in a spot shape on the front focal plane of the objective lens 7 by the refractive power of the objective lens 7, and is irradiated on the test object 14 disposed in the vicinity of the front focal position of the objective lens 7. .

前側焦点面上におけるレーザ光の集光位置は、二次元偏向器3でレーザ光が偏向された方向によって決定される。このため、二次元偏向器3におけるレーザ光の偏向角度θと偏向角度θを制御することで、レーザ光の集光位置が焦点面上でX方向とY方向に変化する。共焦点顕微鏡装置100では、例えば、ラスタスキャンが行われるように、制御装置30が二次元偏向器3を制御する。これにより、被検物14が二次元に走査される。 The condensing position of the laser beam on the front focal plane is determined by the direction in which the laser beam is deflected by the two-dimensional deflector 3. Thus, by controlling the deflection angle theta x and deflection angle theta y of the laser beam in two-dimensional deflector 3, the condensing position of the laser light changes in the X direction and the Y direction on the focal plane. In the confocal microscope apparatus 100, for example, the control device 30 controls the two-dimensional deflector 3 so that raster scanning is performed. Thereby, the test object 14 is scanned two-dimensionally.

被検物14から反射したレーザ光は、対物レンズ7、投影レンズ4を介して二次元偏向器3へ入射する。二次元偏向器3でビームスプリッタ2に向けて偏向されたレーザ光は、ビームスプリッタ2で反射し、結像レンズ9を介して共焦点絞り10に入射する。そして、共焦点絞り10に設けられたピンホールを通過したレーザ光のみが光検出器11で検出される。   The laser beam reflected from the test object 14 enters the two-dimensional deflector 3 through the objective lens 7 and the projection lens 4. The laser beam deflected toward the beam splitter 2 by the two-dimensional deflector 3 is reflected by the beam splitter 2 and enters the confocal stop 10 via the imaging lens 9. Only the laser beam that has passed through the pinhole provided in the confocal stop 10 is detected by the photodetector 11.

光検出器11は、検出したレーザ光の光量に応じたアナログ信号を増幅器12へ出力する。AD変換器13は、増幅器12で増幅されたアナログ信号をデジタル信号に変換して制御装置30へ出力する。なお、AD変換器13から制御装置30に入力されたデジタル信号は、現在のレーザ光の集光位置に対応する輝度値を表す。   The photodetector 11 outputs an analog signal corresponding to the detected amount of laser light to the amplifier 12. The AD converter 13 converts the analog signal amplified by the amplifier 12 into a digital signal and outputs the digital signal to the control device 30. The digital signal input from the AD converter 13 to the control device 30 represents a luminance value corresponding to the current laser beam condensing position.

共焦点顕微鏡装置100では、制御装置30が二次元偏向器3を制御することで変化した集光位置毎に輝度値を取得し、取得した輝度値を二次元にマッピングすることで、共焦点画像が取得される。即ち、制御装置30は、集光位置毎に取得した輝度値を、その集光位置に対応する画素の画素値に設定することで、共焦点画像の画像データを生成する。制御装置30で生成された共焦点画像の画像データは、コンピュータ40の画像入力部41に出力されて、その後、表示装置50に表示される。   In the confocal microscope apparatus 100, the control device 30 controls the two-dimensional deflector 3 to acquire a luminance value for each condensing position changed, and the acquired luminance value is two-dimensionally mapped, so that a confocal image is obtained. Is acquired. In other words, the control device 30 sets the luminance value acquired for each condensing position to the pixel value of the pixel corresponding to the condensing position, thereby generating confocal image data. The confocal image data generated by the control device 30 is output to the image input unit 41 of the computer 40 and then displayed on the display device 50.

次に、共焦点顕微鏡装置100における高さデータ生成方法と全焦点画像取得方法について、図3及び図4を参照しながら説明する。図3は、共焦点顕微鏡装置100で取得した複数の共焦点画像の画像データを例示した図である。図4は、共焦点顕微鏡装置100で生成される輝度変化曲線を例示した図である。   Next, a height data generation method and an omnifocal image acquisition method in the confocal microscope apparatus 100 will be described with reference to FIGS. 3 and 4. FIG. 3 is a diagram illustrating image data of a plurality of confocal images acquired by the confocal microscope apparatus 100. FIG. 4 is a diagram illustrating a luminance change curve generated by the confocal microscope apparatus 100.

制御装置30は、Zスキャナ5で対物レンズ7とステージ8との相対距離を変更するZ走査を行い、各Z位置で共焦点画像を取得する。これにより、それぞれ異なるZ位置で取得した複数の共焦点画像が取得され、それら複数の共焦点画像の画像データがコンピュータ40の記憶部42に記憶される。図3には、記憶部42に記憶された、k枚の共焦点画像の画像データが例示されている。なお、各共焦点画像には1からk(kは自然数)の画像番号が付される。画像番号nの共焦点画像の各画素の輝度値は、輝度値In(x,y)で表される。ここで、x,yは対象とする画素の、X方向の位置(X位置)、Y方向の位置(Y位置)を示す。 The control device 30 performs Z scanning for changing the relative distance between the objective lens 7 and the stage 8 by the Z scanner 5 and acquires a confocal image at each Z position. As a result, a plurality of confocal images acquired at different Z positions are acquired, and image data of the plurality of confocal images is stored in the storage unit 42 of the computer 40. FIG. 3 illustrates image data of k confocal images stored in the storage unit 42. Each confocal image is assigned an image number from 1 to k (k is a natural number). Luminance value of each pixel of the confocal image of the image number n is represented by luminance values I n (x, y). Here, x and y indicate the position in the X direction (X position) and the position in the Y direction (Y position) of the target pixel.

相対距離を変更すると、光検出器11で検出される被検物14上の点からの反射光量(即ち、輝度)が変化する。この輝度変化の軌跡は、対物レンズ7の開口数、レーザ光の波長、共焦点絞り10の開口(ピンホール)の大きさによって概ね決まった形となる。以降では、この輝度変化の軌跡を輝度変化曲線と呼ぶ。演算処理部43は、異なるZ位置で取得した複数の共焦点画像の画像データに基づいて、XY位置毎に輝度変化曲線を推定する。   When the relative distance is changed, the amount of light reflected from the point on the test object 14 detected by the photodetector 11 (that is, the luminance) changes. The locus of this luminance change has a generally determined shape depending on the numerical aperture of the objective lens 7, the wavelength of the laser light, and the size of the aperture (pinhole) of the confocal stop 10. Hereinafter, this locus of luminance change is referred to as a luminance change curve. The arithmetic processing unit 43 estimates a luminance change curve for each XY position based on the image data of a plurality of confocal images acquired at different Z positions.

ある位置(x0,y0)の輝度変化曲線を推定する場合について、図4を参照しながら説明する。まず、取得したk枚の共焦点画像の各々から位置(x0,y0)の画素の輝度値を取得する。そして、それらの輝度値を、縦軸が輝度値(I)を示し横軸がZ位置(Z)を示すI-Z空間上にプロットする。図4に示す黒丸は、プロットされた点を示している。なお、これらの点のZ位置は、共焦点画像を取得する際に変位計6から受信した変位量によって決定される。その後、プロットされた最も高い輝度値を示す点とその近傍の数点から数十点を抽出する。さらに、抽出した点のデータ(輝度値とZ位置)を使用して近似曲線ACを算出し、算出した近似曲線ACを輝度変化曲線として推定する。なお、近似曲線の算出では、近似対象の曲線として2次多項式あるいはさらに高次の多項式又はガウス曲線などが用いられる。また、使用される近似手法としては、最小二乗法が代表的である。   A case where a luminance change curve at a certain position (x0, y0) is estimated will be described with reference to FIG. First, the luminance value of the pixel at the position (x0, y0) is acquired from each of the acquired k confocal images. The luminance values are plotted on an I-Z space where the vertical axis indicates the luminance value (I) and the horizontal axis indicates the Z position (Z). Black circles shown in FIG. 4 indicate plotted points. Note that the Z positions of these points are determined by the amount of displacement received from the displacement meter 6 when acquiring the confocal image. After that, tens of points are extracted from the plotted points indicating the highest luminance value and several points in the vicinity thereof. Further, the approximate curve AC is calculated using the extracted point data (luminance value and Z position), and the calculated approximate curve AC is estimated as the luminance change curve. In calculating the approximate curve, a quadratic polynomial, a higher order polynomial, a Gaussian curve, or the like is used as the curve to be approximated. As an approximation method used, the least square method is typical.

演算処理部43は、さらに、推定した輝度変化曲線から輝度値が最大となるピーク輝度値とそのピーク輝度値が得られるZ位置(以降、ピークZ位置と記す)を推定する。この処理も、輝度変化曲線の推定処理と同様に、XY位置毎に行われる。その結果、全てのXY位置でのピークZ位置の集合を示すピークZ位置分布Zp(x,y)と、全てのXY位置でのピーク輝度値の集合を示すピーク輝度値分布Ip(x,y)が算出される。   The arithmetic processing unit 43 further estimates a peak luminance value having the maximum luminance value from the estimated luminance change curve and a Z position (hereinafter referred to as a peak Z position) from which the peak luminance value is obtained. This process is also performed for each XY position, as in the luminance change curve estimation process. As a result, a peak Z position distribution Zp (x, y) indicating a set of peak Z positions at all XY positions, and a peak luminance value distribution Ip (x, y) indicating a set of peak luminance values at all XY positions. ) Is calculated.

共焦点顕微鏡装置100では、レーザ光の集光位置に被検物14の表面がある(換言すると、被検物14の表面の位置が合焦位置である)ときに輝度値が最大になる。従って、ピークZ位置分布Zp(x,y)は被検物14の表面の高さ分布(即ち、表面形状)を示す高さデータである。コンピュータ40は、ピークZ位置分布Zp(x,y)を算出する上述の方法により、被検物14の高さデータを生成することができる。   In the confocal microscope apparatus 100, the luminance value is maximized when the surface of the test object 14 is at the condensing position of the laser beam (in other words, the position of the surface of the test object 14 is the in-focus position). Accordingly, the peak Z position distribution Zp (x, y) is height data indicating the height distribution (that is, the surface shape) of the surface of the test object 14. The computer 40 can generate the height data of the test object 14 by the above-described method for calculating the peak Z position distribution Zp (x, y).

また、ピークZ位置分布Zp(x,y)と共に算出されるピーク輝度値分布Ip(x,y)は、合焦位置であるピークZ位置における輝度値の集合である。従って、ピーク輝度値分布Ip(x,y)は、被検物14の表面の全て位置に焦点の合った全焦点画像の画像データそのものである。このため、コンピュータ40は、ピーク輝度値分布Ip(x,y)を算出する上述した方法により、全焦点画像を取得し、全焦点画像の画像データを生成することができる。   The peak luminance value distribution Ip (x, y) calculated together with the peak Z position distribution Zp (x, y) is a set of luminance values at the peak Z position that is the in-focus position. Accordingly, the peak luminance value distribution Ip (x, y) is image data itself of an omnifocal image focused on all positions on the surface of the test object 14. For this reason, the computer 40 can acquire the omnifocal image and generate image data of the omnifocal image by the above-described method of calculating the peak luminance value distribution Ip (x, y).

次に、操作者に対して過度に負担を強いることなく、基準平面を適切に決定して高さデータを補正する方法について説明する。図5は、高さデータ補正装置70の機能ブロック図である。コンピュータ40である高さデータ補正装置70は、図5に示すように、高さデータ生成手段71と、平面抽出手段72と、平面選択手段73と、傾き補正手段74と、表示制御手段75を備えている。これらの手段は、コンピュータ40の演算処理部43が所定のプログラムを実行することで実現される。   Next, a method for correcting the height data by appropriately determining the reference plane without excessively burdening the operator will be described. FIG. 5 is a functional block diagram of the height data correction device 70. As shown in FIG. 5, the height data correction device 70, which is a computer 40, includes height data generation means 71, plane extraction means 72, plane selection means 73, inclination correction means 74, and display control means 75. I have. These means are realized by the arithmetic processing unit 43 of the computer 40 executing a predetermined program.

高さデータ生成手段71は、画像取得装置により取得された複数の共焦点画像の画像データから被検物14の高さデータ及び全焦点画像データを生成する。平面抽出手段72は、高さデータ生成手段71で生成された被検物14の高さデータに基づいて、被検物14の表面を構成する1つ以上の平面を抽出する。平面選択手段73は、入力装置60からの基準平面を指定する入力に従って平面抽出手段72により抽出された1つの平面から基準平面を選択する。傾き補正手段74は、平面選択手段73で選択された基準平面に応じて、高さデータ生成手段71で生成された高さデータを補正する。表示制御手段75は、表示装置50に基準平面の候補として平面抽出手段72で抽出された1つ以上の平面を表示させる。   The height data generation means 71 generates height data and omnifocal image data of the test object 14 from the image data of a plurality of confocal images acquired by the image acquisition device. The plane extraction unit 72 extracts one or more planes constituting the surface of the test object 14 based on the height data of the test object 14 generated by the height data generation unit 71. The plane selection unit 73 selects a reference plane from one plane extracted by the plane extraction unit 72 according to an input designating the reference plane from the input device 60. The inclination correction unit 74 corrects the height data generated by the height data generation unit 71 according to the reference plane selected by the plane selection unit 73. The display control means 75 causes the display device 50 to display one or more planes extracted by the plane extraction means 72 as reference plane candidates.

図6は、高さデータ補正装置70で行われる高さデータ補正処理のフローチャートである。図7は、高さデータ補正装置70で行われる平面抽出処理のフローチャートである。高さデータ補正装置70で図6に示す高さデータ補正処理が開始されると、平面抽出手段72が、高さデータ生成手段71で生成された高さデータに基づいて1つ以上の平面を抽出する平面抽出処理を行う(ステップS10)。   FIG. 6 is a flowchart of height data correction processing performed by the height data correction device 70. FIG. 7 is a flowchart of the plane extraction process performed by the height data correction device 70. When the height data correction process shown in FIG. 6 is started by the height data correction device 70, the plane extraction unit 72 generates one or more planes based on the height data generated by the height data generation unit 71. Plane extraction processing is performed (step S10).

平面抽出処理では、図7に示すように、まず、平面抽出手段72が、高さデータ中の異常なデータを特定し(ステップS11)、後述する高さヒストグラム作成処理の処理対象から除外する。なお、異常なデータを特定する方法については特に限定されず、任意のアルゴリズムが採用し得る。   In the plane extraction process, as shown in FIG. 7, first, the plane extraction means 72 identifies abnormal data in the height data (step S11) and excludes it from the processing target of the height histogram creation process described later. The method for identifying abnormal data is not particularly limited, and any algorithm can be adopted.

次に、平面抽出手段72は、異常なデータが除外された高さデータから高さヒストグラムを作成する(ステップS12)。図9は、図8に示す全焦点画像で表される被検物14の高さデータから生成された高さヒストグラムの一例である。高さヒストグラムが作成されると、平面抽出手段72は、その高さヒストグラムに基づいて、基準平面の候補として1つ以上の平面を抽出する(ステップS13)。例えば、平面抽出手段72は、高さヒストグラムに表れる峰(ピーク)毎に、各峰に含まれる多数のデータを用いて最小二乗法により対応する平面を算出することで、高さデータから平面を抽出する。図9に示す高さヒストグラムを用いた場合、4つの峰(ピークA1からA4)が特定されて、対応する4つの平面(平面B1から平面B4)が抽出される。   Next, the plane extraction means 72 creates a height histogram from the height data from which abnormal data has been excluded (step S12). FIG. 9 is an example of a height histogram generated from the height data of the test object 14 represented by the omnifocal image shown in FIG. When the height histogram is created, the plane extracting means 72 extracts one or more planes as reference plane candidates based on the height histogram (step S13). For example, the plane extraction unit 72 calculates a plane from the height data by calculating a plane corresponding to each peak (peak) appearing in the height histogram using a large number of data included in each peak by the least square method. Extract. When the height histogram shown in FIG. 9 is used, four peaks (peaks A1 to A4) are specified, and corresponding four planes (plane B1 to plane B4) are extracted.

平面抽出処理により1つ以上の平面が抽出されると、表示制御手段75は、抽出された平面を基準平面の候補として表示装置50に表示させる(ステップS20)。図10には、図9に示す高さヒストグラムを用いて抽出された4つの平面B1からB4が基準平面の候補として別々に表示されている例が示されている。なお、図10(a)から図10(d)では、基準平面の候補(つまり、候補面)であることが分かるように抽出された各平面が網掛けで表示されている。   When one or more planes are extracted by the plane extraction process, the display control means 75 causes the display device 50 to display the extracted planes as reference plane candidates (step S20). FIG. 10 shows an example in which the four planes B1 to B4 extracted using the height histogram shown in FIG. 9 are separately displayed as reference plane candidates. In FIGS. 10A to 10D, the extracted planes are shaded so that they can be recognized as candidates for the reference plane (that is, candidate planes).

なお、抽出された平面の表示方法は、特に限定されない。例えば、候補面毎に色を変えて表示することで1つの画像中に識別可能にすべての候補面を表示してもよい。また、図10では、全焦点画像上の全ての位置がいずれかの平面に含まれる例を示したが、抽出された平面は画像中の全ての位置を網羅していなくてもよい。また、図10では、2次元画像中に候補面を表示する例を示したが、候補面は3次元画像中に表示してもよい。例えば、図11に示すように、被検物14の3次元画像中に、候補面C1からC4が表示されてもよい。   The method for displaying the extracted plane is not particularly limited. For example, all candidate surfaces may be displayed in a single image so that they can be identified by changing the color for each candidate surface. FIG. 10 shows an example in which all the positions on the omnifocal image are included in any plane, but the extracted plane may not cover all the positions in the image. Moreover, although the example which displays a candidate surface in a two-dimensional image was shown in FIG. 10, you may display a candidate surface in a three-dimensional image. For example, as shown in FIG. 11, candidate planes C1 to C4 may be displayed in the three-dimensional image of the test object 14.

操作者が入力装置60を用いて表示装置50に表示された候補面から基準平面を指定すると、平面選択手段73は、入力装置60からの基準平面を指定する入力に従って、候補面から基準平面を選択する(ステップS30)。   When the operator designates the reference plane from the candidate plane displayed on the display device 50 using the input device 60, the plane selection unit 73 selects the reference plane from the candidate plane according to the input designating the reference plane from the input device 60. Select (step S30).

基準平面が選択されると、傾き補正手段74は、高さ軸方向と、選択された基準平面の法線方向とが一致するように高さデータを補正する傾き補正処理を実行する(ステップS40)。具体的には、傾き補正手段74は、補正後の高さデータにおいて、基準平面の法線方向が高さ軸方向(つまり、z方向)を向くように、高さデータ生成手段71で生成された高さデータを補正する。高さ軸方向とは、高さデータが表す高さの基準となる方向であり、共焦点顕微鏡装置100のz方向であり、対物レンズ7の光軸方向である。従って、換言すると、傾き補正手段74は、図12(a)に示すように高さ軸方向と基準平面の法線方向が一致していない(つまり、基準平面がxy平面と平行でない)ときに、図12(b)に示すように高さ軸方向と基準平面の法線方向が一致する(つまり、基準平面がxy平面と平行になる)ように、高さデータを補正する。これにより基準平面の傾き(より詳細には、xy平面に対する基準平面の傾き)が補正される。生成された補正後の高さデータは記憶部42に記憶され、表示制御手段75により表示装置50に表示されてもよい。なお、基準平面の傾き、基準平面の法線方向は、選択された基準平面内の可能な限り多くの点における高さデータを用いて算出される。   When the reference plane is selected, the inclination correction unit 74 executes an inclination correction process for correcting the height data so that the height axis direction matches the normal direction of the selected reference plane (step S40). ). Specifically, the inclination correction unit 74 is generated by the height data generation unit 71 so that the normal direction of the reference plane faces the height axis direction (that is, the z direction) in the corrected height data. Correct height data. The height axis direction is a direction serving as a reference for the height represented by the height data, is the z direction of the confocal microscope apparatus 100, and is the optical axis direction of the objective lens 7. Therefore, in other words, the inclination correcting means 74 is when the height axis direction and the normal direction of the reference plane do not coincide as shown in FIG. 12A (that is, the reference plane is not parallel to the xy plane). As shown in FIG. 12B, the height data is corrected so that the direction of the height axis coincides with the normal direction of the reference plane (that is, the reference plane is parallel to the xy plane). As a result, the inclination of the reference plane (more specifically, the inclination of the reference plane with respect to the xy plane) is corrected. The generated height data after correction may be stored in the storage unit 42 and displayed on the display device 50 by the display control means 75. The inclination of the reference plane and the normal direction of the reference plane are calculated using height data at as many points as possible in the selected reference plane.

上述した高さデータ補正処理によれば、操作者は、高さデータが生成された後に、表示装置50に表示される基準平面の候補の中から基準平面を指定するだけ、基準平面に対する傾きが補正された高さデータを得ることができる。このため、操作者に負担を強いることなく、基準平面を決定して傾き補正処理を行うことができる。また、基準平面は、高さヒストグラムを用いた処理によって抽出された候補面から選択される。また、選択された基準平面の傾きは、コンピュータ40によって多数の点における高さデータから算出される。このため、従来の方法に比べて基準平面又は基準平面の傾きのばらつきを抑えることが可能であり、基準平面を適切に決定することができる。従って、解析の都度結果が異なるなどの事態を避けることができる。   According to the height data correction process described above, the operator can specify the reference plane from among the reference plane candidates displayed on the display device 50 after the height data is generated, and the inclination with respect to the reference plane can be increased. Corrected height data can be obtained. Therefore, the inclination correction process can be performed by determining the reference plane without imposing a burden on the operator. Further, the reference plane is selected from candidate planes extracted by processing using the height histogram. Further, the inclination of the selected reference plane is calculated by the computer 40 from the height data at many points. For this reason, it is possible to suppress variation in the reference plane or the inclination of the reference plane as compared with the conventional method, and the reference plane can be determined appropriately. Accordingly, it is possible to avoid such a situation that the result is different every time the analysis is performed.

図13は、高さデータ補正装置70で行われる別の平面抽出処理のフローチャートである。図7では、高さデータを1つ以上の平面から高さヒストグラムを用いて抽出する例を示したが、平面を抽出する方法は高さヒストグラムを使用するものに限られず、任意の方法が採用し得る。例えば、図13に示す方法で平面が抽出されてもよい。   FIG. 13 is a flowchart of another plane extraction process performed by the height data correction device 70. Although FIG. 7 shows an example in which height data is extracted from one or more planes using a height histogram, the method of extracting planes is not limited to using a height histogram, and any method is adopted. Can do. For example, the plane may be extracted by the method shown in FIG.

まず、平面抽出手段72が、高さデータ中の異常なデータを特定する(ステップS11)。この処理は、図7のステップS11と同様である。その後、平面抽出手段72は、サンプルコンセンサス法を用いて1つ以上の平面を抽出してもよい(ステップS14)。サンプルコンセンサス法については、例えば、非特許文献1(Martin A. Fischler and Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography". Comm. of the ACM 24)に記載されている。   First, the plane extraction means 72 identifies abnormal data in the height data (step S11). This process is the same as step S11 in FIG. Thereafter, the plane extraction means 72 may extract one or more planes using a sample consensus method (step S14). Regarding the sample consensus method, for example, Non-Patent Document 1 (Martin A. Fischler and Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography". Comm. Of the ACM 24).

図7に示す平面抽出処理の代わりに図13に示す平面抽出処理を行っても、操作者に対して過度に負担を強いることなく、傾き補正処理の基準平面を適切に決定することができる。   Even if the plane extraction process shown in FIG. 13 is performed instead of the plane extraction process shown in FIG. 7, the reference plane for the inclination correction process can be appropriately determined without imposing an excessive burden on the operator.

[第2の実施形態]
図14は、本実施形態に係る高さデータ補正装置80の機能ブロック図である。なお、本実施形態に係る表面形状測定装置の構成は、第1の実施形態に係る共焦点顕微鏡装置100の構成と同様である。図14に示すコンピュータ40である高さデータ補正装置80は、平面選択手段73の代わりに平面選択手段83を備える点、表示制御手段75の代わりに表示制御手段85を備える点が、図5に示す高さデータ補正装置70と異なっている。その他の点は、高さデータ補正装置70と同様である。
[Second Embodiment]
FIG. 14 is a functional block diagram of the height data correction device 80 according to the present embodiment. Note that the configuration of the surface shape measuring apparatus according to the present embodiment is the same as the configuration of the confocal microscope apparatus 100 according to the first embodiment. The height data correction device 80 which is the computer 40 shown in FIG. 14 is provided with a plane selection unit 83 instead of the plane selection unit 73 and a display control unit 85 instead of the display control unit 75 in FIG. This is different from the height data correction device 70 shown. Other points are the same as those of the height data correction device 70.

平面選択手段83は、操作者からの入力に従って基準平面を選択するのではなく、高さデータに基づいて所定の基準に従って基準平面を自動的に選択する点が、平面選択手段73とは異なる。また、表示制御手段85は、基準平面の候補を表示装置50に表示しない点が、平面選択手段83とは異なる。なお、高さデータ補正装置80を構成する手段は、コンピュータ40の演算処理部43が所定のプログラムを実行することで実現される。   The plane selection unit 83 is different from the plane selection unit 73 in that the plane selection unit 83 does not select the reference plane according to the input from the operator but automatically selects the reference plane according to a predetermined reference based on the height data. The display control unit 85 is different from the plane selection unit 83 in that the reference plane candidate is not displayed on the display device 50. The means constituting the height data correction device 80 is realized by the arithmetic processing unit 43 of the computer 40 executing a predetermined program.

図15は、高さデータ補正装置80で行われる高さデータ補正処理のフローチャートである。図16は、高さデータ補正装置80で行われる平面選択処理のフローチャートである。   FIG. 15 is a flowchart of height data correction processing performed by the height data correction device 80. FIG. 16 is a flowchart of the plane selection process performed by the height data correction device 80.

高さデータ補正装置80で図15に示す高さデータ補正処理が開始されると、平面抽出手段72が、高さデータ生成手段71で生成された高さデータに基づいて1つ以上の平面を抽出する平面抽出処理を行う(ステップS110)。この平面抽出処理は、図6のステップS10における平面抽出処理と同様である。例えば、高さヒストグラムやサンプルコンセンサス法を用いて平面が抽出される。   When the height data correction process shown in FIG. 15 is started by the height data correction device 80, the plane extraction unit 72 generates one or more planes based on the height data generated by the height data generation unit 71. Plane extraction processing is performed (step S110). This plane extraction process is the same as the plane extraction process in step S10 of FIG. For example, a plane is extracted using a height histogram or a sample consensus method.

平面抽出処理により1つ以上の平面(候補面)が抽出されると、平面選択手段83は、高さデータ生成手段71で生成された高さデータに基づいて、候補面から基準平面を選択する平面選択処理を実行する(ステップS120)。   When one or more planes (candidate planes) are extracted by the plane extraction process, the plane selection unit 83 selects a reference plane from the candidate planes based on the height data generated by the height data generation unit 71. A plane selection process is executed (step S120).

平面選択処理では、図16に示すように、平面選択手段83は、まず、平面抽出手段72で抽出された平面毎に、その平面の面積を算出する(ステップS121)。そして、平面抽出手段72で抽出された候補面の面積に基づいて、基準平面に選択する(ステップS122)。ここでは、例えば、面積が最も大きな平面を選択してもよい。   In the plane selection process, as shown in FIG. 16, the plane selection unit 83 first calculates the area of the plane for each plane extracted by the plane extraction unit 72 (step S121). And based on the area of the candidate surface extracted by the plane extraction means 72, it selects as a reference plane (step S122). Here, for example, a plane having the largest area may be selected.

基準平面が選択されると、傾き補正手段74は、高さ軸方向と選択された基準平面の法線方向とが一致するように高さデータを補正する傾き補正処理を実行する(ステップS130)。この傾き補正処理は、図6のステップS40における傾き補正処理と同様である。   When the reference plane is selected, the inclination correction unit 74 executes an inclination correction process for correcting the height data so that the height axis direction matches the normal direction of the selected reference plane (step S130). . This inclination correction process is the same as the inclination correction process in step S40 of FIG.

上述した高さデータ補正処理によっても、第1の実施形態の高さデータ補正処理と同様に、操作者に対して過度に負担を強いることなく、傾き補正処理の基準平面を適切に決定することができる。また、本実施形態では、基準平面を高さデータ補正装置80が自動的に決定するため、操作者の負担をさらに低減することが可能であり、また、結果のばらつきもより小さく抑えることができる。   Even in the height data correction process described above, as in the height data correction process of the first embodiment, the reference plane for the inclination correction process is appropriately determined without imposing an excessive burden on the operator. Can do. In the present embodiment, since the height data correction device 80 automatically determines the reference plane, it is possible to further reduce the burden on the operator and to further suppress the variation in results. .

図17は、高さデータ補正装置80で行われる別の平面選択処理のフローチャートである。図16では、高さデータから算出した平面の面積を用いて基準平面を選択する例を示したが、基準平面を選択する方法は面積を使用するものに限られず、任意の方法が採用し得る。例えば、図17に示す方法で基準平面が選択されてもよい。   FIG. 17 is a flowchart of another plane selection process performed by the height data correction device 80. FIG. 16 shows an example in which the reference plane is selected using the area of the plane calculated from the height data. However, the method of selecting the reference plane is not limited to using the area, and any method can be adopted. . For example, the reference plane may be selected by the method shown in FIG.

まず、平面選択手段83が、平面抽出手段72で抽出された平面毎に、その平面の平均高さを算出する(ステップS123)。そして、平面抽出手段72で抽出された候補面の平均高さに基づいて、基準平面に選択する(ステップS124)。ここでは、予め選択された設定に従って、例えば、平均高さが最も高い平面が選択されてもよく、最も低い平面が選択されてもよい。なお、平均高さの代わりに、例えば、高さの中央値などの他の高さに基づいて平面を選択してもよい。   First, the plane selection unit 83 calculates the average height of each plane extracted by the plane extraction unit 72 (step S123). And based on the average height of the candidate surface extracted by the plane extraction means 72, it selects as a reference | standard plane (step S124). Here, according to the setting selected beforehand, the plane with the highest average height may be selected, for example, and the lowest plane may be selected. Instead of the average height, for example, the plane may be selected based on another height such as a median height.

図16に示す平面選択処理の代わりに図17に示す平面選択処理を行っても、操作者に対して過度に負担を強いることなく、傾き補正処理の基準平面を適切に決定することができる。   Even if the plane selection process shown in FIG. 17 is performed instead of the plane selection process shown in FIG. 16, the reference plane for the inclination correction process can be appropriately determined without imposing an excessive burden on the operator.

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明は上述した実施形態に限定されるものではない。本発明の高さデータ処理装置、表面形状測定装置、高さデータ補正方法、及びプログラムは、特許請求の範囲に記載した範囲内で、さまざまな変形、変更が可能である。例えば、図2では、表面形状測定装置の一例として共焦点顕微鏡装置を例示したが、表面形状測定装置は、例えば、縞投影法を用いた装置であってもよい。   The embodiments described above are specific examples for facilitating understanding of the invention, and the present invention is not limited to the embodiments described above. The height data processing device, the surface shape measuring device, the height data correcting method, and the program of the present invention can be variously modified and changed within the scope described in the claims. For example, although FIG. 2 illustrates a confocal microscope apparatus as an example of the surface shape measuring apparatus, the surface shape measuring apparatus may be an apparatus using a fringe projection method, for example.

1・・・レーザ、2・・・ビームスプリッタ、3・・・二次元偏向器、4・・・投影レンズ、5・・・Zスキャナ、6・・・変位計、7・・・対物レンズ、8・・・ステージ、9・・・結像レンズ、10・・・共焦点絞り、11・・・光検出器、12・・・増幅器、13・・・AD変換器、14・・・被検物、15・・・光軸、16・・・後側焦点位置、20・・・共焦点顕微鏡本体、30・・・制御装置、40・・・コンピュータ、41・・・画像入力部、42・・・記憶部、43・・・演算処理部、44・・・インターフェース部、50・・・表示装置、60・・・入力装置、70、80・・・高さデータ補正装置、71・・・高さデータ生成手段、72・・・平面抽出手段、73、83・・・平面選択手段、74・・・傾き補正手段、75、85・・・表示制御手段、100・・・共焦点顕微鏡装置 DESCRIPTION OF SYMBOLS 1 ... Laser, 2 ... Beam splitter, 3 ... Two-dimensional deflector, 4 ... Projection lens, 5 ... Z scanner, 6 ... Displacement meter, 7 ... Objective lens, DESCRIPTION OF SYMBOLS 8 ... Stage, 9 ... Imaging lens, 10 ... Confocal stop, 11 ... Optical detector, 12 ... Amplifier, 13 ... AD converter, 14 ... Test 15 ... optical axis, 16 ... back focal position, 20 ... confocal microscope body, 30 ... control device, 40 ... computer, 41 ... image input unit, 42. ..Storage unit 43... Arithmetic processing unit 44... Interface unit 50... Display device 60 .. input device 70... 80 height data correction device 71. Height data generation means, 72 ... plane extraction means, 73, 83 ... plane selection means, 74 ... inclination correction means, 5,85 ... display control means, 100 ... confocal microscope

Claims (11)

測定対象物の高さデータに基づいて、前記測定対象物の表面を構成する1つ以上の平面を抽出する平面抽出手段と、
高さ軸方向と、前記平面抽出手段で抽出された前記1つ以上の平面から選択された基準平面の法線方向とが一致するように、前記高さデータを補正する傾き補正手段と、を備える
ことを特徴とする高さデータ処理装置。
Plane extraction means for extracting one or more planes constituting the surface of the measurement object based on height data of the measurement object;
Inclination correction means for correcting the height data so that a height axis direction matches a normal direction of a reference plane selected from the one or more planes extracted by the plane extraction means; A height data processing apparatus comprising:
請求項1に記載の高さデータ処理装置において、さらに、
前記平面抽出手段で抽出された前記1つ以上の平面の面積に基づいて、前記基準平面に選択する平面選択手段を備える
ことを特徴とする高さデータ処理装置。
The height data processing apparatus according to claim 1, further comprising:
A height data processing apparatus comprising plane selection means for selecting the reference plane based on the area of the one or more planes extracted by the plane extraction means.
請求項1に記載の高さデータ処理装置において、さらに、
前記平面抽出手段で抽出された前記1つ以上の平面の高さに基づいて、前記基準平面に選択する平面選択手段を備える
ことを特徴とする高さデータ処理装置。
The height data processing apparatus according to claim 1, further comprising:
A height data processing apparatus comprising plane selection means for selecting the reference plane based on the height of the one or more planes extracted by the plane extraction means.
請求項1に記載の高さデータ処理装置において、さらに、
前記基準平面を指定する入力に従って、前記平面抽出手段で抽出された前記1つ以上の平面から前記基準平面を選択する平面選択手段を備える
ことを特徴とする高さデータ処理装置。
The height data processing apparatus according to claim 1, further comprising:
A height data processing apparatus comprising plane selection means for selecting the reference plane from the one or more planes extracted by the plane extraction means in accordance with an input designating the reference plane.
請求項1乃至請求項4のいずれか1項に記載の高さデータ処理装置において、
前記平面抽出手段は、前記高さデータから生成された高さヒストグラムに基づいて、前記1つ以上の平面を抽出する
ことを特徴とする高さデータ処理装置。
In the height data processing device according to any one of claims 1 to 4,
The height data processing device, wherein the plane extraction means extracts the one or more planes based on a height histogram generated from the height data.
請求項1乃至請求項4のいずれか1項に記載の高さデータ処理装置において、
前記平面抽出手段は、サンプルコンセンサス法を用いて、前記1つ以上の平面を抽出する
ことを特徴とする高さデータ処理装置。
In the height data processing device according to any one of claims 1 to 4,
The height data processing apparatus, wherein the plane extraction means extracts the one or more planes using a sample consensus method.
測定対象物の複数の画像を取得する画像取得装置と、
請求項1乃至請求項6のいずれか1項に記載の高さデータ処理装置と、を備え、
前記高さデータ処理装置は、更に、前記画像取得装置で取得した前記測定対象物の前記複数の画像から前記測定対象物の高さデータを生成する高さデータ生成手段を、備え、
前記傾き補正手段は、前記高さデータ生成手段で生成された前記高さデータを補正する
ことを特徴とする表面形状測定装置。
An image acquisition device for acquiring a plurality of images of the measurement object;
A height data processing device according to any one of claims 1 to 6,
The height data processing device further includes height data generation means for generating height data of the measurement object from the plurality of images of the measurement object acquired by the image acquisition device,
The surface shape measuring apparatus, wherein the inclination correcting unit corrects the height data generated by the height data generating unit.
請求項7に記載の表面形状測定装置において、
前記画像取得装置は、前記測定対象物の共焦点画像を取得する
ことを特徴とする表面形状測定装置。
In the surface shape measuring apparatus according to claim 7,
The surface shape measurement device, wherein the image acquisition device acquires a confocal image of the measurement object.
請求項7又は請求項8に記載の表面形状測定装置において、
前記高さデータ処理装置は、更に、表示装置に前記基準平面の候補として前記平面抽出手段で抽出された前記1つ以上の平面を表示させる表示制御手段を備える
ことを特徴とする表面形状測定装置。
In the surface shape measuring apparatus according to claim 7 or 8,
The height data processing device further includes a display control unit that causes the display device to display the one or more planes extracted by the plane extraction unit as candidates for the reference plane. .
測定対象物の高さデータに基づいて、前記測定対象物の表面を構成する1つ以上の平面を抽出し、
高さ軸方向と前記1つ以上の平面から選択された基準平面の法線方向とが一致するように、前記高さデータを補正する
ことを特徴とする高さデータ補正方法。
Based on the height data of the measurement object, one or more planes constituting the surface of the measurement object are extracted,
A height data correction method, wherein the height data is corrected so that a height axis direction and a normal direction of a reference plane selected from the one or more planes coincide with each other.
測定対象物の表面形状を測定する表面形状測定装置のコンピュータを、
前記測定対象物の高さデータに基づいて、前記測定対象物の表面を構成する1つ以上の平面を抽出する手段、
高さ軸方向と前記1つ以上の平面から選択された基準平面の法線方向とが一致するように、前記高さデータを補正する手段、
として機能させることを特徴とするプログラム。
A computer of a surface shape measuring device for measuring the surface shape of a measurement object,
Means for extracting one or more planes constituting the surface of the measurement object based on the height data of the measurement object;
Means for correcting the height data such that a height axis direction matches a normal direction of a reference plane selected from the one or more planes;
A program characterized by functioning as
JP2016044383A 2016-03-08 2016-03-08 Height data processing device, surface shape measuring device, height data correction method, and program Active JP6660774B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016044383A JP6660774B2 (en) 2016-03-08 2016-03-08 Height data processing device, surface shape measuring device, height data correction method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016044383A JP6660774B2 (en) 2016-03-08 2016-03-08 Height data processing device, surface shape measuring device, height data correction method, and program

Publications (2)

Publication Number Publication Date
JP2017161291A true JP2017161291A (en) 2017-09-14
JP6660774B2 JP6660774B2 (en) 2020-03-11

Family

ID=59856821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016044383A Active JP6660774B2 (en) 2016-03-08 2016-03-08 Height data processing device, surface shape measuring device, height data correction method, and program

Country Status (1)

Country Link
JP (1) JP6660774B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020153883A (en) * 2019-03-22 2020-09-24 Jfeエンジニアリング株式会社 Surface shape evaluation device, surface shape evaluation system, and surface shape evaluation method
CN119850630A (en) * 2025-03-21 2025-04-18 杭州灵西机器人智能科技有限公司 Battery tilt detection method, device and computer readable storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000241124A (en) * 1999-02-23 2000-09-08 Matsushita Electric Works Ltd Method and apparatus for inspecting leads
US6610991B1 (en) * 1998-11-05 2003-08-26 Cyberoptics Corporation Electronics assembly apparatus with stereo vision linescan sensor
JP2005024370A (en) * 2003-07-01 2005-01-27 Tokyo Denki Univ Method for processing survey data
JP2007172393A (en) * 2005-12-22 2007-07-05 Keyence Corp Three-dimensional image display device, operation method of three-dimensional image display device, three-dimensional image display program, computer readable recording medium and storage device
JP2010146357A (en) * 2008-12-19 2010-07-01 Panasonic Electric Works Co Ltd Method and apparatus for three-dimensional image processing
JP2010533282A (en) * 2007-06-08 2010-10-21 テレ アトラス ベスローテン フエンノートシャップ Method and apparatus for generating a multi-view panorama
JP2010276540A (en) * 2009-05-29 2010-12-09 Nikke Kikai Seisakusho:Kk Living tissue surface analyzer, living tissue surface analysis program, and living tissue surface analysis method
JP2012179272A (en) * 2011-03-02 2012-09-20 Fujifilm Corp Image-based diagnosis assistance apparatus, its operation method and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610991B1 (en) * 1998-11-05 2003-08-26 Cyberoptics Corporation Electronics assembly apparatus with stereo vision linescan sensor
JP2000241124A (en) * 1999-02-23 2000-09-08 Matsushita Electric Works Ltd Method and apparatus for inspecting leads
JP2005024370A (en) * 2003-07-01 2005-01-27 Tokyo Denki Univ Method for processing survey data
JP2007172393A (en) * 2005-12-22 2007-07-05 Keyence Corp Three-dimensional image display device, operation method of three-dimensional image display device, three-dimensional image display program, computer readable recording medium and storage device
JP2010533282A (en) * 2007-06-08 2010-10-21 テレ アトラス ベスローテン フエンノートシャップ Method and apparatus for generating a multi-view panorama
JP2010146357A (en) * 2008-12-19 2010-07-01 Panasonic Electric Works Co Ltd Method and apparatus for three-dimensional image processing
JP2010276540A (en) * 2009-05-29 2010-12-09 Nikke Kikai Seisakusho:Kk Living tissue surface analyzer, living tissue surface analysis program, and living tissue surface analysis method
JP2012179272A (en) * 2011-03-02 2012-09-20 Fujifilm Corp Image-based diagnosis assistance apparatus, its operation method and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020153883A (en) * 2019-03-22 2020-09-24 Jfeエンジニアリング株式会社 Surface shape evaluation device, surface shape evaluation system, and surface shape evaluation method
CN119850630A (en) * 2025-03-21 2025-04-18 杭州灵西机器人智能科技有限公司 Battery tilt detection method, device and computer readable storage medium

Also Published As

Publication number Publication date
JP6660774B2 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
KR102735949B1 (en) Method and system for focusing in a multi-beam scanning electron microscopy system
JP6811950B2 (en) Scanning confocal microscope, scanning control method, and program
US7214936B2 (en) Charged particle beam apparatus and dimension measuring method
JP6677519B2 (en) Electron microscope and aberration measurement method
JP6216515B2 (en) Electron beam apparatus and electron beam observation method
US10731971B1 (en) Method of measuring 3D profile
KR102479413B1 (en) Image adjusting method and charged particle beam system
US9728372B2 (en) Measurement method and electron microscope
JP6132650B2 (en) Confocal microscope
US10234673B2 (en) Confocal microscope apparatus, stitched image construction method and computer-readable medium
JP6363477B2 (en) 3D shape measuring device
JP2017203822A (en) Illumination setting method, sheet illumination microscopic device, and program
JP6468160B2 (en) Scanning charged particle microscope
JP6660774B2 (en) Height data processing device, surface shape measuring device, height data correction method, and program
JP5836232B2 (en) Charged particle beam apparatus and aberration correction method
JP6914977B2 (en) Scanning transmission electron microscope and aberration correction method
JP6808700B2 (en) Elemental map generation method and surface analyzer
JP7323574B2 (en) Charged particle beam device and image acquisition method
JP2005005055A (en) Sample height information acquisition method
KR102826179B1 (en) Method, apparatus, and program for determining condition related to captured image of charged particle beam apparatus
JP2006172919A (en) Scanning electron microscope with three-dimensional shape analysis function
JP6214475B2 (en) Microscope system, calibration method, and height measurement method
US11867496B2 (en) Measurement system, measurement support method, and computer-readable medium
JP2009110969A (en) Pattern dimension measuring method and pattern dimension measuring apparatus
JP2011023248A (en) Strain evaluation method of image by charged particle beam device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200122

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R151 Written notification of patent or utility model registration

Ref document number: 6660774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250