KR101727073B1 - System and method for determining height difference of fine pattern by using liquid lens - Google Patents
System and method for determining height difference of fine pattern by using liquid lens Download PDFInfo
- Publication number
- KR101727073B1 KR101727073B1 KR1020150104733A KR20150104733A KR101727073B1 KR 101727073 B1 KR101727073 B1 KR 101727073B1 KR 1020150104733 A KR1020150104733 A KR 1020150104733A KR 20150104733 A KR20150104733 A KR 20150104733A KR 101727073 B1 KR101727073 B1 KR 101727073B1
- Authority
- KR
- South Korea
- Prior art keywords
- focus
- liquid lens
- fine pattern
- calculating
- adjusting unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000007788 liquid Substances 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005499 meniscus Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 8
- 239000004020 conductor Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010297 mechanical methods and process Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/30—Testing of optical devices, constituted by fibre optics or optical waveguides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
- G02B26/005—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid based on electrowetting
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
- G02B3/14—Fluid-filled or evacuated lenses of variable focal length
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B82—NANOTECHNOLOGY
- B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
- B82Y20/00—Nanooptics, e.g. quantum optics or photonic crystals
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Automatic Focus Adjustment (AREA)
- Mechanical Light Control Or Optical Switches (AREA)
Abstract
본 발명에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 시스템은, 외부에서 인가되는 전압에 따라 초점이 조절되는 액체렌즈; 상기 액체렌즈에 전압을 인가하여 상기 액체렌즈의 초점을 조절하는 초점조절부; 상기 초점 조절부에 의해 초점이 조절되는 액체렌즈를 통해 단차가 형성된 미세패턴을 촬상하여 상기 미세패턴의 영상 데이터들을 획득하는 촬상부; 및 상기 촬상부에 의해 획득된 영상 데이터들에서 상기 액체렌즈의 초점의 위치에 따른 콘트라스트 값들을 계산하여 상기 미세패턴의 단차를 산출하는 영상처리부;를 포함한다. 본 발명에 의하면, 미세한 크기의 패턴을 측정함에 있어서 액체렌즈를 이용하기 때문에, 나노 스케일과 같이 미세한 크기의 패턴에 형성되어 있는 단차를 고속으로 및 정밀도 높게 측정할 수 있다.A fine pattern step difference calculating system using a liquid lens according to the present invention includes: a liquid lens whose focus is controlled according to an externally applied voltage; A focus adjusting unit for adjusting a focus of the liquid lens by applying a voltage to the liquid lens; An image pickup unit for picking up image data of the fine pattern by imaging a fine pattern formed with a step through a liquid lens whose focus is adjusted by the focus adjusting unit; And an image processor for calculating a step value of the fine pattern by calculating contrast values according to a focus position of the liquid lens in the image data obtained by the image pickup unit. According to the present invention, since a liquid lens is used in measuring a fine-sized pattern, it is possible to measure a step formed on a fine-sized pattern such as a nanoscale at high speed and with high accuracy.
Description
본 발명은 액체렌즈에 인가되는 전압에 따라 액체렌즈의 초점이 변화하는 현상을 이용한 미세패턴의 단차 산출 시스템 및 방법에 관한 것으로, 보다 상세하게는 외부에서 인가되는 전압에 의해 초점이 조절되는 액체렌즈를 통해 미세패턴의 영상을 촬상하고, 그에 따라 획득되는 영상 데이터들을 분석하여 상기 미세패턴의 단차를 산출하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and a method for calculating a step of fine patterns using a phenomenon in which a focus of a liquid lens is changed according to a voltage applied to a liquid lens, and more particularly, And a system and a method for calculating a step of the fine pattern by analyzing image data obtained by the method.
최근 들어 기술이 급속도로 발전함에 따라 나노 스케일의 광학패턴을 도광판에 적용하여 도광판의 광학적 성능을 크게 향상시키고 있으며, 또는 부품내장기판에 도체패턴을 형성하여 그 도체패턴을 전기적 접속을 위한 전극으로 사용하고 있다.In recent years, as the technology has rapidly developed, the optical performance of the light guide plate is greatly improved by applying a nanoscale optical pattern to the light guide plate, or a conductor pattern is formed on the component built-in substrate and the conductor pattern is used as an electrode for electrical connection .
그러나 이러한 광학패턴 및 도체패턴은 그 크기가 매우 미세하여, 상기와 같은 미세패턴이 도광판이나 부품내장기판의 원하는 위치에 정확하게 형성되었는지 여부를 육안으로는 식별할 수 없다. 또한, 상기와 같은 미세패턴이 정확하게 형성되었는지 여부는 일반적으로 통용되는 광학적 성능 평가를 통해 확인할 수 있지만, 광학적 성능 평가를 수행하기 위한 장비는 대체로 수입에 의존하고 있는 실정이며, 그 비용 또한 매우 고가라는 점에서 문제가 있다.However, such optical patterns and conductor patterns are very minute in size, and it is impossible to visually discriminate whether the above-described fine patterns are accurately formed at desired positions on the light guide plate or the component-embedded substrate. Whether or not such fine patterns are accurately formed can be confirmed by a general optical performance evaluation, but the equipment for performing the optical performance is largely dependent on imports, and the cost is also very high There is a problem in point.
이에 따라, 미세패턴 측정과 관련하여 측정값의 정확성을 보장함과 동시에 비용 절약적인 방안에 대한 요구가 지속적으로 있어 왔으며, 이러한 요구를 충족시키기 위하여 미세패턴을 측정함에 있어서 광학장치를 이용하는 새로운 방안을 모색할 필요가 있다.Accordingly, there has been a continuing need for cost-effective measures while ensuring accuracy of measurement values in relation to fine pattern measurement. To meet such demands, a new method using optical devices for measuring fine patterns It is necessary to search.
종래의 광학장치에서 그 초점을 조절하는 방식에는 렌즈를 앞뒤로 움직이는 기계적 방식과, 렌즈의 곡률을 변경하는 곡률 변경 방식이 있다. 그 중 기계적 방식은 초점 조절의 속도가 곡률 변경 방식에 비해 느리고, 초점 조절을 위해 엑츄에이터나 모터와 같은 구성을 필요로 하기 때문에 장치의 체적 및 전력 소모가 클 수밖에 없다. 그에 반하여, 액체렌즈와 같이 곡률 변경 방식을 채용하고 있는 광학장치는 액체렌즈에 비교적 소량의 전압만을 인가하여도 정밀한 초점 조절이 가능하며, 게다가 고속으로 초점 조절이 가능하다는 점에서 기계적 방식의 광학장치에 비해 유리한 측면이 있다.In a conventional optical apparatus, there are a mechanical method of moving the lens back and forth and a curvature changing method of changing the curvature of the lens. Among them, the mechanical method is slow in the speed of focus adjustment compared to the curvature changing method, and requires a configuration such as an actuator or a motor for focus adjustment, so that the volume and the power consumption of the device are inevitably large. On the other hand, in the optical device employing the curvature changing method like the liquid lens, since the focus can be precisely adjusted even if only a relatively small amount of voltage is applied to the liquid lens, and the focus can be adjusted at high speed, There is an advantageous aspect.
특허문헌 1(한국공개특허공보 제10-2015-0074641호)에는 렌즈부와 구동부로 나뉘어 동작하는 자동 초점 조절 장치가 개시되어 있다. 특허문헌 1에 의하면 촬상소자의 노출 시간에 따라 생성되는 영상 신호들 및 상기 영상 신호들의 합성 신호를 통해 초점렌즈의 위치를 최종적으로 결정하고 있지만, 이러한 기계적 초점 조절 방식은 앞서 언급한 바와 같이 곡률을 변경하는 방식에 비해 속도, 크기 및 비용면에서 불리한 측면이 있다.Patent Document 1 (Korean Patent Laid-Open Publication No. 10-2015-0074641) discloses an automatic focusing device that operates by being divided into a lens portion and a driving portion. According to Patent Document 1, the position of the focus lens is ultimately determined through the image signals generated according to the exposure time of the image pickup device and the composite signal of the image signals. However, the mechanical focus adjustment method, There are disadvantages in terms of speed, size and cost compared to the way it is changed.
한편, 특허문헌 2(한국공개특허공보 제10-2013-0019582호)에서는 2차원 이미지의 각 부분별 깊이 정보를 산출하여 3차원 이미지를 생성하는 데 있어서 액체렌즈를 이용하고 있다. 하지만, 특허문헌 2에 개시된 액체렌즈는 오브젝트에 조사되는 패턴 빔의 확산 정도를 단순히 조절(즉, 확산 정도를 크게 하거나 작게 함)하기 위해 사용되고 있을 뿐, 액체렌즈의 초점 조절을 통해 획득되는 영상 데이터를 통해 미세패턴의 단차를 산출하는 것까지는 개시하지 못하고 있다.On the other hand, in Patent Document 2 (Korean Patent Laid-Open Publication No. 10-2013-0019582), a liquid lens is used to generate three-dimensional images by calculating depth information of each part of a two-dimensional image. However, the liquid lens disclosed in Patent Document 2 is merely used for simply controlling the degree of diffusion of a pattern beam irradiated on an object (i.e., increasing or decreasing the degree of diffusion) It is not yet possible to calculate the step difference of the fine pattern.
본 발명은 나노 스케일과 같이 미세한 크기를 갖는 패턴의 단차를 고속으로 및 정밀도 높게 산출할 수 있는 시스템 및 방법을 제공하는 것에 그 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a system and method capable of calculating a step of a pattern having a minute size such as a nanoscale at high speed and high precision.
또한, 본 발명은 미세패턴의 단차를 산출함에 있어서 불필요한 전압을 인가하지 않도록 하여 전력 소모 및 단차 산출에 소요되는 시간을 최소화할 수 있는 시스템 및 방법을 제공하는 것에 그 목적이 있다.It is another object of the present invention to provide a system and a method for minimizing a time required for power consumption and step calculation by not applying an unnecessary voltage in calculating a step of a fine pattern.
상기와 같은 목적을 해결하기 위하여, 본 발명에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 시스템은, 외부에서 인가되는 전압에 따라 초점이 조절되는 액체렌즈; 상기 액체렌즈에 전압을 인가하여 상기 액체렌즈의 초점을 조절하는 초점조절부; 상기 초점 조절부에 의해 초점이 조절되는 액체렌즈를 통해 단차가 형성된 미세패턴을 촬상하여 상기 미세패턴의 영상 데이터들을 획득하는 촬상부; 및 상기 촬상부에 의해 획득된 영상 데이터들에서 상기 액체렌즈의 초점의 위치에 따른 콘트라스트 값들을 계산하여 상기 미세패턴의 단차를 산출하는 영상처리부;를 포함한다.According to an aspect of the present invention, there is provided a system for calculating a fine pattern level difference using a liquid lens, the system comprising: a liquid lens whose focus is adjusted according to an externally applied voltage; A focus adjusting unit for adjusting a focus of the liquid lens by applying a voltage to the liquid lens; An image pickup unit for picking up image data of the fine pattern by imaging a fine pattern formed with a step through a liquid lens whose focus is adjusted by the focus adjusting unit; And an image processor for calculating a step value of the fine pattern by calculating contrast values according to a focus position of the liquid lens in the image data obtained by the image pickup unit.
이 때, 상기 영상처리부는 상기 계산된 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하고, 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차를 이용하여 상기 미세패턴의 단차를 산출하는 것을 특징으로 한다.At this time, the image processing unit obtains the two largest contrast values among the calculated contrast values, and calculates a step of the fine pattern using a difference between positions of foci corresponding to the obtained two contrast values .
또한, 상기 영상처리부는 상기 초점의 위치 범위를 기 설정해 놓고, 상기 초점조절부가 상기 기 설정해 놓은 초점의 위치 범위에서 상기 액체렌즈의 초점을 조절하도록 상기 초점조절부를 제어하는 것을 특징으로 한다.The image processing unit sets the position range of the focus and controls the focus adjusting unit so that the focus adjusting unit adjusts the focus of the liquid lens in a predetermined range of the focus.
이 때, 상기 영상처리부는 상기 기 설정해 놓은 초점의 위치 범위에서 계산되는 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하고, 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차를 이용하여 상기 미세패턴의 단차를 산출하는 것을 특징으로 한다.At this time, the image processing unit obtains the two largest contrast values among the contrast values calculated in the preset position range of the focus, and uses the differences between the positions of the foci corresponding to the obtained two contrast values And the step of the fine pattern is calculated.
여기서, 상기 영상처리부는 상기 초점의 위치 사이의 차 및 상기 미세패턴의 단차가 서로 대응하여 기록된 룩업 테이블을 포함하고, 상기 룩업 테이블을 통해 상기 초점의 위치 사이의 차에 대응하는 상기 미세패턴의 단차를 산출하는 것을 특징으로 한다.The image processing unit may include a look-up table in which the difference between the positions of the focal points and the steps of the fine patterns are recorded in correspondence with each other, and the image pattern of the fine pattern corresponding to the difference between the positions of the foci And calculating a step difference.
한편, 본 발명에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 방법은, 초점 조절부가 액체렌즈에 전압을 인가하여 상기 액체렌즈의 초점을 조절하는 단계; 촬상부가 상기 초점 조절부에 의해 초점이 조절되는 액체렌즈를 통해 단차가 형성된 미세패턴을 촬상하여 상기 미세패턴의 영상 데이터들을 획득하는 단계; 및 영상처리부가 상기 촬상부에 의해 획득된 영상 데이터들에서 상기 액체렌즈의 초점의 위치에 따른 콘트라스트 값들을 계산하여 상기 미세패턴의 단차를 산출하는 단계;를 포함한다.Meanwhile, a method of calculating a step of a fine pattern using a liquid lens according to the present invention includes: adjusting a focus of the liquid lens by applying a voltage to a liquid lens; Capturing a fine pattern on which a step is formed through a liquid lens whose focus is controlled by the focus adjusting unit, and acquiring image data of the fine pattern; And a step of calculating a step value of the fine pattern by calculating contrast values according to a focal position of the liquid lens in the image data obtained by the image pickup unit by the image processing unit.
이 때, 상기 영상처리부는 상기 계산된 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하고, 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차를 이용하여 상기 미세패턴의 단차를 산출하는 것을 특징으로 한다.At this time, the image processing unit obtains the two largest contrast values among the calculated contrast values, and calculates a step of the fine pattern using a difference between positions of foci corresponding to the obtained two contrast values .
또한, 상기 영상처리부는 상기 초점의 위치 범위를 기 설정해 놓고, 상기 초점조절부가 상기 기 설정해 놓은 초점의 위치 범위에서 상기 액체렌즈의 초점을 조절하도록 상기 초점조절부를 제어하는 것을 특징으로 한다.The image processing unit sets the position range of the focus and controls the focus adjusting unit so that the focus adjusting unit adjusts the focus of the liquid lens in a predetermined range of the focus.
이 때, 상기 영상처리부는 상기 기 설정해 놓은 초점의 위치 범위에서 계산되는 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하고, 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차를 이용하여 상기 미세패턴의 단차를 산출하는 것을 특징으로 한다.At this time, the image processing unit obtains the two largest contrast values among the contrast values calculated in the preset position range of the focus, and uses the differences between the positions of the foci corresponding to the obtained two contrast values And the step of the fine pattern is calculated.
여기서, 상기 영상처리부는 상기 초점의 위치 사이의 차 및 상기 미세패턴의 단차가 서로 대응하여 기록된 룩업 테이블을 포함하고, 상기 룩업 테이블을 통해 상기 초점의 위치 사이의 차에 대응하는 상기 미세패턴의 단차를 산출하는 것을 특징으로 한다.The image processing unit may include a look-up table in which the difference between the positions of the focal points and the steps of the fine patterns are recorded in correspondence with each other, and the image pattern of the fine pattern corresponding to the difference between the positions of the foci And calculating a step difference.
본 발명에 의하면, 미세한 크기의 패턴을 측정함에 있어서 액체렌즈를 이용하기 때문에, 나노 스케일과 같이 미세한 크기의 패턴에 형성되어 있는 단차를 고속으로 및 정밀도 높게 산출할 수 있다.According to the present invention, since a liquid lens is used for measuring a fine-sized pattern, a step formed on a fine-sized pattern such as a nanoscale can be calculated at high speed and with high accuracy.
또한, 본 발명에 의하면, 액체렌즈의 초점의 위치 범위를 미리 설정해 놓음으로써, 미세패턴의 단차를 산출함에 있어서 불필요한 전압을 인가하지 않아도 되기 때문에, 전력 소모 및 단차 산출에 소요되는 시간을 최소화할 수 있다.According to the present invention, unnecessary voltage is not applied in calculating the step of the fine pattern by setting the position range of the focal point of the liquid lens in advance, so that the time consumed for calculating the power consumption and the step difference can be minimized have.
도 1은 본 발명의 일 실시예에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 시스템을 나타낸 도면이다.
도 2는 영상처리부에서 계산하는 초점의 위치에 따른 콘트라스트 값들을 예시적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 방법을 나타낸 흐름도이다.1 is a view showing a system for calculating a step of fine patterns using a liquid lens according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating exemplary contrast values according to the position of a focus calculated by the image processing unit. FIG.
3 is a flowchart illustrating a method of calculating a step of a fine pattern using a liquid lens according to an embodiment of the present invention.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 시스템 및 방법에 대해 상세하게 설명한다. 첨부한 도면들은 통상의 기술자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것으로서, 본 발명은 첨부한 도면들만으로 한정되는 것이 아니라, 본 발명의 기술적 사상을 변화시키지 않는 범위 내에서 다른 형태로 구체화될 수 있다. 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대해서는 그 상세한 설명을 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a system and method for calculating a step of a fine pattern using a liquid lens according to the present invention will be described in detail with reference to the accompanying drawings. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not to be construed as limiting the invention in its practical aspects, Lt; / RTI > The detailed description of known functions and configurations that may unnecessarily obscure the gist of the present invention will be omitted.
도 1은 본 발명의 일 실시예에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 시스템을 나타낸 도면이다.1 is a view showing a system for calculating a step of fine patterns using a liquid lens according to an embodiment of the present invention.
본 발명에서 미세패턴(1)은 나노 스케일과 같이 미세한 크기의 단차를 가지고 특정 형상으로 패터닝되어 있는 것을 의미하며, 본 발명은 이와 같은 미세패턴(1)의 단차를 고속으로, 정밀도 높게 산출할 수 있는 시스템을 제공하는 것을 목적으로 한다.In the present invention, the fine pattern (1) means that the fine pattern (1) is patterned into a specific shape with fine steps such as a nanoscale, and the present invention is capable of calculating the step of such fine pattern (1) And to provide a system having the above-mentioned functions.
이를 위해 본 발명에 따른 미세패턴(1)의 단차 산출 시스템은 액체렌즈(10), 초점조절부(20), 촬상부(30) 및 영상처리부(40)를 포함하여 구성될 수 있다.The system for calculating a step of the fine pattern 1 according to the present invention may be configured to include a
우선, 도 1의 액체렌즈(10)는 일반적으로 통용되고 있는 액체렌즈 중 하나를 대표적으로 도시한 것이다. 액체렌즈(10)는 이에 전압이 인가되면 액체의 표면장력에 변화가 일어나면서 렌즈의 초점이 상하로 조절되게 된다.First, the
이하에서는, 도 1에 도시한 액체렌즈(10)를 참조하여 액체렌즈(10)에서 초점이 조절되는 원리를 보다 구체적으로 살펴보기로 한다.Hereinafter, the principle of adjusting the focus of the
도 1의 액체렌즈(10)는 원기둥 또는 사각기둥 형태를 갖는 액체렌즈(10)의 단면도를 나타낸 것으로서, 그 상부와 하부에는 각각 제 1 윈도우(11) 및 제 2 윈도우(12)가 구비되어 있다. The
윈도우들(11, 12) 사이의 공간에는 상기 윈도우들(11, 12)과 각각 인접하는 부분에 제 1 전극(13) 및 제 2 전극(14)이 구비되어 있으며, 상기 제 1 전극(13)과 제 2 전극(14)에는 도선이 연결되어 액체렌즈(10)에 외부 전압이 인가된다.A
또한, 액체렌즈(10)에는 전극(13, 14)과 유체가 접촉되는 것을 최소화할 수 있도록, 전극(13, 14) 표면의 전 영역에 걸쳐 또는 일부 영역에 걸쳐 절연체(15)가 구비된다.The
그리고 액체렌즈(10)에는 오일 및 물과 같이 굴절률이 다르고 서로 혼합되지 않는 두 종류의 유체가 수용되며, 이에 따라 상기 오일과 물 사이에는 메니스커스(meniscus)(16)가 형성된다.The
액체렌즈(10)에 전압이 인가되면 일렉트로웨팅(electrowetting) 현상에 의해 오일 및 물의 습윤성(wettability)이 변화하고, 그에 따라 메니스커스(16)의 곡률도 변화하게 된다.When a voltage is applied to the
예를 들어, 액체렌즈(10)에 인가되는 양(+)의 전압을 점점 크게 하면, 도 1에서 아래로 볼록한 메니스커스(16)의 곡률이 더 커지게 되고, 액체렌즈(10)에 인가되는 양의 전압을 0에 가깝도록 감소시키면, 도 1에서 아래로 볼롤한 메니스커스(16)의 곡률도 점점 작아져 전체적으로 플랫(flat)한 형상이 된다. 한편, 액체렌즈(10)에 음(-)의 전압을 점점 크게 하면 메니스커스(16)의 형상이 위로 볼록해지면서 그 곡률도 점점 커지게 된다.For example, when the positive (+) voltage applied to the
이와 같이, 메니스커스(16)의 곡률 변화에 따라 액체렌즈(10)의 초점은 변화하게 되며, 보다 구체적으로는 액체렌즈(10)의 초점이 상하로 변화하게 된다.As described above, the focal point of the
이러한 액체렌즈(10)의 특성을 이용하여 미세패턴(1)의 단차를 산출하는 경우에는, 비교적 소량의 전압만을 인가하여도 액체렌즈(10)의 초점 조절이 가능하고, 그 초점 조절의 신속성 및 정확성이 보장될 수 있으며, 엑츄에이터나 모터 등의 구성이 필요 없어 렌즈의 크기를 작게 할 수 있기 때문에, 기계적으로 렌즈의 초점을 조절하는 방식에 비해 유리할 수 있다.When the step of the fine pattern 1 is calculated using the characteristics of the
초점조절부(20)는 액체렌즈(10)와 연결(보다 정확하게는, 액체렌즈(10)의 전극(13, 14)에 연결)되어 있으며, 액체렌즈(10)에 전압을 인가하는 역할을 한다. 초점조절부(20)에 의해 전압이 인가되면, 메니스커스(16)의 곡률이 변화하여 액체렌즈(10)의 초점이 조절될 수 있다.The
초점조절부(20)는 후술하는 영상처리부(40)와 연결될 수 있으며, 영상처리부(40)에서 전송하는 제어신호에 따라 액체렌즈(10)에 인가되는 전압의 극성 또는 크기가 제어될 수 있다.The polarity or magnitude of the voltage applied to the
촬상부(30)는 초점조절부(20)에 의해 다양하게 초점이 조절되는 액체렌즈(10)를 통해 단차가 형성된 미세패턴(1)을 복수회 촬상하고, 그에 따라 미세패턴(1)의 영상 데이터들을 획득한다.The
촬상부(30)는 상기와 같은 액체렌즈(10)가 일체 구비되어 있는 CCD 또는 CMOS 카메라일 수 있으며, 획득한 미세패턴(1)의 영상 데이터들을 저장하기 위한 메모리가 구비될 수 있다. 촬상부(30)는 상기 획득한 미세패턴(1)의 영상 데이터들을 영상처리부(40)에 전송할 수 있다.The
영상처리부(40)는 촬상부(30)에 의해 획득된 영상 데이터들을 수신하며, 상기 영상 데이터들에서 초점 평가값들 즉, 초점의 위치에 따른 콘트라스트 값들을 계산한다.The
도 2는 영상처리부(40)에서 계산하는 초점의 위치에 따른 콘트라스트 값들을 예시적으로 나타낸 도면이다.FIG. 2 is a diagram illustrating exemplary contrast values according to the focus positions calculated by the
도 2에 나타낸 바와 같이, 영상처리부(40)에서는 촬상부(30)로부터 수신하는 영상 데이터들 각각에 대하여 초점의 위치에 따른 콘트라스트 값들을 계산하며, 영상처리부(40)는 상기 계산한 초점의 위치에 따른 콘트라스트 값들을 이용하여 미세패턴(1)의 단차를 산출해낸다.2, the
구체적으로, 영상처리부(40)는 액체렌즈(10)의 초점의 위치에 따른 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하며, 이와 같이 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치가 최적 초점의 위치에 해당한다.Specifically, the
미세패턴(1)의 단차는 상기 최적 초점의 위치 사이의 차(도 2에 나타낸 "A")에 해당하거나 그와 일정한 관계를 갖는다.The step of the fine pattern 1 corresponds to or has a constant relation to the difference ("A" shown in FIG. 2) between the positions of the optimum focuses.
따라서, 영상처리부(40)는 최적 초점의 위치 사이의 차 및 미세패턴(1)의 단차가 서로 대응하여 기록된 룩업 테이블을 미리 구비하여 놓고(예를 들어, 영상처리부(40) 내 저장부에 저장하여 둘 수 있다), 상기 룩업 테이블을 통해 상기 최적 초점의 위치 사이의 차에 대응하는 상기 미세패턴(1)의 단차를 산출할 수 있다.Therefore, the
그리고 영상처리부(40)는 예를 들어, 도 2의 "B"와 같이 초점의 위치 범위를 기 설정해 놓을 수 있으며, 이에 따라 초점조절부(20)가 상기 기 설정해 놓은 초점의 위치 범위에서만 액체렌즈(10)의 초점을 조절하도록 상기 초점조절부(20)를 제어할 수 있다.The
앞서 언급한 바와 같이, 초점조절부(20)가 액체렌즈(10)로 인가하는 전압에 따라 메니스커스(16)의 곡률은 변화되며, 이 때 메니스커스(16)의 형태는 아래로 볼록하거나 위로 볼록한 형태일 수 있는데, 초점조절부(20)가 액체렌즈(10)의 초점을 조절함에 있어서는 액체렌즈(10)로 인가하는 전압을 가능한 한 적게 하는 것이 전력 소모나 단차 산출에 소요되는 시간 측면에서 유리하다.As described above, the curvature of the
따라서, 영상처리부(40)는 초점의 위치 범위를 예를 들어, 메니스커스(16)가 아래로 볼록한 형태일 경우로만 한정하여 상기 최적 초점의 위치를 산출할 수 있으며, 이를 위해 영상처리부(40)는 초점조절부(20)가 액체렌즈(10)로 인가하는 전압의 극성이나 크기를 제어하는 제어신호를 상기 초점조절부(20)에 전송할 수 있다.Accordingly, the
이 경우, 영상처리부(40)는 상기 기 설정해 놓은 초점의 위치 범위에서 촬상되는 영상 데이터들을 촬상부(30)로부터 수신하고, 상기 영상 데이터들에서 계산되는 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하며, 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차를 이용하여 미세패턴의 단차를 산출할 수 있다. 그리고 상기 미세패턴의 단차를 산출함에 있어서는 앞서 언급한 룩업 테이블을 이용할 수 있다.In this case, the
한편, 도 3은 본 발명의 일 실시예에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method of calculating a step of a fine pattern using a liquid lens according to an embodiment of the present invention.
본 발명에 따른 미세패턴의 단차 산출 방법은 액체렌즈(10)를 이용하여 미세패턴(1)의 단차를 빠르고 정확하게 측정하는 방법을 제공하기 위한 것으로서, 도 1 내지 도 3을 참조하여 설명하되, 앞서 언급한 미세패턴의 단차 산출 시스템에 대한 설명 중 중복되는 사항에 대해서는 그 설명을 간략히 하거나 생략할 수 있다.The method for calculating a step of a fine pattern according to the present invention is to provide a method for quickly and accurately measuring a step of a fine pattern 1 using a
본 발명의 일 실시예에 따른 액체렌즈를 이용한 미세패턴의 단차 산출 방법은, 우선, 초점조절부(20)가 액체렌즈(10)에 전압을 인가하여 상기 액체렌즈(10)의 초점을 조절한다(S10). 이 때, 액체렌즈(10)에 인가되는 전압의 극성이나 크기에 따라 액체렌즈(10)의 초점은 다양하게 조절되며, 예를 들어 상기 액체렌즈(10)의 초점은 상하로 조절될 수 있다.In the method of calculating a step of a fine pattern using a liquid lens according to an embodiment of the present invention, the
다음으로, 촬상부(30)가 상기 초점조절부(20)에 의해 초점이 조절되는 액체렌즈(10)를 통해 단차가 형성된 미세패턴(1)을 촬상하여 상기 미세패턴(1)의 영상 데이터들을 획득한다(S20). 촬상부(30)는 액체렌즈(10)가 일체 구비되어 있는 CCD 또는 CMOS 카메라일 수 있으며, 단차가 형성된 미세패턴(1)을 복수회 촬상하여 상기 미세패턴(1)의 영상 데이터들을 획득한다.Next, the
다음으로, 영상처리부(40)가 상기 촬상부(30)에 의해 획득된 영상 데이터들에서 상기 액체렌즈(10)의 초점의 위치에 따른 콘트라스트 값들을 계산한다(S30). 도 2는 영상처리부(40)가 계산한 초점의 위치에 따른 콘트라스트 값들을 예시적으로 나타낸 도면이다.Next, the
다음으로, 상기 영상처리부(40)가 상기 계산된 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득한다(S40).Next, the
다음으로, 상기 영상처리부(40)가 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차를 이용하여 상기 미세패턴의 단차를 산출한다(S50).Next, the
미세패턴(1)의 단차는 상기 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차(본 발명에서 정의하는 '최적 초점의 위치 사이의 차'에 해당하며, 예를 들어 도 2의 "A")에 해당하거나 그와 일정한 관계를 갖는다.The step of the fine pattern 1 corresponds to the difference between the positions of the foci corresponding to the two contrast values (the difference between the positions of the best foci defined in the present invention, for example, "A" ) Or have a certain relationship with it.
따라서, 영상처리부(40)는 최적 초점의 위치 사이의 차 및 미세패턴(1)의 단차가 서로 대응하여 기록된 룩업 테이블을 미리 구비하여 놓고(예를 들어, 영상처리부(40) 내 저장부에 저장하여 둘 수 있다), 상기 룩업 테이블을 통해 상기 최적 초점의 위치 사이의 차에 대응하는 상기 미세패턴(1)의 단차를 산출할 수 있다.Therefore, the
그리고 영상처리부(40)는 예를 들어, 도 2의 "B"와 같이 초점의 위치 범위를 기 설정해 놓을 수 있으며, 이에 따라 초점조절부(20)가 상기 기 설정해 놓은 초점의 위치 범위에서만 액체렌즈(10)의 초점을 조절하도록 상기 초점조절부(20)를 제어할 수 있다.The
앞서 언급한 바와 같이, 초점조절부(20)에 의해 액체렌즈(10)로 인가되는 전압에 따라 메니스커스(16)의 곡률은 변화되며, 메니스커스(16)는 아래로 볼록한 형태이거나 위로 볼록한 형태일 수 있는데, 초점조절부(20)가 액체렌즈(10)의 초점을 조절함에 있어서 액체렌즈(10)에 인가하는 전압을 가능한 한 적게 하는 것이 전력 소모나 단차 산출에 소요되는 시간 측면에서 유리하다.The curvature of the
따라서, 영상처리부(40)는 초점의 위치 범위를 예를 들어, 메니스커스(16)가 아래로 볼록한 형태일 경우로만 한정하여 상기 최적 초점의 위치를 산출할 수 있으며, 이를 위해 영상처리부(40)는 초점조절부(20)가 액체렌즈(10)로 인가하는 전압의 극성이나 크기를 제어하는 제어신호를 상기 초점조절부(20)에 전송할 수 있다.Accordingly, the
이 경우, 영상처리부(40)는 상기 기 설정해 놓은 초점의 위치 범위에서 촬상되는 영상 데이터들을 촬상부(30)로부터 수신하고, 상기 영상 데이터들에서 계산되는 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하며, 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차를 이용하여 미세패턴의 단차를 산출할 수 있다. 그리고 상기 미세패턴의 단차를 산출함에 있어서는 앞서 언급한 룩업 테이블을 이용할 수 있다.In this case, the
이상에서 살펴본 바와 같이, 본 발명에 의하면, 미세한 크기의 패턴을 측정함에 있어서 액체렌즈를 이용하기 때문에, 나노 스케일과 같이 미세한 크기의 패턴에 형성되어 있는 단차를 고속으로 정밀도 높게 측정할 수 있다.As described above, according to the present invention, since a liquid lens is used for measuring a fine pattern, a step formed on a fine pattern such as a nanoscale can be measured at high speed and high precision.
또한, 본 발명에 의하면, 액체렌즈의 초점의 위치 범위를 미리 설정해 놓음으로써, 미세패턴의 단차를 산출함에 있어서 불필요한 전압을 인가하지 않아도 되기 때문에, 전력 소모 및 단차 산출에 소요되는 시간을 최소화할 수 있다.According to the present invention, unnecessary voltage is not applied in calculating the step of the fine pattern by setting the position range of the focal point of the liquid lens in advance, so that the time consumed for calculating the power consumption and the step difference can be minimized have.
1: 미세패턴
10: 액체렌즈
11: 제 1 윈도우
12: 제 2 윈도우
13: 제 1 전극
14: 제 2 전극
15: 절연체
16: 메니스커스
20: 초점조절부
30: 촬상부
40: 영상처리부1: fine pattern
10: Liquid lens
11: First window
12: Second window
13: first electrode
14: Second electrode
15: Insulator
16: Meniscus
20:
30:
40:
Claims (10)
상기 액체렌즈에 전압을 인가하여 상기 액체렌즈의 초점을 조절하는 초점조절부;
상기 초점 조절부에 의해 초점이 조절되는 액체렌즈를 통해 단차가 형성된 미세패턴을 복수회 촬상하여 상기 미세패턴의 영상 데이터들을 획득하는 촬상부; 및
상기 촬상부에 의해 획득된 영상 데이터들에서 상기 액체렌즈의 초점의 위치에 따른 콘트라스트 값들을 계산하고, 상기 계산된 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하며, 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차 및 상기 미세패턴의 단차가 서로 대응하여 기록된 룩업 테이블을 통해, 상기 초점의 위치 사이의 차에 대응하는 상기 미세패턴의 단차를 산출하는 영상처리부;를 포함하는, 액체렌즈를 이용한 미세패턴의 단차 산출 시스템.A liquid lens whose focus is adjusted according to an externally applied voltage;
A focus adjusting unit for adjusting a focus of the liquid lens by applying a voltage to the liquid lens;
An image pickup unit for picking up image data of the fine pattern by capturing a fine pattern having a step difference through a liquid lens whose focus is adjusted by the focus adjusting unit a plurality of times; And
Calculating contrast values according to the focal position of the liquid lens in the image data obtained by the imaging unit, obtaining the two largest contrast values among the calculated contrast values, An image processing unit for calculating a step of the fine pattern corresponding to a difference between positions of the focus through a look-up table in which a difference between positions of corresponding focuses and steps of the fine patterns correspond to each other, A system for calculating a step of fine patterns using a liquid lens.
상기 영상처리부는 상기 초점의 위치 범위를 기 설정해 놓고, 상기 초점조절부가 상기 기 설정해 놓은 초점의 위치 범위에서 상기 액체렌즈의 초점을 조절하도록 상기 초점조절부를 제어하는 것을 특징으로 하는, 액체렌즈를 이용한 미세패턴의 단차 산출 시스템.The method according to claim 1,
Wherein the image processing unit sets the position range of the focus and controls the focus adjusting unit so that the focus adjusting unit adjusts the focus of the liquid lens in a predetermined range of the focus range set by the focus adjusting unit Step difference calculation system of fine patterns.
촬상부가 상기 초점 조절부에 의해 초점이 조절되는 액체렌즈를 통해 단차가 형성된 미세패턴을 복수회 촬상하여 상기 미세패턴의 영상 데이터들을 획득하는 단계; 및
영상처리부가 상기 촬상부에 의해 획득된 영상 데이터들에서 상기 액체렌즈의 초점의 위치에 따른 콘트라스트 값들을 계산하는 단계;
상기 영상처리부가 상기 계산된 콘트라스트 값들 중 가장 큰 2개의 콘트라스트 값들을 획득하는 단계; 및
상기 영상처리부가 상기 획득한 2개의 콘트라스트 값들에 대응하는 초점의 위치 사이의 차 및 상기 미세패턴의 단차가 서로 대응하여 기록된 룩업 테이블을 통해, 상기 초점의 위치 사이의 차에 대응하는 상기 미세패턴의 단차를 산출하는 단계;를 포함하는, 액체렌즈를 이용한 미세패턴의 단차 산출 방법.Adjusting a focus of the liquid lens by applying a voltage to the liquid lens;
Capturing the fine pattern of the fine pattern by capturing the fine pattern having the step difference a plurality of times through the liquid lens whose focus is adjusted by the focus adjusting unit by the imaging unit; And
Calculating a contrast value according to a position of a focal point of the liquid lens in the image data obtained by the image pickup unit;
The image processing unit obtaining the two largest contrast values among the calculated contrast values; And
Wherein the image processing unit obtains, through a look-up table in which a difference between positions of foci corresponding to the obtained two contrast values and a difference in level of the fine pattern correspond to each other, And calculating a step of the fine pattern using the liquid lens.
상기 영상처리부는 상기 초점의 위치 범위를 기 설정해 놓고, 상기 초점조절부가 상기 기 설정해 놓은 초점의 위치 범위에서 상기 액체렌즈의 초점을 조절하도록 상기 초점조절부를 제어하는 것을 특징으로 하는, 액체렌즈를 이용한 미세패턴의 단차 산출 방법.The method according to claim 6,
Wherein the image processing unit sets the position range of the focus and controls the focus adjusting unit so that the focus adjusting unit adjusts the focus of the liquid lens in a predetermined range of the focus range set by the focus adjusting unit A method for calculating a step value of a fine pattern.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150104733A KR101727073B1 (en) | 2015-07-24 | 2015-07-24 | System and method for determining height difference of fine pattern by using liquid lens |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150104733A KR101727073B1 (en) | 2015-07-24 | 2015-07-24 | System and method for determining height difference of fine pattern by using liquid lens |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170011670A KR20170011670A (en) | 2017-02-02 |
KR101727073B1 true KR101727073B1 (en) | 2017-04-17 |
Family
ID=58151733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150104733A Active KR101727073B1 (en) | 2015-07-24 | 2015-07-24 | System and method for determining height difference of fine pattern by using liquid lens |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101727073B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011047883A (en) * | 2009-08-28 | 2011-03-10 | Victor Co Of Japan Ltd | Three dimensional form sensor |
KR101275127B1 (en) | 2011-08-17 | 2013-06-17 | (주)화이버 옵틱코리아 | 3-dimension camera using focus variable liquid lens applied and method of the same |
JP2014161036A (en) | 2014-03-27 | 2014-09-04 | Casio Comput Co Ltd | Image processing apparatus and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102130756B1 (en) | 2013-12-24 | 2020-07-06 | 한화테크윈 주식회사 | Auto focus adjusting method and auto focus adjusting apparatus |
-
2015
- 2015-07-24 KR KR1020150104733A patent/KR101727073B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011047883A (en) * | 2009-08-28 | 2011-03-10 | Victor Co Of Japan Ltd | Three dimensional form sensor |
KR101275127B1 (en) | 2011-08-17 | 2013-06-17 | (주)화이버 옵틱코리아 | 3-dimension camera using focus variable liquid lens applied and method of the same |
JP2014161036A (en) | 2014-03-27 | 2014-09-04 | Casio Comput Co Ltd | Image processing apparatus and program |
Also Published As
Publication number | Publication date |
---|---|
KR20170011670A (en) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106249325B (en) | A fast focusing method for bionic vision based on liquid lens | |
US10986263B2 (en) | Calibration method of variable focal length lens and variable focal length lens device | |
US7339575B2 (en) | Optical pointing device with variable focus | |
US9354046B2 (en) | Three dimensional shape measurement apparatus, control method therefor, and storage medium | |
JP2007256956A (en) | Imaging apparatus equipped with variable focal length constant magnification lens assembly, and imaging method using this imaging apparatus | |
KR20140008374A (en) | Autofocus method using liquid lens | |
KR20110127635A (en) | Autofocus Oral Camera with Liquid Lens | |
JP2011248181A (en) | Imaging apparatus | |
CN109581786B (en) | Stabilizing operation of high-speed variable-focus tunable acoustic gradient lenses in imaging systems | |
CN102150063A (en) | Liquid lens with temperature compensated focus time | |
JP2011530722A5 (en) | ||
CN103888675B (en) | The method for detecting position and camera module of camera module camera lens module | |
CN106303201A (en) | Image capturing device and focusing method | |
JP2005309434A (en) | Automatic focus control method for digital camera | |
US20250231390A1 (en) | Method and control device for adjusting and/or calibrating and/or monitoring the focus value of an optical device with a zoom function | |
US20080055425A1 (en) | Measuring Device | |
CN104516170B (en) | Three-dimensional focusing method and system thereof | |
TWI574072B (en) | Automatic focusing system and focusing method thereof | |
KR20160121071A (en) | An Apparatus Having a Structure of Automatic Focus Regulation and a Method for Marking with the Same | |
KR101727073B1 (en) | System and method for determining height difference of fine pattern by using liquid lens | |
TWI553395B (en) | Camera module testing system and method | |
JP5881910B2 (en) | Endoscope device | |
US11644304B2 (en) | Height measurement method and height measurement device | |
WO2014073590A1 (en) | Three-dimensional measuring device and three-dimensional measuring method | |
CN118584641A (en) | Microscope automatic focusing method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20150724 |
|
PA0201 | Request for examination | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160829 Patent event code: PE09021S01D |
|
PG1501 | Laying open of application | ||
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20170330 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170410 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20170411 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20200316 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20210308 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20220325 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20230321 Start annual number: 7 End annual number: 7 |