KR101213169B1 - Visual encoder system using area camera - Google Patents
Visual encoder system using area camera Download PDFInfo
- Publication number
- KR101213169B1 KR101213169B1 KR1020110064358A KR20110064358A KR101213169B1 KR 101213169 B1 KR101213169 B1 KR 101213169B1 KR 1020110064358 A KR1020110064358 A KR 1020110064358A KR 20110064358 A KR20110064358 A KR 20110064358A KR 101213169 B1 KR101213169 B1 KR 101213169B1
- Authority
- KR
- South Korea
- Prior art keywords
- panel
- area camera
- image
- area
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템에 관한 것으로써, 더욱 상세하게는 패널의 패턴이 인쇄되는 Active area와 패널에 대한 정보를 담고 있는 Key 값을 에어리어카메라를 이용하여 이미징하여 분석함으로써, 패턴의 이동 거리를 파악하여 패널의 이동속도와 방향을 확인할 수 있는 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템에 관한 것이다.
본 발명을 통해 패널의 패턴이 인쇄되는 Active area와 패널에 대한 정보를 담고 있는 Key 값을 에어리어카메라를 이용하여 이미징하여 분석함으로써, 패턴의 이동 거리를 파악하여 패널의 이동속도와 방향을 확인할 수 있는 효과를 제공하게 된다.The present invention relates to a visual encoder system using an area camera. More particularly, the present invention relates to an active area in which a pattern of a panel is printed and a key value containing information about the panel by imaging and analyzing the key value. The present invention relates to a visual encoder system using an area camera that can determine the moving speed and direction of the panel by grasping the moving distance.
According to the present invention, a key value containing information on the active area and the panel on which the pattern of the panel is printed is imaged and analyzed using an area camera, so that the movement speed and the direction of the panel can be checked by identifying the movement distance of the pattern. Will provide an effect.
Description
본 발명은 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템에 관한 것으로써, 더욱 상세하게는 패널의 패턴이 인쇄되는 액티브 에어리어(Active area)와 패널에 대한 정보를 담고 있는 키(Key) 값을, 에어리어카메라를 이용하여 이미징하여 분석함으로써, 패턴의 이동 거리를 파악하여 패널의 이동속도와 방향을 확인할 수 있는 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템에 관한 것이다.
The present invention relates to a visual encoder system using an area camera. More particularly, the present invention relates to an active area in which a pattern of a panel is printed and a key value containing information about the panel. The present invention relates to a visual encoder system using an area camera capable of identifying a moving distance of a pattern and checking a moving speed and direction of a panel by imaging and analyzing the same.
일반적인 디스플레이 패널에 나타날 수 있는 생산공정 중 일반적인 결함은 픽셀의 색이 불량하거나 픽셀 자체가 이상이 있을 때, 드물게 긁힘 등의 파손이 있을 때 발생된다.Common defects in the production process that may appear on a typical display panel occur when a pixel is poor in color, or when the pixel itself is abnormal, and rarely, such as a scratch.
종래의 엔코더란 일정거리 혹은 회전(각도)만큼 펄스를 발생시켜 펄스를 카운팅하여 이동거리를 알 수 있는 장치이며, 컨베이어상에서 패널을 이동시키게 되는데 이때 컨베이어를 움직이는 롤러장치들은 등속을 유지하게 되지만 상기 컨베이어상에서 움직이는 패널들은 등속을 유지할 수가 없었다.Conventional encoder is a device that can know the movement distance by generating a pulse by a certain distance or rotation (angle) to count the pulse, and moves the panel on the conveyor, the roller devices that move the conveyor to maintain the constant velocity but the conveyor Panels moving on top could not maintain constant velocity.
즉, 등속이 아니므로 불량의 위치를 정밀하게 계산하는 것은 불가능할 수 밖에 없었으며 컨베이어가 움직일 경우에 위 아래로 발생하는 진동에 의해 상기 엔코더를 장착하여 위치를 계산하고 싶어도 컨베이어에 장착된 엔코더는 진동에 의해 Glass가 엔코더에서 떨어지는 순간 회전할 수 없게 되어 이동거리를 정확하게 알 수 없었다.That is, because it is not constant velocity, it was impossible to accurately calculate the position of the defect, and even if the encoder is mounted, the encoder mounted on the conveyor vibrates even when the conveyor is moved by vibration generated up and down when the conveyor moves. The glass could not rotate the moment it fell from the encoder, so the distance traveled was not known exactly.
좀 더 구체적으로 설명하자면, 종래의 LCD 산업에서 검사장비는 정밀 스테이지를 사용하여 LCD패널의 불량 등을 검사할 때 해당 불량의 좌표를 명확하게 함으로써, 리뷰 이미지를 촬상하거나 레이저 리페어와 연동할 수 있게 되며, 상기 검사장비는 컨베이어를 움직이는 롤러장치들이 등속을 유지하는 상황에서도 컨베이어상에서 움직이는 패널들은 등속을 유지할 수가 없는 문제에 직면하게 되어 종래의 엔코더로는 불량의 위치를 정밀하게 계산하는 것이 불가능하게 된다. More specifically, in the conventional LCD industry, the inspection equipment uses the precision stage to check the defects of the LCD panel, etc., so that the coordinates of the defects can be clarified, so that the review image can be captured or interlocked with the laser repair. In addition, the inspection equipment faces a problem that the panels moving on the conveyor cannot maintain the constant velocity even when the roller devices moving the conveyor maintain the constant velocity, so that it is impossible to accurately calculate a defective position with a conventional encoder. .
또한, 패널이 컨베이어 상에서 움직일 경우, 위 아래로 진동이 발생하게 되므로 종래의 엔코더를 장착하여 위치를 계산하고자 할 경우에도 컨베이어에 장착된 엔코더는 진동에 의해 패널이 엔코더에서 떨어지는 순간 회전할 수 없게 되어 이동거리를 정확하게 알 수 없다는 문제점이 발생한다.In addition, when the panel moves on the conveyor, vibration occurs up and down, so even when a conventional encoder is mounted to calculate the position, the encoder mounted on the conveyor cannot rotate when the panel falls from the encoder due to vibration. The problem arises that the moving distance is not known accurately.
따라서, 불량 등의 리뷰 이미지를 촬상하거나 레이저 리페어 장비와 연동하기 위해서는 새로운 형태의 엔코더가 요구되며, 상기 새로운 형태의 엔코더들이 출시되고 있으나, Y축 방향으로 검사 대상 패널 길이만큼 라인스캔카메라를 구축해야 하므로 비용적 측면과 공간적 측면에서 큰 부담감을 안고 있다.Therefore, in order to capture a review image such as a defect or to interoperate with a laser repair equipment, a new type of encoder is required, and although the new types of encoders are being released, a line scan camera must be built as long as the inspection target panel in the Y axis direction. Therefore, there is a great burden in terms of cost and space.
결국, 보다 좁은 공간에서 보다 저렴한 가격으로 엔코더를 구축하기 위한 시스템을 요구하게 되었다.
As a result, there is a need for a system for building an encoder at a lower price in a smaller space.
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 패널의 패턴이 인쇄되는 Active area와 패널에 대한 정보를 담고 있는 Key 값을 에어리어카메라를 이용하여 이미징하여 분석함으로써, 패턴의 이동 거리를 파악하여 패널의 이동속도와 방향을 확인할 수 있도록 하는데 있다.Therefore, the present invention has been proposed in view of the above-described problems of the prior art, and an object of the present invention is to analyze a key value containing information on an active area and a panel on which a pattern of a panel is printed by imaging using an area camera. By doing so, it is possible to determine the moving speed and the direction of the panel by grasping the moving distance of the pattern.
본 발명의 다른 목적은 좁은 공간에서 저렴한 가격으로 엔코더 시스템을 구축하기 위해서 에어리어 카메라(Area Camera)를 이용한 비쥬얼 엔코더 시스템을 제공하는데 있다. Another object of the present invention is to provide a visual encoder system using an area camera to build an encoder system at a low price in a narrow space.
본 발명의 또 다른 목적은 이동하는 패널이 진행 방향에서 틀어진 각도를 계산할 수 있도록 하는데 있다.
Still another object of the present invention is to enable a moving panel to calculate a skewed angle in a traveling direction.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,In order to achieve the object of the present invention,
본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템은,A visual encoder system using an area camera according to an embodiment of the present invention,
검사 대상 패널에 형성된 키 값과 액티브 에어리어를 촬영하는 에어리어카메라(100)와;An
상기 에어리어카메라에서 촬영된 이미지를 획득하는 이미지획득부(210)와,An
패널에 대한 키 값 정보와 액티브 에이리어의 패턴 정보를 저장하고 관리하기 위한 패널정보디비(220)와,A
이미지획득부에서 획득된 이미지에서 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾은 후, 어느 하나의 이미지 내 특징점들로부터 다른 하나의 이미지 내 특징점이 이동한 거리를 계산하는 위치변동산출부(230)를 포함하여 구성되는 이미지처리수단(200)과;After finding the pattern of the active area registered in the panel information DB from the image acquired by the image acquisition unit, the position
상기 위치변동산출부에서 계산된 이동 거리값을 획득하여 엔코더 신호를 출력하는 엔코더신호출력부(300);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
The encoder
이상의 구성 및 작용을 지니는 본 발명에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템은,The visual encoder system using the area camera according to the present invention having the above configuration and action,
패널의 패턴이 인쇄되는 Active area와 패널에 대한 정보를 담고 있는 Key 값을 에어리어카메라를 이용하여 이미징하여 분석함으로써, 패턴의 이동 거리를 파악하여 패널의 이동속도와 방향을 확인할 수 있는 효과를 제공하게 된다.By analyzing the key value containing the information about the active area and the panel on which the pattern of the panel is printed by using an area camera, the moving distance of the pattern can be identified to provide the effect of confirming the movement speed and direction of the panel. do.
또한, 좁은 공간에서 저렴한 가격으로 엔코더 시스템을 구축하기 위해서 에어리어 카메라(Area Camera)를 이용한 비쥬얼 엔코더 시스템을 제공하게 된다.In addition, in order to build an encoder system at a low price in a small space, a visual encoder system using an area camera will be provided.
또한, 이동하는 패널이 진행 방향에서 틀어진 각도를 계산할 수 있는 효과를 제공하게 된다.
In addition, the moving panel provides an effect that can calculate the distorted angle in the travel direction.
도 1은 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더시스템에 적용되는 검사대상 엘씨디 패널의 외형을 나타낸 예시도이다.
도 2는 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더시스템의 1대의 에어리어 카메라를 이용하여 키값 및 액티브 에이리어를 촬상하는 예를 나타낸 예시도이다.
도 3은 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더시스템의 2대의 에어리어 카메라를 이용하여 키값 및 액티브 에이리어를 각각 촬상하는 예를 나타낸 예시도이다.
도 4는 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더시스템의 시간 흐름에 따라 액티브 에이리어가 촬상되는 예를 나타낸 예시도이다.
도 5는 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템의 블록도이다.
도 6은 본 발명의 다른 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템의 시스템 블록도이다.
도 7은 본 발명의 다른 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템의 특징점들을 나타낸 예시도이다.
도 8은 본 발명의 다른 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템의 특징점들을 이동한 거리 만큼 실제 패널이 이동한 거리를 나타낸 예시도이다.
도 9는 일반적으로 컨베이어상에서 패널이 틀어지는 상태를 나타낸 예시도이다.
도 10은 본 발명의 다른 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템의 사행각도를 나타낸 예시도이다.Figure 1 is an exemplary view showing the appearance of the inspection target LCD panel applied to the visual encoder system using an area camera according to an embodiment of the present invention.
2 is an exemplary diagram showing an example of capturing a key value and an active area using one area camera of a visual encoder system using an area camera according to an embodiment of the present invention.
3 is an exemplary diagram showing an example of imaging a key value and an active area by using two area cameras of a visual encoder system using an area camera according to an embodiment of the present invention.
4 is an exemplary view illustrating an example in which an active area is captured according to a time flow of a visual encoder system using an area camera according to an embodiment of the present invention.
5 is a block diagram of a visual encoder system using an area camera according to an embodiment of the present invention.
6 is a system block diagram of a visual encoder system using an area camera according to another embodiment of the present invention.
7 is an exemplary view showing feature points of a visual encoder system using an area camera according to another embodiment of the present invention.
FIG. 8 is an exemplary diagram illustrating a distance moved by an actual panel by a distance moved by feature points of a visual encoder system using an area camera according to another exemplary embodiment of the present invention.
9 is an exemplary view illustrating a state in which a panel is generally twisted on a conveyor.
10 is an exemplary view showing a meandering angle of a visual encoder system using an area camera according to another embodiment of the present invention.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템은,A visual encoder system using an area camera according to an embodiment of the present invention for achieving the above object,
에어리어 카메라를 이용한 비쥬얼 엔코더 시스템에 있어서,In a visual encoder system using an area camera,
검사 대상 패널에 형성된 키 값과 액티브 에어리어를 촬영하는 에어리어카메라(100)와;An
상기 에어리어카메라에서 촬영된 이미지를 획득하는 이미지획득부(210)와,An
패널에 대한 키 값 정보와 액티브 에이리어의 패턴 정보를 저장하고 관리하기 위한 패널정보디비(220)와,A
이미지획득부에서 획득된 이미지에서 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾은 후, 어느 하나의 이미지 내 특징점들로부터 다른 하나의 이미지 내 특징점이 이동한 거리를 계산하는 위치변동산출부(230)를 포함하여 구성되는 이미지처리수단(200)과;After finding the pattern of the active area registered in the panel information DB from the image acquired by the image acquisition unit, the position
상기 위치변동산출부에서 계산된 이동 거리값을 획득하여 엔코더 신호를 출력하는 엔코더신호출력부(300);를 포함하여 구성되는 것을 특징으로 한다.And an encoder
한편, 본 발명의 다른 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템은,On the other hand, the visual encoder system using an area camera according to another embodiment of the present invention,
에어리어 카메라를 이용한 비쥬얼 엔코더 시스템에 있어서,In a visual encoder system using an area camera,
검사 대상 패널에 형성된 키 값을 촬영하는 제1에어리어카메라(100)와;A
검사 대상 패널에 형성된 액티브 에어리어를 촬영하는 제2에어리어카메라(110)와;A
상기 제1에어리어카메라 및 제2에어리어카메라에서 촬영된 이미지를 획득하는 이미지획득부(210)와,An
패널에 대한 키 값 정보와 액티브 에이리어의 패턴 정보를 저장하고 관리하기 위한 패널정보디비(220)와,A
이미지획득부에서 획득된 이미지에서 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾은 후, 어느 하나의 이미지 내 특징점으로부터 다른 하나의 이미지 내 특징점이 이동한 거리를 계산하는 위치변동산출부(230)와,After finding the pattern of the active area registered in the panel information DB from the image acquired by the image acquisition unit, and the position
상기 위치변동산출부로부터 계산된 이동 거리와 제1에어리어카메라(100)와 제2에어리어카메라(110) 간의 거리를 이용하여 패널의 틀어진 각도를 계산하는 사행각도측정부(240)를 포함하여 구성되는 이미지처리수단(200)과;It comprises a meandering
상기 위치변동산출부 및 사행각도측정부(240)에서 계산된 이동 거리값 및 사행 각도 결과값을 획득하여 엔코더 신호를 출력하는 엔코더신호출력부(300);를 포함하여 구성되는 것을 특징으로 한다.And an encoder
이때, 상기 키 값 정보에는,At this time, the key value information,
X좌표값 및 Y좌표값을 포함하고 있으며, 픽셀 크기 정보를 포함하고 있는 것을 특징으로 한다.The X coordinate value and the Y coordinate value are included, and the pixel size information is included.
이때, 상기 위치변동산출부(230)는,At this time, the position
이동 거리값을 참조하여 이동 속도를 계산하는 것을 특징으로 한다.The moving speed may be calculated by referring to the moving distance value.
이때, 상기 에어리어카메라는,At this time, the area camera,
1개의 픽셀 크기 만큼 패널이 이동할 때 2개 이상의 프레임을 획득할 수 있도록 촬상 속도를 유지하는 것을 특징으로 한다.The imaging speed is maintained so that two or more frames can be obtained when the panel moves by one pixel size.
이때, 상기 사행각도측정부는,At this time, the meander angle measuring unit,
cos(AC/AB)에 의해 사행 각도를 계산하는 것을 특징으로 하되,To calculate the meandering angle by cos (AC / AB),
상기 AB는 어느 하나의 이미지 내 특징점으로부터 다른 하나의 이미지 내 특징점이 이동한 거리 값이며, 상기 AC는 제1에어리어카메라와 제2에어리어카메라 간 거리를 나타낸다.The AB is a distance value at which a feature point in another image moves from a feature point in one image, and the AC represents a distance between the first area camera and the second area camera.
이하, 본 발명에 의한 에어리어 카메라(Area Camera)를 이용한 비쥬얼 엔코더(Visual Encoder) 시스템의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, an embodiment of a visual encoder system using an area camera according to the present invention will be described in detail.
도 1은 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더시스템에 적용되는 검사대상 엘씨디 패널의 외형을 나타낸 예시도이다.Figure 1 is an exemplary view showing the appearance of the inspection target LCD panel applied to the visual encoder system using an area camera according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 일반적인 엘씨디(LCD) 패널에는 패턴이 인쇄되는 액티브 에어리어(Active area, 20)와 패널에 대한 정보를 담고 있는 Key 값이 인쇄되어 있는 키 값 인쇄영역(10)이 존재하고 있다.As shown in FIG. 1, a general LCD panel has an
결국, 상기 Key 값을 이미징하여 분석하면 패널의 정보를 알 수 있으며, 이 정보를 바탕으로 Active area의 패턴을 이미징하여 패턴의 이동정보를 파악함으로써 패널의 이동속도와 방향을 계산할 수 있게 된다. As a result, when the key value is imaged and analyzed, the panel information can be known. Based on the information, the pattern of the active area can be imaged to grasp the movement information of the pattern to calculate the moving speed and direction of the panel.
즉, 엔코더 기능이 구현될 수 있는 것이다.That is, the encoder function can be implemented.
도 2는 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더시스템의 1대의 에어리어 카메라를 이용하여 키값 및 액티브 에이리어를 촬상하는 예를 나타낸 예시도이다.2 is an exemplary diagram showing an example of capturing a key value and an active area using one area camera of a visual encoder system using an area camera according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더시스템의 2대의 에어리어 카메라를 이용하여 키값 및 액티브 에이리어를 각각 촬상하는 예를 나타낸 예시도이다.3 is an exemplary diagram showing an example of imaging a key value and an active area by using two area cameras of a visual encoder system using an area camera according to an embodiment of the present invention.
도 2에서와 같이, 에어리어 카메라 1대를 설치하여 Key값과 Active area를 모두 촬상하는 방식과, 도 3에서와 같이 Key값 촬상용 카메라와 Active area 촬상용 카메라를 별도로 가져가는 두 가지 방식이 존재하게 된다. As shown in FIG. 2, there are two types of methods in which an area camera is installed to capture both a key value and an active area, and a key value imaging camera and an active area imaging camera are separately taken as shown in FIG. Done.
도 2의 방식은 하드웨어 구성이 단순하고 저렴하다는 장점이 있으나, Active area에 대한 정보를 검사 대상 패널의 정보를 입력하는 Recipe 작성시 획득해야 한다는 점이 단점이고, 도 3의 방식은 공통적인 Key값에 의해 Recipe 작성이 상대적으로 용이하다는 장점이 있으나, 패널에 따라 Key값과 Active area의 시작 위치가 달라질 수 있어 하드웨어적으로 카메라를 이동시킬 수 있도록 하는 등 하드웨어 구성이 복잡해 질 수 있는 단점이 있다.The method of FIG. 2 has the advantage that the hardware configuration is simple and inexpensive, but the disadvantage is that information about the active area must be obtained when a recipe for inputting information of the inspection target panel is prepared, and the method of FIG. This method has the advantage of making recipe relatively easy. However, since the key value and the starting position of the active area can be changed depending on the panel, the hardware configuration can be complicated such that the camera can be moved in hardware.
도 4는 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더시스템의 시간 흐름에 따라 액티브 에이리어가 촬상되는 예를 나타낸 예시도이다.4 is an exemplary view illustrating an example in which an active area is captured according to a time flow of a visual encoder system using an area camera according to an embodiment of the present invention.
도 4에 도시한 바와 같이, 기 확보한 패널의 패턴에 대한 정보로부터 개별 픽셀의 절대 크기값을 확보하고, 일정 시간별로 촬상한 이미지를 비교 분석하여 패널의 진행 속도를 실시간으로 산출할 수 있다. As shown in FIG. 4, an absolute size value of individual pixels may be obtained from information about a pattern of a panel that is previously secured, and the moving speed of the panel may be calculated in real time by comparing and analyzing images captured at predetermined time intervals.
이때, 촬상 속도는 1개의 픽셀크기 만큼 이동할 때 바람직하게는 2개 이상의 프레임을 획득할 수 있어야 한다.At this time, the imaging speed should preferably be able to acquire two or more frames when moving by one pixel size.
또한, 패널 자체가 기울어진 상태로 진행하거나 횡방향으로 흔들리면서 진행하는 등 컨베이어 환경에서 발생할 수 있는 다양한 사행에 대해서 이미지 프로세싱으로 극복할 수 있도록 해야 한다.In addition, the panel itself must be overcome by image processing for various meanderings that may occur in the conveyor environment, such as progressing in an inclined state or shaking in a lateral direction.
상기 사행은 패널이 진행 방향에 대해서 틀어진 상태로 진행하는 것을 의미한다.The meandering means that the panel proceeds in a distorted state with respect to the traveling direction.
실시간으로 처리하기 위해서는 상기와 같은 작업이 PC에서 후처리되는 것이 아닌 FPGA나 ASCIC에서 코드로 구현되어야 한다.In order to be processed in real time, such a task must be implemented in code in an FPGA or ASCIC rather than being post-processed in a PC.
종래에는 컨베이어상에서 이동하는 패널을 검사하거나 이미지를 획득할 때 패널의 정확한 위치를 측정하기 위해서 라인스캔카메라를 이용한 비쥬얼 엔코더를 사용하게 된다.Conventionally, a visual encoder using a line scan camera is used to inspect a panel moving on a conveyor or to measure an accurate position of the panel when acquiring an image.
일반적으로 컨베이어상에서 움직이는 패널의 위치를 컨베이어의 속도와 시간으로 계산하면 수 mm 이상의 위치 오차가 발생하지만 본 발명에서 개시한 기술의 경우에는 오차가 수십 um 이하가 되는 특징을 제공하게 된다.In general, if the position of the panel moving on the conveyor is calculated by the speed and time of the conveyor occurs a position error of several mm or more, but the technique disclosed in the present invention provides a feature that the error is several tens of um or less.
도 5는 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템의 블록도이다.5 is a block diagram of a visual encoder system using an area camera according to an embodiment of the present invention.
도 5에 도시한 바와 같이, 본 발명의 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템은,As shown in Figure 5, the visual encoder system using an area camera according to an embodiment of the present invention,
검사 대상 패널에 형성된 키 값과 액티브 에어리어를 촬영하는 에어리어카메라(100)와;An
상기 에어리어카메라에서 촬영된 이미지를 획득하는 이미지획득부(210)와,An
패널에 대한 키 값 정보와 액티브 에이리어의 패턴 정보를 저장하고 관리하기 위한 패널정보디비(220)와,A
이미지획득부에서 획득된 이미지에서 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾은 후, 어느 하나의 이미지 내 특징점들로부터 다른 하나의 이미지 내 특징점이 이동한 거리를 계산하는 위치변동산출부(230)를 포함하여 구성되는 이미지처리수단(200)과;After finding the pattern of the active area registered in the panel information DB from the image acquired by the image acquisition unit, the position
상기 위치변동산출부에서 계산된 이동 거리값을 획득하여 엔코더 신호를 출력하는 엔코더신호출력부(300);를 포함하여 구성된다.And an encoder
상기 실시예의 특징은 하나의 에어리어카메라를 이용하여 키 값과 액티브 에어리어를 촬영하여 이동 거리를 계산하는 것이다.The characteristic of the above embodiment is to calculate the moving distance by photographing the key value and the active area using one area camera.
키값은 패널의 절대적인 정보를 담고 있기 때문에 키값을 통해 패널에 대한 정보를 획득할 수 있으며, 이미지 프로세싱을 통해 패턴 분석을 한 결과를 조합하면, 패널의 절대적인 상태(속도, 현재 촬상되고 있는 패턴의 정확한 좌표)가 산출된다.Since the key value contains the absolute information of the panel, it is possible to obtain information about the panel through the key value, and by combining the results of the pattern analysis through the image processing, the absolute state of the panel (speed, the exact Coordinates) are calculated.
예를 들어, 초당 1200프레임을 촬상하는 카메라의 n번째 이미지와 n+1번째 이미지 촬상 동안 300um짜리 1개 패턴이 2/3만큼(200um) 전진했다면, 패널의 이동 속도는 240mm/s가 된다.For example, if a 300 um pattern advances by 2/3 (200 um) during the nth image and n + 1th image capture of a camera that captures 1200 frames per second, the panel moves at 240 mm / s.
여기에서 n번째와 n+1번째 이미지의 패턴 이동 정도를 파악하기 위해서는 패턴의 절대 크기를 알아야 하며, 이 정보는 키 값으로부터 제공받게 된다.Here, in order to determine the pattern shifting degree of the nth and n + 1th images, the absolute size of the pattern must be known, and this information is provided from the key value.
또한, 절대적인 좌표의 경우 키값으로부터 패턴의 시작점의 절대 좌표값을 획득함으로써 상대적 위치와의 결합을 통해 산출한다.In addition, in the case of absolute coordinates, the absolute coordinates of the starting point of the pattern are obtained from the key value, and then calculated by combining with the relative position.
즉, 도 7에 도시한 바와 같이, 위치변동산출부(230)는 이미지획득부에서 획득된 이미지에서 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾은 후, 어느 하나의 이미지 내 특징점들로부터 다른 하나의 이미지 내 특징점이 이동한 거리를 계산하게 되는데, 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾게 된다.That is, as shown in FIG. 7, the position
여기서 찾아진 포인트들을 특징점이라고 정의하였으며, 도 7에 도시한 원형들이 바로 특징점인 것이다.The points found here are defined as feature points, and the circles shown in FIG. 7 are feature points.
이때, 어느 하나의 이미지 내 특징점들로부터 현재 이미지 내 특징점들이 이동한 거리 차이를 계산하는 것이다.In this case, the distance difference between the feature points in the current image is calculated from the feature points in any one image.
상기 계산값이 단위 시간 또는 이미지를 획득하는 시간 동안 패널이 이동한 거리가 되는 것이다.The calculated value is the distance traveled by the panel during the unit time or the time of acquiring the image.
예를 들어, 도 7의 맨 좌측이미지로부터 중앙이미지의 특징점들이 이동한 거리 차이를 계산하는 것이다.For example, the distance difference between the feature points of the center image is calculated from the leftmost image of FIG. 7.
도 8에 도시한 바와 같이, 특징점들이 이동한 거리 만큼 즉, 맨 하단의 붉은선으로부터 중앙 부위의 붉은선까지가 어느 한 이미지에서 다른 이미지를 획득한 시간 동안 이동한 거리이며, 다시 중앙 부위의 붉은선으로부터 맨 상단의 붉은선까지가 다른 이미지에서 또 다른 이미지를 획득한 시간 동안 이동한 거리를 의미하는 것이다.As shown in FIG. 8, the distance moved by the feature points, that is, the distance from the bottom red line to the red line in the center part is the distance traveled for the time when the other image is acquired in one image, and again the red part of the center part. From the line to the red line at the top, it means the distance traveled during the time when another image is acquired from another image.
또한, 상기 위치변동산출부(230)는 이동 거리값을 계산할 수 있으며, 이때 계산된 이동 거리값을 참조하여 이동 속도를 계산할 수도 있게 되는 것이다.In addition, the position
또한, 상기 에어리어카메라는 1개의 픽셀 크기 만큼 패널이 이동할 때 2개 이상의 프레임을 획득할 수 있도록 촬상 속도를 유지하는 것을 특징으로 한다.In addition, the area camera is characterized by maintaining the imaging speed so as to obtain two or more frames when the panel moves by one pixel size.
즉, 도 8에 도시한 바와 같이, Panel의 가장 모서리 부분에서는 LCD Pixel이 존재하는 곳과 그렇지 않은 곳이 구분이 되지만 패널이 더 움직이게 되면 모두 동일한 LCD Pixel들 뿐이기 때문에 위치 구분이 안되게 된다.That is, as shown in Figure 8, the edge of the panel is distinguished between the LCD pixel and the non-existing place, but if the panel is further moved because the same LCD pixels are all the position is not distinguished.
그래서, 카메라 Frame rate 와 이미지를 획득하는 시간 간격은 1개 이미지를 획득하는 동안 N+1 Pixel 번째 Pixel은 N 번째 Pixel이 있던 위치까지 이동하지 않아야 한다.Thus, the camera frame rate and the time interval for acquiring an image should not move the N + 1 Pixel th pixel to the position where the N th Pixel was while acquiring one image.
다시 말해서 현재 패널이 LCD Pixel 1개 만큼 이동하는데 소요되는 시간 보다 카메라 frame rate가 높아야 한다. In other words, the camera frame rate should be higher than the time it takes for the current panel to move by one LCD pixel.
여기에서 LCD Pixel 1개 만큼은 LCD Pixel 이 진행 방향으로 모양이 반복되는 주기가 1개일 때를 의미하며 만약 1개를 초과한다고 하면 반복 주기만큼 이동하는데 소요되는 시간이 될 것이다.Here, one LCD pixel means one cycle in which the LCD pixel repeats the shape in the advancing direction, and if it exceeds one, it will take time to move by the repeat cycle.
도 6은 본 발명의 다른 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템의 시스템 블록도이다.6 is a system block diagram of a visual encoder system using an area camera according to another embodiment of the present invention.
도 6에 도시한 바와 같이, 본 발명의 다른 일실시예에 따른 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템은,As shown in Figure 6, the visual encoder system using an area camera according to another embodiment of the present invention,
검사 대상 패널에 형성된 키 값을 촬영하는 제1에어리어카메라(100)와;A
검사 대상 패널에 형성된 액티브 에어리어를 촬영하는 제2에어리어카메라(110)와;A
상기 제1에어리어카메라 및 제2에어리어카메라에서 촬영된 이미지를 획득하는 이미지획득부(210)와,An
패널에 대한 키 값 정보와 액티브 에이리어의 패턴 정보를 저장하고 관리하기 위한 패널정보디비(220)와,A
이미지획득부에서 획득된 이미지에서 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾은 후, 어느 하나의 이미지 내 특징점으로부터 다른 하나의 이미지 내 특징점이 이동한 거리를 계산하는 위치변동산출부(230)와,After finding the pattern of the active area registered in the panel information DB from the image acquired by the image acquisition unit, and the position
상기 위치변동산출부로부터 계산된 이동 거리와 제1에어리어카메라(100)와 제2에어리어카메라(110) 간의 거리를 이용하여 패널의 틀어진 각도를 계산하는 사행각도측정부(240)를 포함하여 구성되는 이미지처리수단(200)과;It comprises a meandering
상기 위치변동산출부 및 사행각도측정부(240)에서 계산된 이동 거리값 및 사행 각도 결과값을 획득하여 엔코더 신호를 출력하는 엔코더신호출력부(300);를 포함하여 구성된다.And an encoder
도 9는 일반적으로 컨베이어상에서 패널이 틀어지는 상태를 나타낸 예시도이다.9 is an exemplary view illustrating a state in which a panel is generally twisted on a conveyor.
본 발명의 다른 일실시예의 가장 큰 특징은 사행 각도를 측정할 수 있다는 것이다.The biggest feature of another embodiment of the present invention is that the meandering angle can be measured.
이를 위하여 Key값을 촬영하는 제1에어리어카메라(100)와 Active area를 촬영하는 제2에어리어카메라(110)를 설치 구성하게 된다.To this end, the
도 10에 도시한 바와 같이, 제1에어리어카메라와 제2에어리어카메라 간 거리(AC)를 1200mm라고 가정한다.(제1에어리어카메라와 제2에어리어카메라 간의 거리는 이미 알고 있는 값임.)As shown in Fig. 10, it is assumed that the distance AC between the first area camera and the second area camera is 1200 mm. (The distance between the first area camera and the second area camera is a known value.)
이때, 위치변동산출부에 의해 계산된 이동 거리(AB)를 1400mm라고 하면, 상기 사행각도측정부에 의해 처리되는 사행 각도는 아래와 같이 계산된다. At this time, if the moving distance AB calculated by the position variation calculation unit is 1400 mm, the meandering angle processed by the meandering angle measuring unit is calculated as follows.
cos (1200/1400) = 0.654도 cos (1200/1400) = 0.654 degrees
즉, 상기 사행각도측정부는 위치변동산출부로부터 계산된 이동 거리와 제1에어리어카메라(100)와 제2에어리어카메라(110) 간의 거리를 이용하여 패널의 틀어진 각도를 계산하게 되는 것이다. That is, the meandering angle measuring unit calculates the twisted angle of the panel using the moving distance calculated from the position change calculating unit and the distance between the
이후, 상기 위치변동산출부 및 사행각도측정부(240)에서 계산된 이동 거리값 및 사행 각도 결과값을 획득하여 엔코더 신호를 출력하는 엔코더신호출력부(300)에서 획득하여 엔코더 신호를 출력하게 되는 것이다.Subsequently, an encoder
상기 엔코더신호출력부의 엔코더 신호 출력 기술은 이미 당업자들에게 널리 알려진 기술이므로 상세한 설명은 생략하도록 한다.The encoder signal output technology of the encoder signal output unit is well known to those skilled in the art, and thus detailed description thereof will be omitted.
한편, 시스템에 따라서 본 발명에서 개시하는 에어리어카메라와 이미지처리수단 및 엔코더신호출력부는 동일한 하드웨어 상에 있을 수도 있고 서로 독립된 하드웨어에 있을 수도 있다. Meanwhile, depending on the system, the area camera, the image processing means, and the encoder signal output unit disclosed in the present invention may be on the same hardware or may be on separate hardware.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. It will be appreciated by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not restrictive.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the invention is indicated by the following claims rather than the above description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the invention. do.
100 : 에어리어카메라, 제1에어리어카메라
110 : 제2에어리어카메라
200 : 이미지처리수단
210 : 이미지획득부
220 : 패널정보디비
230 : 위치변동산출부
240 : 사행각도측정부
300 : 엔코더신호출력부100: area camera, first area camera
110: second area camera
200: image processing means
210: image acquisition unit
220: Panel information DVD
230: position variation calculation unit
240: meander angle measuring unit
300: encoder signal output unit
Claims (6)
검사 대상 패널에 형성된 키 값과 액티브 에어리어를 촬영하는 에어리어카메라(100)와;
상기 에어리어카메라에서 촬영된 이미지를 획득하는 이미지획득부(210)와,
패널에 대한 키 값 정보와 액티브 에이리어의 패턴 정보를 저장하고 관리하기 위한 패널정보디비(220)와,
이미지획득부에서 획득된 이미지에서 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾은 후, 어느 하나의 이미지 내 특징점들로부터 다른 하나의 이미지 내 특징점이 이동한 거리를 계산하는 위치변동산출부(230)를 포함하여 구성되는 이미지처리수단(200)과;
상기 위치변동산출부에서 계산된 이동 거리값을 획득하여 엔코더 신호를 출력하는 엔코더신호출력부(300);를 포함하여 구성되는 것을 특징으로 하는 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템.
In a visual encoder system using an area camera,
An area camera 100 for photographing a key value and an active area formed in the inspection target panel;
An image acquisition unit 210 for acquiring an image photographed by the area camera;
A panel information DB 220 for storing and managing key value information of the panel and pattern information of the active area;
After finding the pattern of the active area registered in the panel information DB from the image acquired by the image acquisition unit, the position shift calculation unit 230 for calculating the distance traveled from the feature points in one image to the feature point in another image Image processing means 200 and configured to include;
And an encoder signal output unit (300) for outputting an encoder signal by obtaining a moving distance value calculated by the position change calculation unit (200).
검사 대상 패널에 형성된 키 값을 촬영하는 제1에어리어카메라(100)와;
검사 대상 패널에 형성된 액티브 에어리어를 촬영하는 제2에어리어카메라(110)와;
상기 제1에어리어카메라 및 제2에어리어카메라에서 촬영된 이미지를 획득하는 이미지획득부(210)와,
패널에 대한 키 값 정보와 액티브 에이리어의 패턴 정보를 저장하고 관리하기 위한 패널정보디비(220)와,
이미지획득부에서 획득된 이미지에서 패널정보디비에 등록된 액티브 에어리어의 패턴을 찾은 후, 어느 하나의 이미지 내 특징점으로부터 다른 하나의 이미지 내 특징점이 이동한 거리를 계산하는 위치변동산출부(230)와,
상기 위치변동산출부로부터 계산된 이동 거리와 제1에어리어카메라(100)와 제2에어리어카메라(110) 간의 거리를 이용하여 패널의 틀어진 각도를 계산하는 사행각도측정부(240)를 포함하여 구성되는 이미지처리수단(200)과;
상기 위치변동산출부 및 사행각도측정부(240)에서 계산된 이동 거리값 및 사행 각도 결과값을 획득하여 엔코더 신호를 출력하는 엔코더신호출력부(300);를 포함하여 구성되는 것을 특징으로 하는 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템.
In a visual encoder system using an area camera,
A first area camera 100 for photographing a key value formed on the inspection target panel;
A second area camera 110 for photographing an active area formed in the inspection target panel;
An image acquisition unit 210 for acquiring images captured by the first area camera and the second area camera;
A panel information DB 220 for storing and managing key value information of the panel and pattern information of the active area;
After finding the pattern of the active area registered in the panel information DB from the image acquired by the image acquisition unit, and the position shift calculation unit 230 for calculating the distance the feature point in the other image from the feature point in one image and ,
It comprises a meandering angle measuring unit 240 for calculating the twisted angle of the panel by using the movement distance calculated from the position change calculation unit and the distance between the first area camera 100 and the second area camera 110. Image processing means (200);
And an encoder signal output unit 300 for outputting an encoder signal by obtaining a moving distance value and a meandering angle result value calculated by the position change calculating unit and the meandering angle measuring unit 240. Visual encoder system using a camera.
상기 에어리어카메라는,
1개의 픽셀 크기 만큼 패널이 이동할 때 2개 이상의 프레임을 획득할 수 있도록 촬상 속도를 유지하는 것을 특징으로 하는 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템.
3. The method according to claim 1 or 2,
The area camera,
A visual encoder system using an area camera, characterized by maintaining an imaging speed so that two or more frames can be acquired when the panel moves by one pixel size.
상기 사행각도측정부는,
cos(AC/AB)에 의해 사행 각도를 계산하는 것을 특징으로 하는 에어리어 카메라를 이용한 비쥬얼 엔코더 시스템.
상기 AB는 어느 하나의 이미지 내 특징점으로부터 다른 하나의 이미지 내 특징점이 이동한 거리 값이며, 상기 AC는 제1에어리어카메라와 제2에어리어카메라 간 거리임.
The method of claim 2,
The meandering angle measuring unit,
Visual encoder system using an area camera, characterized by calculating the meandering angle by cos (AC / AB).
The AB is a distance value at which a feature point in another image moves from a feature point in one image, and the AC is a distance between the first area camera and the second area camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110064358A KR101213169B1 (en) | 2011-06-30 | 2011-06-30 | Visual encoder system using area camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110064358A KR101213169B1 (en) | 2011-06-30 | 2011-06-30 | Visual encoder system using area camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101213169B1 true KR101213169B1 (en) | 2012-12-18 |
Family
ID=47907815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110064358A Expired - Fee Related KR101213169B1 (en) | 2011-06-30 | 2011-06-30 | Visual encoder system using area camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101213169B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100749869B1 (en) * | 2000-12-12 | 2007-08-21 | 레써 아크티엔게젤샤프트 | Thread roller cylinder |
-
2011
- 2011-06-30 KR KR1020110064358A patent/KR101213169B1/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100749869B1 (en) * | 2000-12-12 | 2007-08-21 | 레써 아크티엔게젤샤프트 | Thread roller cylinder |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112629441B (en) | 3D curved glass contour scanning detection method and system | |
CN110352346B (en) | Method and apparatus for inspecting assets | |
US10926973B2 (en) | Elevator shaft dimensions measurement device and elevator shaft dimensions measurement method | |
US9875574B2 (en) | Method and device for automatically identifying the deepest point on the surface of an anomaly | |
CN109682826A (en) | NI Vision Builder for Automated Inspection and detection method for the detection of cambered surface appearance | |
KR101094069B1 (en) | Calibration Device and Method for Correction of Threshold Value of Crack Measurement System Using Image Processing Technique | |
CN103617611B (en) | A kind of automatic threshold segmentation spot center and size detecting method | |
CN104833317A (en) | Medium or heavy steel plate morphology detection system based on controllable symmetrical double-line laser angle and method thereof | |
Staniek | Stereo vision method application to road inspection | |
CN115791830B (en) | Steel plate detection system, steel plate detection method and electronic equipment | |
JP2012251997A (en) | Three-dimensional measurement device, method for controlling three-dimensional measurement device and program | |
CN104634261A (en) | Line laser source based medium plate shape inspection system and method | |
WO2017179535A1 (en) | Structure condition assessing device, condition assessing system, and condition assessing method | |
CN110268221A (en) | Cord measuring device and cord measuring method | |
CN106197292A (en) | A kind of building displacement monitoring method | |
CN111121643A (en) | Method and system for measuring road width | |
CN115375608A (en) | Detection method and device, detection equipment and storage medium | |
JP3629532B2 (en) | Method and system for measuring real-time shape of continuously moving object | |
CN115388778A (en) | Computer screen quality control device | |
Miao et al. | Efficient measurement of key-cap flatness for computer keyboards with a multi-line structured light imaging approach | |
CN103438803B (en) | Computer vision technique accurately measures the method for Rectangular Parts size across visual field | |
KR101213169B1 (en) | Visual encoder system using area camera | |
CN204730813U (en) | A kind of medium plate Shap feature detection system controlled based on symmetric double line laser angle | |
CN101923060B (en) | Video inspection method | |
CN106841231A (en) | Visual precision measurement system and method for tiny parts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
LAPS | Lapse due to unpaid annual fee | ||
PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20151212 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20151212 |
|
P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |