KR100434370B1 - Focusing distance measurement in iris recognition system - Google Patents
Focusing distance measurement in iris recognition system Download PDFInfo
- Publication number
- KR100434370B1 KR100434370B1 KR10-2001-0025993A KR20010025993A KR100434370B1 KR 100434370 B1 KR100434370 B1 KR 100434370B1 KR 20010025993 A KR20010025993 A KR 20010025993A KR 100434370 B1 KR100434370 B1 KR 100434370B1
- Authority
- KR
- South Korea
- Prior art keywords
- distance
- user
- iris recognition
- camera
- spot light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 홍채 인식 시스템에서 홍채 인식용 카메라로 촬영된 영상내의 거리 측정용 포인터를 실시간 영상 처리 기법을 이용해서 분석하여 카메라와 사용자와의 거리를 측정(계산)할 수 있도록 한 홍채인식 시스템의 거리 측정방법과 그 장치에 관한 것이다.The present invention is a distance of an iris recognition system that can measure (calculate) the distance between a camera and a user by analyzing a distance measuring pointer in an image captured by an iris recognition camera using a real-time image processing technique in an iris recognition system. It relates to a measuring method and an apparatus thereof.
본 발명은 사용자와 홍채 인식용 카메라 사이의 거리를 측정하기 위하여 서로 대칭인 적외선 스폿(spot) 광을 사용자의 얼굴에 투사하고, 상기 적외선 스폿 광이 투사된 사용자의 얼굴 영상을 홍채 인식용 카메라로 촬영하여 그 이미지를 획득한다. 그리고, 홍채 인식용 카메라로 촬영한 이미지를 실시간 분석하여 사용자와 카메라 사이의 거리를 측정한다. 이를 위하여 상기 획득한 적외선 스폿 광이 사용자의 얼굴 이미지에서 어떤 위치에 놓이며 스폿 광의 선명도(sharpness)는 어느 정도인가, 또 스폿 광의 사이즈(size)는 어느 정도인가를 판별해서 사용자와 카메라 사이의 거리를 계산한다.The present invention projects an infrared spot light symmetrically to the user's face to measure the distance between the user and the iris recognition camera, and the image of the user's face projected by the infrared spot light to the iris recognition camera. Shoot and acquire the image. The distance between the user and the camera is measured by analyzing an image taken by the iris recognition camera in real time. For this purpose, the distance between the user and the camera is determined by determining where the acquired infrared spot light is located in the face image of the user, what is the sharpness of the spot light, and what is the size of the spot light. Calculate
Description
본 발명은 단초점 렌즈를 사용한 홍채 인식 시스템에서 사용자 편의성을 증대시킴과 동시에 홍채 영상을 정확하게 구하기 위하여 카메라의 초점을 맞추기 위하여 카메라와 사용자(얼굴)와의 거리를 측정하는 방법에 관한 것으로서, 특히 본 발명은 홍채 인식 시스템에서 거리 측정용 스폿(spot) 광을 사용자 얼굴에 투사하고 홍채 인식용 카메라로 촬영된 영상내의 거리 측정용 스폿 광을 실시간 영상 처리 기법을 이용해서 분석하여 카메라와 사용자와의 거리를 측정(계산)할 수 있도록 한 홍채인식 시스템의 거리 측정방법과 그 장치에 관한 것이다.The present invention relates to a method of measuring a distance between a camera and a user (face) in order to focus the camera in order to increase user convenience and to accurately obtain an iris image in an iris recognition system using a single focus lens. In the iris recognition system, the distance measuring spot light is projected on the user's face, and the distance measuring spot light in the image captured by the iris recognition camera is analyzed using real-time image processing to determine the distance between the camera and the user. The present invention relates to a distance measuring method and an apparatus of an iris recognition system capable of measuring (calculating).
알려진 바와 같이 보안이나 방범, 신분 인증을 위한 시스템으로 기존의 접촉식 혹은 비접촉식 카드 시스템에서 더 나아가 사람의 지문을 인식하거나, 또는 홍채인식을 통해서 신분을 인증하고 특정 장소의 출입이나 특정 정보에의 접근 등을 허용하거나 거부하는 시스템이 보급되어 왔다.As is known, it is a system for security, crime prevention, and identity authentication. It goes beyond the existing contact or contactless card system to recognize human fingerprints, or to authenticate identity through iris recognition and access to specific places or access to specific information. Systems to allow or deny such have been prevalent.
이 중에서 홍채인식 시스템은 지문인식에 비해서 인식률이 높고, 보다 정확한 인식이 가능하다는 장점이 있다. 홍채 인식 시스템은 비디오 카메라로 촬영한 홍채 영상에서 홍채의 특징적인 패턴을 이미지 처리 기술을 이용해서 데이터화한 후, 사전에 등록되어 있는 홍채 데이터와 대조하여 개인을 인증하는 시스템이다.Among them, the iris recognition system has a high recognition rate and more accurate recognition than the fingerprint recognition. The iris recognition system is a system that authenticates an individual by comparing a characteristic pattern of an iris with an image processing technology in an iris image captured by a video camera and comparing it with previously registered iris data.
도1은 일반적인 홍채 인식 시스템의 구성을 나타낸 도면으로서, 도1을 참조하여 홍채 인식 시스템의 동작을 살펴보면 다음과 같다.FIG. 1 is a diagram illustrating a configuration of a general iris recognition system. Referring to FIG. 1, the operation of the iris recognition system is as follows.
사용자가 홍채 인식 시스템에 접근하면, 거리 측정 센서(109)가 사용자와의 거리를 측정하고, 이렇게 구한 거리 측정값을 드라이버(107)를 통해 제어장치(105)가 받아들여서 상기 거리 측정값이 동작 범위 안에 있는가를 판단한다.When the user approaches the iris recognition system, the distance measuring sensor 109 measures the distance to the user, and the controller 105 receives the distance measurement value obtained through the driver 107 to operate the distance measurement value. Determine if you are in range.
사용자가 동작 범위 안에 있는 경우에 드라이버(107)로 제어신호를 보내서 홍채 이미지를 추출할 준비를 하도록 한다. 드라이버(107)는 외부 지시기(108)에액티브 신호를 보내서 사용자에게 시스템이 동작함을 알리고, 이에 따라 사용자가 광학 윈도우(101)를 통하여 카메라(103)의 광축에 눈을 위치시키면, 콜드 미러(102)가 가시광선은 차단하고 적외선을 통과시킨다. 그리고 홍채가 위치해야 할 부분을 표시해 주어 사용자가 카메라(103)의 광축에 눈이 위치하는지의 여부를 확인할 수 있도록 해준다.If the user is within the operating range, the control signal is sent to the driver 107 to prepare to extract the iris image. The driver 107 sends an active signal to the external indicator 108 to inform the user that the system is operating. Accordingly, when the user places the eye on the optical axis of the camera 103 through the optical window 101, the cold mirror ( 102 blocks visible light and passes infrared light. And it displays the part where the iris should be located so that the user can check whether the eye is located on the optical axis of the camera 103.
그리고, 제어장치(105)가 거리 측정 센서(109)로부터 사용자까지의 거리 측정값을 받아들이고, 이 거리 측정값을 이용해서 카메라(103)의 줌 및 포커스 값을 산출하여 줌인/줌아웃 및 포커싱 제어를 수행한다. 이후에 제어장치(105)는 거리 측정값에 따라 드라이버(107)를 통해 조명장치(106)의 세기를 조절한 후, 카메라(103)를 통해 홍채 이미지를 촬영하도록 하며, 촬영된 홍채 이미지는 프레임 그레버(104)에서 홍채 이미지 분석에 맞게 신호처리되고, 처리된 홍채 이미지 정보를 가지고 제어장치(105)에서 홍채 인식을 수행하여 사용자의 인증 여부를 결정하게 되는 것이다.The controller 105 receives the distance measurement value from the distance measurement sensor 109 to the user, and calculates the zoom and focus values of the camera 103 using the distance measurement value to perform zoom in / zoom out and focusing control. Perform. Thereafter, the controller 105 adjusts the intensity of the lighting device 106 through the driver 107 according to the distance measurement value, and then photographs the iris image through the camera 103, and the photographed iris image is a frame. The grabber 104 processes the signal according to the iris image analysis, and performs the iris recognition on the controller 105 with the processed iris image information to determine whether the user is authenticated.
이와 같은 홍채 인식 시스템에서는 얼마나 빠른 시간 안에, 얼마나 정확하게 홍채 인식을 해내는가의 여부가 그 성능을 좌우하게 된다.In such an iris recognition system, the performance depends on how fast and how accurately iris recognition is performed.
종래의 홍채 이미지 추출 기술로는 사용자가 직접 화면을 보고 일정한 거리로 움직여서 초점을 맞춰주는 기술, 또는 여러 대의 카메라를 이용해서 얼굴 및 눈의 위치를 파악하고 홍채 영상을 촬영하는 기술, 또는 거리 측정 센서를 이용해서 사용자와의 거리를 측정하여 자동적으로 카메라 초점을 맞추고 홍채 영상을 얻는 기술 등이 제안되고 있다.Conventional iris image extraction technology focuses on a user's direct view of the screen by moving it to a certain distance, or by using multiple cameras to locate a face and eyes, and to capture an iris image, or a distance measuring sensor. Techniques for measuring the distance to the user using the camera and automatically focusing the camera and obtaining an iris image have been proposed.
먼저, 사용자가 직접 화면을 보고 일정한 거리로 움직여서 초점을 맞춰주는 경우는 사용상 불편함이 따르고, 또한 이 기술에서는 단일 광원을 사용하기 때문에 사용자가 안경을 착용하였을 경우에는 안경에 의한 반사 이미지가 홍채 영상의 정확한 촬영에 방해를 주게되는 문제점을 갖고 있다. 따라서 이 기술에서는 사용자가 화면을 직접 보면서 반사가 생기지 않도록 움직여 주어야 하므로 불편함은 더욱 가중될 뿐이다.First, it is inconvenient to use when the user focuses by moving a certain distance by looking directly at the screen.In addition, since the technology uses a single light source, when the user wears glasses, the reflection image of the glasses shows an iris image. It has a problem that interferes with the correct shooting. Therefore, this technique only adds inconvenience to the user because the user must move the screen without causing reflection.
한편, 여러 대의 카메라를 이용해서 초점을 맞추고 홍채 이미지를 구하는 기술은 상기한 불편함을 해소할 수는 있지만, 기구적으로 매우 복잡하고 정교한 제어가 요구되는 단점이 있다. 즉, 2대의 카메라를 사용해서 사용자의 얼굴 및 눈의 위치를 파악하고, 다른 1대의 카메라로 홍채 영상을 취득하는 방식인데, 이러한 방식은 사용자가 홍채 인식을 위해 눈을 맞출 필요없이 시스템 스스로가 자동으로 초점을 맞추고 홍채 영상을 취득하기 때문에 편리하지만, 여러 대의 카메라를 구비해야 하고 각각의 카메라를 기구적, 전기적으로 구동시켜야 하기 때문에 시스템 구성이 복잡해 진다.On the other hand, the technique of focusing using multiple cameras and obtaining an iris image can solve the above inconvenience, but mechanically very complicated and sophisticated control is required. In other words, two cameras are used to determine the position of the user's face and eyes, and the other one camera acquires the iris image. This method allows the system to automate itself without the need for eye contact for iris recognition. Although it is convenient to focus and acquire an iris image, the system configuration is complicated because it is necessary to have several cameras and to drive each camera mechanically and electrically.
그리고, 거리 측정 센서를 이용해서 자동적으로 카메라의 초점을 맞추고 홍채를 촬영하는 기술의 경우에는, 거리 측정 센서를 사용해서 사람의 근접 여부를 파악하고, 이 때 취득하고 있는 입력 영상 및 카메라에서 출력되는 초점값들을 이용해서 초점을 맞추는 방법을 사용했다.In the case of a technique of automatically focusing the camera using a distance measuring sensor and capturing an iris, the distance measuring sensor is used to determine whether a person is close, and the input image and the camera outputted at this time are output from the camera. We used the method of focusing using the focus values.
또한 이 기술에서는, 단일 광원만을 사용하는 경우 안경에 의한 반사 문제가 발생할 수 있기 때문에 이 문제를 해소하기 위해서 좌측,우측,상측의 3개의 LED 조명을 이용해서 안경에 의한 2차 반사를 회피할 수 있도록 조명의 위치를 바꿔가면서 영상을 취득하는 방법을 사용하였다.In addition, in this technology, the reflection problem caused by glasses may occur when only a single light source is used, and in order to solve this problem, the secondary reflection caused by the glasses can be avoided by using three LED lights on the left side, the right side, and the upper side. We used the method of acquiring the image while changing the position of the lighting.
도2는 거리 측정 센서를 이용한 자동 초점 조절장치의 구성을 나타낸 블록도로서, 거리 측정 센서(201)를 사용해서 거리 측정부(202)가 설정된 일정한 시간마다 카메라(205)와 사용자 사이의 거리를 측정하여 연속적인 거리 정보를 출력하고, 거리 처리부(203)는 상기 거리 정보를 이용해서 사용자의 동작 특성을 판단한다. 즉, 연속적인 거리 정보를 근거로 해서 사용자의 동작 속도를 측정하여, 속도가 양수(+)이면 접근중인 것으로 판단하고, 음수(-)이면 멀어지고 있는 것으로 판단하고, 절대속도가 주어진 허용값 이내인 경우에는 정지해 있는 것으로 판단한다.FIG. 2 is a block diagram showing a configuration of an auto focusing apparatus using a distance measuring sensor. The distance between the camera 205 and the user is determined at a predetermined time when the distance measuring unit 202 is set using the distance measuring sensor 201. By measuring and outputting continuous distance information, the distance processor 203 uses the distance information to determine a user's operating characteristics. In other words, by measuring the user's operating speed based on continuous distance information, if the speed is positive (+), it is determined to be approaching; if it is negative (-), it is determined to be moving away, and the absolute speed is within the given allowable value. If it is, it is judged to be stopped.
카메라 동작 제어부(204)는 거리 처리부(203)로부터 제공되는 거리와 속도, 가속도 등의 정보를 이용해서 사용자가 정지해 있을 때 카메라(205)의 동작을 제어한다. 이 때 사용자의 동작이 안정화되지 않은 상태에서도 미리 사용자가 멈출 위치를 추정하여 그 위치로 카메라(205)의 렌즈를 구동시켜 줌으로써 초점을 맞추는데 필요한 시간을 줄여준다.The camera motion control unit 204 controls the operation of the camera 205 when the user is stationary using information such as the distance, speed, and acceleration provided from the distance processing unit 203. At this time, even if the user's motion is not stabilized, the time required for focusing is reduced by estimating a position where the user stops in advance and driving the lens of the camera 205 to the position.
이와 같이 하여 사용자의 동작이 안정화되었을 때, 측정된 거리값을 근거로 해서 카메라 동작 제어부(204)를 통해 카메라(205)의 줌 및 포커스를 조정한다. 이 때 사용자가 어느 정도 계속 움직이고 있는 상태이고, 측정된 거리 값도 실제 눈 까지의 거리가 아니기 때문에 어느 정도의 측정 오차가 존재한다. 따라서, 미세 조정을 수행하는데, 카메라 동작 제어부(204)는 이미지 처리부(206)로부터 연속적으로 입력되는 홍채 이미지를 분석하여 포커스 정도를 구해내고, 포커스 정도가 확인을 수행하기에 알맞을 때까지 줌 및 포커스 렌즈를 이동시키면서 최대값이 나오는 방향으로 추적을 계속하여 초점을 맞춘다.When the user's motion is stabilized in this way, the zoom and focus of the camera 205 are adjusted through the camera motion control unit 204 based on the measured distance value. At this time, the user keeps moving to some extent, and the measured distance value is not the distance to the real eye, so there exists some measurement error. Therefore, fine adjustment is performed, and the camera motion controller 204 analyzes the iris images continuously input from the image processor 206 to obtain a focus level, and zooms and focuss until the focus level is suitable for performing the check. Continue to focus in the direction of the maximum value as you move the lens.
그런데, 사용자가 안경을 착용한 경우에는 안경과 조명부(208)에 구비되어 있는 LED와의 각도에 따라서 홍채 이미지에 반사가 일어날 수 있다. 그러므로 이미지 처리부(206)는 포커스 정도를 계산하기 전에 미리 반사 정도를 검출하여 그에 따른 안경 반사 정보를 조명 제어부(207)측으로 출력한다.However, when the user wears glasses, reflection may occur in the iris image according to the angle between the glasses and the LED provided in the lighting unit 208. Therefore, the image processing unit 206 detects the degree of reflection in advance before calculating the degree of focus and outputs the specular reflection information according to the illumination control unit 207.
조명 제어부(207)는 안경의 반사를 피할 수 있도록 안경 반사 정보를 근거로 해서 조명용 LED의 점등 여부를 제어하고, 이에 따라서 안경에서 반사되는 위치도 바뀌게 된다. 이렇게 해서 안경에 의한 반사를 회피하고, 카메라(205)에서 얻은 홍채 이미지를 분석하여 인식을 수행하는 것이다.The lighting control unit 207 controls whether or not the lighting LED is turned on based on the specular reflection information so as to avoid reflection of the spectacles, and thus the position reflected by the spectacles is also changed. In this way, reflection by the glasses is avoided, and the iris image obtained by the camera 205 is analyzed to perform recognition.
그러나, 이 시스템의 경우에는 카메라 초점을 맞추기 위해서 렌즈를 움직일 때 렌즈의 움직임 방향 및 거리를 대부분 거리 측정 센서에 의존하고 있다. 따라서, 거리 측정 센서가 사용자 눈까지의 정확한 거리 정보를 주지 못하는 경우가 종종 발생하며, 이러한 경우에는 렌즈의 움직임 방향이 잘못 지정되어 초점을 맞추는 시간이 증가하게 되는 문제점이 초래될 수 있고, 사용자가 홍채 인식 시스템에서 허용하는 범위 내로 접근해야 하므로 불편하다.However, in this system, when moving the lens to focus the camera, the direction and distance of the lens movement are mostly dependent on the distance measuring sensor. Therefore, the distance measuring sensor often does not provide accurate distance information to the user's eyes, and in this case, a problem may occur in that the direction of movement of the lens is incorrectly specified to increase the time for focusing. This is inconvenient because the iris recognition system must approach within the range allowed.
한편, 화상 회의 겸용 홍채 인식 시스템에서는 사용자의 홍채를 인식하기 위해서 사용자가 홍채 인식 카메라 렌즈 속의 거리 및 초점 조절용 이미지(두개의 점을 이용한다)가 서로 일치되어 보이는 위치로 눈을 맞추게 되어 있어서, 카메라 속의 두개의 점이 일치하는 위치에 사용자의 시선이 놓이게 되면 홍채 인식을 시작하게 된다. 이 경우에는 사용자가 두 점의 위치를 맞출 때 홍채 인식용 카메라의 초점이 맞는 경우에는 사용자가 두 점의 위치를 맞추기가 용이하지만, 단초점 렌즈를 사용하기 때문에 사용자가 카메라의 초점을 맞춰주어야 하는 단점이 있다. 그러므로 홍채 인식용 카메라의 초점이 맞지 않는 경우에는 홍채 인식용 카메라와 사용자간의 거리를 사용자가 스스로 조절해 가면서 카메라 속의 두 점의 위치를 맞춰야 하므로 사용하기가 불편하다.On the other hand, in the video conferencing iris recognition system, in order to recognize the user's iris, the user adjusts the eye to a position where the distance in the iris recognition camera lens and the focusing image (using two dots) coincide with each other. When the user's eyes are placed at the position where the two points coincide, the iris recognition starts. In this case, if the iris recognition camera is in focus when the user positions two points, it is easy for the user to locate the two points, but because of the use of a single focus lens, the user needs to focus the camera. There are disadvantages. Therefore, when the iris recognition camera is out of focus, it is inconvenient to use the two points in the camera while adjusting the distance between the iris recognition camera and the user.
즉, 사용자가 카메라 렌즈를 주시하면서 작은 렌즈 속의 두 점이 일치하는 위치로 움직여야 하므로 불편함이 따르는 것이다.In other words, the user has to look at the camera lens to move to a position where two points in the small lens coincide, which is inconvenient.
따라서, 홍채 인식 장치에서 사용자와 카메라 사이의 거리를 보다 정확하게, 보다 용이하게, 보다 빠르게 측정하여 카메라 초점을 자동적으로 맞춰줄 수 있는 수단이 요구된다.Therefore, there is a need for a means for automatically measuring the distance between the user and the camera in the iris recognition device more accurately, more easily, and more quickly to focus the camera automatically.
본 발명은 홍채 인식 시스템에서 홍채 이미지를 얻기 위한 카메라와 사용자와의 거리를 자동적으로 계산해 주는 방법과 그 장치를 제안한다.The present invention proposes a method and apparatus for automatically calculating a distance between a camera and a user for obtaining an iris image in an iris recognition system.
본 발명은 특히, 홍채 인식용 카메라로 촬영된 사용자의 얼굴 영상을 실시간 이미지 처리하여 사용자와 카메라 사이의 거리를 측정할 수 있도록 한 홍채 인식 시스템의 거리 측정방법과 그 장치를 제안한다.In particular, the present invention proposes a distance measuring method and an apparatus of the iris recognition system for measuring a distance between a user and a camera by real-time image processing of a face image of a user photographed by an iris recognition camera.
본 발명은 홍채 인식장치에서, 사용자의 얼굴에 사용자에게는 보이지 않는 소정의 거리 측정을 위한 스폿 광 한 쌍을 2차원 평면상에서 볼 때 서로 대칭을 이루도록 투사하고, 이 스폿 광을 홍채 인식용 카메라에서 취득하여 실시간 이미지분석을 통해 사용자와 카메라 사이의 거리를 자동적으로 측정해 줄 수 있도록 한 홍채 인식 시스템의 거리 측정방법과 그 장치를 제안한다.In the iris recognition apparatus, a pair of spot lights for measuring a predetermined distance, which are not visible to a user, is projected to be symmetrical with each other when viewed on a two-dimensional plane, and the spot light is acquired by an iris recognition camera. We propose a distance measuring method and device for an iris recognition system that can automatically measure the distance between a user and a camera through real-time image analysis.
도1은 일반적인 홍채 인식 시스템의 구성을 나타낸 블록도1 is a block diagram showing the configuration of a general iris recognition system
도2는 홍채 인식 시스템의 초점 자동 조절장치의 구성을 나타낸 블록도Figure 2 is a block diagram showing the configuration of the automatic focus control device of the iris recognition system
도3은 본 발명에 따른 홍채 인식 시스템의 광학 유닛의 정면 구성을 개략적으로 나타낸 도면3 is a diagram schematically showing a front configuration of an optical unit of an iris recognition system according to the present invention;
도4는 본 발명에서 거리 측정을 위한 적외선 발광 다이오드(IR LED)의 배열의 다양한 예를 나타낸 도면4 is a view showing various examples of the arrangement of an infrared light emitting diode (IR LED) for distance measurement in the present invention;
도5는 본 발명에 따른 홍채 인식 시스템의 거리 측정장치의 실시예 구성을 나타낸 블럭도Figure 5 is a block diagram showing an embodiment configuration of a distance measuring device of the iris recognition system according to the present invention
도6은 본 발명에서 카메라와 사용자와의 거리를 측정하는 방법을 설명하기 위한 도면6 is a view for explaining a method for measuring the distance between the camera and the user in the present invention;
본 발명은 사용자와 홍채 인식용 카메라 사이의 거리를 측정하기 위하여 소정의 스폿 광을 사용자에게 투사하는 단계, 상기 투사된 소정 스폿 광이 포함된 사용자 영상을 홍채 인식용 카메라를 통해서 취득하는 단계, 상기 취득된 사용자 영상에서 상기 투사된 소정 스폿 광을 추출하고 그 스폿 광의 위치와 선명도 및 사이즈를 분석하여 사용자와의 거리를 측정하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 홍채 인식 시스템의 거리 측정방법이다.The present invention includes projecting a predetermined spot light to a user to measure a distance between a user and an iris recognition camera, acquiring a user image including the projected predetermined spot light through an iris recognition camera. Extracting the projected predetermined spot light from the acquired user image, and analyzing the position, sharpness, and size of the spot light to measure a distance from the user; Distance measurement method of the iris recognition system characterized in that comprises a.
본 발명은 홍채 인식을 위한 사용자 눈 영상을 취득하기 위한 홍채 인식용 카메라 수단과, 사용자와 홍채 인식용 카메라 사이의 거리를 측정하기 위하여 사용자에게 거리 감지용 스폿 광을 투사하기 위한 거리 감지 포인터 수단과, 상기 홍채 인식용 카메라 수단에 의해서 구해진 상기 거리 감지용 스폿 광이 투사된 사용자 영상을 이미지 분석하여 상기 스폿 광의 위치와 선명도 및 사이즈로부터 사용자와의 거리를 계산하는 거리 계산수단을 포함하여 이루어지는 것을 특징으로 하는 홍채 인식 시스템의 거리 측정장치이다.The present invention provides an iris recognition camera means for acquiring a user's eye image for iris recognition, a distance detection pointer means for projecting a distance-detecting spot light to a user to measure a distance between the user and the iris recognition camera; And distance calculating means for analyzing a user image projected by the distance detecting spot light obtained by the iris recognition camera means and calculating a distance to the user from the position, sharpness and size of the spot light. Distance measuring device of iris recognition system.
또한 본 발명에서 상기 스폿 광은 그 투사축이 서로 교차되고 대칭적인 위치 관계에 놓이는 것을 특징으로 한다.Further, in the present invention, the spot light is characterized in that the projection axes cross each other and are in a symmetrical positional relationship.
또한 본 발명에서 상기 거리 계산을 위하여 상기 스폿 광의 위치를 검출하는 수단, 스폿 광의 크기를 검출하는 수단, 스폿 광의 선명도를 검출하는 수단을 더포함하는 것을 특징으로 한다.In addition, the present invention further comprises means for detecting the position of the spot light, means for detecting the size of the spot light, means for detecting the sharpness of the spot light for the distance calculation.
상기한 특징에 따른 본 발명의 거리 측정 방법 및 그 장치에 의한 홍채 인식용 카메라와 사용자와의 거리 측정은 다음과 같이 이루어진다.The distance measurement method of the iris recognition camera and the user by the distance measuring method and apparatus of the present invention according to the above features is made as follows.
먼저, 도3은 본 발명이 적용되는 홍채 인식 시스템의 광학 유닛의 구조를 보여준다. 홍채 인식장치(300)는 홍채 인식용 카메라(301)와 거리 감지 포인터(302)(303)와 조명장치(304)를 구비한다. 홍채 인식용 카메라(301)는 사용자와 카메라 사이의 거리를 측정하기 위한 스폿 광을 취득하거나 사용자의 홍채 인식을 위하여 사용자의 눈영상을 취득하기 위한 것이다. 거리 감지 포인터(302)(303)는 한쌍이 구비되는데, 서로 대칭인 스폿 광을 사용자의 얼굴에 투사해 주기 위한 것이며, 예를 들면 사용자의 눈에는 보이지 않는 적외선 스폿(spot) 광을 투사하고 이를 위하여 적외선 발광 다이오드(IR LED)를 사용한다. 조명장치(304)는 홍채 인식을 위한 촬영에 필요한 조명을 제공한다.First, Figure 3 shows the structure of the optical unit of the iris recognition system to which the present invention is applied. The iris recognition device 300 includes an iris recognition camera 301, a distance detection pointer 302, 303, and an illumination device 304. The iris recognition camera 301 is for acquiring spot light for measuring the distance between the user and the camera or for acquiring an eye image of the user for iris recognition of the user. A pair of distance detecting pointers 302 and 303 are provided to project the symmetrical spot light onto the user's face, for example, to project infrared spot light that is invisible to the user's eyes and Infrared light emitting diode (IR LED) is used for this purpose. The lighting device 304 provides lighting necessary for photographing for iris recognition.
도4는 본 발명에서 상기 적외선 발광 다이오드의 배열 방법을 예시한 도면으로서, 홍채 인식장치(400)의 홍채 인식용 카메라(401)를 중심으로 적외선 발광 다이오드(402)(403)를 좌우로 서로 대칭인 위치에 설치하거나(도4의 a), 45도 방향으로 서로 대칭인 위치(도4의 b, c)에 설치하는 것을 보여주고 있다. 부호 404는 조명장치이다.FIG. 4 is a view illustrating an arrangement method of the infrared light emitting diodes according to the present invention, wherein the infrared light emitting diodes 402 and 403 are symmetrical to the left and right around the iris recognition camera 401 of the iris recognition apparatus 400. It is shown that it is installed in the in position (a of FIG. 4), or is installed in the position (b, c of FIG. 4) which is symmetrical with each other in the 45 degree direction. Reference numeral 404 denotes a lighting device.
도5는 본 발명에 따른 홍채 인식 시스템의 구성을 나타낸 블록도로서, 거리 측정과 홍채 인식을 위한 영상을 획득하기 위한 홍채 인식용 카메라(501)와, 상기 홍채 인식용 카메라(501)로 촬영된 영상(이미지)를 처리하기 위한 이미지처리부(502)와, 상기 처리된 이미지의 실시간 분석을 통해서 사용자와 카메라 사이의 거리를 측정하는 거리 측정부(503a) 및 상기 처리된 이미지로부터 홍채 인식을 수행하기 위한 홍채 인식부(503b)를 포함하는 제어부(504)와, 상기 제어부(504)에 연동되어 상기 홍채 인식용 카메라와 적외선 발광 다이오드 및 조명부를 구동시키기 위한 구동부(505)와, 상기 구동부(505)의 제어를 받아 거리 측정용 스폿 광을 투사하기 위한 한 쌍의 적외선 발광 다이오드(506,507)와, 상기 구동부(505)의 제어를 받아 구동되는 조명부(508)를 포함하여 이루어지고 있다.Figure 5 is a block diagram showing the configuration of the iris recognition system according to the present invention, an iris recognition camera 501 for obtaining an image for distance measurement and iris recognition and the iris recognition camera 501 An image processor 502 for processing an image, a distance measuring unit 503a for measuring a distance between a user and a camera through real-time analysis of the processed image, and performing iris recognition from the processed image A control unit 504 including an iris recognition unit 503b for driving, a driving unit 505 for driving the iris recognition camera, an infrared light emitting diode, and an illumination unit interlocked with the control unit 504, and the driving unit 505 And a pair of infrared light emitting diodes 506 and 507 for projecting the spot light for distance measurement under the control of the light source, and an illumination unit 508 driven under the control of the driving unit 505. Becoming.
홍채 인식용 카메라(501)는 통상 사용자의 얼굴 영상에서 홍채 이미지를 구하기 위한 영상을 촬영하게 되는데, 본 발명에서는 홍채 인식용 카메라(501)가 거리 측정용 이미지도 촬영하게 된다. 즉, 구동부(505)의 구동에 의해서 적외선 발광 다이오드(506,507)가 하나씩 차례로 동작하여 사용자 얼굴에 적외선 스폿 광을 투사하게 되고, 이 때 홍채 인식용 카메라(501)가 적외선 스폿 광이 투사된 사용자 얼굴 영상을 촬영하게 된다. 이 촬영된 얼굴 영상에는 거리 측정을 위하여 포인터(IR LED1, IR LED2)로부터 투사된 적외선 스폿 광이 포함되고 있다. 그러므로 이미지 처리부(502)에서 사용자의 얼굴에 투사된 적외선 스폿 광을 획득하고, 이 획득된 적외선 스폿 광의 얼굴 내에서의 위치와 그 크기, 위치의 변화나 선명도 등을 분석함으로써 거리 측정부(503a)가 홍채 인식용 카메라와 사용자 사이의 거리를 계산할 수 있게 된다.The iris recognition camera 501 usually captures an image for obtaining an iris image from a face image of the user. In the present invention, the iris recognition camera 501 also captures an image for distance measurement. That is, the infrared light emitting diodes 506 and 507 are operated one by one by the driving unit 505 to project infrared spot light onto the user's face. At this time, the iris recognition camera 501 projects the user's face where the infrared spot light is projected. The video will be taken. The photographed face image includes infrared spot light projected from the pointers IR LED1 and IR LED2 for distance measurement. Therefore, the image processor 502 acquires the infrared spot light projected on the user's face, and analyzes the position and the size of the acquired infrared spot light in the face, the change in the position, the sharpness, and the like. The distance between the iris recognition camera and the user can be calculated.
이렇게 해서 구해진 거리 측정 정보를 이용해서 홍채 인식용 카메라(501)는 홍채 인식을 위한 영상을 촬영하게 되며, 이후의 홍채 인식용 카메라(501)와 이미지 처리부(502) 및 홍채 인식부(503b), 조명부(508)에 의해서 이루어지는 사용자의 홍채 이미지 획득과 홍채의 인식, 그리고 인식된 홍채패턴 정보를 분석해서 DB를 기반으로 하는 인식 등의 과정은 기존의 도1 및 도2에서 설명한 수단 및 방법에 따를 수 있다.The iris recognition camera 501 photographs an image for iris recognition using the distance measurement information thus obtained, and the iris recognition camera 501, the image processing unit 502, the iris recognition unit 503b, The process of acquiring the iris image of the user, recognition of the iris, and recognition based on the DB by analyzing the recognized iris pattern information by the lighting unit 508 may be performed according to the methods and methods described with reference to FIGS. 1 and 2. Can be.
도6은 본 발명에 따른 거리 측정 방법을 예시적으로 보여준다. 도6에서 부호 600은 홍채 인식 시스템(광학계 전면부), 601은 홍채 인식용 카메라, 602 및 603은 거리 측정용 적외선 발광 다이오드, 604는 조명장치, 605는 촬영될(촬영되는) 이미지를 각각 나타낸다. 또한, 602a는 적외선 발광 다이오드(602)에 의해서 투사된 스폿 광이며, 603a는 적외선 발광 다이오드(603)에 의해서 투사된 스폿 광이며, 각각의 스폿 광이 각각의 적외선 발광 다이오드의 서로 대칭적인 위치 관계에 의해 촬영 이미지(605) 상에서 서로 대칭인 관계에 놓이게 된다. 이렇게 한 쌍의 적외선 발광 다이오드를 대칭으로 놓고 대칭인 스폿 광을 구하는 것은 투사된 광의 위치와 각도를 최대한 크게 해서 거리측정을 보다 용이하게 하고 또 안경 등에 의한 반사 효과를 제거하기 위한 방법이다.6 exemplarily shows a distance measuring method according to the present invention. In Fig. 6, reference numeral 600 denotes an iris recognition system (optical system front part), 601 denotes an iris recognition camera, 602 and 603 denote an infrared light emitting diode for distance measurement, 604 denotes an illumination device, and 605 denotes an image to be photographed (photographed). . Further, 602a is spot light projected by the infrared light emitting diode 602, 603a is spot light projected by the infrared light emitting diode 603, and each spot light is a symmetrical positional relationship of each infrared light emitting diode. By the symmetric relationship on the photographed image 605. In this way, obtaining a symmetrical spot light by placing a pair of infrared light emitting diodes symmetrically is a method for making distance measurement easier by maximizing the position and angle of the projected light and removing the reflection effect by glasses or the like.
사용자와의 거리 측정을 위하여 적외선 발광 다이오드(602,603)가 하나씩 차례로 동작하여 적외선 스폿 광(602a,603a)을 사용자에게 투사한다. 이 스폿 광(602a,603a)은 확률적으로 보아서 주로 사용자의 얼굴에 투사될 것이다.In order to measure the distance to the user, the infrared light emitting diodes 602 and 603 operate one by one to project the infrared spot light 602a and 603a to the user. These spot lights 602a, 603a will be projected probabilistically, mainly on the user's face.
적외선 발광 다이오드(602,603)로부터 스폿 광(602a,603a)의 출사가 이루어진 다음, 홍채 인식용 카메라(601)가 작동하여 사용자의 얼굴 이미지를 촬영하여 획득한다.After the emission of spot light 602a and 603a from the infrared light emitting diodes 602 and 603, the iris recognition camera 601 is operated to capture and acquire a face image of the user.
이 때 사용자의 얼굴에 투사된 적외선 스폿 광(602a,603a)도 함께 취득될 것이다. 그런데, 이 적외선 스폿 광(602a,603a)은 사용자와 홍채 인식용 카메라 사이의 거리(D)에 따라서 사용자의 얼굴 중에서 나타나는 위치와 크기가 변화되는 것은 물론 그 선명도 또한 달라지게 된다.At this time, the infrared spot light 602a, 603a projected on the user's face will also be acquired. However, the position and size of the infrared spot light 602a and 603a change in the user's face according to the distance D between the user and the camera for iris recognition, as well as the sharpness thereof.
즉, 카메라와 사용자 사이의 거리가 먼 경우와 가까운 경우에 스폿 광(602a,603a)의 크기와 선명도는 물론, 스폿 광이 사용자의 얼굴에 나타나는 위치가 달라진다. 그 크기와 선명도, 위치 등의 변화는 적외선 발광 다이오드(602,603)에 의해서 서로 교차하여 대칭으로 투사됨에 따라 보여지는 2개의 스폿 광의 변화로부터 더욱 정밀하게 판별될 수 있을 것이다.That is, when the distance between the camera and the user is close to the distance, the size and sharpness of the spot light 602a and 603a, as well as the position where the spot light appears on the user's face are changed. Changes in size, clarity, position, etc. may be more precisely determined from changes in the two spot lights shown as they are projected symmetrically across each other by the infrared light emitting diodes 602 and 603.
그러므로, 거리 측정부에서는 상기 특성을 분석함으로써 사용자와 홍채 인식용 카메라 사이의 거리(D)를 계산해 낼 수 있게 되고, 이렇게 계산된 거리 정보에 따라 사용자가 카메라의 초점이 맞는 영역인 홍채인식 영역에 들어 왔는가를 확인하여 그 영역내에 들어 왔으면 홍채 인식부를 구동함으로써 단초점 렌즈를 이용한 홍채 인식이 가능하게 된다.Therefore, the distance measuring unit can calculate the distance (D) between the user and the iris recognition camera by analyzing the characteristics, and according to the calculated distance information, the user can determine the iris recognition area that is the focus area of the camera. If it is checked whether it has been entered and entered the area, the iris recognition unit can be driven by driving the iris recognition unit.
또한, 상기 거리 측정을 위한 스폿 광은 적외선 영역에 둠으로써 사용자의 눈에는 이 스폿 광이 전혀 보이지 않게되고, 이러한 점은 사용상의 불편함이나 적외선 스폿 광이 자신의 얼굴 등에 투사될 때 나타날 수 있는 불안감 등을 배제할 수 있게 한다.In addition, since the spot light for measuring the distance is placed in the infrared region, the spot light is not visible to the user's eyes, and this may cause discomfort or may appear when the infrared spot light is projected onto his face or the like. Allows you to rule out anxiety.
또한, 측정된 거리 정보를 이용해서 사용자에게 적절한 거리에 있는지, 아니면 좀 더 카메라 쪽으로 가까이 접근해야 할 것인지, 또는 카메라로부터 좀 더 멀어지는 방향으로 이동해야 할 것인지 등을 지시 및 안내해 줄 수도 있다. 이렇게 하면 사용자가 홍채 인식을 위해서 가장 적절한 촬영 거리를 스스로 쉽게 맞춰줄 수 있게 된다.In addition, the measured distance information may be used to instruct and guide the user to whether the user is at an appropriate distance, to approach closer to the camera, or to move away from the camera. This makes it easy for the user to easily set the most suitable shooting distance for iris recognition.
본 발명은 홍채 인식 시스템에서 홍채 인식용 카메라로 촬영된 사용자 이미지를 분석하여 카메라와 사용자 사이의 거리를 측정할 수 있다.The present invention can measure the distance between the camera and the user by analyzing the user image taken by the iris recognition camera in the iris recognition system.
본 발명은 적외선 스폿 광을 사용자 얼굴에 투사하고 홍채 인식용 카메라로 촬영한 상기 스폿 광이 사용자의 얼굴에서 어떤 위치에 놓이며, 그 크기와 선명도는 어느 정도인가를 분석함으로써 사용자와 카메라 사이의 거리를 측정할 수 있다.The present invention projects the distance between the user and the camera by projecting an infrared spot light onto a user's face and analyzing the position of the spot light taken by the iris recognition camera on the user's face, and the magnitude and sharpness thereof. Can be measured.
본 발명은 별도의 거리 측정용 센서를 사용하지 않고, 저가의 간단한 적외선 포인터를 이용해서 사용자와 카메라 사이의 거리를 측정할 수 있다.The present invention can measure the distance between the user and the camera using a simple, low-cost infrared pointer without using a separate distance measuring sensor.
본 발명은 사용자와 카메라 사이의 거리를 홍채 인식용 카메라로 촬영된 이미지 실시간 분석을 통해서 측정할 수 있고, 이 거리 정보를 이용해서 홍채 인식을 위한 카메라 초점을 정확하게 자동조절하여 주거나 사용자에게 이동할 거리와 방향을 알려주는 정보로 활용할 수 있다.The present invention can measure the distance between the user and the camera through the real-time analysis of the image taken by the iris recognition camera, using the distance information to accurately adjust the camera focus for iris recognition or the distance to move to the user It can be used as information to give directions.
Claims (8)
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0025993A KR100434370B1 (en) | 2001-05-12 | 2001-05-12 | Focusing distance measurement in iris recognition system |
| US10/096,848 US7095901B2 (en) | 2001-03-15 | 2002-03-14 | Apparatus and method for adjusting focus position in iris recognition system |
| JP2002072653A JP2002352235A (en) | 2001-03-15 | 2002-03-15 | Apparatus and method for adjusting focus position in iris recognition system |
| DE60209050T DE60209050T2 (en) | 2001-03-15 | 2002-03-15 | Apparatus and method for adjusting the focus position in an iris recognition system |
| EP02005944A EP1241614B1 (en) | 2001-03-15 | 2002-03-15 | Apparatus and method for adjusting focus position in iris recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0025993A KR100434370B1 (en) | 2001-05-12 | 2001-05-12 | Focusing distance measurement in iris recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020086977A KR20020086977A (en) | 2002-11-21 |
| KR100434370B1 true KR100434370B1 (en) | 2004-06-04 |
Family
ID=27704686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0025993A Expired - Lifetime KR100434370B1 (en) | 2001-03-15 | 2001-05-12 | Focusing distance measurement in iris recognition system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100434370B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100924271B1 (en) * | 2002-05-20 | 2009-11-03 | 신성복 | Identification system and method using iris and recording medium storing computer program source for the method |
| KR101064621B1 (en) * | 2008-04-07 | 2011-09-15 | (주)아이리스아이디 | Iris recognition device and method |
| KR101438948B1 (en) | 2012-12-12 | 2014-09-11 | 현대자동차주식회사 | Apparatus and method for gaze tracking control |
| NO347923B1 (en) * | 2017-09-15 | 2024-05-13 | Elliptic Laboratories Asa | User Authentication Control |
| KR102171018B1 (en) | 2019-11-19 | 2020-10-28 | 주식회사 아이트 | Method and system for recognizing face and iris by securing capture volume space |
| WO2025018665A1 (en) * | 2023-07-17 | 2025-01-23 | 삼성전자 주식회사 | Wearable electronic device for adjusting luminance of light, operating method therefor, and recording medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10137220A (en) * | 1996-11-13 | 1998-05-26 | Oki Electric Ind Co Ltd | Individual identifying device |
| KR20000035840A (en) * | 1996-08-25 | 2000-06-26 | 센사르 인코포레이티드 | Apparatus for the iris acquiring images |
| JP2000259817A (en) * | 1999-03-08 | 2000-09-22 | Oki Electric Ind Co Ltd | Iris recognizer |
-
2001
- 2001-05-12 KR KR10-2001-0025993A patent/KR100434370B1/en not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000035840A (en) * | 1996-08-25 | 2000-06-26 | 센사르 인코포레이티드 | Apparatus for the iris acquiring images |
| JPH10137220A (en) * | 1996-11-13 | 1998-05-26 | Oki Electric Ind Co Ltd | Individual identifying device |
| JP2000259817A (en) * | 1999-03-08 | 2000-09-22 | Oki Electric Ind Co Ltd | Iris recognizer |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020086977A (en) | 2002-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7095901B2 (en) | Apparatus and method for adjusting focus position in iris recognition system | |
| KR100649303B1 (en) | Iris image butler device of both eyes | |
| US7271839B2 (en) | Display device of focal angle and focal distance in iris recognition system | |
| KR100854890B1 (en) | Iris Registration and Recognition Method Using Multiple Illumination of Iris Recognition System | |
| EP1341119A2 (en) | Iris recognition system | |
| KR20040084994A (en) | Authentication object image pick-up device and method thereof | |
| CN114945955B (en) | Iris image acquisition system for expanding iris recognition range | |
| KR100434370B1 (en) | Focusing distance measurement in iris recognition system | |
| KR100447403B1 (en) | Focusing angle and distance display in iris recognition system | |
| KR100443674B1 (en) | Distance measuring method and apparatus of iris recognition system | |
| KR20020038162A (en) | Iris recognition method for iris recognition system using both of the eyes | |
| KR100430268B1 (en) | Focusing angle display of iris recognition system | |
| KR100410972B1 (en) | Focusing distance display of iris recognition system | |
| KR100411344B1 (en) | Automatic focus adjustment method for iris recognition system | |
| KR20040006703A (en) | Iris recognition system | |
| KR100557037B1 (en) | Eye position indicator of iris recognition system | |
| KR100880466B1 (en) | Pupil Detection Using Red-eye in the Iris Recognition System | |
| KR100547333B1 (en) | How to display the distance of the iris system | |
| KR101032499B1 (en) | Iris Recognition System Using CCD Filter and Iris Recognition Method Using The Same | |
| KR100885576B1 (en) | Multifocal Device Using Slit of Iris Recognition System | |
| KR20050094222A (en) | Focus distance measuerment method for optical reflection in iris recognized system | |
| KR20050103562A (en) | Indicated device for iris recognized system | |
| KR100604022B1 (en) | Iris recognition system and iris recognition method using the same | |
| KR20040072822A (en) | Iris recognition system using of spherical cold mirror | |
| KR20030077127A (en) | Automatic focus adjustment method for using of several light for iris recognition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20010512 |
|
| PA0201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20020603 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20030627 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20040228 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20040524 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20040525 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20070418 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20080319 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20090331 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20100331 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20110221 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20120103 Start annual number: 9 End annual number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20130108 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20130108 Start annual number: 10 End annual number: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20131017 Year of fee payment: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20131017 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20150324 Start annual number: 12 End annual number: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20160404 Year of fee payment: 13 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160404 Start annual number: 13 End annual number: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20170327 Year of fee payment: 14 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170327 Start annual number: 14 End annual number: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20180406 Year of fee payment: 15 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180406 Start annual number: 15 End annual number: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20190402 Year of fee payment: 16 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190402 Start annual number: 16 End annual number: 16 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200326 Start annual number: 17 End annual number: 17 |
|
| PC1801 | Expiration of term |