[go: up one dir, main page]

WO2018105830A1 - 동공 중심 검출 방법 - Google Patents

동공 중심 검출 방법 Download PDF

Info

Publication number
WO2018105830A1
WO2018105830A1 PCT/KR2017/005843 KR2017005843W WO2018105830A1 WO 2018105830 A1 WO2018105830 A1 WO 2018105830A1 KR 2017005843 W KR2017005843 W KR 2017005843W WO 2018105830 A1 WO2018105830 A1 WO 2018105830A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
pixel
brightness value
value
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/005843
Other languages
English (en)
French (fr)
Inventor
김민호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3E Co Ltd
Original Assignee
3E Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3E Co Ltd filed Critical 3E Co Ltd
Publication of WO2018105830A1 publication Critical patent/WO2018105830A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to a pupil center detection method, and more particularly, to a method of detecting a pupil center by binarizing an image photographing an eye region of a user and using pixel information of the binarized image.
  • the process of finding the center of the pupil should be preceded before acquiring the iris data. This is because the iris data is acquired by collecting data belonging to a circle having a predetermined radius from the center point of the pupil.
  • the pupil is a circular hollow space located at the center of the iris, and means an organ that allows external light to reach the retina.
  • the method of searching for the pupil center is utilized.
  • the search time is long, and as a result, the time required to recognize the iris increases.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a pupil center detection method capable of accurately and quickly detecting a pupil center.
  • the method comprises: receiving an image photographing an eye region of a user, selecting pixels included in a central region of the image capturing the eye region, the center Calculating an average value of brightness values of a plurality of adjacent pixels among the pixels included in an area, and converting the plurality of adjacent pixels into one pixel having the average value as a brightness value, the brightness value of the converted pixels Comparing the preset threshold value to binarize the converted pixels to generate a binarized image, detecting a row including a pixel located at the top of pixels corresponding to a pupil in the binarized image, and the pupil Location information of a row including the pixel located at the top of the pixels corresponding to the Correcting the position of the central region so that the pupil is centered in the unknown.
  • the converting of the plurality of adjacent pixels into one pixel having the average value as the brightness value may include a rectangular area having a predetermined size among the pixels included in the center area. Selecting pixels, calculating average values of brightness values of the center pixel of the rectangular area, the pixel located at the outermost side in the up, down, left, and right directions of the rectangular area, and the pixel located at the outermost side in the diagonal direction of the rectangular area; And converting the pixels included in the rectangular area into one pixel having the average value as the brightness value.
  • the selecting of the pixels included in the rectangular area having a predetermined size among the pixels included in the center area may include selecting some of the pixels belonging to the first rectangular area to overlap each other. And selecting pixels included in the two rectangular areas.
  • generating a binarized image by binarizing the converted pixels by comparing the brightness value of the converted pixels with a preset threshold value, generating a histogram with the brightness values of the converted pixels.
  • the brightness value of the converted pixels is compared with the preset threshold value, and a pixel in which the brightness value of the converted pixels exceeds the predetermined threshold value is converted into a white pixel.
  • the method may further include converting a pixel whose brightness value is less than or equal to a preset threshold value into a black pixel.
  • the detecting of the row including the pixel located at the top of the pixels corresponding to the pupil in the binarized image may include zero brightness from the top row of the binarized image. Sequentially searching for a row including a pixel, if a row including a pixel having a brightness value of 0 is found, determining a brightness value of a pixel adjacent to a pixel having a brightness value of 0 in the row, and the brightness value If the brightness value of the pixel adjacent to this 0 is 0 and the row of pixels having a brightness value of 0 is included in a row of a predetermined number of rows from the row containing the pixel having the brightness value of 0, the brightness value is 0.
  • a row including an in pixel and having a brightness value of 0 and an adjacent pixel having a brightness value of 0 may also be determined as the top row among the rows including the pupil pixel.
  • the step of correcting the position of the central region so that the pupil is located in the center of the image of the eye region of the user, the size of the central region in the image of the eye region and Calculating an upper margin value, a lower margin value, a left margin value, and a right margin value with position information of the uppermost row including pixels corresponding to the pupil, and correcting the position of the central region with the margin values. can do.
  • a method of detecting a pupil center may include: receiving an image photographing an eye region of a user, selecting pixels included in a central region of the image capturing the eye region, and the central region Calculating an average value of brightness values of a plurality of adjacent pixels among pixels included in the, and converting the plurality of adjacent pixels into one pixel having the average value as a brightness value; Comparing the preset threshold values to binarize the converted pixels to generate a binarized image, detecting position information of a start point and an end point of the black pixel for each row including the black pixel in the binarized image, the start point And detecting the pixel located at the rightmost side and the pixel located at the leftmost side using the location information of the end point. And determining the center point of the pixel located at the leftmost side and the pixel located at the rightmost side as the center of the pupil.
  • the converting of the plurality of adjacent pixels into one pixel having the average value as the brightness value may include a rectangular area having a predetermined size among the pixels included in the center area. Selecting pixels, calculating average values of brightness values of the center pixel of the rectangular area, the pixel located at the outermost side in the up, down, left, and right directions of the rectangular area, and the pixel located at the outermost side in the diagonal direction of the rectangular area; And converting the pixels included in the rectangular area into one pixel having the average value as the brightness value.
  • the selecting of the pixels included in the rectangular area having a predetermined size among the pixels included in the center area may include selecting some of the pixels belonging to the first rectangular area to overlap each other.
  • the method may include selecting pixels included in two rectangular areas.
  • generating a binarized image by binarizing the converted pixels by comparing the brightness value of the converted pixels with a preset threshold value, generating a histogram with the brightness values of the converted pixels. Determining a brightness value m when h m -1 + h m + h m +1 is the maximum value in the histogram, and a brightness value when h n * (mn) 2 is the maximum value in the histogram determining n, determining a brightness value i when h i-1 + h i + h i + 1 has a maximum value between the m brightness value and the n brightness value and the brightness value i And setting a predetermined threshold value, wherein h m , h n , and h i are the number of pixels having a brightness value m, a brightness value n, and a brightness value i among the converted pixels.
  • the brightness value of the converted pixels is compared with the preset threshold value, and a pixel in which the brightness value of the converted pixels exceeds the predetermined threshold value is converted into a white pixel.
  • the method may further include converting a pixel whose brightness value is less than or equal to a preset threshold value into a black pixel.
  • the step of calculating the error rate is a step of calculating the error rate
  • X top is position information of the center pixel
  • X L is position information of the leftmost pixel
  • X R is position information of the rightmost pixel.
  • the method may further include determining that it is not.
  • m is location information of the row where the rightmost pixel is located
  • n is location information of the row where the leftmost pixel is located
  • X R is location information of the rightmost pixel
  • X L is location information of the leftmost pixel.
  • a method of detecting a pupil center may include: (a) receiving an image photographing an eye region of a user, and selecting pixels included in a central region of the image capturing the eye region; (C) calculating an average value of brightness values of a plurality of pixels adjacent to each other among the pixels included in the center region, and converting the plurality of pixels adjacent to each other into one pixel having the average value as a brightness value (D) generating a binarized image by binarizing the converted pixels by comparing brightness values of the converted pixels with a preset threshold value, and pixels positioned at the top of pixels corresponding to a pupil in the binarized image.
  • the effect that the pupil center can be detected accurately and quickly can be achieved.
  • 1 is a diagram for describing an image photographing an eye region of a user.
  • FIG. 2 is a diagram for describing a process of selecting pixels included in an area in which a pupil is estimated according to an embodiment of the present invention.
  • FIG. 3 is a diagram for describing a process of generating other pixels from pixels included in a central area, according to an exemplary embodiment.
  • FIG. 4 is a diagram for describing a process of converting pixels belonging to the central area 210 into other pixels according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram for describing a result of converting pixels belonging to a central area according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating a process of calculating a threshold using component values of a B matrix according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining a process for searching for the position of the pupil in the binarized image according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a process of correcting the position of the center area according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a process of generating a binarized image using pixel information included in a corrected center region.
  • FIG. 10 is a view for explaining a process of detecting the center of the pupil in the binarized image according to an embodiment of the present invention.
  • 11 is a view for explaining a process of verifying the center position of the pupil determined in accordance with an embodiment of the present invention.
  • FIG. 12 is a view for explaining a process of verifying the center position of the pupil determined in accordance with another embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a pupil center detection apparatus according to an exemplary embodiment of the present invention.
  • the pupil center detection method is largely divided into two steps.
  • the first step is to find the position of the pupil in the image of the eye area of the user, and the second step is to detect the center of the pupil.
  • the pupil center detection method detects a pupil only with respect to the center portion 10 of the image, on the premise that the pupil is at the center of the image of the eye region of the user, as shown in FIG. 1. Then, an algorithm for acquiring iris data is applied.
  • FIG. 2 is a diagram for describing a process of selecting pixels included in an area in which a pupil is estimated according to an embodiment of the present invention.
  • each step to be described below may be performed by an electronic device in which a program for performing the pupil center detection method is installed.
  • an image 200 photographing an eye area of a user is received. Thereafter, the pixels included in the central area 210 of the image 200 are selected. In the initial stage of receiving an image photographing the eye area of the user, it is not possible to know exactly where the user's pupil is located, so the pixels included in the central area where the user's pupil is estimated to be located are selected.
  • the location information of the pixels included in the central area 210 and the brightness value of each pixel may be represented by the following matrix.
  • location information of each component of the matrix is location information of each pixel, and a component value may mean a brightness value of each pixel.
  • a separate B matrix is generated by using the A matrix and separated from the A matrix.
  • FIG. 3 is a diagram for describing a process of generating other pixels from pixels included in a central area, according to an exemplary embodiment.
  • FIG. 3 illustrates an enlarged view of pixels included in the central area 210. Since the information of the pixels included in the central region 210 corresponds to the components of the matrix A described above, the information of each pixel may be represented by the components of the matrix A as shown in FIG. 3.
  • an average value of brightness values of a plurality of pixels adjacent to each other is calculated. Then, a plurality of adjacent pixels are converted into one pixel having an average value of brightness.
  • 25 pixels included in the shape of the rectangle may be converted into one pixel having a predetermined brightness value.
  • the brightness value of the converted pixel 310 may be an average brightness value of the selected 25 pixels.
  • only some pixels of the plurality of adjacent pixels may be selected to calculate average brightness values of the pixels.
  • An average brightness value of the pixels 321, 323, 326, and 328 present at is calculated.
  • the pixels selected in the shape of a rectangle may be converted into one pixel 310 having the brightness value as the average value calculated in the above process.
  • FIG. 4 is a diagram for describing a process of converting pixels belonging to the central area 210 into other pixels according to an exemplary embodiment of the present invention.
  • the pupil center detection method converts a plurality of adjacent pixels among pixels belonging to the central region 210 into one pixel, but the plurality of other pixels are overlapped so that some pixels among the plurality of pixels already selected are overlapped. After you select a pixel, you can convert that pixel to another pixel.
  • the pixels belonging to the second rectangular area 420 may be selected so that some pixels belonging to the first rectangular area 410 overlap with each other.
  • the pixels belonging to the second rectangular area 420 may be converted into one pixel.
  • the method of converting pixels belonging to the second rectangular area 420 into one pixel calculates an average value of brightness values of all or some of the pixels belonging to the second rectangular area 420 and calculates the average value. It converts to a pixel with brightness values.
  • the pixels of the third rectangular area 430 may be converted into one pixel.
  • an A matrix representing the information of the pixels included in the central region 210 may be generated and a separate B matrix separated from the A matrix may be generated.
  • FIG. 5 is a diagram for describing a result of converting pixels belonging to a central area according to an exemplary embodiment.
  • the converted image 510 as shown in FIG. 5 may be generated.
  • the position information of the pixels belonging to the central region 210 is converted to a position rotated 180 degrees.
  • the plurality of pixels belonging to the lower left side of the center area 210 are converted into one pixel located at the upper left side of the converted image 510, and the plurality of pixels belonging to the lower right side of the center area 210. These pixels are converted into one pixel located at the upper right of the converted image 510.
  • the plurality of pixels belonging to the upper right side of the center area 210 are converted into one pixel positioned at the lower right side of the converted image 510.
  • the position information of the pixels belonging to the converted image 510 and the brightness value of each pixel may be represented by the following matrix.
  • each pixel of the converted image 510 is generated by converting a plurality of pixels belonging to the center area 210 into one pixel, the number of pixels of the converted image 510 is the number of pixels belonging to the center area 210. Is less than
  • the number of rows m in the A matrix has a value larger than the number of rows i in the transformed B matrix, and the number of columns n in the A matrix has a value greater than the number of columns j in the transformed B matrix.
  • the number of pixels belonging to the center area 210 is 320x324, and the number of pixels belonging to the converted image 510 is 80x84.
  • n 160 + 4j.
  • Each component of the B matrix converted by applying the above-described formula has one brightness value among the brightness values of 0 to 255.
  • the pupil center detection method binarizes the transformed pixels by comparing components of the B matrix, that is, brightness values of the pixels of the transformed image 510 with a preset threshold.
  • binarization of pixels means that a pixel having a brightness value exceeding a preset threshold value is converted into a white pixel (a pixel having a brightness value of 255) according to the brightness value of the pixels, and the brightness value below the preset threshold value.
  • a pixel with is converted to a black pixel (a pixel whose brightness value is 0).
  • a predetermined threshold value should be calculated using the component values of the B matrix.
  • FIG. 6 is a diagram illustrating a process of calculating a threshold using component values of a B matrix according to an embodiment of the present invention.
  • a histogram of the components included in the B matrix is generated (S610). Specifically, the histogram means the number of components having respective brightness values from 0 to 255 among the components included in the B matrix.
  • h 0 means the number of components having a brightness value of 0
  • h 1 means the number of components having a brightness value of 1
  • h 2 means the number of components having a brightness value of 2.
  • a brightness value i that satisfies the following equation is calculated between m brightness value and n brightness value (S640).
  • the sum of three consecutive histograms between the m brightness value and the n brightness value calculates three brightness values, the maximum value of which is determined as i.
  • the i brightness value calculated through the above process is determined as a threshold value (S650).
  • the components whose component values exceed the i value are converted into white pixels, and the components whose component value is lower than the i value are binarized into black pixels.
  • the pixel corresponding to the pupil in the central region 210 is converted to black, and the pixel corresponding to the non-pupillary is converted to the white pixel.
  • the position of the pupil is searched in the binarized image.
  • FIG. 7 is a view for explaining a process for searching for the position of the pupil in the binarized image according to an embodiment of the present invention.
  • the step described in FIG. 7 is not intended to search the entire pixel corresponding to the pupil in the binarized image, but to find pixels located at the top of the pixels corresponding to the pupil.
  • each row is searched for a pixel having a zero brightness value, that is, a row including black pixels, in the order of 1 row, 2 rows, and 3 rows.
  • the brightness value of the pixel adjacent to the pixel having the zero brightness value is determined in the row. For example, if it is determined that the brightness values of the pixels located in the i row and the j column are 0, the brightness values of the pixels located in the i row and the j + 1 column are determined.
  • the row including the first pixel 720 is a pupil. It is determined that the row does not contain the corresponding pixel.
  • a next step is to determine whether pixels having a zero brightness value are adjacent to each other in a row separated by a predetermined number of rows.
  • a pixel having a brightness value of 0 exists in the xth row 750, and a brightness value of a pixel adjacent to the pixel is also 0, so that y is separated from the xth row 750 by a predetermined number of rows. It is determined whether or not pixels having a brightness value of 0 are adjacent to each other in the first row 760.
  • the x th row 750 is determined to be the top row including the pixels representing the pupils.
  • the z-th row 770 although the pixels having the zero brightness value are adjacent to each other, the z-th row is absent because there are no pixels having the zero brightness value in the row away from the z-th row 770 by a predetermined number. 770 determines that the pixel representing the pupil is not included.
  • the position of the pupil may be detected in the image 200 photographing the eye region of the user.
  • the position of the central region 210 may be corrected to position the pupil at the center.
  • FIG. 8 is a view for explaining a process of correcting the position of the center area according to an embodiment of the present invention.
  • the position of the central region 210 is corrected so that the pupil portion is located at the center.
  • the size of the central region 210 may also be corrected.
  • the upper margin value 820, the lower margin value 830, the left margin value 840, and the pupil are located at the center of the corrected center region 810 in the image 200 of the user's eye region.
  • the right margin value 850 is calculated.
  • the position of the pupil in the image 200 of the user's eye region is determined by detecting the top row including the pixel of the pupil, the position of the pupil and the size of the corrected central region 810 and the eye region of the user are captured. Using the size information of one image 200, it is possible to calculate the upper margin value 820, the lower margin value 830, the left margin value 840 and the right margin value 850.
  • the corrected center region 810 includes the entire pupil image of the user, and thus the center of the pupil can be detected.
  • the process of finding the center of the pupil using the information of the pixels included in the corrected center region 810 will be described.
  • FIG. 9 is a flowchart illustrating a process of generating a binarized image using pixel information included in a corrected center region.
  • a plurality of pixels included in the corrected center region 810 are converted to generate a converted image (S910).
  • the process of generating the converted image by converting the plurality of pixels into one pixel is the same as the process described with reference to FIGS. 2 to 5.
  • a process (S920) of calculating a threshold value to binarize the converted image is the same as the process described with reference to FIG. 6.
  • the process of generating the binarized image using the calculated threshold value (S930) is the same as the process described with reference to FIG. 6.
  • the center of the pupil is detected from the binarized image.
  • FIG. 10 is a view for explaining a process of detecting the center of the pupil in the binarized image according to an embodiment of the present invention.
  • the pixels included in the thick solid line correspond to the pupils.
  • the pupil detection method detects the position information of the start point and the end point of the black pixel for each row including the black pixel, and then generates the matrix X using the information.
  • the matrix X is a matrix including the position information of the start point and the end point of each row from the start row 1010 to the end row 1020 where the pixel corresponding to the pupil starts.
  • the matrix X becomes a matrix of t x 2.
  • the component values of the X matrix represent positional information of start and end points of each row.
  • x 11 represents position information of a pixel located at the leftmost of the black pixels included in one row
  • x 12 represents position information of a pixel located at the rightmost of the black pixels included in one row
  • x t1 indicates positional information of the leftmost pixel among the black pixels included in the t row
  • x t2 indicates positional information of the rightmost pixel among the black pixels included in the t row.
  • the position information of the pixel which is the most significant among the component values belonging to the first column and the position information of the pixel which belongs to the rightmost among the component values belonging to the second column can be detected.
  • the leftmost pixel is the fourth pixel 1030
  • the rightmost pixel is the fifth pixel 1040
  • the location information of 1040 can be known.
  • the pixels belonging to the bottom row may be selected as the leftmost or rightmost pixels.
  • the positional information of the fourth pixel 1030 is referred to as (X L , Y L ) and the positional information of the fifth pixel 1040 is referred to as (X R , Y R ), the positional information of the center of the pupil is expressed as follows. Can be determined by.
  • the center of the line connecting the leftmost pixel and the rightmost pixel is determined as the center of the pupil.
  • the center position of the pupil determined through the above-described process is an approximate value only, if it is determined that the difference between the center position of the pupil and the center position of the pupil determined through Equation 8 is outside the preset threshold, In this image, it is determined that the pupil center is not found, and the pupil center should be detected in another image photographing the user's eye region.
  • 11 is a view for explaining a process of verifying the center position of the pupil determined in accordance with an embodiment of the present invention.
  • the center line refers to a virtual line directed vertically downward from the center pixel 120 of the start row 1110.
  • the pupil center position determined by Equation 8 is different from the actual pupil center position. It can be judged that it is different.
  • the pupil center detection method calculates an error rate through the following equation, and may determine that the calculated position of the pupil center is not accurate when the calculated error rate exceeds a preset threshold. .
  • X top is position information of the center pixel 1120 of the start row 1110
  • X L is position information of the leftmost pixel 1130
  • X R is position information of the rightmost pixel 1140.
  • the greater the error rate the greater the difference in distance between the position of the leftmost pixel 1130 from the centerline and the rightmost pixel 1140 from the centerline. That is, it means that the black pixels are not symmetric with respect to the center line.
  • the black pixels representing the pupils are symmetrical with respect to the center of the pupil.
  • a large error rate means that the left and right sides of the pupil are not symmetrical with respect to the pupil center. If the position information of the rightmost pixel 1140 is calculated, the actual pupil center position and an error increase.
  • the pupil center detection method is to determine that the position of the detected pupil center is not correct when the error rate exceeds a preset threshold.
  • the pupil center position may be verified using a slope of a line connecting the leftmost pixel 1130 and the rightmost pixel 1140.
  • FIG. 12 is a view for explaining a process of verifying the center position of the pupil determined in accordance with another embodiment of the present invention.
  • the pupil center detection method calculates the slope of the line connecting the leftmost pixel 1230 and the rightmost pixel 1240 through the equation according to Equation 10, the slope is set If the threshold is exceeded, it can be determined that the pupil center is not accurate.
  • n location information of the row where the rightmost pixel 1240 is located
  • n location information of the row where the leftmost pixel 1230 is located
  • X R location information of the rightmost pixel 1240
  • X L leftmost Position information of the pixel 1230.
  • the pupil center detection method if it is determined that the pupil center is not correct in at least one of two verification methods by applying the verification methods described with reference to FIGS. 11 and 12, the pupil center in the corresponding image is determined.
  • the center of the pupil may be detected from another image photographing the user's eye region, as determined by the inability to find.
  • FIG. 13 is a block diagram illustrating a pupil center detection apparatus according to an exemplary embodiment of the present invention.
  • the pupil center detection apparatus 1300 illustrated in FIG. 13 includes a processor 1310, a storage 1320, a memory 1330, a NIC 1340, and a bus 1350.
  • the processor 1310 executes a program that can detect the pupil center.
  • a program that may be executed in the processor 1310 is not limited thereto, and other general-purpose programs may be executed.
  • a program for detecting a pupil center may include: receiving an image photographing an eye region of a user, selecting pixels included in a central region of the image capturing the eye region, Calculating an average value of brightness values of a plurality of pixels adjacent to each other among the pixels included in the central area, and converting the plurality of pixels adjacent to each other into one pixel having the average value as a brightness value, brightness of the converted pixels Comparing the value with a preset threshold to binarize the converted pixels to generate a binarized image, detecting a row including a pixel located at the top of pixels corresponding to a pupil in the binarized image; and Position information of the row including the pixel located at the top of the pupil corresponding to the pupil, and the eye area of the user It executes the step of correcting the location of the central region in the pupil younghan image to center.
  • the memory 1330 loads a program capable of detecting the pupil center so that the program can be executed in the processor 1310.
  • the computing device may be connected to the NIC 1340.
  • a pupil photographing apparatus including a photographing unit capable of capturing an eye region of a user and an illumination unit irradiating light to an eye region of the user may be connected.
  • the bus 1350 serves as a data movement path to which the processor 1310, the storage 1320, the memory 1330, and the NIC 1340 are connected.
  • the above-described method can be written as a program that can be executed in a computer, it can be implemented in a general-purpose digital computer to operate the program using a computer-readable recording medium.
  • the structure of the data used in the above-described method can be recorded on the computer-readable recording medium through various means.
  • the computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

동공 중심 검출 방법이 개시된다. 본 발명의 일 실시예에 따른 동공 중심 검출 방법은, 사용자의 눈 영역을 촬영한 이미지를 이진화한 후, 이진화된 이미지의 픽셀 정보를 이용하여 동공 중심을 검출하는 방법에 관한 것이다. 본 발명의 일 실시예에 따른 동공 중심 검출 방법에 따르면, 정확하고 신속하게 동공 중심을 검출할 수 있다는 효과를 달성할 수 있다.

Description

동공 중심 검출 방법
본 발명은 동공 중심 검출 방법에 관한 것으로, 보다 상세하게는 사용자의 눈 영역을 촬영한 이미지를 이진화한 후, 이진화된 이미지의 픽셀 정보를 이용하여 동공 중심을 검출하는 방법에 관한 것이다.
사용자의 홍채 이미지를 이용하여 사용자 인증 절차를 수행함에 있어, 홍채 데이터를 취득하기 이전에 동공의 중심을 찾는 과정이 선행되어야 한다. 홍채 데이터는 동공의 중심점으로부터 기 설정된 반지름을 갖는 원 안에 속해있는 데이터를 수집하는 방식으로 취득되기 때문이다.
여기에서 동공은 홍채의 중심에 위치한 원모양의 빈 공간으로서 외부의 빛이 망막에 도달할 수 있도록 하는 기관을 의미한다.
종래에는 홍채 이미지에서 동공 중심을 찾기 위해 경계 검출기(Circular Edge Detector)를 이용하여 홍채와 동공의 경계선을 검출한 후, 동공의 중심을 탐색하는 방법이 활용되었으나, 이러한 방식의 동공 중심 검출 방법은 정확도가 떨어질 뿐만 아니라 탐색 시간이 오래 걸려 결과적으로 홍채를 인식하는데 소요되는 시간이 늘어난다는 문제점이 있었다.
이에, 홍채 이미지를 이용하여 사용자 인증 절차를 수행함에 있어 동공 중심을 정확하고 신속하게 탐지할 수 있는 새로운 형태의 동공 중심 검출 방법에 대한 필요성이 대두되었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 정확하고 신속하게 동공 중심을 검출할 수 있는 동공 중심 검출 방법을 제공하는데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속한 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 일 실시예에 따른 동공 중심 검출 방법은, 사용자의 눈 영역을 촬영한 이미지를 수신하는 단계, 상기 눈 영역을 촬영한 이미지의 중앙 영역에 포함된 픽셀들을 선택하는 단계, 상기 중앙 영역에 포함된 픽셀들 중 상호 인접한 복수의 픽셀들의 밝기값들의 평균값을 산출하여, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계, 상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계, 상기 이진화된 이미지에서 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행을 검출하는 단계 및 상기 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행의 위치 정보로, 상기 사용자의 눈 영역을 촬영한 이미지에서 동공이 중앙에 위치하도록 상기 중앙 영역의 위치를 보정하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계는, 상기 중앙 영역에 포함된 픽셀들 중 기 설정된 크기의 사각 영역에 포함되는 픽셀들을 선택하는 단계, 상기 사각 영역의 중심 픽셀, 상기 사각 영역의 상하좌우 방향으로 최외곽에 위치하는 픽셀 및 상기 사각 영역의 대각선 방향으로 최외곽에 위치하는 픽셀들의 밝기값의 평균값을 산출하는 단계 및 상기 사각 영역에 포함된 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 상기 중앙 영역에 포함된 픽셀들 중 기 설정된 크기의 사각 영역에 포함되는 픽셀들을 선택하는 단계는, 제1 사각 영역에 속한 픽셀들 중 일부가 중복하여 선택되도록 제2 사각 영역에 포함되는 픽셀들을 선택하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계, 상기 변환된 픽셀들의 밝기값으로 히스토그램을 생성하는 단계;
상기 히스토그램에서 다음의 hm -1+hm+hm +1이 최대값일 때의 밝기값 m을 결정하는 단계, 상기 히스토그램에서 hn*(m-n)2이 최대값일 때의 밝기값 n을 결정하는 단계, 상기 m 밝기값과 상기 n 밝기값 사이에서 hi-1+hi+hi+1이 최대값을 가질 때의 밝기값 i를 결정하는 단계 및 상기 밝기값 i를 상기 기 설정된 임계값으로 설정하는 단계를 포함하되, 상기 hm, 상기 hn, 상기 hi는 상기 변환된 픽셀들 중 밝기값이 m, 밝기값이 n, 밝기값이 i인 픽셀들의 개수이다.
본 발명의 일 실시예에 따르면, 상기 변환된 픽셀들의 밝기값과 상기 기 설정된 임계값을 비교하여, 상기 변환된 픽셀들 중 밝기값이 상기 기 설정된 임계값을 초과하는 픽셀은 백색 픽셀로 변환하고, 상기 밝기값이 기 설정된 임계값 이하인 픽셀은 흑색 픽셀로 변환하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 이진화된 이미지에서 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행을 검출하는 단계는, 상기 이진화된 이미지의 최상단 행부터 아래방향으로 밝기값이 0인 픽셀이 포함된 행을 순차적으로 검색하는 단계, 밝기값이 0인 픽셀이 포함된 행이 검색되면, 그 행에서 밝기값이 0인 픽셀과 인접한 픽셀의 밝기값을 판단하는 단계, 상기 밝기값이 0인 픽셀과 인접한 픽셀의 밝기값이 0이고, 상기 밝기값이 0인 픽셀이 포함된 행으로부터 기 설정된 개수의 행만큼 떨어진 행에 밝기값이 0인 픽셀이 포함되어 있으면, 밝기값이 0인 픽셀을 포함하고 밝기값이 0인 픽셀과 인접한 픽셀의 밝기값도 0인 행을 동공의 픽셀이 포함된 행 중 최상단 행으로 결정할 수 있다.
본 발명의 일 실시예에 따르면, 상기 사용자의 눈 영역을 촬영한 이미지에서 동공이 중앙에 위치하도록 상기 중앙 영역의 위치를 보정하는 단계는, 상기 눈 영역을 촬영한 이미지에서 상기 중앙 영역의 크기 및 동공에 해당하는 픽셀이 포함된 최상단 행의 위치정보로 상측 마진값, 하측 마진값, 좌측 마진값 및 우측 마진값을 산출하는 단계, 상기 마진값들로 상기 중앙 영역의 위치를 보정하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 동공 중심 검출 방법은, 사용자의 눈 영역을 촬영한 이미지를 수신하는 단계, 상기 눈 영역을 촬영한 이미지의 중앙 영역에 포함된 픽셀들을 선택하는 단계, 상기 중앙 영역에 포함된 픽셀들 중 상호 인접한 복수의 픽셀들의 밝기값들의 평균값을 산출하여, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계, 상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계, 상기 이진화된 이미지에서 흑색 픽셀이 포함된 행 별로 흑색 픽셀의 시작점과 종료점의 위치 정보를 검출하는 단계, 상기 시작점 및 종료점의 위치 정보로 최우측에 위치하는 픽셀과 최좌측에 위치하는 픽셀을 검출하는 단계 및 상기 최좌측에 위치하는 픽셀과 상기 최우측에 위치하는 픽셀의 중심점을 동공의 중심으로 결정하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계는, 상기 중앙 영역에 포함된 픽셀들 중 기 설정된 크기의 사각 영역에 포함되는 픽셀들을 선택하는 단계, 상기 사각 영역의 중심 픽셀, 상기 사각 영역의 상하좌우 방향으로 최외곽에 위치하는 픽셀 및 상기 사각 영역의 대각선 방향으로 최외곽에 위치하는 픽셀들의 밝기값의 평균값을 산출하는 단계 및 상기 사각 영역에 포함된 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 중앙 영역에 포함된 픽셀들 중 기 설정된 크기의 사각 영역에 포함되는 픽셀들을 선택하는 단계는, 제1 사각 영역에 속한 픽셀들 중 일부가 중복하여 선택되도록 제2 사각 영역에 포함되는 픽셀들을 선택하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계, 상기 변환된 픽셀들의 밝기값으로 히스토그램을 생성하는 단계, 상기 히스토그램에서 다음의 hm -1+hm+hm +1이 최대값일 때의 밝기값 m을 결정하는 단계, 상기 히스토그램에서 hn*(m-n)2이 최대값일 때의 밝기값 n을 결정하는 단계, 상기 m 밝기값과 상기 n 밝기값 사이에서 hi-1+hi+hi+1이 최대값을 가질 때의 밝기값 i를 결정하는 단계 및 상기 밝기값 i를 상기 기 설정된 임계값으로 설정하는 단계를 포함하되, 상기 hm, 상기 hn, 상기 hi는 상기 변환된 픽셀들 중 밝기값이 m, 밝기값이 n, 밝기값이 i인 픽셀들의 개수이다.
본 발명의 일 실시예에 따르면, 상기 변환된 픽셀들의 밝기값과 상기 기 설정된 임계값을 비교하여, 상기 변환된 픽셀들 중 밝기값이 상기 기 설정된 임계값을 초과하는 픽셀은 백색 픽셀로 변환하고, 상기 밝기값이 기 설정된 임계값 이하인 픽셀은 흑색 픽셀로 변환하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 동공에 해당하는 픽셀을 포함하는 시작행의 중심 픽셀로부터 수직하방을 향하는 가상의 선을 생성하는 단계, 상기 최좌측 픽셀로부터 상기 가상의 선까지의 최단 거리 및 상기 최우측 픽셀로부터 상기 가상의 선까지의 최단 거리로 상기 결정된 동공 중심 위치의 오차율을 계산하는 단계 및 상기 오차율이 기 설정된 임계값을 초과하면, 상기 결정된 동공의 중심이 실제 동공의 중심이 아닌 것으로 판단하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 오차율을 계산하는 단계는,
Figure PCTKR2017005843-appb-I000001
의 수식을 이용하여 계산하는 단계를 포함할 수 있다. 여기에서, Xtop은 상기 의 중심 픽셀의 위치 정보, XL은 최좌측 픽셀의 위치 정보, XR은 최우측 픽셀의 위치 정보이다.
본 발명의 일 실시예에 따르면, 상기 최좌측 픽셀과 상기 최우측 픽셀을 연결하는 직선의 기울기를 산출하는 단계, 상기 기울기가 기 설정된 임계값을 초과하면, 상기 결정된 동공의 중심이 실제 동공의 중심이 아닌 것으로 판단하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 기울기를 산출하는 단계는,
Figure PCTKR2017005843-appb-I000002
의 수식을 이용하여 산출하는 단계를 포함할 수 있다.
여기에서, m은 최우측 픽셀이 위치한 행의 위치 정보, n은 최좌측 픽셀이 위치한 행의 위치 정보, XR은 최우측 픽셀의 위치 정보, XL은 최좌측 픽셀의 위치 정보이다.
본 발명의 또 다른 실시예에 다른 동공 중심 검출 방법은, 사용자의 눈 영역을 촬영한 이미지를 수신하는 (a) 단계, 상기 눈 영역을 촬영한 이미지의 중앙 영역에 포함된 픽셀들을 선택하는 (b) 단계, 상기 중앙 영역에 포함된 픽셀들 중 상호 인접한 복수의 픽셀들의 밝기값들의 평균값을 산출하여, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 (c) 단계, 상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 (d) 단계, 상기 이진화된 이미지에서 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행을 검출하는 (e) 단계, 상기 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행의 위치 정보로, 상기 사용자의 눈 영역을 촬영한 이미지에서 동공이 중앙에 위치하도록 상기 중앙 영역의 위치를 보정하는 (f) 단계, 보정된 중앙 영역에 포함된 픽셀들을 선택하는 (g) 단계, 상기 보정된 중앙 영역에 포함된 픽셀들에 대해 상기 (c) 단계 및 상기 (d) 단계를 반복하는 (h) 단계, 상기 이진화된 이미지에서 흑색 픽셀이 포함된 행 별로 흑색 픽셀의 시작점과 종료점의 위치 정보를 검출하는 (i) 단계, 상기 시작점 및 종료점의 위치 정보로 최우측에 위치하는 픽셀과 최좌측에 위치하는 픽셀을 검출하는 (j) 단계 및 상기 최좌측에 위치하는 픽셀과 상기 최우측에 위치하는 픽셀의 중심점을 동공의 중심으로 결정하는 (k) 단계를 포함한다.
상술한 동공 중심 검출 방법에 따르면, 정확하고 신속하게 동공 중심을 검출할 수 있다는 효과를 달성할 수 있다.
도 1은 사용자의 눈 영역을 촬영한 이미지를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 동공이 있을 것으로 추정되는 영역에 포함된 픽셀들을 선택하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따라 중앙 영역에 포함된 픽셀들로 다른 픽셀들을 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 중앙 영역(210)에 속한 픽셀들을 다른 픽셀로 변환하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 중앙 영역에 속한 픽셀들을 변환한 결과를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 B 행렬의 성분값들을 이용하여 임계값을 산출하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 이진화된 이미지에서 동공의 위치를 검색하기 위한 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 중심 영역의 위치를 보정하는 과정을 설명하기 위한 도면이다.
도 9는 보정된 중심 영역에 포함된 픽셀 정보를 이용하여 이진화된 이미지를 생성하는 과정을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따라 이진화된 이미지에서 동공의 중심을 검출하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따라 결정된 동공의 중심 위치를 검증하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 또 다른 실시예에 따라 결정된 동공의 중심 위치를 검증하는 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 동공 중심 검출 장치를 설명하기 위한 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 발명의 일 실시예에 따른 동공 중심 검출 방법은 크게 두 가지 단계로 나누어 진다. 첫번째 단계는, 사용자의 눈 영역을 촬영한 이미지에서 동공의 위치를 찾는 과정이고, 두번째 단계는 동공의 중심을 검출하는 단계이다.
본 발명의 일 실시예에 따른 동공 중심 검출 방법은 도 1에 도시된 바와 같이 동공이 사용자의 눈 영역을 촬영한 이미지 중심에 있음을 전제로 하여, 이미지의 중앙 부분(10)에 대해서만 동공을 검출하고 홍채 데이터를 취득하는 알고리즘을 적용하게 된다.
그러나, 도 1에 도시된 바와 같이 사용자의 눈 영역을 촬영한 이미지에서 동공 및 홍채에 이미지 중심에 위치하지 않는 경우, 온전한 데이터를 취득할 수 없게 되므로 이미지에서 동공의 위치를 찾는 전처리 과정을 거치는 것이다.
이하에서는, 동공 중심 검출 방법을 상술한 두가지 단계로 나누어 설명하도록 한다.
눈 영역을 촬영한 이미지에서 동공의 위치를 검출하는 단계
도 2는 본 발명의 일 실시예에 따라 동공이 있을 것으로 추정되는 영역에 포함된 픽셀들을 선택하는 과정을 설명하기 위한 도면이다.
이하에서는 설명의 편의를 위하여 각 단계를 수행하는 주체를 생략하도록 한다. 다만, 이하에서 설명할 각 단계는 동공 중심 검출 방법을 수행하는 프로그램이 설치된 전자 장치에 의해 수행될 수 있다.
먼저, 사용자의 눈 영역을 촬영한 이미지(200)를 수신한다. 이후, 이미지(200)의 중앙 영역(210)에 포함된 픽셀들을 선택한다. 사용자의 눈 영역을 촬영한 이미지를 수신한 초기 단계에서는 어느 부분에 사용자의 동공의 위치하는지 정확하게 알 수 없으므로 사용자의 동공이 위치할 것으로 추정되는 중앙 영역에 포함된 픽셀들을 선택하는 것이다.
중앙 영역(210)에 포함된 픽셀들의 위치 정보 및 각 픽셀들의 밝기값은 다음과 같은 행렬로 표현될 수 있다.
Figure PCTKR2017005843-appb-M000001
중앙 영역(210)에 m개의 행과 n개의 열로 이루어진 픽셀들이 존재하는 경우 행렬의 각 성분의 위치정보가 각 픽셀의 위치정보이며 성분의 값은 각 픽셀의 밝기값을 의미할 수 있다.
상술한 바와 같이, 중앙 영역(210)에 포함된 픽셀들의 정보를 A 행렬로 표현한 후 A 행렬을 이용하여 A 행렬과 구분되는 별도의 B 행렬을 생성한다.
이하에서는, A 행렬을 이용하여 B 행렬을 생성하는 과정을 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따라 중앙 영역에 포함된 픽셀들로 다른 픽셀들을 생성하는 과정을 설명하기 위한 도면이다.
도 3에는 중앙 영역(210)에 포함된 픽셀들이 확대된 모습이 도시되어 있다. 중앙 영역(210)에 포함된 픽셀들의 정보는 상술한 A 행렬의 성분들에 대응되므로, 각 픽셀들의 정보는 도 3에 도시된 바와 같이 A 행렬의 성분들로 표시될 수 있다.
B 행렬을 생성하기 위해 먼저, 상호 인접한 복수의 픽셀들의 밝기값들의 평균값을 산출한다. 그리고, 상호 인접한 복수의 픽셀들을 그 평균값을 밝기값으로 갖는 하나의 픽셀로 변환된다.
예를 들어, 상호 인접한 복수의 픽셀들이 도 3에 도시된 바와 같이 사각형의 형상으로 선택된다면 사각형의 형상에 포함된 25개의 픽셀들이 소정의 밝기값을 갖는 하나의 픽셀로 변환될 수 있다. 이때, 변환된 픽셀(310)의 밝기값은 선택된 25개 픽셀들의 평균 밝기값일 수 있다.
이때, 연산량을 최소화하고 컴퓨팅 리소스를 효율적으로 사용하기 위해 상호 인접한 복수의 픽셀들 중 일부의 픽셀들만을 선택하여 그 픽셀들의 평균적인 밝기값을 산출할 수 있다.
예를 들어, 사각형의 형상으로 선택된 픽셀 중 중심 픽셀(320)과 중심 픽셀(320)을 기준으로 상하좌우 방향으로 최외곽에 존재하는 픽셀(322, 324, 325, 327)과 대각선 방향으로 최외곽에 존재하는 픽셀(321, 323, 326, 328)들의 평균 밝기값을 산출한다.
그리고, 사각형 형상으로 선택된 픽셀들을 상기 과정에서 산출된 평균값을 밝기값으로 갖는 하나의 픽셀(310)로 변환할 수 있다.
중앙 영역(210)에 속한 다른 픽셀들에 대해서도 도 3에서 설명한 동일한 과정을 적용한다.
도 4는 본 발명의 일 실시예에 따라 중앙 영역(210)에 속한 픽셀들을 다른 픽셀로 변환하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 동공 중심 검출 방법은 중앙 영역(210)에 속한 픽셀 중 상호 인접한 복수의 픽셀들을 하나의 픽셀로 변환하되, 이미 선택된 복수의 픽셀들 중 일부 픽셀이 중복되도록 다른 복수의 픽셀을 선택한 후 그 픽셀을 또 다른 하나의 픽셀로 변환할 수 있다.
예를 들어, 최초로 선택한 복수의 픽셀들이 제1 사각 영역(410)에 속한 픽셀들이라면 제1 사각 영역(410)에 속한 일부 픽셀들이 중복하여 선택되도록 제2 사각 영역(420)에 속한 픽셀들을 선택한 후, 제2 사각 영역(420)에 속한 픽셀들을 하나의 픽셀로 변환할 수 있다.
제2 사각 영역(420)에 속한 픽셀들을 하나의 픽셀로 변환하는 방법은 도 3에서 설명한 바와 같이 제2 사각 영역(420)에 속한 픽셀 전부 또는 일부의 밝기값의 평균값을 산출하고, 그 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 것이다.
마찬가지로, 제1 사각 영역(410)에 속한 일부 픽셀들이 중복하여 선택되도록 제3 사각 영역(430)을 선택한 후, 제3 사각 영역(430)에 속한 픽셀들을 하나의 픽셀로 변환할 수 있다.
상술한 방법을 통해 중앙 영역(210)에 속한 픽셀들을 다른 픽셀로 변환하면, 중앙 영역(210)에 포함된 픽셀의 정보를 표현하는 A 행렬로 A 행렬과 구분되는 별도의 B 행렬을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따라 중앙 영역에 속한 픽셀들을 변환한 결과를 설명하기 위한 도면이다.
도 3 및 4에서 설명한 과정을 중앙 영역(210)에 속한 픽셀들에 적용하면 도 5에 도시된 바와 같은 변환 이미지(510)를 생성할 수 있다. 이때, 중앙 영역(210)에 속한 픽셀들의 위치 정보는 180도 회전된 위치로 변환된다.
예를 들어, 중앙 영역(210)의 좌측 하단에 속한 복수의 픽셀들은 변환된 이미지(510)의 좌측 상단에 위치하는 하나의 픽셀로 변환되고, 중앙 영역(210)의 우측 하단에 속한 복수의 픽셀들은 변환 이미지(510)의 우측 상단에 위치하는 하나의 픽셀로 변환된다.
마찬가지로, 중앙 영역(210)의 우측 상단에 속한 복수의 픽셀들은 변환 이미지(510)의 우측 하단에 위치하는 하나의 픽셀로 변환된다.
이때, 변환된 이미지(510)에 속한 픽셀들의 위치 정보 및 각 픽셀들의 밝기값은 다음과 같은 행렬로 표현될 수 있다.
Figure PCTKR2017005843-appb-M000002
변환된 이미지(510)의 각 픽셀들은 중앙 영역(210)에 속한 복수개의 픽셀들을 하나의 픽셀로 변환하여 생성한 것이므로, 변환된 이미지(510)의 픽셀 개수는 중앙 영역(210)에 속한 픽셀 개수보다 작다.
즉, A 행렬에서 행 수 m은 변환된 B 행렬에서의 행 수 i보다 큰 값을 갖고, A 행렬에서 열 수 n은 변환된 B 행렬에서의 열 수 j보다 큰 값을 갖는다.
상술한 도 3 내지 도 5의 과정을 적용하여 중앙 영역(210)에 속한 픽셀들을 변환된 이미지(510)의 픽셀로 변환하는 과정을 수식으로 나타내면 다음과 같다.
본 실시예에서는 중앙 영역(210)에 속한 픽셀들의 수가 320x324개이고, 변환된 이미지(510)에 속한 픽셀들의 수가 80x84개인 것을 예로 들어 설명한다.
Figure PCTKR2017005843-appb-M000003
여기에서, m=430-4i, n=160+4j이다.
상술한 수식을 적용하여 변환한 B 행렬의 각 성분들은 0 내지 255의 밝기값 중 하나의 밝기값을 갖는다.
본 발명의 일 실시예에 따른 동공 중심 검출 방법은 B 행렬의 성분, 즉 변환된 이미지(510)의 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 변환된 픽셀들을 이진화한다.
여기에서, 픽셀들을 이진화한다는 의미는 픽셀들의 밝기값에 따라 기 설정된 임계값을 초과하는 밝기값을 갖는 픽셀은 백색 픽셀(밝기값이 255인 픽셀)로 변환하고, 기 설정된 임계값 이하의 밝기값을 갖는 픽셀은 흑색 픽셀(밝기값이 0이 픽셀)로 변환한다는 것이다.
이를 위해 먼저, B 행렬의 성분값들을 이용하여 기 설정된 임계값을 산출해야 한다.
도 6은 본 발명의 일 실시예에 따라 B 행렬의 성분값들을 이용하여 임계값을 산출하는 과정을 설명하기 위한 도면이다.
임계값을 산출하기 위해 먼저 B 행렬에 포함된 성분들의 히스토그램을 생성한다(S610). 구체적으로, 히스토그램은 B 행렬에 포함된 성분들 중 0 에서 255까지 각 밝기값을 갖는 성분들의 수를 의미한다.
예를 들어, h0은 0의 밝기값을 갖는 성분들의 수, h1은 1의 밝기값을 갖는 성분들의 수, h2는 2의 밝기값을 갖는 성분들의 수를 의미한다. 상술한 방법을 통해 0에서 255까지 각 밝기값을 갖는 성분들의 수를 구하여 히스토그램을 생성한다.
이후, 연속된 3개의 히스토그램 값의 합이 최대일 때의 중간 밝기값을 검색한다(S620). 이를 수식으로 나타내면,
Figure PCTKR2017005843-appb-M000004
이다. 즉, hmax,1이 최대값일 때의 m값을 검색하는 것이다.
다음으로, 다음과 같은 수식으로 산출된 hmax,2가 최대값을 가질 때의 밝기값 n을 산출한다(S630).
Figure PCTKR2017005843-appb-M000005
m 밝기값과 n 밝기값이 산출되면, m 밝기값과 n 밝기값 사이에서 다음과 같은 수식을 만족하는 밝기값 i를 산출한다(S640).
Figure PCTKR2017005843-appb-M000006
즉, m 밝기값과 n 밝기값 사이에서 연속되는 3개의 히스토그램의 합이 최대값인 3개의 밝기값을 산출하고 그 중간값을 i로 결정하는 것이다.
상술한 과정을 거쳐 산출된 i 밝기값이 임계값으로 결정된다(S650).
즉, 행렬 B에 포함된 성분들 중, 그 성분값이 i값을 초과하는 성분들은 백색 픽셀로 변환되고 성분값이 i값 이하인 성분들은 흑색 픽셀로 이진화된다.
예상대로라면 이진화가 완료된 후, 중앙 영역(210)에서 동공에 해당하는 픽셀은 흑색으로, 동공이 아닌 곳에 해당하는 픽섹은 백색의 픽셀로 변환된다.
이후, 이진화된 이미지에서 동공의 위치를 검색한다.
도 7은 본 발명의 일 실시예에 따라 이진화된 이미지에서 동공의 위치를 검색하기 위한 과정을 설명하기 위한 도면이다.
도 7에서 설명할 단계는 이진화된 이미지에서 동공에 해당되는 픽셀 전체를 검색하는 것을 목적으로 하는 것이 아니고, 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀들을 찾는 것을 목적으로 한다.
이를 위해, 이진화된 이미지(710)의 최상단 행부터 아래방향으로 밝기값이 0인 픽셀이 포함된 행을 순차적으로 검색한다. 예를 들어, 1행, 2행, 3행 순서대로 각 행에 밝기값이 0인 픽셀, 즉 흑색의 픽셀이 포함된 행을 검색한다.
밝기값이 0인 픽셀이 포함된 행이 검색되면, 그 행에서 밝기값이 0인 픽셀과 인접한 픽셀의 밝기값을 판단한다. 예를 들어, i행, j열에 위치한 픽셀의 밝기값이 0인것으로 판단되면 i행, j+1열에 위치한 픽셀의 밝기값을 판단한다.
인접한 픽셀의 밝기값이 0이 아닌 경우 그 픽셀이 포함된 행은 동공에 해당되는 픽셀이 아닌 것으로 판단한다. 도 7에서 제1 픽셀(720)이 포함된 행의 경우 제1 픽셀(720)의 밝기값이 0이긴 하나 인접한 픽셀의 밝기값이 0이 아니므로 제1 픽셀(720)이 포함된 행은 동공에 해당되는 픽셀을 포함하지 않는 행이라고 판단하는 것이다.
서로 인접한 픽셀들의 밝기값이 0인 행이 검색되면, 다음단계로 그 행으로부터 기 설정된 개수의 행만큼 떨어진 행에 밝기값이 0인 픽셀이 상호 인접하여 존재하는지 여부를 판단한다.
예를 들어, 도 7에서 x번째 행(750)에 밝기값이 0인 픽셀이 존재하고, 그 픽셀에 인접한 픽셀의 밝기값도 0이므로 x번째 행(750)으로부터 기 설정된 개수의 행만큼 떨어진 y번째 행(760)에 밝기값이 0인 픽셀이 상호 인접하는지 여부를 판단하는 것이다.
y번째 행(760)에도 밝기값이 0인 픽셀이 상호 인접하여 존재하므로, 이 경우 x번째 행(750)을 동공을 나타내는 픽셀이 포함된 최상단 행이라고 판단하는 것이다.
반면, z번째 행(770)의 경우 밝기값이 0인 픽셀들이 상호 인접해 있긴하나 z번째 행(770)으로부터 기 설정된 개수만큼 떨어진 행에 밝기값이 0인 픽셀들이 존재하지 않으므로, z번째 행(770)은 동공을 나타내는 픽셀이 포함되어 있지 않은 것으로 판단하는 것이다.
상술한 과정을 통해 이진화된 이미지(710)에서 동공의 픽셀이 포함된 행 중 최상단 행을 검출할 수 있게 된다.
이진화된 이미지(710)에서 동공의 픽셀이 포함된 최상된 행을 검출하면 역으로 사용자의 눈 영역을 촬영한 이미지(200)에서 동공의 위치를 검출할 수 있게 된다.
사용자의 눈 영역을 촬영한 이미지(200)에서 동공의 위치를 알 수 있으면, 동공이 중앙에 위치하도록 중앙 영역(210)의 위치를 보정할 수 있다.
도 8은 본 발명의 일 실시예에 따라 중심 영역의 위치를 보정하는 과정을 설명하기 위한 도면이다.
중앙 영역(210)에서 동공의 최상단 부분을 검출하면, 동공 부분이 중심에 위치하도록 중앙 영역(210)의 위치를 보정한다. 추가적으로, 중앙 영역(210)의 크기도 보정할 수 있다.
구체적으로, 사용자의 눈 영역을 촬영한 이미지(200)에서 보정된 중앙 영역(810)의 중앙에 동공이 위치하도록 상측 마진값(820), 하측 마진값(830), 좌측 마진값(840) 및 우측 마진값(850)을 산출한다.
사용자의 눈 영역을 촬영한 이미지(200)에서 동공의 위치는 동공의 픽셀이 포함된 최상단 행을 검출함으로써 결정되었으므로, 동공의 위치 및 보정된 중앙 영역(810)의 크기와 사용자의 눈 영역을 촬영한 이미지(200)의 크기 정보를 이용하면, 상측 마진값(820), 하측 마진값(830), 좌측 마진값(840) 및 우측 마진값(850)을 산출할 수 있게 되는 것이다.
보정된 중앙 영역(810)에는 사용자의 동공 이미지 전체가 포함되는바, 이제 동공의 중심을 검출할 수 있게 되는 것이다. 이하에서는, 보정된 중앙 영역(810)에 포함된 픽셀들의 정보를 이용하여 동공의 중심을 찾는 과정을 설명하도록 한다.
동공의 중심을 검출하는 단계
도 9는 보정된 중심 영역에 포함된 픽셀 정보를 이용하여 이진화된 이미지를 생성하는 과정을 설명하기 위한 흐름도이다.
보정된 중앙 영역(810)에 포함된 픽셀 정보를 이용하여 이진화된 이미지를 생성하는 과정은 상술한 도 2 내지 도 6에서 설명한 과정과 동일하므로, 중복되는 설명은 생략하고 그 과정을 요약하여 간단히 기술하도록 한다.
먼저, 보정된 중앙 영역(810)에 포함된 복수의 픽셀을 변환하여 변환된 이미지를 생성한다(S910). 복수의 픽셀들을 하나의 픽셀로 변환하여 변환된 이미지를 생성하는 과정은 도 2 내지 도 5에서 설명한 과정과 동일하다.
다음으로 변환된 이미지를 이진화하기 위해 임계값을 산출하는 과정(S920)도 도 6에서 설명한 과정과 동일하다. 마찬가지로, 산출된 임계값을 이용하여 이진화된 이미지를 생성하는 과정(S930)도 도 6에서 설명한 과정과 동일하다.
상술한 과정을 통해 보정된 중앙 영역(810)에 포함된 픽셀 정보들로부터 이진화된 이미지가 생성되면, 이진화된 이미지로부터 동공의 중심을 검출한다.
도 10은 본 발명의 일 실시예에 따라 이진화된 이미지에서 동공의 중심을 검출하는 과정을 설명하기 위한 도면이다.
도 10에 도시된 도면에서 굵은 실선의 내부에 포함된 픽셀들은 동공에 해당도는 부분이다. 본 발명의 일 실시예에 따른 동공 검출 방법은 흑색 픽셀이 포함된 행별로 흑색 픽셀의 시작점과 종료점의 위치 정보를 검출한 후, 그 정보를 이용하여 행렬 X를 생성한다.
즉, 행렬 X는 동공이 해당되는 픽셀이 시작되는 시작행(1010)부터 종료행(1020)까지 각 행의 시작점과 종료점의 위치 정보를 성분으로 하는 행렬이 된다.
이때, 시작행부터 종료행까지 행의 개수가 t개라면 행렬 X는 t x 2의 행렬이 된다.
이를 수식으로 나타내면 다음과 같다.
Figure PCTKR2017005843-appb-M000007
상술한 바와 같이, X 행렬의 성분값은 각 행의 시작점 및 종료점들의 위치 정보를 나타낸다.
예를 들어, x11은 1행에 포함된 흑색 픽셀 중 가장 좌측에 위치한 픽셀의 위치 정보를 나타내고, x12는 1행에 포함된 흑색 픽셀 중 가장 우측에 위치한 픽셀의 위치 정보를 나타낸다. 마찬가지로, xt1은 t행에 포함된 흑색 픽셀 중 가장 좌측에 위치한 픽셀의 위치 정보를 나타내고 xt2는 t행에 포함된 흑색 픽셀 중 가장 우측에 위치한 픽셀의 위치 정보를 나타낸다.
따라서, 상술한 X 행렬의 성분값들을 상호 비교하면 1열에 속한 성분값 중 가장 촤즉에 있는 픽셀의 위치 정보와 2열에 속한 성분값 중 가장 우측에 속한 픽셀의 위치 정보를 검출할 수 있다.
도 10에 도시된 도면에서 가장 좌측에 있는 픽셀은 제4 픽셀(1030)이고, 가장 우측에 있는 픽셀은 제5 픽셀(1040)이므로, 상술한 과정을 거치면 제4 픽셀(1030)과 제5 픽셀(1040)의 위치 정보를 알 수 있게 된다.
한편, 가장 좌측에 복수개의 픽셀이 위치한 경우 또는 가장 우측에 복수개의 픽셀이 존재하는 경우 가장 아래쪽의 행에 속한 픽셀을 최좌측 또는 최우측의 픽셀로 선정할 수 있다.
제4 픽셀(1030)의 위치 정보를 (XL, YL)라고 하고 제5 픽셀(1040)의 위치 정보를 (XR, YR)이라고 하면, 동공의 중심의 위치 정보는 다음과 같은 수식에 의해 결정될 수 있다.
Figure PCTKR2017005843-appb-M000008
즉, 최좌측 픽셀과 최우측 픽셀을 연결한 선의 중심을 동공의 중심으로 결정하는 것이다.
그러나, 상술한 과정을 통해 결정한 동공의 중심 위치는 어디까지나 근사적인 값이므로, 수학식 8을 통해 결정한 동공의 중심 위치가 실제 동공의 중심 위치와의 차이가 기 설정된 임계값을 벗어난다고 판단되면, 해당 이미지에서는 동공의 중심을 찾지 못하는 것이라고 판단하고 사용자 눈 영역을 촬영한 다른 이미지에서 동공 중심을 검출해야 할 것이다.
도 11은 본 발명의 일 실시예에 따라 결정된 동공의 중심 위치를 검증하는 과정을 설명하기 위한 도면이다.
도 10에서 설명한 과정을 통해 검출된 최좌측의 픽셀 및 최우측의 픽셀이 중심선을 기준으로 동일한 거리만큼 떨어져 있다면, 수학식 8로 결정한 동공의 중심 위치가 실제 동공의 중심 위치와 근접하다고 판단할 수 있다. 여기에서 중심선은 시작행(1110)의 중심 픽셀(120)에서 수직하방을 향하는 가상의 선을 의미한다.
그러나, 도 11에 도시된 바와 같이 최좌측 픽셀(1130)과 최우측 픽셀(1140)이 중심선으로부터 서로 다른 거리만큼 떨어져 있는 경우, 수학식 8로 결정된 동공의 중심 위치가 실제의 동공의 중심 위치와 상이하다고 판단할 수 있다.
이를 위해 본 발명의 일 실시예에 따른 동공 중심 검출 방법은 다음과 같은 수식을 통해 오차율을 계산하고 계산된 오차율이 기 설정된 임계값을 초과하면 산출된 동공 중심의 위치가 정확하지 않다고 판단할 수 있다.
Figure PCTKR2017005843-appb-M000009
여기에서 Xtop은 시작행(1110)의 중심 픽셀(1120)의 위치 정보이고, XL은 최좌측 픽셀(1130)의 위치 정보이며, XR은 최우측 픽셀(1140)의 위치 정보이다.
상술한 오차율이 클수록 중심선으로부터의 최좌측 픽셀(1130)의 위치와 중심선으로부터 최우측 픽셀(1140)의 거리 차이가 큰 것을 의미한다. 즉, 중심선을 기준으로 흑색 픽셀들이 대칭이 아닌 것을 의미한다.
통상적으로 동공을 나타내는 흑색의 픽셀들은 동공 중심을 기준으로 좌우측이 대칭인 형태를 나타내게 되는데, 오차율이 크다는 것은 동공 중심을 기준으로 좌우측이 대칭이 아닌 것을 의미하는바 그러한 상태에서 최좌측 픽셀(1130)과 최우측 픽셀(1140)의 위치 정보를 산출하게 되면 실제 동공 중심 위치와 오차가 커지게 된다.
따라서, 본 발명의 일 실시예에 따른 동공 중심 검출 방법은 오차율이 기 설정된 임계값을 초과하면 검출된 동공 중심의 위치가 정확하지 않다고 판단하는 것이다.
상술한 방법 이외에 최좌측 픽셀(1130)과 최우측 픽셀(1140)을 연결한 선의 기울기를 이용하여 동공 중심 위치를 검증할 수도 있다.
도 12는 본 발명의 또 다른 실시예에 따라 결정된 동공의 중심 위치를 검증하는 과정을 설명하기 위한 도면이다.
도 10에서 설명한 과정을 통해 검출된 최좌측의 픽셀 및 최우측의 픽셀이 하나의 행에 위치하는 경우 수학식 8로 결정한 동공의 중심 위치가 실제 동공의 중심 위치와 근접하다고 판단할 수 있다.
그러나, 도 12에 도시된 바와 같이 최좌측의 픽셀이 위치하는 행과 최우측의 픽셀이 위치하는 행이 원거리에 위치하는 경우 수학식 8을 통해 결정된 동공의 중심 위치가 실제 동공의 위치와 많이 다를 수 있다.
이를 위해, 본 발명의 일 실시예에 따른 동공 중심 검출 방법은 수학식 10에 따른 수식을 통해 최좌측 픽셀(1230)과 최우측 필셀(1240)을 연결한 선의 기울기를 산출하고, 기울기가 기 설정된 임계값을 초과하면 동공 중심이 정확하지 않은 것으로 판단할 수 있다.
Figure PCTKR2017005843-appb-M000010
여기에서 m은 최우측 픽셀(1240)이 위치한 행의 위치 정보, n은 최좌측 픽셀(1230)이 위치한 행의 위치 정보, XR은 최우측 픽셀(1240)의 위치 정보, XL은 최좌측 픽셀(1230)의 위치 정보이다.
최좌측 픽셀(1230)이 위치한 행과 최우측 픽셀(1240)이 위치한 행이 멀리 떨어져 있을수록 최좌측 픽셀(1230)과 최우측 픽셀(1240)의 위치 정보를 이용하여 결정한 동공 중심 위치가 정확하지 않게 되므로, 기울기가 기 설정된 임계값을 초과하면 동공 중심 위치가 정확하지 않다고 판단하는 것이다.
본 발명의 일 실시예에 따른 동공 중심 검출 방법은 도 11 및 도 12에서 설명한 검증 방법을 적용하여 두가지 검증 방법 중 적어도 하나의 검증 과정에서 동공 중심이 정확하지 않다고 판단되면, 해당 이미지에서는 동공의 중심을 찾지 못하는 것이라고 판단하고 사용자 눈 영역을 촬영한 다른 이미지에서 동공 중심을 검출할 수 있다.
따라서, 보다 정확한 동공 중심을 검출할 수 있게 된다는 효과를 달성할 수 있다.
도 13은 본 발명의 일 실시예에 따른 동공 중심 검출 장치를 설명하기 위한 블록도이다.
도 13에 도시된 동공 중심 검출 장치(1300)는 프로세서(1310), 스토리지(1320), 메모리(1330), NIC(1340) 및 버스(1350)를 포함한다.
프로세서(1310)는 동공 중심을 검출할 수 있는 프로그램을 실행한다. 그러나, 프로세서(1310)에서 실행될 수 있는 프로그램은 이에 한정되지 않으며 다른 범용적인 프로그램이 실행될 수도 있다.
스토리지(1320)에는 동공 중심을 검출할 수 있는 프로그램이 저장된다. 본 발명의 일 실시예에 따라 동공 중심을 검출할 수 있는 프로그램은 사용자의 눈 영역을 촬영한 이미지를 수신하는 단계, 상기 눈 영역을 촬영한 이미지의 중앙 영역에 포함된 픽셀들을 선택하는 단계, 상기 중앙 영역에 포함된 픽셀들 중 상호 인접한 복수의 픽셀들의 밝기값들의 평균값을 산출하여, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계, 상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계, 상기 이진화된 이미지에서 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행을 검출하는 단계 및 상기 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행의 위치 정보로, 상기 사용자의 눈 영역을 촬영한 이미지에서 동공이 중앙에 위치하도록 상기 중앙 영역의 위치를 보정하는 단계를 실행한다.
메모리(1330)는 동공 중심을 검출할 수 있는 프로그램을 로딩하여, 그 프로그램이 프로세서(1310)에서 실행될 수 있도록 한다.
NIC(1340)에는 컴퓨팅 장치가 연결될 수 있다. 예를 들어, 사용자의 눈 영역을 촬영할 수 있는 촬영부 및 사용자의 눈 영역에 빛을 조사하는 조명부가 포함된 동공 촬영 장치가 연결될 수 있다.
버스(1350)는 상술한 프로세서(1310), 스토리지(1320), 메모리(1330), NIC(1340)가 연결되는 데이터 이동 통로로서의 역할을 수행한다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

  1. 사용자의 눈 영역을 촬영한 이미지를 수신하는 단계;
    상기 눈 영역을 촬영한 이미지의 중앙 영역에 포함된 픽셀들을 선택하는 단계;
    상기 중앙 영역에 포함된 픽셀들 중 상호 인접한 복수의 픽셀들의 밝기값들의 평균값을 산출하여, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계;
    상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계;
    상기 이진화된 이미지에서 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행을 검출하는 단계; 및
    상기 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행의 위치 정보로, 상기 사용자의 눈 영역을 촬영한 이미지에서 동공이 중앙에 위치하도록 상기 중앙 영역의 위치를 보정하는 단계를 포함하는 동공 중심 검출 방법.
  2. 제1항에 있어서,
    상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계는,
    상기 중앙 영역에 포함된 픽셀들 중 기 설정된 크기의 사각 영역에 포함되는 픽셀들을 선택하는 단계;
    상기 사각 영역의 중심 픽셀, 상기 사각 영역의 상하좌우 방향으로 최외곽에 위치하는 픽셀 및 상기 사각 영역의 대각선 방향으로 최외곽에 위치하는 픽셀들의 밝기값의 평균값을 산출하는 단계; 및
    상기 사각 영역에 포함된 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계를 포함하는 동공 중심 검출 방법.
  3. 제2항에 있어서,
    상기 중앙 영역에 포함된 픽셀들 중 기 설정된 크기의 사각 영역에 포함되는 픽셀들을 선택하는 단계는,
    제1 사각 영역에 속한 픽셀들 중 일부가 중복하여 선택되도록 제2 사각 영역에 포함되는 픽셀들을 선택하는 단계를 포함하는 동공 중심 검출 방법.
  4. 제1항에 있어서,
    상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계;
    상기 변환된 픽셀들의 밝기값으로 히스토그램을 생성하는 단계;
    상기 히스토그램에서 다음의 hm -1+hm+hm +1이 최대값일 때의 밝기값 m을 결정하는 단계;
    상기 히스토그램에서 hn*(m-n)2이 최대값일 때의 밝기값 n을 결정하는 단계;
    상기 m 밝기값과 상기 n 밝기값 사이에서 hi-1+hi+hi+1이 최대값을 가질 때의 밝기값 i를 결정하는 단계; 및
    상기 밝기값 i를 상기 기 설정된 임계값으로 설정하는 단계를 포함하되,
    상기 hm, 상기 hn, 상기 hi는 상기 변환된 픽셀들 중 밝기값이 m, 밝기값이 n, 밝기값이 i인 픽셀들의 개수인 동공 중심 검출 방법.
  5. 제4항에 있어서,
    상기 변환된 픽셀들의 밝기값과 상기 기 설정된 임계값을 비교하여, 상기 변환된 픽셀들 중 밝기값이 상기 기 설정된 임계값을 초과하는 픽셀은 백색 픽셀로 변환하고, 상기 밝기값이 기 설정된 임계값 이하인 픽셀은 흑색 픽셀로 변환하는 단계를 더 포함하는 동공 중심 검출 방법.
  6. 제1항에 있어서,
    상기 이진화된 이미지에서 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행을 검출하는 단계는,
    상기 이진화된 이미지의 최상단 행부터 아래방향으로 밝기값이 0인 픽셀이 포함된 행을 순차적으로 검색하는 단계;
    밝기값이 0인 픽셀이 포함된 행이 검색되면, 그 행에서 밝기값이 0인 픽셀과 인접한 픽셀의 밝기값을 판단하는 단계;
    상기 밝기값이 0인 픽셀과 인접한 픽셀의 밝기값이 0이고, 상기 밝기값이 0인 픽셀이 포함된 행으로부터 기 설정된 개수의 행만큼 떨어진 행에 밝기값이 0인 픽셀이 포함되어 있으면, 밝기값이 0인 픽셀을 포함하고 밝기값이 0인 픽셀과 인접한 픽셀의 밝기값도 0인 행을 동공의 픽셀이 포함된 행 중 최상단 행으로 결정하는 단계를 포함하는 동공 중심 검출 방법.
  7. 제1항에 있어서,
    상기 사용자의 눈 영역을 촬영한 이미지에서 동공이 중앙에 위치하도록 상기 중앙 영역의 위치를 보정하는 단계는,
    상기 눈 영역을 촬영한 이미지에서 상기 중앙 영역의 크기 및 동공에 해당하는 픽셀이 포함된 최상단 행의 위치정보로 상측 마진값, 하측 마진값, 좌측 마진값 및 우측 마진값을 산출하는 단계;
    상기 마진값들로 상기 중앙 영역의 위치를 보정하는 단계를 포함하는 동공 중심 검출 방법.
  8. 사용자의 눈 영역을 촬영한 이미지를 수신하는 단계;
    상기 눈 영역을 촬영한 이미지의 중앙 영역에 포함된 픽셀들을 선택하는 단계;
    상기 중앙 영역에 포함된 픽셀들 중 상호 인접한 복수의 픽셀들의 밝기값들의 평균값을 산출하여, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계;
    상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계;
    상기 이진화된 이미지에서 흑색 픽셀이 포함된 행 별로 흑색 픽셀의 시작점과 종료점의 위치 정보를 검출하는 단계;
    상기 시작점 및 종료점의 위치 정보로 최우측에 위치하는 픽셀과 최좌측에 위치하는 픽셀을 검출하는 단계; 및
    상기 최좌측에 위치하는 픽셀과 상기 최우측에 위치하는 픽셀의 중심점을 동공의 중심으로 결정하는 단계를 포함하는 동공 중심 검출 방법.
  9. 제8항에 있어서,
    상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계는,
    상기 중앙 영역에 포함된 픽셀들 중 기 설정된 크기의 사각 영역에 포함되는 픽셀들을 선택하는 단계;
    상기 사각 영역의 중심 픽셀, 상기 사각 영역의 상하좌우 방향으로 최외곽에 위치하는 픽셀 및 상기 사각 영역의 대각선 방향으로 최외곽에 위치하는 픽셀들의 밝기값의 평균값을 산출하는 단계; 및
    상기 사각 영역에 포함된 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 단계를 포함하는 동공 중심 검출 방법.
  10. 제9항에 있어서,
    상기 중앙 영역에 포함된 픽셀들 중 기 설정된 크기의 사각 영역에 포함되는 픽셀들을 선택하는 단계는,
    제1 사각 영역에 속한 픽셀들 중 일부가 중복하여 선택되도록 제2 사각 영역에 포함되는 픽셀들을 선택하는 단계를 포함하는 동공 중심 검출 방법.
  11. 제8항에 있어서,
    상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 단계;
    상기 변환된 픽셀들의 밝기값으로 히스토그램을 생성하는 단계;
    상기 히스토그램에서 다음의 hm -1+hm+hm +1이 최대값일 때의 밝기값 m을 결정하는 단계;
    상기 히스토그램에서 hn*(m-n)2이 최대값일 때의 밝기값 n을 결정하는 단계;
    상기 m 밝기값과 상기 n 밝기값 사이에서 hi-1+hi+hi+1이 최대값을 가질 때의 밝기값 i를 결정하는 단계; 및
    상기 밝기값 i를 상기 기 설정된 임계값으로 설정하는 단계를 포함하되,
    상기 hm, 상기 hn, 상기 hi는 상기 변환된 픽셀들 중 밝기값이 m, 밝기값이 n, 밝기값이 i인 픽셀들의 개수인 동공 중심 검출 방법.
  12. 제11항에 있어서,
    상기 변환된 픽셀들의 밝기값과 상기 기 설정된 임계값을 비교하여, 상기 변환된 픽셀들 중 밝기값이 상기 기 설정된 임계값을 초과하는 픽셀은 백색 픽셀로 변환하고, 상기 밝기값이 기 설정된 임계값 이하인 픽셀은 흑색 픽셀로 변환하는 단계를 더 포함하는 동공 중심 검출 방법.
  13. 제8항에 있어서,
    동공에 해당하는 픽셀을 포함하는 시작행의 중심 픽셀로부터 수직하방을 향하는 가상의 선을 생성하는 단계;
    상기 최좌측 픽셀로부터 상기 가상의 선까지의 최단 거리 및 상기 최우측 픽셀로부터 상기 가상의 선까지의 최단 거리로 상기 결정된 동공 중심 위치의 오차율을 계산하는 단계; 및
    상기 오차율이 기 설정된 임계값을 초과하면, 상기 결정된 동공의 중심이 실제 동공의 중심이 아닌 것으로 판단하는 단계를 더 포함하는 동공 중심 검출 방법.
  14. 제13항에 있어서,
    상기 오차율을 계산하는 단계는,
    Figure PCTKR2017005843-appb-I000003
    의 수식을 이용하여 계산하는 단계를 포함하는 동공 중심 검출 방법.
    여기에서, Xtop은 상기 의 중심 픽셀의 위치 정보, XL은 최좌측 픽셀의 위치 정보, XR은 최우측 픽셀의 위치 정보이다.
  15. 제8항에 있어서,
    상기 최좌측 픽셀과 상기 최우측 픽셀을 연결하는 직선의 기울기를 산출하는 단계;
    상기 기울기가 기 설정된 임계값을 초과하면, 상기 결정된 동공의 중심이 실제 동공의 중심이 아닌 것으로 판단하는 단계를 더 포함하는 동공 중심 검출 방법.
  16. 제15항에 있어서,
    상기 기울기를 산출하는 단계는,
    Figure PCTKR2017005843-appb-I000004
    의 수식을 이용하여 산출하는 단계를 포함하는 동공 중심 검출 방법.
    여기에서, m은 최우측 픽셀이 위치한 행의 위치 정보, n은 최좌측 픽셀이 위치한 행의 위치 정보, XR은 최우측 픽셀의 위치 정보, XL은 최좌측 픽셀의 위치 정보이다.
  17. 사용자의 눈 영역을 촬영한 이미지를 수신하는 (a) 단계;
    상기 눈 영역을 촬영한 이미지의 중앙 영역에 포함된 픽셀들을 선택하는 (b) 단계;
    상기 중앙 영역에 포함된 픽셀들 중 상호 인접한 복수의 픽셀들의 밝기값들의 평균값을 산출하여, 상기 상호 인접한 복수의 픽셀들을 상기 평균값을 밝기값으로 갖는 하나의 픽셀로 변환하는 (c) 단계;
    상기 변환된 픽셀들의 밝기값과 기 설정된 임계값을 비교하여 상기 변환된 픽셀들을 이진화하여 이진화된 이미지를 생성하는 (d) 단계;
    상기 이진화된 이미지에서 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행을 검출하는 (e) 단계;
    상기 동공에 해당되는 픽셀 중 최상단에 위치하는 픽셀이 포함된 행의 위치 정보로, 상기 사용자의 눈 영역을 촬영한 이미지에서 동공이 중앙에 위치하도록 상기 중앙 영역의 위치를 보정하는 (f) 단계;
    보정된 중앙 영역에 포함된 픽셀들을 선택하는 (g) 단계;
    상기 보정된 중앙 영역에 포함된 픽셀들에 대해 상기 (c) 단계 및 상기 (d) 단계를 반복하는 (h) 단계;
    상기 이진화된 이미지에서 흑색 픽셀이 포함된 행 별로 흑색 픽셀의 시작점과 종료점의 위치 정보를 검출하는 (i) 단계;
    상기 시작점 및 종료점의 위치 정보로 최우측에 위치하는 픽셀과 최좌측에 위치하는 픽셀을 검출하는 (j) 단계; 및
    상기 최좌측에 위치하는 픽셀과 상기 최우측에 위치하는 픽셀의 중심점을 동공의 중심으로 결정하는 (k) 단계를 포함하는 동공 중심 검출 방법.
PCT/KR2017/005843 2016-12-07 2017-06-05 동공 중심 검출 방법 Ceased WO2018105830A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0166127 2016-12-07
KR1020160166127A KR101866867B1 (ko) 2016-12-07 2016-12-07 동공 중심 검출 방법

Publications (1)

Publication Number Publication Date
WO2018105830A1 true WO2018105830A1 (ko) 2018-06-14

Family

ID=62240138

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/005843 Ceased WO2018105830A1 (ko) 2016-12-07 2017-06-05 동공 중심 검출 방법

Country Status (3)

Country Link
US (1) US10383515B2 (ko)
KR (1) KR101866867B1 (ko)
WO (1) WO2018105830A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680056B (zh) * 2017-09-27 2020-03-10 深圳市华星光电半导体显示技术有限公司 一种图像处理方法及装置
CN109993115B (zh) * 2019-03-29 2021-09-10 京东方科技集团股份有限公司 图像处理方法、装置及可穿戴设备
JPWO2021153148A1 (ko) * 2020-01-30 2021-08-05
KR102777663B1 (ko) * 2021-12-20 2025-03-06 네이버 주식회사 얼굴 인식 시스템 및 얼굴 인식 시스템을 위한 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020071330A (ko) * 2001-03-06 2002-09-12 에버미디어 주식회사 회전영상의 보정에 의한 비접촉식 홍채인식방법
KR100950138B1 (ko) * 2009-08-17 2010-03-30 퍼스텍주식회사 얼굴 이미지에서의 눈동자 검출 방법
KR101164769B1 (ko) * 2011-12-13 2012-07-12 한국 한의학 연구원 눈 특징점 검출장치 및 방법
KR20150027393A (ko) * 2013-09-02 2015-03-12 가천대학교 산학협력단 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법
KR20150070802A (ko) * 2013-12-17 2015-06-25 현대자동차주식회사 동공 검출 장치 및 동공 검출 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100826876B1 (ko) * 2006-09-18 2008-05-06 한국전자통신연구원 홍채 검출 방법 및 이를 위한 장치
JP4912374B2 (ja) * 2008-09-10 2012-04-11 富士フイルム株式会社 顔イラスト画生成方法及び顔イラスト画生成装置
JP6497162B2 (ja) * 2015-03-26 2019-04-10 オムロン株式会社 画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020071330A (ko) * 2001-03-06 2002-09-12 에버미디어 주식회사 회전영상의 보정에 의한 비접촉식 홍채인식방법
KR100950138B1 (ko) * 2009-08-17 2010-03-30 퍼스텍주식회사 얼굴 이미지에서의 눈동자 검출 방법
KR101164769B1 (ko) * 2011-12-13 2012-07-12 한국 한의학 연구원 눈 특징점 검출장치 및 방법
KR20150027393A (ko) * 2013-09-02 2015-03-12 가천대학교 산학협력단 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법
KR20150070802A (ko) * 2013-12-17 2015-06-25 현대자동차주식회사 동공 검출 장치 및 동공 검출 방법

Also Published As

Publication number Publication date
US10383515B2 (en) 2019-08-20
KR101866867B1 (ko) 2018-06-14
US20180153397A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
WO2018105830A1 (ko) 동공 중심 검출 방법
WO2018201638A1 (zh) 基于图像识别的信息采集方法、移动终端及存储介质
WO2014051362A1 (ko) 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2018223857A1 (zh) 文本行识别方法及系统
WO2015016619A1 (en) Electronic apparatus, method of controlling the same, and image reproducing apparatus and method
WO2018117353A1 (ko) 홍채와 공막의 경계선 검출 방법
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
WO2017008224A1 (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2014193041A1 (ko) 제조 설비의 센서 데이터를 활용한 수율 분석 시스템 및 방법
WO2015099251A1 (ko) 웨이퍼의 형상 분석 방법 및 장치
WO2021101069A1 (ko) 기계 학습 모델을 이용한 반도체 소자 테스트 장치 및 방법
WO2021091022A1 (ko) 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
WO2022240029A1 (ko) 반려동물 식별 시스템 및 그 방법
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
EP3649460A1 (en) Apparatus for optimizing inspection of exterior of target object and method thereof
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2021145713A1 (ko) 가상 모델 생성 장치 및 방법
WO2022080844A1 (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
WO2019135524A1 (ko) 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법
WO2023022537A1 (ko) Ai 기반 차량 디스크 불량 검출 시스템
WO2015199354A1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
WO2013085278A1 (ko) 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법
WO2013042889A1 (ko) 의료영상에서의 세그멘테이션 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17879140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 04/10/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17879140

Country of ref document: EP

Kind code of ref document: A1