KR102434703B1

KR102434703B1 - 생체 이미지 처리 방법 및 이를 포함한 장치

Info

Publication number: KR102434703B1
Application number: KR1020170103212A
Authority: KR
Inventors: 황효석; 허진구; 이병규
Original assignee: 삼성전자주식회사
Priority date: 2017-08-14
Filing date: 2017-08-14
Publication date: 2022-08-22
Anticipated expiration: 2037-08-14
Also published as: KR20190018349A; CN109388926B; EP3447683B1; US20190050659A1; CN109388926A; EP3447683A1; US10872255B2

Abstract

생체 이미지 처리 방법 및 그 장치를 제공한다. 본 생체 이미지 처리 방법은 생체 센서로부터 생체 이미지를 획득하고, 생체 이미지의 화질을 복수 개의 평가 항목으로 평가하고, 화질의 개선도가 포함된 화질 개선 테이블을 이용하여 평가 결과에 대응하는 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정하며, 결정된 가중치의 결정된 개선 알고리즘으로 생체 이미지를 보정한다.

Description

생체 이미지 처리 방법 및 이를 포함한 장치{METHOD OF PROCESSING BIOMETRIC IMAGE AND APPARATUS INCLUDING THE SAME}

개시된 실시예들은 생체 이미지를 처리하는 방법 및 이를 포함하는 장치에 관한 것이다.

지문, 음성, 얼굴, 손 또는 홍채와 같은 개인의 고유한 특징을 이용한 개인 인증의 필요성은 점차 확대되고 있다. 개인 인증 기능은 금융 기기, 출입 통제기, 모바일 장치, 노트북 등에서 주로 사용되며, 최근 스마트 폰과 같은 모바일 장치가 널리 보급됨에 따라 스마트 폰 내에 저장된 많은 보안 정보를 보호하기 위해 개인 인증을 위한 생체 인식 장치가 채용되고 있다.

생체 인식은 개인 인증에 이용되기 때문에 다른 종류의 이미지보다 화질이 높아야 한다. 그리하여, 화질 개선 알고리즘을 적용하는 경우가 종종 있다. 기존의 화질 적용 알고리즘은 모든 이미지에 동일한 화질 개선 알고리즘이 적용되는 경우가 많다. 일반적으로 화질이 좋은 이미지의 경우, 화질 개선 알고리즘의 적용이 필요 없을 뿐만 아니라, 오히려 적용 이후에 인증률이 저하되는 경우도 발생한다.

따라서 모든 이미지에 일괄적으로 화질 개선 알고리즘을 적용하는 것 보다는 이미지의 상태에 따라서 개별적으로 필요한 만큼의 화질 개선 알고리즘을 적용할 필요성이 대두되고 있다.

생체 이미지에 대한 화질을 평가하고, 선택적으로 필요한 만큼의 개선 알고리즘을 적용하여 생체 이미지를 보정하는 방법 및 이를 포함하는 전자 장치를 제공한다.

일 측면(aspect)에 따르는 생체 이미지 처리 방법은, 생체 센서로부터 생체 이미지를 획득하는 단계; 상기 생체 이미지의 화질을 복수 개의 평가 항목으로 평가하여 상기 복수 개의 평가 항목별로 인증률에 대한 정보가 포함된 평가 점수를 산출하는 단계; 화질의 개선도가 포함된 화질 개선 테이블을 이용하여 상기 평가 점수에 대응하는 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정하는 단계; 및 상기 가중치의 상기 개선 알고리즘으로 상기 생체 이미지를 보정하는 단계;를 포함한다.

그리고, 상기 평가하는 단계는, 상기 생체 이미지에 대한 픽셀 값을 기초로, 상기 복수 개의 평가 항목 별로 상기 생체 이미지의 평가 값을 산출하는 단계; 및 상기 평가 값을 상기 평가 점수로 변환하는 단계;를 포함할 수 있다.

또한, 상기 평가 점수로 변환하는 단계는, 선형 회귀 방식으로 상기 평가 값과 상기 인증률과의 상관 관계를 산출함으로써 상기 평가 값을 상기 평가 점수로 변환할 수 있다.

그리고, 상기 인증률은, 상기 평가 값이 유사한 영상들간의 유사도에 기초할 수 있다.

또한, 상기 화질 개선 테이블은, 평가 항목 및 개선 알고리즘에 따른 개선도를 나타낼 수 있다.

그리고, 상기 화질 개선 테이블은, 제1 평가 항목 및 제1 개선 알고리즘에 따른 개선도를 나타내는 제1 화질 개선 테이블; 제1 평가 항목 및 제2 개선 알고리즘에 따른 개선도를 나타내는 제2 화질 개선 테이블; 제2 평가 항목 및 제1 개선 알고리즘에 따른 개선도를 나타내는 제3 화질 개선 테이블 및 제2 평가 항목 및 제2 개선 알고리즘 및 개선도 간의 상관 관계를 나타내는 제4 화질 개선 테이블;을 포함할 수 있다.

또한, 상기 개선도는 상기 평가 항목의 등급별로 세분화되어 있을 수 있다.

그리고, 상기 개선도는 상기 개선 알고리즘의 가중치별로 세분화되어 있을 수 있다.

또한, 상기 개선도는, 특정 평가 항목의 특정 등급을 갖는 생체 이미지에 특정 가중치의 특정 개선 알고리즘을 적용할 때 예상되는 상기 생체 이미지에 대한 평가 점수일 수 있다.

그리고, 상기 결정하는 단계는, 상기 화질 개선 테이블을 이용하여 상기 평가 점수에 대응하는 개선 알고리즘을 결정하는 단계; 및 상기 화질 개선 테이블을 이용하여 결정된 상기 개선 알고리즘의 가중치를 결정하는 단계;를 포함할 수 있다.

또한, 상기 개선 알고리즘을 결정하는 단계는, 상기 화질 개선 테이블로부터 상기 평가 점수에 대응하는 개선도가 상기 평가 점수보다 제1 기준값 이상일 때, 상기 화질 개선 테이블의 개선 알고리즘을 상기 개선 알고리즘으로 결정하는 단계;를 포함할 수 있다.

그리고, 상기 가중치를 결정하는 단계는, 상기 화질 개선 테이블에서 평가 항목 별 상기 개선도의 합 또는 평균이 최대일 때의 가중치를 상기 가중치로 결정할 수 있다.

또한, 상기 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정하는 단계는, 상기 복수 개의 평가 항목 각각에 대한 평가 점수 중 적어도 하나가 제2 기준값이하인 경우 수행될 수 있다.

그리고, 상기 보정된 생체 이미지를 인증 템플릿으로 등록하는 단계;를 더 포함할 수 있다.

또한, 상기 보정된 생체 이미지와 인증 템플릿을 비교하여 상기 보정된 생체 이미지를 인증하는 단계;를 더 포함할 수 있다.

그리고, 상기 생체 이미지는, 지문 이미지, 홍채 이미지, 땀샘 이미지, 혈관 이미지, 얼굴 이미지 중 어느 하나일 수 있다.

또한, 상기 평가 항목은 노이즈, 생체 이외의 다른 객체와 관련된 아티팩트, 및 영역별 밝기 편차 중 적어도 하나를 포함할 수 있다.

그리고, 상기 개선 알고리즘은, 노이즈를 감소시키는 알고리즘, 아티팩트를 감소시키는 알고리즘 및 영역별 밝기 편차를 감소시키는 알고리즘 중 적어도 하나를 포함할 수 있다.

한편, 일 실시예에 따른 전자 장치는, 대상체로부터 생체 이미지를 검출하는 생체 센서; 및 상기 생체 센서로부터 상기 생체 이미지를 획득하고, 상기 생체 이미지의 화질을 복수 개의 평가 항목으로 평가하여 상기 복수 개의 평가 항목별로 인증률에 대한 정보가 포함된 평가 점수를 산출하며, 화질의 개선도가 포함된 화질 개선 테이블을 이용하여 상기 평가 점수에 대응하는 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정하며, 결정된 상기 가중치의 상기 개선 알고리즘으로 상기 생체 이미지를 보정하는 프로세서;를 포함한다.

그리고, 상기 프로세서는, 상기 생체 이미지에 대한 픽셀 값을 기초로, 상기 평가 항목 별로 상기 생체 이미지의 평가 값을 산출하고, 상기 평가 값을 상기 평가 점수로 변환할 수 있다.

또한, 상기 프로세서는, 선형 회귀 방식으로 상기 평가 값과 상기 인증률과의 상관 관계를 산출함으로서 상기 평가 값을 상기 평가 점수로 변환할 수 있다.

그리고, 상기 개선도는 상기 평가 항목의 등급별로 세분화되어 있을 수 있다.

또한, 상기 개선도는 상기 개선 알고리즘의 가중치별로 세분화되어 있을 수 있다.

그리고, 상기 개선도는, 특정 평가 항목의 특정 등급을 갖는 생체 이미지에 특정 가중치의 특정 개선 알고리즘을 적용할 때 예상되는 상기 생체 이미지에 대한 평가 점수일 수 있다.

또한, 상기 프로세서는, 상기 화질 개선 테이블을 이용하여 상기 평가 점수에 대응하는 개선 알고리즘을 결정하고, 상기 화질 개선 테이블을 이용하여 결정된 상기 개선 알고리즘의 가중치를 결정할 수 있다.

그리고, 상기 프로세서는, 상기 화질 개선 테이블에서 상기 평가 점수보다 제1 기준값 이상의 개선도를 갖는 개선 알고리즘을 상기 개선 알고리즘으로 결정할 수 있다.

또한, 상기 프로세서는, 상기 화질 개선 테이블에서 평가 항목 별 상기 개선도의 합 또는 평균이 최대일 때의 가중치를 상기 가중치로 결정할 수 있다.

그리고, 상기 프로세서는, 상기 복수 개의 평가 항목 각각에 대한 평가 점수 중 적어도 하나가 제2 제2 기준값 이하인 경우, 상기 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정할 수 있다.

또한, 상기 프로세서는 상기 보정된 생체 이미지와 인증 템플릿을 비교하여 상기 보정된 생체 이미지를 인증할 수 있다.

생체 이미지를 평가한 결과는 화질뿐만 아니라, 인증률에 대한 정보를 포함하기 때문에 보정된 생체 이미지는 인증률도 향상될 수 있다.

평가 항목 별로 개선 알고리즘 및 개선 알고리즘의 가중치를 적응적으로 적용할 수 있기 때문에 보다 효율적으로 생체 이미지를 보정할 수 있다.

도 1은 일 실시예에 따른 생체 이미지를 처리하는 장치를 나타내는 블록도이다.
도 2은 도 1에 도시된 프로세서를 보다 세분화한 블록도이다.
도 3은 도 2의 프로세서가 생체 이미지를 처리하는 방법을 설명하는 흐름도이다.
도 4는 일 실시예에 따른 화질 개선 테이블의 예를 도시한 도면이다.
도 5는 일 실시예에 따른 복수 개의 서브 화질 개선 테이블을 포함하는 화질 개선 테이블의 예를 도시한 도면이다.
도 6은 화질 평가부의 기능을 예시적으로 도시된 참조도면이다.
도 7a는 노이즈가 낮은 지문 이미지의 예이다.
도 7b는 노이즈가 높은 지문 이미지의 예이다.
도 8a는 아티팩트가 낮은 지문 이미지의 예이다.
도 8b는 아티팩트가 높은 지문 이미지의 예이다.
도 9a는 밝기 편차가 낮은 지문 이미지의 예이다.
도 9b는 밝기 편차가 큰 지문 이미지의 예이다.
도 10은 알고리즘 결정부의 기능을 모식적으로 도시한 참조도면이다.
도 11은 화질 개선부의 기능을 모식적으로 도시한 참조도면이다.
도 12a 내지 도 12c는 일 실시예에 따른 밝기 편차를 감소시킨 알고리즘의 적용 예를 설명하는 참조도면이다.
도 13은 일 실시예에 따른 화질 개선 테이블을 생성하는 과정을 설명하는 참조도면이다.
도 14a 내지 도 14c는 각 평가 항목별로 적용된 평가 값을 예를 설명하는 참조도면이다.
도 15는 일 실시예에 따른 평가 점수에 따라 등급을 분류하는 방법을 설명하는 참조도면이다.
도 16은 개선 알고리즘의 가중치별 개선도를 나타내는 화질 개선 테이블의 일 예이다.
도 17은 3개의 평가 항목과 3개의 개선 항목에 따른 화질 개선 테이블을 예시적으로 나타낸 도면이다.
도 18은 도 17의 화질 개선 테이블에서 산출된 평가 점수를 강조한 참조도면이다.
도 19는 평가 항목의 평가 점수에 대응하는 개선도의 합을 도시한 참조도면이다.
도 20은 다른 실시예에 따른 생체 이미지 처리 방법을 설명하는 참조도면이다.

이하, 실시예들에 따른 생체 이미지 처리 방법 및 그 장치를 첨부된 도면을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의하여 한정되어서는 안된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.

도 1은 일 실시예에 따른 생체 이미지를 처리하는 장치(100)를 나타내는 블록도이다. 도 1를 참조하면, 장치(100)는 대상체, 예를 들어, 사람의 생체에 대한 정보를 검출하는 생체 센서(110), 생체 센서(110)로부터 생체 이미지를 획득하고, 획득된 생체 이미지의 보정, 생체 이미지의 등록, 인증 등을 수행하는 프로세서(120) 및 생체 이미지를 저장하는 메모리(130)를 포함할 수 있다.

생체 센서(110)는 사람마다 고유의 특성 차이를 나타내는 생체에 대한 이미지(이하 '생체 이미지'라고 한다)을 검출하는 장치(100)로서, 생체에 대한 정보를 전기적 신호로 변환할 수 있다. 생체 이미지는 지문 이미지, 홍채 이미지, 땀샘 이미지, 혈관 이미지, 얼굴 이미지 중 어느 하나일 수 있다. 생체 센서(110)는 검출하고자 하는 생체의 종류에 따라 다를 수 있다. 생체 센서(110)가 지문 이미지를 검출하는 경우 지문 센서라고 칭할 수 있고, 생체 센서(110)가 홍채 이미지를 검출하는 경우 홍채 센서라고 칭할 수 있다.

생체 이미지가 지문 이미지인 경우, 지문 센서는 센싱 영역에 올라온 손가락의 지문에 대한 이미지를 획득할 수 있다. 지문 센서가 지문 이미지를 검출하는 방식은 지문 센서의 타입에 따라 달라질 수 있다. 예를 들어, 지문 센서는 광학식, 반도체식, 초음파 방식 또는 비접촉식 등의 방식으로 생체 이미지를 검출할 수 있다.

광학식 지문 센서는, 예를 들어, 프리즘, 광원, 렌즈 또는 CCD(Charge Coupled Device) 등을 포함할 수 있다. 광학식 센서에서는, 프리즘에 지문이 접촉되는 경우 광원이 프리즘에 빛을 비추고, 렌즈는 프리즘을 통해 반사되는 빛을 수집하고, CCD는 수집된 빛을 생체 이미지로서 검출할 수 있다. 반도체식 지문 센서로는 열감지식 센서, 축전식 센서 또는 전기장식 센서 등이 있을 수 있다. 반도체식 지문 센서는 소형화가 가능하여 개인이 사용하는 응용 제품에 사용될 수 있다.

열감지식 센서(Thermal Sensor)는 지문의 접촉부위와 비접촉 부위의 온도 차이에 의해 온도 분포를 생체 이미지로 획득하는 방식의 지문 센서일 수 있다. 축전식 센서(Capacitive Sensor)는 접촉된 지문의 융선 간 대전되는 전하량 또는 정전 용량의 차이를 생체 이미지로 획득하는 방식의 지문 센서일 수 있다. 전기장식 센서(Electric Sensor)는 센서에 접촉되는 지문 또는 지문 주변에 형성되는 전기장으로부터 생체 이미지를 검출하는 방식의 지문 센서일 수 있다.

상기한 지문 센서는 매트릭스 형태로 배열된 복수 개의 픽셀을 포함할 수 있다. 각 픽셀은 지문의 특징에 대응하는 픽셀 값, 예를 들어, 밝기 값을 출력하며, 픽셀의 개수에 따라 지문 이미지의 해상도가 결정될 수 있다.

생체 이미지가 홍채 이미지인 경우, 홍채 센서는 센싱 영역에 위치한 홍채에 대한 이미지를 획득할 수 있다. 홍채 센서는 홍채를 포함한 안구에서 반사된 광, 예를 들어, 적외선을 검출함으로써 홍채 이미지를 획득할 수 있다. 나머지 생체 이미지도 그에 대응하는 생체 센서(110)를 이용하여 획득될 수 있다. 이하 설명의 편의를 위해 생체 이미지 중 지문 이미지를 처리하는 방법을 중심으로 설명한다.

한편, 생체 센서(110)는 후술하는 프로세서(120)의 적어도 일부를 포함하여 구성될 수도 있다. 예를 들어, 생체 센서(110)는 생체 이미지를 검출하는 동작 외에 생체 이미지를 보정하거나, 생체 이미지의 특징을 산출하는 등의 동작을 포함할 수도 있다. 이 경우, 생체 센서(110)는 하드웨어 모듈 및 소프트웨어 모듈을 가지는 기능적 모듈이 될 수 있다. 이러한, 생체 센서(110)는 전자 장치(100)의 하우징의 일 면에 노출되게 배치될 수 있다.

프로세서(120)는 운영체제 및 응용 프로그램을 구동하여, 프로세서(120)에 연결된 다수의 구성요소들을 제어할 수 있다. 프로세서(120)는 생체 센서(110)으로부터 획득된 대상체의 생체 이미지를 인식하고, 인식된 생체 이미지를 등록하거나 대상체에 대한 인증 등을 수행할 수 있다.

예를 들어, 생체 정보 등록시, 프로세서(120)는 획득된 생체 이미지를 다양한 처리 과정, 예를 들어, 그레이 스케일(gray scale)값을 블랙 또는 화이트로 변환하는 과정 등을 거처, 특정 이미지로 변환시키거나 암호화할 수 있다. 그리고, 이후 입력되는 생체 이미지와의 비교에 사용하기 위해 생체 이미지를 인증 템플릿으로 메모리(130)의 보안 영역에 저장할 수 있다. 또는, 생체 정보 인증시, 프로세서(120)는 획득된 생체 이미지를 등록된 인증 템플릿과의 비교를 통해 대상체를 인증할 수도 있다. 이때, 프로세서(120)는 획득된 생체 이미지와 등록된 인증 템플릿을 비교하여 유사도를 판단할 수 있다. 프로세서(120)는, 유사도가 제1 기준값보다 크면 인증에 성공한 것으로 판단할 수 있고, 유사도가 제1 기준값 이하이면 인증에 실패한 것으로 판단할 수 있다. 여기서, 제1 기준값은 생체 이미지와 인증 템플릿이 동일하다고 판단할 수 있는 기준이 되는 값으로, 기정의될 수 있다.

한편, 생체 정보 등록 전 또는 생체 정보 인증 전에, 프로세서(120)는 생체 이미지에 대한 화질을 평가할 수 있고, 평가 결과에 따라 개선 알고리즘을 선택적으로 적용하여 생체 이미지를 보정할 수 있다. 생체 이미지를 보정하는 방법은 후술하기로 한다.

메모리(130)는 생체 이미지 등이 저장될 수 있다. 메모리(130)에는 프로세서(120)에 의해 처리된 생체 이미지를 임시로 저장할 수 있고, 인증시 필요한 인증 템플릿이 저장되어 있을 수도 있다. 또는 메모리(130)에는 생체 이미지를 보정하기 위한 화질 개선 테이블, 개선 알고리즘 등이 저장되어 있을 수 있다.

도 2은 도 1에 도시된 프로세서(120)를 보다 세분화한 블록도이고, 도 3은 도 2의 프로세서(120)가 생체 이미지를 처리하는 방법을 설명하는 흐름도이다. 도 2에 도시된 바와 같이, 프로세서(120)는 생체 이미지의 화질을 평가하는 화질 평가부(210), 화질을 개선하기 위한 개선 알고리즘을 결정하는 알고리즘 결정부(220) 및 결정된 개선 알고리즘으로 생체 이미지를 보정하는 화질 개선부(230)를 포함할 수 있다.

도 3을 참조하면, 프로세서(120)는 생체 센서(110)로부터 생체 이미지를 획득할 수 있다(S310). 생체 센서(110)는 대상체의 생체에 대한 정보를 검출하여 전기적 신호의 형태로 생체 이미지를 생성할 수 있다. 생성된 생체 이미지를 프로세서(120)에 인가함으로써 프로세서(120)는 생체 이미지를 획득할 수 있다.

프로세서(120)는 생체 이미지의 화질을 평가할 수 있다(S320). 예를 들어, 프로세서(120)의 화질 평가부(210)는 생체 이미지의 화질을 복수 개의 평가 항목 별로 평가하고 복수 개의 평가 항목 각각에 대한 평가 점수를 산출할 수 있다. 평가 항목은 생체 이미지의 화질의 유형을 나타내는 항목으로서, 복수 개일 수 있다. 예를 들어, 평가 항목은 노이즈, 아티팩트, 영역별 밝기 편차 등이 있을 수 있다. 평가 점수는 생체 이미지의 화질의 정도를 나타내는 것으로서 숫자 등으로 나타낼 수 있다. 예를 들어, 숫자가 높을수록 생체 이미지의 화질은 좋은 것으로 평가 점수를 설정할 수 있다.

프로세서(120)는 생체 이미지의 평가 결과로부터 개선 알고리즘 및 개선 알고리즘의 가중치 중 적어도 하나를 결정할 수 있다(S330). S330 단계는 복수 개의 평가 항목 각각에 대한 평가 점수 중 적어도 하나가 제2 기준값 이하인 경우, 수행될 수 있다. 여기서, 제2 기준값은 평가 항목 별 생체 이미지의 보정이 필요한 평가 점수를 나타내는 것으로써 기정의되어 있을 수 있다. 즉, 평가 점수 중 적어도 하나가 보정이 필요한 점수인 제2 기준값 이하인 경우, 프로세서(120)는 개선 알고리즘 및 개선 알고리즘의 가중치를 결정할 수 있다.

프로세서(120)의 알고리즘 결정부(220)는 평가 결과의 평가 점수에 대응하여 개선 알고리즘을 결정할 수 있다. 개선 알고리즘을 결정함에 있어서, 알고리즘 결정부(220)는 화질의 개선도가 포함된 화질 개선 테이블을 이용할 수 있다. 상기한 화질 개선 테이블은 평가 항목 및 개선 알고리즘에 따른 화질의 개선도에 대한 정보를 포함할 수 있다. 화질 개선 테이블은 메모리(130)에 기저장되어 있을 수도 있고, 프로세서(120)가 화질 개선 테이블을 생성할 수도 있다.

도 4는 일 실시예에 따른 화질 개선 테이블(400)의 예를 도시한 도면이다. 도 4에 도시된 바와 같이, 화질 개선 테이블(400)은 평가 항목(M) 및 개선 알고리즘(E)에 따른 화질의 개선도(P)를 포함할 수 있다. 평가 항목(M)은 평가 점수에 대한 등급별로 세분화될 수 있으며, 개선 알고리즘(E)은 가중치별로 세분화될 수 있다. 평가 점수에 대한 등급은 평가 점수를 몇 개의 그룹으로 그룹핑함으로써 정의될 수 있다.

화질 개선 테이블(400)에 포함된 화질의 개선도(P)는 특정 평가 항목(M)의 특정 등급을 갖는 생체 이미지에 특정 가중치의 특정 개선 알고리즘(E)을 적용하였을 때 예상되는 생체 이미지에 대한 평가 점수이다. 예를 들어, 도 4에서 평가 항목(M)에 대한 평가 점수가 등급 2에 포함된 생체 이미지에 가중치 3으로 개선 알고리즘(E)을 적용할 때 예상되는 생체 이미지에 대한 점수는 23.2이다.

상기와 같은 화질 개선 테이블을 이용하여, 알고리즘 결정부(220)는 개선 알고리즘의 가중치를 결정하거나, 개선 알고리즘의 종류 및 가중치를 결정할 수 있다. 개선 알고리즘이 하나인 경우, 알고리즘 결정부(220)는 화질 개선 테이블을 이용하여 개선 알고리즘의 가중치만을 결정할 수 있다. 가중치를 결정함에 있어서, 화질 개선 테이블에서 최대 값의 개선도에 대응하는 가중치를 가중치로 결정할 수 있다. 예를 들어, 도 4에서 평가 항목(M)의 등급 2를 갖는 생체 이미지에 대해 최대치인 23.2의 개선도에 대응하는 가중치인 가중치 3를 개선 알고리즘(E)의 가중치로 결정할 수 있다.

한편, 평가 항목이 복수 개인 경우, 화질 개선 테이블은 복수 개의 평가 항목 별로 복수 개의 서브 화질 개선 테이블을 포함할 수 있다. 개선 알고리즘이 복수 개인 경우, 화질 개선 테이블은 복수 개의 개선 알고리즘 별로 복수 개의 서브 화질 개선 테이블을 포함할 수 있다. 또한, 평가 항목 및 개선 알고리즘 모두가 복수 개인 경우, 복수 개의 평가 항목 별 및 복수 개의 개선 알고리즘 별로 복수 개의 서브 개선 알고리즘을 포함할 수 있다.

도 5는 일 실시예에 따른 복수 개의 서브 화질 개선 테이블을 포함하는 화질 개선 테이블(500)의 예를 도시한 도면이다. 평가 항목이 2개이고, 개선 알고리즘이 2개인 경우, 도 5에 도시된 바와 같이, 화질 개선 테이블(500)은, 제1 평가 항목(M1) 및 제1 개선 알고리즘(E1)에 따른 개선도를 나타내는 제1 화질 개선 테이블(500a), 제1 평가 항목(M1) 및 제2 개선 알고리즘(E2)에 따른 개선도를 나타내는 제2 화질 개선 테이블(500b), 제2 평가 항목(M2) 및 제1 개선 알고리즘(E1)에 따른 개선도를 나타내는 제3 화질 개선 테이블(500c) 및 제2 평가 항목(M2) 및 제2 개선 알고리즘(E2)에 따른 개선도를 나타내는 제4 화질 개선 테이블(500d)을 포함할 수 있다.

그리고, 화질의 개선도는 특정 평가 항목의 특정 평가 점수를 갖는 생체 이미지에 특정 가중치의 특정 개선 알고리즘을 적용할 때 예상되는 생체 이미지에 대한 평가 점수이다. 예를 들어, 제1 평가 항목(M1)에 대한 평가 점수가 등급 2에 포함된 생체 이미지에 가중치 3으로 제1 개선 알고리즘(E1)을 적용할 때 예상되는 생체 이미지에 대한 점수는 23.5이다.

개선 알고리즘이 복수 개인 경우, 알고리즘 결정부(220)는 개선 알고리즘의 종류 및 가중치를 결정할 수 있다. 알고리즘 결정부(220)는 화질 개선 테이블(500)에 포함된 모든 개선 알고리즘을 생체 이미지에 적용할 개선 알고리즘으로 결정할 수도 있거나, 일부의 개선 알고리즘을 생체 이미지에 적용할 개선 알고리즘으로 결정할 수 있다. 알고리즘 결정부(220)는 화질 개선 테이블(500)에 포함된 개선도가 평가 점수보다 제3 기준값 이상인 경우, 화질 개선 테이블(500)의 개선 알고리즘을 생체 이미지에 적용할 개선 알고리즘으로 결정할 수 있다. 여기서 제3 기준값은 개선 알고리즘을 적용함으로써 생체 이미지의 화질이 향상되었다고 판단할 수 있는 기준이 되는 값으로서 기정의될 수 있다. 제3 기준값은 평가 항목별로 다르게 정의될 수 있다. 개선도와 평가 점수의 차가 제3 기준값 미만인 경우, 개선 알고리즘을 적용한다 하더라도 화질이 향상되었다고 할 수 없고, 오히려 신호 처리에 로드만 발생길 수 있다. 그리하여, 신호 처리의 효율을 위해 상기한 개선 알고리즘은 적용하지 않을 수 있다.

예를 들어, 알고리즘 결정부(220)가 도 4의 화질 개선 테이블(400)로부터 개선 알고리즘을 결정할 때, 제3 기준값을 0.5라고 가정할 수 있다. 생체 이미지에 대한 평가 항목(M)의 평가 점수가 25로서 등급 3일 때, 도 4의 개선 알고리즘(E)의 개선도가 25.5이하이므로, 알고리즘 결정부(220)는 도 4의 화질 개선 테이블(M)의 개선 알고리즘(E)을 개선 알고리즘으로 결정하지 않을 수 있다. 그러나, 생체 이미지에 대한 평가 항목의 평가 점수가 10으로서 등급 1일 때, 도 4의 개선 알고리즘(E)의 개선도가 17.2이상이므로, 알고리즘 결정부(220)는 도 4의 화질 개선 테이블(M)의 개선 알고리즘(E)을 개선 알고리즘으로 결정하지 않을 수 있다.

개선 알고리즘이 결정되면, 알고리즘 결정부(220)는 결정된 개선 알고리즘의 가중치를 결정할 수 있다. 평가 항목이 하나인 경우, 알고리즘 결정부(220)는 화질 개선 테이블의 평가 점수에 대응하는 개선도가 최대일 때의 가중치를 개선 알고리즘의 가중치로 결정할 수 있다. 예를 들어, 도 4의 화질 개선 테이블(M)에서 평가 점수가 등급 2인 경우, 알고리즘 결정부(220)는 가중치 3을 개선 알고리즘(E)의 가중치로 결정할 수 있다.

평가 항목이 복수 개인 경우, 알고리즘 결정부(220)는 화질 개선 테이블로부터 각 평가 항목의 평가 점수에 대응하는 개선도들의 합 또는 평균이 최대일 때의 가중치를 개선 알고리즘의 가중치로 결정할 수 있다. 각 평가 점수의 평가 점수에 대응하는 개선도들의 합 또는 평균은 후술하기로 한다.

프로세서(120)는 개선 알고리즘으로 생체 이미지를 보정할 수 있다(S340). 가중치가 결정된 경우, 프로세서(120)의 화질 개선부(230)는 결정된 가중치의 개선 알고리즘으로 생체 이미지를 보정할 수 있다.

이하, 생체 이미지의 화질을 평가하는 방법에 대해 구체적으로 설명한다.

화질 평가부(210)는 입력된 이미지의 화질을 평가 항목별로 평가하여 개별적인 평가 점수를 출력할 수 있다. 평가 점수를 산출함에 있어서, 화질 평가부(210)는 생체 이미지의 평가 항목에 대한 평가 값을 산출하고, 평가 값을 인증률에 대한 정보가 포함된 평가 점수로 변환할 수 있다. 여기서, 평가 값은 생체 이미지의 픽셀 값, 예를 들어, 밝기 값에 기초한 산출된 값이고, 인증률은 평가 값이 유사한 영상들간의 유사도에 기초하여 산출된 값일 수 있다. 따라서, 평가 점수는 픽셀 값뿐만 아니라 인증률에 대한 정보도 포함되어 있어, 평가 점수로부터 생체 이미지의 화질뿐만 아니라 인증률의 예측도 가능하다. 평가 점수는 숫자로 표시될 수 있으며, 인증률이 좋을수록 평가 점수를 높게 정의할 수 있다.

평가 항목은 2 이상이며, 각각의 평가 항목에 대해 평가 점수가 산출될 수 있다. 도 6은 화질 평가부(210)의 기능을 예시적으로 도시된 참조도면이다. 도 6에 도시된 바와 같이, 화질 평가부(210)는 생체 이미지, 예를 들어, 지문 이미지에 대해 3개의 평가 항목으로 평가할 수 있다. 화질 평가부(210)는 3개의 평가 항목 각각에 대해 평가 점수를 산출할 수 있다. 평가 항목은, 예를 들어, 노이즈, 아티팩트(artifact), 밝기 편차일 수 있다.

먼저, 화질 평가부(210)는 제1 평가 항목으로서, 노이즈를 평가할 수 있다. 도 7a는 노이즈가 낮은 지문 이미지의 예이고, 도 7b는 노이즈가 높은 지문 이미지의 예이다. 도7b에 도시된 바와 같이, 노이즈가 높은 지문 이미지는 인증률이 낮다. 따라서, 프로세서(120)는 생체 이미지의 화질에 대한 평가 항목으로 노이즈를 평가하여, 평가 점수가 낮은 생체 이미지에 개선 알고리즘을 적용할 수 있다.

화질 평가부(210)는 생체 이미지의 노이즈에 대한 평가 값(Mn) 을 수학식 1과 같이 산출할 수 있다.

[수학식 1]

여기서, N은 전체 픽셀의 수를 의미하며, i는 첫 번째 픽셀부터 마지막 픽셀을 가르킨다.

는 i번째 픽셀의 밝기 값에 대한 1차 미분 값이며,

는 i번째 픽셀의 밝기 값에 대한 2차 미분 값이다.

은 계수이다. 화질 평가부(210)는 노이즈의 평가 값이 클수록 노이즈가 많은 것으로 평가할 수 있다.

화질 평가부(210)는 제2 평가 항목으로, 아티팩트를 평가할 수 있다. 여기서 아티팩트는 생체 이미지에서 생체에 대한 형상 이외의 다른 형상을 의미할 수 있다. 도 8a는 아티팩트가 낮은 지문 이미지의 예이고, 도 8b는 아티팩트가 높은 지문 이미지의 예이다. 도 8b에 도시된 바와 같이, 지문 이미지에 지문 이외의 다른 패턴, 예를 들어, 격자형 패턴이 더 포함될 수 있다. 지문 이미지에 지문 형상 이외의 아티팩트가 포함되어 있으면, 동일한 지문이라고 할지라도 인증률이 낮아질 수 있다. 따라서, 아티팩트가 높은 생체 이미지를 보정할 필요가 있다.

화질 평가부(210)는 아티팩트를 평가하기 위해, 먼저 생체 이미지의 행과 열 방향으로 픽셀의 밝기에 대한 평균값을 산출할 수 있다. 생체 이미지가 C x R 픽셀로 구성되어 있을 수 있다. 행 방향에 있는 픽셀의 밝기에 대한 평균값을 행 벡터로서

로 표기하고, 모든 열의 방향에 있는 픽셀의 밝기에 대한 평균 값을 열 벡터로 나타나며

로 표기할 때, 화질 평가부(210)는 아티팩트(Ma)의 평가값을 하기 수학식 2와 같이 산출할 수 있다.

[수학식 2]

여기서,

는 i열의

에 대한 1차 미분 값이고,

는 i행의

에 대한 1차 미분 값이며,

는 i열의

에 대한 2차 미분 값이고,

는 i행의

에 대한 2차 미분 값이다. 아티팩트의 평가 값이 클수록 아티팩트가 많을 수 있다.

화질 평가부(210)는 제3 평가 항목으로, 밝기 편차를 평가할 수 있다. 여기서, 밝기 편차는 생체 이미지를 복수 개의 영역으로 구분하고, 구분된 복수 개의 영역에 대한 밝기 편차를 의미할 수 있다. 도 9a는 밝기 편차가 낮은 지문 이미지의 예이고, 도 9b는 밝기 편차가 큰 지문 이미지의 예이다. 도 9b에 도시된 바와 같이, 지문 이미지의 밝기 편차가 크면, 동일한 지문이라고 할지라도 인증에 실패할 수 있다. 따라서, 밝기 편차가 큰 생체 이미지에 대해 보정이 필요하다.

화질 평가부(210)는 이미지를 M x N 의 영역으로 구분한 후 각 영역에 대한 평균 밝기값(

)를 산출한 후, 하기 수학식 3과 같이, 각 영역의 평균 밝기값(

)의 표준편차의 평균을 밝기 편차의 평가 값(

)으로 정의할 수 있다.

[수학식 3]

화질 평가부(210)는 밝기 편차의 평가 값이 클수록 영역별 밝기 편차가 큰 것으로 평가할 수 있다.

한편, 화질 평가부(210)는 평가 값을 인증률에 대한 정보가 포함된 평가 점수로 변환할 수 있다. 생체 이미지에 대한 평가 값은 앞서 기술한 바와 산출할 수 있으며, 인증율은 생체 이미지들간의 유사도로 산출될 수 있다. 그리하여, 각 생체 이미지는 평가 값과 인증률을 가질 수 있다. 화질 평가부(210)는 평가 값과 인증률과의 상관 관계(

)를 선형 회귀 방식으로, 하기 수학식 4와 같이, 산출할 수 있다.

[수학식 4]

여기에서,

는 특정 항목의 평가 값을 나타내고,

는 그 생체 이미지의 인증률을 나타낸다.

화질 평가부(210)는 수학식 4에 포함된 파라미터,

,

에 의해, 수학식 5와 같이, 평가 값(m)을 평가 점수(m')으로 변환할 수 있다.

[수학식 5]

화질 평가부(210)는 생체 이미지의 평가 항목 별로 평가 점수를 산출할 수 있다.

상기와 같이, 평가 값을 평가 점수로 변환하는 이유는 다음과 같다. 첫째, 평가 항목에 대한 결과를 평가 값이 아닌 평가 점수로 나타냄으로써 생체 이미지의 화질 뿐만 아니라, 생체 이미지의 인증률을 예측할 수 있다. 이는 생체 센서(110) 및 프로세서(120)의 알고리즘 개발시, 실제 데이터 셋트를 확보하지 않고 몇 장의 이미지만을 테스트함으로서 인증률을 예측할 수 있다. 그리하여, 센서 및 프로세서(120)의 알고리즘에 대한 개발 시간을 단축할 수 있다. 둘째, 화질 개선 테이블을 생성할 때, 개선된 생체 이미지의 화질을 평가하게 되는데, 이때 평가된 점수와 인증률이 상관 관계를 갖게 하기 위함이다.

알고리즘 결정부(220)는 화질 평가부(210)에서 산출된 평가 점수들을 이용하여, 이미지에 수행될 개선 알고리즘 및 개선 알고리즘의 가중치를 결정할 수 있다. 개선 알고리즘 및 개선 알고리즘의 가중치를 결정함에 있어서, 알고리즘 결정부(220)는 화질 개선 테이블을 참조할 수 있다. 화질 개선 테이블은 메모리(130)에 기저장되어 있을 수도 있고, 프로세서(120)가 화질 개선 테이블을 생성할 수도 있다.

화질 개선 테이블은 앞의 도 4 및 도 5에서 설명한 바와 같이, 평가 항목 및 개선 알고리즘에 따른 화질의 개선도에 대한 정보를 포함할 수 있다. 화질 개선 테이블의 평가 항목은 등급별로 세분화될 수 있으며, 개선 알고리즘도 가중치별로 세분화될 수 있다. 평가 점수에 대한 등급은 평가 점수를 몇 개의 그룹으로 그룹핑함으로써 정의될 수 있다. 그리고, 화질의 개선도는 특정 평가 항목의 특정 등급을 갖는 생체 이미지에 특정 가중치의 특정 개선 알고리즘을 적용할 때 예상되는 생체 이미지에 대한 평가 점수이다.

화질 개선 테이블을 이용하여, 알고리즘 결정부(220)는 개선 알고리즘의 가중치를 결정하거나, 개선 알고리즘의 종류 및 가중치를 결정할 수 있다.

도 10은 알고리즘 결정부(220)의 기능을 모식적으로 도시한 참조도면이다. 도 10에 도시된 바와 같이, 알고리즘 결정부(220)는 화질 개선 테이블을 기초로, 평가 점수들에 대응하는 개선 알고리즘 및 개선 알고리즘의 가중치를 결정할 수 있다. 도 10에서는 평가 항목이 3개이고 개선 알고리즘이 2개로 도시되어 있다. 알고리즘 결정부(220)가 3개의 평가 항목으로 평가된 평가 점수를 기초로 화질 개선 테이블로부터 2개의 개선 알고리즘을 결정하였다는 것을 의미한다. 평가 항목 및 개선 알고리즘의 개수는 반드시 일치할 필요는 없으며, 서로 다를 수 있다.

한편, 화질 개선 테이블은 평가 항목 및 개선 알고리즘의 개수에 따라 복수 개의 서브 화질 개선 테이블을 포함할 수 있다. 예를 들어, 평가 항목이 n개이고, 개선 알고리즘이 m개인 경우, 화질 개선 테이블은 nxm 개의 서브 화질 개선 테이블을 포함할 수 있다.

알고리즘 결정부(220)는 생체 이미지에 적용할 개선 알고리즘을 결정할 수 있고, 결정된 개선 알고리즘의 가중치를 결정할 수 있다. 개선 알고리즘이 하나인 경우, 알고리즘 결정부(220)는 화질 개선 테이블을 이용하여 개선 알고리즘의 가중치를 결정할 수 있다. 가중치를 결정함에 있어서, 평가 점수에 대응하는 최대 값의 개선도에 갖는 가중치를 가중치로 결정할 수 있다.

개선 알고리즘이 복수 개인 경우, 알고리즘 결정부(220)는 개선 알고리즘의 종류 및 가중치를 결정할 수 있다. 알고리즘 결정부(220)는 화질 개선 테이블에 포함된 모든 개선 알고리즘을 생체 이미지에 적용할 개선 알고리즘으로 결정할 수 있다. 그리고, 각 평가 항목의 평가 점수에 대응하는 개선도들의 합 또는 평균이 최대일 때의 가중치를 각 개선 알고리즘의 가중치로 결정할 수 있다.

또는, 알고리즘 결정부(220)는 화질 개선 테이블에 포함된 개선 알고리즘 중 일부의 개선 알고리즘을 생체 이미지에 적용할 개선 알고리즘으로 결정할 수 있다. 예를 들어, 알고리즘 결정부(220)는 평가 점수에 대응하는 화질 개선 테이블의 개선도가 평가 점수보다 제3 기준값 이상인 경우, 화질 개선 테이블의 개선 알고리즘을 생체 이미지에 적용할 개선 알고리즘으로 결정할 수 있다. 여기서 제3 기준값은 개선 알고리즘을 적용함으로써 생체 이미지의 화질이 향상되었다고 판단할 수 있는 기준으로서, 기정의될 수 있다.

개선 알고리즘이 결정되면, 알고리즘 결정부(220)는 결정된 개선 알고리즘의 가중치를 결정할 수 있다. 평가 항목이 하나인 경우, 알고리즘 결정부(220)는 화질 개선 테이블의 평가 결과에 대응하는 개선도가 최대일 때의 가중치를 개선 알고리즘의 가중치로로 결정할 수 있다. 평가 항목이 복수 개인 경우, 알고리즘 결정부(220)는 화질 개선 테이블로부터 평가 결과에 대응하는 각 평가 항목의 개선도들의 합 또는 평균이 최대일 때의 가중치를 개선 알고리즘의 가중치로 결정할 수 있다.

다시, 도 2를 참조하면, 화질 개선부(230)는 알고리즘 결정부(220)에서 결정된 개선 알고리즘 및 개선 알고리즘의 가중치를 이용하여, 생체 이미지를 보정함으로써 생체 이미지의 화질을 개선할 수 있다. 도 11은 화질 개선부(230)의 기능을 모식적으로 도시한 참조도면이다. 도 11에 도시된 바와 같이, 화질 개선부(230)는 결정된 가중치로 결정된 개선 알고리즘을 적용하여 생체 이미지를 보정할 수 있다. 개선 알고리즘이 복수 개인 경우, 화질 개선부(230)는 개선알고리즘을 하나씩 순차적으로 적용할 수 있다. 그러나, 이에 한정되지 않는다. 화질 개선부(230)는 개선 알고리즘을 적용할 때마다 생체 이미지의 화질을 평가하고, 평가 점수가 제2 기준값이상인 경우, 나머지 개선 알고리즘을 적용하지 않을 수도 있다. 여기서, 제2 기준값은 생체 이미지에 대한 화질에 대한 평가 점수로서 개선 알고리즘을 적용할 필요가 있는지 여부를 판단하는 기준값으로, 기정의될 수 있다.

다음은 개선 알고리즘을 생체 이미지에 적용하는 방법에 대해 설명한다.

화질 개선부(230)는 제1 개선 알고리즘(E1)으로서 노이즈를 감소시키는 알고리즘을 생체 이미지에 적용할 수 있다. 예를 들어, 화질 개선부(230)는 양방향 필터(bilateral filter) 또는 중간값 필터(median filter)를 적용하여 생체 이미지의 노이즈를 감소시킬 수 있다. 노이즈 감소시 제1 개선 알고리즘(E1)에 가중치를 부여할 수 있다. 예를 들어, 화질 개선부(230)가 양방향 필터(bilateral filter)를 적용하는 경우, 가중치로 필터의 가우시안 커널(Gaussian kernel)의 크기 또는 표준 편차(standard deviation)를 조절함으로서 양방향 필터에 가중치를 부여할 수 있다.

화질 개선부(230)는 제2 개선 알고리즘으로서 아티팩트를 감소시키는 알고리즘을 생체 이미지에 적용할 수 있다. 제2 개선 알고리즘은 크게 아티팩트를 형성하는 라인을 검출하는 과정과 상기한 라인을 복원하는 과정으로 분류될 수 있다. 라인 검출은 생체 이미지에서 라인 아티팩트를 찾는 과정이고, 라인 복원은 검출된 라인을 주변 픽셀 값들을 이용하여 상기한 아태팩트를 제거하는 과정이다. 라인 검출시의 제4 기준값을 가중치로 정의할 수 있다. 여기서, 제4 기준값은 아티팩트를 감소시키는 알고리즘을 적용할 필요가 있는지 여부를 판단하는 기준이 되는 값으로서, 기정의될 수 있다. 예를 들어, 제4 기준값과 가중치는 반비례할 수 있다. 그리하여, 가중치를 크게 하여 제4 기준값이 낮게 설정되면, 생체 이미지내의 아티팩트를 더 많이 감소시킬 수 있다.

화질 개선부(230)는 제3 개선 알고리즘으로서 밝기 편차를 줄이는 알고리즘을 생체 이미지에 적용할 수 있다. 화질 개선부(230)는 생체 이미지의 전체 픽셀에 대한 평균(

)과 표준편차

)를 각각 산출할 수 있다. 그 다음 화질 개선부(230)는 생체 이미지 내 각 행의 픽셀에 대한 평균(

)과 표준편차

를 산출하고, 상기한 값들을 하기 수학식 6과 같이 정규화할 수 있다.

[수학식 6]

그리고 나서, 화질 개선부(230)는 각 행의 픽셀에 대한 평균(

)과 표준편차

를 하기 수학식 7와 같이, 전체 픽셀의 평균(

)과 표준 편차(

)로 역정규화를 수행할 수 있다.

[수학식 7]

여기서, I는 생체 이미지의 픽셀 값이고,

은 해당 픽셀이 속해 있는 행의 평균과 표준 편차로 정규화한 값이다. I'는 전체 평균과 표준 편차로 역정규화한 값이다.

화질 개선부(230)는 상기와 같이, 생체 이미지의 픽셀 값을 각 행에 대한 픽셀의 평균 및 표준 편차를 정규화한 후 다시 각 전체 픽셀의 평균 및 표준 편차로 정규화함으로써 생체 이미지의 행에 대한 밝기 편차를 줄일 수 있다.

같은 방식으로, 화질 개선부(230)는 생체 이미지의 열에 대한 밝기 편차를 줄일 수 있다. 구체적으로, 화질 개선부(230)는 생체 이미지 내 각 열의 평균(

)과 표준편차(

)를 산출하고, 상기한 값을 하기 수학식 8과 같이 정규화할 수 있다.

[수학식 8]

그리고, 화질 개선부(230)는, 하기 수학식 9와 같이, 픽셀의 평균(

)과 표준 편차(

)로 다시 역정규화를 수행할 수 있다.

[수학식 9]

화질 개선부(230)는 상기와 같이, 생체 이미지의 픽셀 값을 각 열에 대한 픽셀의 평균 및 표준 편차를 정규화한 후 다시 각 전체 픽셀의 평균 및 표준 편차로 정규화함으로써 생체 이미지의 열에 대한 밝기 편차를 줄일 수 있다.

도 12a 내지 도 12c는 일 실시예에 따른 밝기 편차를 감소시킨 알고리즘의 적용 예를 설명하는 참조도면이다. 도 12a는 지문 이미지의 원본이고, 도 12b는 행 별 밝기 편차가 개선된 지문 이미지로서, 도 12b의 좌우 밝기의 편차는 도 12a에 도시된 지문 이미지의 밝기 편차 보다 작아졌음을 확인할 수 있다. 도 12c는 열 별 밝기 편차가 개선된 지문 이미지로서, 도 12c의 상하 밝기의 편차는 도 12b에 도시된 지문 이미지의 밝기 편차보다 작아졌음을 확인할 수 있다.

상기와 같이, 평가 점수에 따라 적응적으로 개선 알고리즘을 적용하거나, 동일한 개선 알고리즘이라 할지라도 평가 점수에 따라 가중치를 다르게 적용함으로써 화질을 보다 효과적으로 개선할 수 있다.

또한, 일 실시예에 따른 생체 이미지는 인증에 이용하기 때문에 화질 뿐만 아니라, 인증률과 관련된 평가 점수를 이용하여 생체 이미지의 화질을 평가하기 때문에 개선 알고리즘이 적용된 생체 이미지의 인증률을 높일 수 있다.

한편, 화질 개선 테이블을 메모리(130)에 기저장되어 있을 수도 있고, 프로세서(120)가 화질 개선 테이블을 생성할 수도 있다. 도 13은 일 실시예에 따른 화질 개선 테이블을 생성하는 과정을 설명하는 참조도면이다. 도 13을 참조하면 프로세서(120)는 학습을 위한 데이터 베이스 내의 모든 생체 이미지에 대해 화질을 평가하고 평가 값을 산출할 수 있다. 상기한 평가 값은 앞서 설명한 프로세서(120)의 화질 평가부(210)가 평가 항목별로 화질을 평가하는 방법과 동일하다. 도 14a 내지 도 14c는 각 평가 항목별로 적용된 평가 값을 예를 설명하는 참조도면이다. 도 14a는 평가 항목인 노이즈로 생체 이미지를 평가한 결과를 나타내는 참조도면이고, 도 14b는 평가 항목인 아티팩트로 생체 이미지를 평가한 결과를 나타내는 참조도면이며, 도 14c는 평가 항목인 밝기 편차로 생체 이미지를 평가한 결과를 나타내는 참조도면이다.

또한, 프로세서(120)는 모든 생체 이미지에 대한 인증률을 산출할 수 있다. 인증률은 인증 거부율(False-Reject Ratio)로 나타낼 수 있다. 인증 거부율은 전체 영상의 데이터 세트에 대해서 참/거짓을 평가한 후, 그 결과가 얼마나 정확한지는 측정하는 방법으로 산출될 수 있다.

또는 인증율은 두 장의 생체 이미지가 얼마나 비슷한지를 나타내는 정합 유사도로 산출할 수 있다. 예를 들어, 인증율은 두 영상에 대한 정규 상관관계(normalized cross correlation)를 통해 산출될 수 있다.

모든 생체 이미지는 평가 값과 인증률을 가지고 있기 때문에 프로세서(120)는 선형 회귀 방식을 평가 값과 인증률과의 상관 관계를 산출함으로써 평가 값을 평가 점수로 변환할 수 있다. 평가 값을 평가 점수로 변환하는 방법은 화질 평가부(210)의 평가 점수 산출 방법에서 설명하였다. 프로세서(120)는 각 평가 항목 별로 평가 점수를 산출할 수 있다.

프로세서(120)는 모든 생체 이미지에 대해서, 평가 점수를 바탕으로 평가 항목별로 생체 이미지를 분류한다. 예를 들어, M1(noise)에 대해 10개의 등급(class)로 분류 할 경우, 제1 등급은 화질 점수 0~10, 제2 등급은 11~20 과 같은 식으로 분류할 수 있다. 분류를 마치면, 프로세서(120)는 평가 항목의 등급 개수와 동일한 열 벡터를 생성할 수 있다.

도 15는 일 실시예에 따른 평가 점수에 따라 등급을 분류하는 방법을 설명하는 참조도면이다. 프로세서(120)는 평가 항목, 예를 들어, 노이즈에 대해 생체 이미지를 평가할 수 있다. 도 15의 각 지문 이미지의 아래에 기재된 숫자가 평가 점수이다. 프로세스는 평가 점수를 기초로 각 생체 이미지를 등급으로 분류할 수 있다.

그 다음, 프로세서(120)는 분류된 각각의 생체 이미지에 서로 다른 가중치의 개선 알고리즘을 적용할 수 있다. 개선 알고리즘이 적용된 생체 이미지에 대해, 다시 프로세서(120)는 평가 항목의 등급별로 개선도를 산출할 수 있다. 개선 알고리즘이 적용된 생체 이미지에 대한 평가 점수가 개선도이다. 동일 등급에 생체 이미지가 복수 개인 경우, 복수 개의 생체 이미지에 대한 평가 점수의 평균이 개선도일 수 있다.

도 16은 개선 알고리즘의 가중치별 개선도를 나타내는 화질 개선 테이블의 일 예이다. 도 16에 도시된 화질 개선 테이블은 x축은 평가 항목에 대한 등급을 나타내고, y축은 개선 알고리즘의 가중치를 나타낸다. 프로세서(120)는, 특정 평가 항목의 특정 등급을 갖는 생체 이미지에 특정 가중치의 특정 개선 알고리즘을 적용한 후, 적용된 생체 이미지를 특정 평가 항목으로 평가한 평가 점수로 개선도를 보완함으로써 화질 개선 테이블을 계속하여 업데이트할 수 있다.

결과적으로, 프로세서(120)는 m개의 평가 항목과, n개의 개선 알고리즘이 있을 때, mxn개의 서브 화질 개선 테이블을 생성할 수 있다. 도 17은 3개의 평가 항목과 3개의 개선 항목에 따른 화질 개선 테이블을 예시적으로 나타낸 도면이다. 화질 개선 테이블에서 평가 점수를 0~1로 정규화하여 밝기 값으로 표현하였다. 예를 들어 평가 점수가 클수록 밝은 값을 이용하였다. M은 평가 항목이고, E는 개선 알고리즘이다. X축은 평가 항목의 등급이고, Y축은 개선 알고리즘의 가중치 값이다. 프로세서(120)는 도 16과 같은 화질 개선 테이블을 생성할 수 있다.

다음은 상기한 화질 개선 테이블을 이용하여 생체 이미지를 보정하는 방법을 설명한다. 먼저 생체 이미지가 입력되면, 프로세서(120)는 생체 이미지에 대해 각 평가 항목별 평가 점수를 산출할 수 있다. 그리고, 화질 개선 테이블을 이용하여 개선 알고리즘 및 개선 알고리즘의 가중치를 결정할 수 있다. 예를 들어, 생체 이미지에 대해 3개의 평가 항목(M1, M2, M3)으로 각각 평가하여 각각의 평가 항목에 대한 평가 점수가 4, 5, 6 등급일 수 있다, 프로세서(120)는 평가 항목이 M1인 서브 화질 개선 테이블에서는 4등급의 열을 참조하고, 평가 항목이 M2인 서브 화질 개선 테이블에서는 5등급의 열을 참조하며, 평가 항목이 M3인 화질 개선 테이블에서는 6등급의 열을 참조할 수 있다.

도 18은 도 17의 화질 개선 테이블에서 산출된 평가 점수를 강조한 참조도면이다. 각 개선 알고리즘의 가중치를 결정함에 있어서, 프로세서(120)는 평가 항목별로 개선 알고리즘에 대한 개선도의 합 또는 평균을 이용할 수 있다. 예를 들어, 프로세서(120)는 개선 알고리즘의 개선도의 합 또는 평균이 가장 클 때의 가중치를 개선 알고리즘의 가중치로 결정할 수 있다. 개선 알고리즘은 평가 항목((M1, M2, M3) 각각에 영향을 미칠 수 있기 때문이다.

도 19는 평가 항목의 평가 점수에 대응하는 개선도의 합을 도시한 참조도면이다. 도 19에서 (i)는 제3 개선 알고리즘(E3)에 대한 제1 평가 항목(M1)(M1)의 평가 점수인 4 등급에 대응하는 개선도이고, (ii)는 제3 개선 알고리즘(E3)에 대한 제2 평가 항목(M2)(M2)의 평가 점수인 5등급에 대응하는 개선도이며, (iii)는 제3 개선 알고리즘(E3)에 대한 제3 평가 항목(M3)의 평가 점수인 6등급에 대응하는 개선도이다. 그리고, (iv)는 제3 개선 알고리즘(E3)의 가중치별 개선도들의 합이다. 프로세서(120)는 개선도들의 합이 최대일 때의 가중치를 제3 개선 알고리즘(E3)의 가중치로 결정할 수 있다.

앞서 기술한 생체 이미지에 대해 개선 알고리즘을 적용하여 처리 방법은 생체 센서(110)로부터 획득된 모든 생체 이미지에 적용될 수도 있지만, 그에 한정되지 않는다. 생체 센서(110)로부터 획득된 생체 이미지 중 일부 생체 이미지에 대해 적용될 수도 있다. 예를 들어, 생체 이미지를 인증 템플릿으로 등록하는 경우, 앞서 기술한 바와 같이 생체 이미지를 보정하여 등록할 수 있다. 한편, 생체 센서(110)로부터 획득된 생체 이미지를 인증하는 경우, 인증이 실패한 생체 이미지에 대해 생체 이미지를 보정할 수 있다.

도 20은 다른 실시예에 따른 생체 이미지 처리 방법을 설명하는 참조도면이다. 도 20을 참조하면, 프로세서(120)는 생체 이미지를 인증할 수 있다(S2010). 프로세서(120)는 생체 센서(110)로부터 획득한 생체 이미지를 메모리(130)에 등록된 인증 템플릿과 비교하여 생체 이미지를 인증할 수 있다. 예를 들어, 생체 이미지와 등록된 인증 템플릿의 유사도가 제1 기준값 이상인 경우, 프로세서(120)는 생체 이미지와 인증 템플릿은 동일한 것으로 간주하여 인증에 성공한 것으로 판단할 수 있다. 그러나, 생체 이미지와 등록된 인증 템플릿의 유사도가 제1 기준값 미만인 경우, 프로세서(120)는 생체 이미지와 인증 템플릿은 다른 것으로 간주하여 인증에 실패한 것으로 판단할 수 있다.

인증에 실패한 것으로 판단되면(S2020-Y), 프로세서(120)는 생체 이미지를 평가할 수 있다(S2030). 생체 이미지의 평가 방법은 앞에 기술하였다. 간략하게, 프로세서(120)는 생체 이미지를 평가 항목 별로 평가하여 평가 항목별로 평가 점수를 산출할 수 있다. 상기한 평가 항목은 노이즈, 아티팩트, 밝기 편차 등일 수 있다. 또한 평가 점수는 픽셀 값 이외에 인증율에 대한 정보를 포함할 수 있다. 평가 결과에 기초하여, 프로세서(120)는 생체 이미지의 화질 및 인증율 중 적어도 하나를 향상시키기 위한 개선 알고리즘 및 개선 알고리즘의 가중치 중 적어도 하나를 결정할 수 있다.

프로세서(120)는 결정된 개선 알고리즘 및 가중치로 생체 이미지를 보정할 수 있다(2040). 개선 알고리즘이 복수 개인 경우, 프로세서(120)는 개선 알고리즘을 하나씩 순차적으로 적용할 수 있다. 또한, 일부의 개선 알고리즘을 적용하여 생체 이미지를 보정한 후, 보정된 생체 이미지를 평가할 수 있다. 그리고, 평가 점수가 제2 기준값보다 낮으면, 나머지 개선 알고리즘을 적용하여 생체 이미지를 보정할 수 있다. 그러나, 일부의 개선 알고리즘을 적용하여 생체 이미지를 보정한 후, 보정된 생체 이미지의 평가 점수가 제2 기준값 이상이면, 나머지 개선 알고리즘을 적용하지 않고, 보정된 생체 이미지를 다시 인증할 수도 있다.

상기와 같이, 화질 개선 테이블을 이용함으로써 평가 항목 별 화질 및 인증율을 향상시킬 수 있는 개선 알고리즘을 적응적으로 결정할 수 있다. 그리고, 결정된 개선 알고리즘으로 보정된 생체 이미지의 인증율도 높일 수 있다.

앞서 기술한 생체 이미지를 처리하는 장치(100)는 독립적인 장치(100)일 수도 있지만, 다른 기능을 포함하는 전자 장치(100)일 수도 있다. 예를 들어, 전자 장치(100)는 데스크톱 컴퓨터, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라(160), IPTV(Internet Protocol Television), DTV(Digital Television), CE 기기(예컨대, 디스플레이 장치(100)를 갖는 냉장고, 에이컨 등) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 전자 장치(100)는 대상체에 의해 착용될 수 있는 장치(100)(wearable device)일 수 있다. 예를 들어, 전자 장치(100)는 손목 시계, 안경, 반지, 팔찌, 목걸이 등일 수 있다. 또는 전자 장치(100)는 생체 센서(110)를 포함하는 IOT(Internet Of Things) 장치(100)일 수도 있다.

이제까지 실시예들을 중심으로 살펴보았다. 본 실시예에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형상으로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 생체 이미지 처리 장치
110: 생체 센서
120: 프로세서
130: 메모리
210: 화질 평가부
220: 알고리즘결정부
230: 화질 개선부

Claims

생체 센서로부터 생체 이미지를 획득하는 단계;
상기 생체 이미지의 화질을 복수 개의 평가 항목으로 평가하여 상기 복수 개의 평가 항목별로 인증률에 대한 정보가 포함된 평가 점수를 산출하는 단계;
화질의 개선도가 포함된 화질 개선 테이블을 이용하여 상기 평가 점수에 대응하는 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정하는 단계; 및
상기 가중치의 상기 개선 알고리즘으로 상기 생체 이미지를 보정하는 단계;를 포함하는 생체 이미지 처리 방법.
제 1항에 있어서,
상기 평가하는 단계는,
상기 생체 이미지에 대한 픽셀 값을 기초로, 상기 복수 개의 평가 항목 별로 상기 생체 이미지의 평가 값을 산출하는 단계; 및
상기 평가 값을 상기 평가 점수로 변환하는 단계;를 포함하는 생체 이미지 처리 방법.
제 2항에 있어서,
상기 평가 점수로 변환하는 단계는,
선형 회귀 방식으로 상기 평가 값과 상기 인증률과의 상관 관계를 산출함으로써 상기 평가 값을 상기 평가 점수로 변환하는 생체 이미지 처리 방법.
제 3항에 있어서,
상기 인증률은,
상기 평가 값이 유사한 영상들간의 유사도에 기초한 생체 이미지 처리 방법.
제 1항에 있어서,
상기 화질 개선 테이블은,
평가 항목 및 개선 알고리즘에 따른 개선도를 나타내는 생체 이미지 처리 방법.
제 5항에 있어서,
상기 화질 개선 테이블은,
제1 평가 항목 및 제1 개선 알고리즘에 따른 개선도를 나타내는 제1 화질 개선 테이블;
제1 평가 항목 및 제2 개선 알고리즘에 따른 개선도를 나타내는 제2 화질 개선 테이블;
제2 평가 항목 및 제1 개선 알고리즘에 따른 개선도를 나타내는 제3 화질 개선 테이블 및
제2 평가 항목 및 제2 개선 알고리즘 및 개선도 간의 상관 관계를 나타내는 제4 화질 개선 테이블;을 포함하는 생체 이미지 처리 방법.
제 5항에 있어서,
상기 개선도는
상기 평가 항목의 등급별로 세분화되어 있는 생체 이미지 처리 방법.
제 5항에 있어서,
상기 개선도는
상기 개선 알고리즘의 가중치별로 세분화되어 있는 생체 이미지 처리 방법.
제 5항에 있어서,
상기 개선도는,
특정 평가 항목의 특정 등급을 갖는 생체 이미지에 특정 가중치의 특정 개선 알고리즘을 적용할 때 예상되는 상기 생체 이미지에 대한 평가 점수인 생체 이미지 처리 방법.
제 1항에 있어서,
상기 결정하는 단계는,
상기 화질 개선 테이블을 이용하여 상기 평가 점수에 대응하는 개선 알고리즘을 결정하는 단계; 및
상기 화질 개선 테이블을 이용하여 결정된 상기 개선 알고리즘의 가중치를 결정하는 단계;를 포함하는 생체 이미지 처리 방법.
제 10항에 있어서,
상기 개선 알고리즘을 결정하는 단계는,
상기 화질 개선 테이블로부터 상기 평가 점수에 대응하는 개선도가 상기 평가 점수보다 제1 기준값 이상일 때, 상기 화질 개선 테이블의 개선 알고리즘을 상기 개선 알고리즘으로 결정하는 단계;를 포함하는 생체 이미지 처리 방법.
제 10항에 있어서,
상기 가중치를 결정하는 단계는,
상기 화질 개선 테이블에서 평가 항목 별 상기 개선도의 합 또는 평균이 최대일 때의 가중치를 상기 가중치로 결정하는 생체 이미지 처리 방법.
제 1항에 있어서,
상기 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정하는 단계는,
상기 복수 개의 평가 항목 각각에 대한 평가 점수 중 적어도 하나가 제2 기준값이하인 경우 수행되는 생체 이미지 처리 방법.
제 1항에 있어서,
상기 보정된 생체 이미지를 인증 템플릿으로 등록하는 단계;를 더 포함하는 생체 이미지 처리 방법.
제 14항에 있어서,
상기 보정된 생체 이미지와 인증 템플릿을 비교하여 상기 보정된 생체 이미지를 인증하는 단계;를 더 포함하는 생체 이미지 처리 방법.
제 1항에 있어서,
상기 생체 이미지는,
지문 이미지, 홍채 이미지, 땀샘 이미지, 혈관 이미지, 얼굴 이미지 중 어느 하나인 생체 이미지 처리 방법.
제 1항에 있어서,
상기 평가 항목은
노이즈, 생체 이외의 다른 객체와 관련된 아티팩트, 및 영역별 밝기 편차 중 적어도 하나를 포함하는 생체 이미지 처리 방법.
제 1항에 있어서,
상기 개선 알고리즘은,
노이즈를 감소시키는 알고리즘, 아티팩트를 감소시키는 알고리즘 및 영역별 밝기 편차를 감소시키는 알고리즘 중 적어도 하나를 포함하는 생체 이미지 처리 방법.
대상체로부터 생체 이미지를 검출하는 생체 센서; 및
상기 생체 센서로부터 상기 생체 이미지를 획득하고, 상기 생체 이미지의 화질을 복수 개의 평가 항목으로 평가하여 상기 복수 개의 평가 항목별로 인증률에 대한 정보가 포함된 평가 점수를 산출하며, 화질의 개선도가 포함된 화질 개선 테이블을 이용하여 상기 평가 점수에 대응하는 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정하며, 결정된 상기 가중치의 상기 개선 알고리즘으로 상기 생체 이미지를 보정하는 프로세서;를 포함하는 전자 장치.
제 19항에 있어서,
상기 프로세서는,
상기 생체 이미지에 대한 픽셀 값을 기초로, 상기 평가 항목 별로 상기 생체 이미지의 평가 값을 산출하고, 상기 평가 값을 상기 평가 점수로 변환하는 전자 장치.
제 20항에 있어서,
상기 프로세서는,
선형 회귀 방식으로 상기 평가 값과 상기 인증률과의 상관 관계를 산출함으로서 상기 평가 값을 상기 평가 점수로 변환하는 전자 장치.
제 20항에 있어서,
상기 인증률은,
상기 평가 값이 유사한 영상들간의 유사도에 기초한 전자 장치.
제 19항에 있어서,
상기 화질 개선 테이블은,
평가 항목 및 개선 알고리즘에 따른 개선도를 나타내는 전자 장치.
제 23항에 있어서,
상기 개선도는
상기 평가 항목의 등급별로 세분화되어 있는 전자 장치.
제 23항에 있어서,
상기 개선도는
상기 개선 알고리즘의 가중치별로 세분화되어 있는 전자 장치.
제 23항에 있어서,
상기 개선도는,
특정 평가 항목의 특정 등급을 갖는 생체 이미지에 특정 가중치의 특정 개선 알고리즘을 적용할 때 예상되는 상기 생체 이미지에 대한 평가 점수인 전자 장치.
제 19항에 있어서,
상기 프로세서는,
상기 화질 개선 테이블을 이용하여 상기 평가 점수에 대응하는 개선 알고리즘을 결정하고, 상기 화질 개선 테이블을 이용하여 결정된 상기 개선 알고리즘의 가중치를 결정하는 전자 장치.
제 27항에 있어서,
상기 프로세서는,
상기 화질 개선 테이블에서 상기 평가 점수보다 제1 기준값 이상의 개선도를 갖는 개선 알고리즘을 상기 개선 알고리즘으로 결정하는 전자 장치.
제 27항에 있어서,
상기 프로세서는,
상기 화질 개선 테이블에서 평가 항목 별 상기 개선도의 합 또는 평균이 최대일 때의 가중치를 상기 가중치로 결정하는 전자 장치.
제 19항에 있어서,
상기 프로세서는,
상기 복수 개의 평가 항목 각각에 대한 평가 점수 중 적어도 하나가 제2 제2 기준값 이하인 경우, 상기 개선 알고리즘 및 상기 개선 알고리즘의 가중치 중 적어도 하나를 결정하는 전자 장치.
제 19항에 있어서,
상기 프로세서는
상기 보정된 생체 이미지와 인증 템플릿을 비교하여 상기 보정된 생체 이미지를 인증하는 전자 장치.
제 19항에 있어서,
상기 생체 이미지는,
지문 이미지, 홍채 이미지, 땀샘 이미지, 혈관 이미지, 얼굴 이미지 중 어느 하나인 전자 장치.