KR101250919B1

KR101250919B1 - Estimation method of skin reflectance properties and data processing device

Info

Publication number: KR101250919B1
Application number: KR1020110030661A
Authority: KR
Inventors: 박선용
Original assignee: 주식회사 매크로그래프
Priority date: 2011-04-04
Filing date: 2011-04-04
Publication date: 2013-04-04
Anticipated expiration: 2031-04-04
Also published as: KR20120113005A

Abstract

얼굴 표면의 반사 속성 추정 방법이 개시된다. 상기 반사 속성 추정 방법은 다수의 광원들 각각을 순차적으로 점멸(on-and-off)하면서 촬영 장치를 이용하여 사람의 얼굴을 촬영하는 단계, 적합 모듈이 얼굴 메시를 형성하는 정점 단위로 분석적 표면 반사 모델을 촬영된 다수의 얼굴 영상들 각각에 포함되고 각각의 정점에 대응하는 픽셀의 픽셀값으로 적합(fitting)하여 반사 속성을 계산하는 단계, 군집화 모듈이 K-평균 군집화 알고리즘(K-means clustering algorithm)을 이용하여 상기 반사 속성을 군집화(clustering)하고 얼굴 표면의 각 부위에 평균 속성을 할당하는 단계, 및 보간 모듈이 할당된 상기 평균 속성을 보간하는 단계를 포함하며, 상기 반사 속성은 반사 계수(reflectance) 및 거칠기(roughness)이며, 상기 반사 계수 및 상기 거칠기 각각은 K개의 군집들로 구분되고, 상기 K개의 군집들 각각의 평균값은 상기 평균값이 속하는 군집의 대표값으로 결정되고, 상기 얼굴 표면의 각 부위에서 빈도수가 가장 큰 군집의 대표값이 상기 각 부위의 평균 속성으로 할당된다.A method for estimating reflection properties of a face surface is disclosed. The method for estimating reflection properties may include photographing a face of a person using an imaging device while sequentially turning on and off each of a plurality of light sources, and analyzing surface reflection in units of vertices in which a fitness module forms a face mesh. Calculating a reflection property by fitting the model to pixel values of a pixel included in each of a plurality of photographed face images and corresponding to each vertex, and the clustering module performs a K-means clustering algorithm. Clustering the reflective properties and assigning average properties to each portion of the face surface, and interpolating the average properties to which an interpolation module is assigned, wherein the reflective properties include: reflectance and roughness, each of the reflection coefficient and the roughness is divided into K clusters, and an average value of each of the K clusters is Is determined as a representative value of the cluster belongs to this value, representative of the largest cluster in each frequency region of the face surface is allocated to the average properties of the different parts.

Description

ESTIMATION METHOD OF SKIN REFLECTANCE PROPERTIES AND DATA PROCESSING DEVICE}

본 발명의 개념에 따른 실시 예는 얼굴 표면의 반사 속성 추정 방법에 관한 것으로, 특히 제한된 시점으로부터 촬영된 다수의 얼굴 영상들을 이용하여 반사 속성을 추정할 수 있는 얼굴 표면의 반사 속성 추정 방법 및 이를 실행하기 위한 데이터 처리 장치에 관한 것이다.Embodiments of the present disclosure relate to a method of estimating reflection properties of a face surface, and in particular, a method of estimating reflection properties of a face surface capable of estimating reflection properties by using a plurality of face images photographed from a limited viewpoint and executing the same It relates to a data processing device for.

최근 들어 영화 및 애니메이션에서 재질에 대한 사실적 표현이 중요한 요소로 부각되고 있다. 상기 사실적 표현을 위한 다양한 기법들이 개발되고 있다. 그러나, 상기 다양한 기법들을 활용하기 위해서는 많은 시간이 소요되며, 상기 다양한 기법들을 활용하기 위한 비용 또한 증가하게 된다.In recent years, realistic expressions of materials have emerged as important elements in film and animation. Various techniques have been developed for the factual representation. However, it takes a lot of time to use the various techniques, the cost of utilizing the various techniques also increases.

특히, 사람의 피부와 같이 미세 표면을 갖는 재질에 단순한 비 물리적(non-physical) 모델을 적용할 경우, 상기 피부가 밀랍(wax)와 같은 느낌을 갖도록 표현된다.In particular, when a simple non-physical model is applied to a material having a fine surface such as human skin, the skin is expressed to have a waxy feel.

따라서 본 발명이 이루고자 하는 기술적인 과제는 제한된 시점 및 적은 비용으로 반사 속성을 추정할 수 있는 피부 표면의 반사 속성 추정 방법 및 이를 실행하기 위한 데이터 처리 장치를 제공하는 것이다.Accordingly, the technical problem to be achieved by the present invention is to provide a method for estimating the reflection property of the skin surface capable of estimating the reflection property at a limited time point and at a low cost, and a data processing apparatus for performing the same.

본 발명의 실시 예에 따른 얼굴 표면의 반사 속성 추정 방법은 다수의 광원들 각각을 순차적으로 점멸(on-and-off)하면서 촬영 장치를 이용하여 사람의 얼굴을 촬영하는 단계, 적합 모듈이 얼굴 메시를 형성하는 정점 단위로 분석적 표면 반사 모델을 촬영된 다수의 얼굴 영상들 각각에 포함되고 각각의 정점에 대응하는 픽셀의 픽셀값으로 적합(fitting)하여 반사 속성을 계산하는 단계, 군집화 모듈이 K-평균 군집화 알고리즘(K-means clustering algorithm)을 이용하여 상기 반사 속성을 군집화(clustering)하고 얼굴 표면의 각 부위에 평균 속성을 할당하는 단계, 및 보간 모듈이 할당된 상기 평균 속성을 보간하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of estimating reflection properties of a face surface, photographing a human face using an imaging device while sequentially turning on and off each of a plurality of light sources. Calculating a reflection property by fitting an analytical surface reflection model to each of a plurality of photographed face images in units of vertices forming a vertex, and calculating reflection properties by the clustering module; Clustering the reflective attributes using a K-means clustering algorithm and assigning average attributes to each portion of the face surface, and interpolating the average attributes assigned to an interpolation module. do.

또한, 상기 얼굴 표면의 반사 속성 추정 방법은 상기 얼굴 표면의 각 부위에 상기 평균 속성을 할당하는 단계 전에, 평탄화 모듈이 이중 한계치법(double thresholding method)을 이용하여 상기 반사 속성을 평탄화(flattening)하는 단계를 더 포함할 수 있다.In addition, the method for estimating the reflection property of the face surface may include a planarization module flattening the reflection property by using a double thresholding method before assigning the average property to each part of the face surface. It may further comprise a step.

상기 반사 속성은 반사 계수(reflectance) 및 거칠기(roughness)를 포함한다.The reflection property includes reflection coefficient and roughness.

상기 다수의 광원들 각각은 방향성 광원으로 구현될 수 있다.Each of the plurality of light sources may be implemented as a directional light source.

상기 분석적 표면 반사 모델은 토런-스패로우(Torrance-Sparrow) 모델일 수 있다.The analytical surface reflection model may be a Torrance-Sparrow model.

또한, 상기 평균 속성을 보간하는 단계는 양방향 선형 보간(bilinear interpolation) 기법을 이용할 수 있다.In addition, the interpolation of the average attribute may use a bilinear interpolation technique.

또한, 상기 사람의 얼굴을 촬영하는 단계는 상기 다수의 광원들 각각을 점멸하는데 소요되는 시간 동안 2회 이상 촬영하고, 상기 반사 속성을 계산하는 단계는 촬영된 2 이상의 얼굴 영상들 중 밝기가 가장 높은 얼굴 영상을 선택하는 단계를 포함할 수 있다.In addition, the photographing of the face of the person may be performed two or more times during the time required to blink each of the plurality of light sources, and the calculating of the reflection property may include the highest brightness among the two or more photographed face images. The method may include selecting a face image.

본 발명의 일 실시예에 따른 데이터 처리 장치는 프로그램을 저장하는 메모리, 및 상기 프로그램을 실행시키기 위한 프로세서를 포함하고, 상기 프로그램이 실행됨에 따라, 상기 프로세서는 얼굴 메시를 형성하는 정점 단위로 분석적 표면 반사 모델을 촬영된 다수의 얼굴 영상들 각각에 포함되고 각각의 정점에 대응하는 픽셀의 픽셀값으로 적합(fitting)하여 반사 속성을 계산하고, K-평균 군집화 알고리즘(K-means clustering algorithm)을 이용하여 상기 반사 속성을 군집화(clustering)하고 얼굴 표면의 각 부위에 평균 속성을 할당하고, 할당된 상기 평균 속성을 보간할 수 있다.A data processing apparatus according to an embodiment of the present invention includes a memory for storing a program and a processor for executing the program, and as the program is executed, the processor is configured to analyze analytical surface in units of vertices forming a face mesh. The reflection model is calculated by fitting a reflection model to pixel values of pixels included in each of the plurality of face images photographed and corresponding to each vertex, and using a K-means clustering algorithm. Clustering the reflective attributes, assigning average attributes to each portion of the face surface, and interpolating the assigned average attributes.

본 발명의 실시 예에 따른 피부 표면의 반사 속성 추정 방법은 제한된 시점으로부터 촬영한 다수의 얼굴 영상들로부터 피부 표면의 반사 속성을 추정할 수 있는 효과가 있다.The method for estimating the reflection property of the skin surface according to an embodiment of the present invention has the effect of estimating the reflection property of the skin surface from a plurality of face images taken from a limited time point.

또한, 본 발명의 실시 예에 따른 피부 표면의 반사 속성 추정 방법은 적은 비용으로 수행할 수 있고, 데이터 처리 속도를 높일 수 있는 효과가 있다.In addition, the method for estimating the reflection property of the skin surface according to an embodiment of the present invention can be performed at a low cost, and the data processing speed can be increased.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 얼굴 표면의 반사 속성 추정 방법을 수행하기 위한 반사 속성 추정 장치와 촬영 장치를 도시한다.
도 2는 도 1에 도시된 반사 속성 추정 장치의 블럭도이다.
도 3은 얼굴 표면에서의 반사 형태를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 얼굴 표면의 반사 속성 추정 방법을 설명하기 위한 흐름도이다.
도 5는 도 1에 도시된 촬영 장치로부터 출력된 다수의 얼굴 영상들을 도시한다.
도 6은 도 5에 도시된 다수의 얼굴 영상들 각각에서 산란에 의한 효과가 제거된 후의 얼굴 영상을 도시한다.
도 7은 토런-스패로우 반사 모델을 설명하기 위한 도면이다.
도 8은 토런-스패로우 반사 모델의 반사 로브(reflection love)를 도시한다.
도 9a는 군집화된 거칠기를 색상을 이용하여 도시한다.
도 9b는 군집화된 반사 계수를 색상을 이용하여 도시한다.
도 10은 각각의 부위에 평균 속성이 할당된 얼굴 표면을 도시한다.
도 11은 도 10에 도시된 얼굴 표면에 보간을 행한 후의 얼굴 표면을 도시한다.
도 12a 및 도 12b는 보간의 전후 과정을 설명하기 위한 도면으로, 도 12a는 보간을 수행하기 전의 얼굴 표면을 도시하고, 도 12b는 보간이 수행된 후의 얼굴 표면을 도시한다.
도 13은 도 4에 도시된 촬영 과정을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 데이터 처리 장치의 블럭도이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In order to more fully understand the drawings recited in the detailed description of the present invention, a detailed description of each drawing is provided.
1 illustrates a reflection property estimation apparatus and a photographing apparatus for performing a reflection property estimation method of a face surface according to an embodiment of the present invention.
FIG. 2 is a block diagram of the apparatus for estimating reflection attributes shown in FIG. 1.
3 is a view for explaining the reflection form on the face surface.
4 is a flowchart illustrating a method of estimating a reflection property of a face surface according to an exemplary embodiment of the present invention.
FIG. 5 illustrates a plurality of face images output from the photographing apparatus illustrated in FIG. 1.
FIG. 6 illustrates a face image after scattering effects are removed from each of the plurality of face images illustrated in FIG. 5.
7 is a diagram for describing a torrent-sparrow reflection model.
8 shows the reflection lobe of the torrent-sparrow reflection model.
9A illustrates clustered roughness using color.
9B shows the clustered reflection coefficients using color.
10 shows a face surface with each attribute assigned an average attribute.
FIG. 11 shows the face surface after interpolation to the face surface shown in FIG. 10.
12A and 12B are diagrams for explaining a process before and after interpolation, FIG. 12A illustrates a face surface before interpolation, and FIG. 12B illustrates a face surface after interpolation is performed.
FIG. 13 is a diagram for describing a photographing process illustrated in FIG. 4.
14 is a block diagram of a data processing apparatus according to an embodiment of the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.Specific structural to functional descriptions of the embodiments according to the inventive concept disclosed herein are merely illustrated for the purpose of describing the embodiments according to the inventive concept. It may be embodied in various forms and should not be construed as limited to the embodiments set forth herein or in the application.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Embodiments in accordance with the concepts of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail in this specification or application. It is to be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first and / or second may be used to describe various components, but the components should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions describing the relationship between components, such as "between" and "immediately between," or "neighboring to," and "directly neighboring to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined herein. Do not.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 얼굴 표면의 반사 속성 추정 방법을 수행하기 위한 반사 속성 추정 장치와 촬영 장치를 도시한다.1 illustrates a reflection property estimation apparatus and a photographing apparatus for performing a reflection property estimation method of a face surface according to an embodiment of the present invention.

도 1을 참조하면, 촬영 장치(10)는 피사체(30), 예컨대 사람의 얼굴을 촬영하여 다수의 얼굴 영상들을 출력한다.Referring to FIG. 1, the photographing apparatus 10 outputs a plurality of face images by photographing a subject 30, for example, a human face.

촬영 장치(10)는 다수의 광원들(미도시) 및 카메라(미도시)를 포함한다. 상기 다수의 광원들 각각은 방향성 광원일 수 있다. 상기 방향성 광원이라 함은 태양과 같이 한방향으로 평행 광선을 투사하는 광원을 의미한다. 상기 방향성 광원을 구현하기 위해 상기 다수의 광원들 각각을 피사체(30)로부터 충분히 먼 거리에 위치시킬 수 있다. 또한, 상기 방향성 광원은 다른 방식들을 이용하여 구현될 수도 있다.The photographing apparatus 10 includes a plurality of light sources (not shown) and a camera (not shown). Each of the plurality of light sources may be a directional light source. The directional light source refers to a light source that projects parallel rays in one direction, such as the sun. In order to implement the directional light source, each of the plurality of light sources may be positioned at a sufficiently long distance from the subject 30. In addition, the directional light source may be implemented using other methods.

촬영 장치(10)는 다수의 광원들 각각을 순차적으로 점멸(on-and-off)하면서 상기 사람의 얼굴을 촬영할 수 있다.The photographing apparatus 10 may photograph the face of the person while sequentially turning on and off each of the plurality of light sources.

반사 속성 추정 장치(50)는 촬영 장치(10)로부터 상기 다수의 얼굴 영상들을 수신하고, 상기 다수의 얼굴 영상들을 이용하여 상기 얼굴 표면의 상기 반사 속성을 추정할 수 있다.The reflection property estimating apparatus 50 may receive the plurality of face images from the photographing apparatus 10, and estimate the reflection property of the face surface using the plurality of face images.

도 2는 도 1에 도시된 반사 속성 추정 장치의 블럭도이다.FIG. 2 is a block diagram of the apparatus for estimating reflection attributes shown in FIG. 1.

도 2를 참조하면, 반사 속성 추정 장치(50)는 적합 모듈(100), 평탄화 모듈(300), 군집화 모듈(500), 보간 모듈(700), 및 제어 모듈(900)을 포함한다.Referring to FIG. 2, the reflection property estimating apparatus 50 includes a fitting module 100, a planarization module 300, a clustering module 500, an interpolation module 700, and a control module 900.

적합 모듈(100)은 얼굴 메시를 형성하는 정점 단위로 분석적 표면 반사 모델을 촬영된 다수의 얼굴 영상들 각각에 포함되고 각각의 정점에 대응하는 픽셀의 픽셀값으로 적합(fitting)하여 반사 속성을 계산할 수 있다.The fitting module 100 calculates the reflection property by fitting an analytical surface reflection model to each of a plurality of photographed facial images in units of vertices forming a face mesh with pixel values of pixels corresponding to each vertex. Can be.

이때, 상기 반사 속성은 반사 계수(reflectacne) 및 거칠기(roughness)를 포함한다. 또한, 상기 분석적 표면 반사 모델은 토런-스패로우(Torrance-Sparrow) 모델일 수 있다.In this case, the reflection property includes a reflection coefficient and a roughness. In addition, the analytical surface reflection model may be a Torrance-Sparrow model.

평탄화 모듈(300)은 이중 한계치법(double thresholding method)을 이용하여 상기 반사 속성을 평탄화(flattening)할 수 있다.The planarization module 300 may flatten the reflective property by using a double thresholding method.

군집화 모듈(500)은 K-평균 군집화 알고리즘(K-means clustering algorithm)을 이용하여 상기 반사 속성을 군집화(clustering)할 수 있다. 즉, 군집화 모듈(500)은 상기 반사 계수 및 상기 거칠기 각각을 K개의 군집들로 구분할 수 있다. 이때, 상기 K개의 군집들 각각의 평균값은 상기 평균값이 속하는 군집의 대표값으로 결정할 수 있다. The clustering module 500 may cluster the reflection property by using a K-means clustering algorithm. That is, the clustering module 500 may divide each of the reflection coefficient and the roughness into K clusters. In this case, an average value of each of the K clusters may be determined as a representative value of a cluster to which the average value belongs.

또한, 군집화 모듈(500)은 얼굴 표면의 각 부위에서 빈도수가 가장 큰 군집의 대표값을 상기 각 부위의 평균 속성으로 할당할 수 있다.In addition, the clustering module 500 may assign a representative value of a cluster having the highest frequency in each region of the face surface as an average attribute of each region.

보간 모듈(700)은 할당된 상기 평균 속성을 보간(interpolation)할 수 있다.The interpolation module 700 may interpolate the assigned average attribute.

제어 모듈(900)은 반사 속성 추정 장치(50)에 포함된 각각의 모듈들을 제어할 수 있다.The control module 900 may control each module included in the reflection property estimating apparatus 50.

도 2에 도시된 반사 속성 추정 장치(50)의 구성들 각각은 기능 및 논리적으로 분리될 수 있음으로 나타내는 것이며, 반드시 구성들 각각이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것이 아니다.Each of the components of the reflection property estimating apparatus 50 shown in FIG. 2 is functionally and logically separated, and means that each of the components is divided into separate physical devices or written in a separate code. no.

또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아니다.In addition, the term "module" in the present specification may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the module may mean a logical unit of a predetermined code and a hardware resource for performing the predetermined code, and not necessarily a physically connected code or a kind of hardware.

도 3은 얼굴 표면에서의 반사 형태를 설명하기 위한 도면이다.3 is a view for explaining the reflection form on the face surface.

도 3을 참조하면, 컴퓨터 그래픽스는 피부의 층 구조를 오일층(oily layer), 표피층(epidermis), 및 진피층(dermis)으로 구분한다.Referring to FIG. 3, the computer graphics divides the layer structure of the skin into an oily layer, an epidermis, and a dermis.

상기 피부에 입사되는 입사광(32)은 상기 오일층, 즉 피부의 표면에서 반사되거나, 상기 피부의 내부 조직들에 의해 산란(scattering)된다. 반사광(34)은 입사광(32)이 상기 표면에서 정반사(specular reflection)되어 생성된다. 산란광(36, 37, 38, 및 39)은 입사광(32)이 상기 피부의 내부에서 산란되어 생성된다. 산란광(36)은 단일 산란(single scattering)에 의한 단일 산란광이다. 산란광(37, 38, 및 39)는 2회 이상의 다중 산란(multiple scattering)에 의한 다중 산란광이다.Incident light 32 incident on the skin is reflected off the oil layer, ie the surface of the skin, or scattered by internal tissues of the skin. Reflected light 34 is produced by specular reflection of incident light 32 on the surface. Scattered light 36, 37, 38, and 39 is generated by incident light 32 scattered inside the skin. Scattered light 36 is a single scattered light by a single scattering (single scattering). Scattered light 37, 38, and 39 are multiple scattered light by two or more multiple scatterings.

상기 다수의 산란광들(36, 37, 및 38)에 의한 반사 효과는 다양한 블러링(blurring) 기법을 이용하여 간단히 표현될 수 있다. 따라서, 본 발명에 의한 얼굴 표면의 반사 속성 추정 방법은 상기 다수의 산란광들(36, 37, 및 38)에 의한 반사 효과를 제거하고 반사광(34)에 의한 반사 효과만을 고려한다. 이를 위해, 상기 얼굴 표면의 반사 속성 추정 방법은 상기 다수의 산란광들(36, 37, 및 38)에 의한 반사 효과를 제거할 수 있다.The reflection effect by the plurality of scattered lights 36, 37, and 38 can be simply expressed using various blurring techniques. Accordingly, the method for estimating the reflection property of the face surface according to the present invention eliminates the reflection effect by the plurality of scattered lights 36, 37, and 38 and considers only the reflection effect by the reflected light 34. To this end, the method for estimating the reflection property of the face surface may eliminate the reflection effect by the plurality of scattered lights 36, 37, and 38.

도 4는 본 발명의 실시예에 따른 얼굴 표면의 반사 속성 추정 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of estimating a reflection property of a face surface according to an exemplary embodiment of the present invention.

도 4를 참조하면, 촬영 장치(10)는 다수의 광원들 각각을 순차적으로 점멸하면서 사람의 얼굴을 촬영한다(S10).Referring to FIG. 4, the photographing apparatus 10 photographs a human face while sequentially blinking each of the plurality of light sources (S10).

상기 다수의 광원들 각각은 피사체(30), 즉 사람의 얼굴로부터 일정한 거리에 균등하게 분포될 수 있다. 일예로 광원의 개수는 150개로 구현될 수 있다. 150개의 광원들을 균등하게 분포시키기 위해 정20면체가 이용될 수 있다. 상기 정20면체을 구성하는 다수의 삼각형들 각각을 세분화하여 4개의 삼각형으로 구분한 후, 세분화된 다수의 삼각형들 각각의 3개의 꼭지점과 상기 세분화된 다수의 삼각형들 각각의 3개의 모서리들 각각의 중앙에 광원이 부착될 수 있다. 이때, 피실험자가 앉기 위한 의자가 위치할 바닥면과 상기 피실험자가 출입하기 위한 후방의 출입구에 위치한 2개의 삼각형에는 상기 광원을 부착하지 않기 때문에 상기 광원의 총 개수는 150개가 된다. 상기 150개의 광원들 각각은 상기 정20면체의 중앙을 지향한다.Each of the plurality of light sources may be evenly distributed at a certain distance from the subject 30, that is, the face of a person. For example, the number of light sources may be 150. A dodecahedron can be used to evenly distribute 150 light sources. After dividing each of the plurality of triangles constituting the icosahedron into four triangles, three vertices of each of the plurality of triangular triangles and three centers of each of the three triangular triangles are divided. The light source may be attached to the light source. At this time, the total number of the light sources is 150 because the light sources are not attached to the two triangles located at the floor on which the chair for the test subject to sit and the rear doorway for entering and exiting the test subject. Each of the 150 light sources points to the center of the icosahedron.

피사체(30), 즉 사람의 얼굴의 정면 방향에는 카메라가 위치할 수 있다.The camera may be located in the front direction of the subject 30, ie, the face of a person.

촬영 장치(10)는 상기 다수의 광원들 각각에 대응되는 얼굴 영상을 출력할 수 있다.The photographing apparatus 10 may output a face image corresponding to each of the plurality of light sources.

도 5는 도 1에 도시된 촬영 장치로부터 출력된 다수의 얼굴 영상들을 도시한다.FIG. 5 illustrates a plurality of face images output from the photographing apparatus illustrated in FIG. 1.

도 5를 참조하면, 상기 다수의 광원들 각각에 대응되는 얼굴 이미지가 도시된다. 즉, 도 5에는 각각이 상기 150개의 광원들 각각에 대응되는 150개의 얼굴 영상들이 도시된다.Referring to FIG. 5, a face image corresponding to each of the plurality of light sources is shown. That is, FIG. 5 shows 150 face images each corresponding to each of the 150 light sources.

다시 도 4를 참조하면, 적합 모듈(100)은 다수의 얼굴 영상들에서 산란에 의한 반사 효과를 제거한다(S20).Referring back to FIG. 4, the fitting module 100 removes the reflection effect due to scattering in the plurality of face images (S20).

도 5에 도시된 다수의 얼굴 영상들 각각에는 정반사에 의한 효과와 산란에 의한 효과가 모두 반영되어 있다. 따라서, 상기 산란에 의한 효과는 제거되어야 한다.Each of the plurality of face images illustrated in FIG. 5 reflects the effects of specular reflection and the effects of scattering. Therefore, the effects of the scattering should be eliminated.

상기 산란에 의한 효과는 픽셀 단위로 제거된다.The effect of the scattering is eliminated pixel by pixel.

각각이 상기 다수의 얼굴 영상들 각각의 동일 위치에 위치하는 다수의 픽셀들을 픽셀 그룹으로 정의할 때, 하나의 픽셀 그룹은 150개의 픽셀들로 구성된다. 또한 상기 픽셀 그룹은 다수의 얼굴 영상들 각각에 포함된 픽셀의 개수만큼 존재한다.When each pixel defines a plurality of pixels located at the same position of each of the plurality of face images as a pixel group, one pixel group includes 150 pixels. In addition, the pixel group exists by the number of pixels included in each of the plurality of face images.

일단, 특정 픽셀 그룹만을 고려하면, 상기 특정 픽셀 그룹은 150개의 픽셀들을 포함한다. 상기 150개의 픽셀들 각각은 픽셀값을 포함하고, 상기 픽셀값은 RGB 벡터로 표현된다. 상기 픽셀값이 RGB 정보를 포함하고 있기 때문이다. 또한 상기 픽셀값은 상기 RGB 벡터의 크기가 될 수 있다.Once only a particular pixel group is considered, the particular pixel group includes 150 pixels. Each of the 150 pixels includes a pixel value, which is represented by an RGB vector. This is because the pixel value contains RGB information. In addition, the pixel value may be the size of the RGB vector.

이때, 상기 150개의 픽셀들 중 가장 작은 픽셀값을 갖는 픽셀이 갖는 픽셀값이 산란에 의한 효과라고 가정할 수 있다. 이 경우, 상기 150개의 픽셀들 중 후방에 위치하는 광원에 대응하는 픽셀의 픽셀값은 제외될 수 있다. 상기 후방에 위치하는 광원에 대응하는 상기 픽셀의 상기 픽셀값은 정반사에 의한 효과 뿐만 아니라 산란에 의한 효과도 반영되지 않기 때문이다.In this case, it may be assumed that the pixel value of the pixel having the smallest pixel value among the 150 pixels is an effect of scattering. In this case, the pixel value of the pixel corresponding to the light source located behind the 150 pixels may be excluded. This is because the pixel value of the pixel corresponding to the light source located at the rear side does not reflect not only the effect due to specular reflection but also the effect due to scattering.

따라서, 상기 150개의 픽셀들 각각의 픽셀값에서 상기 가장 작은 픽셀값을 갖는 픽셀이 갖는 픽셀값을 빼주면, 상기 산란에 의한 효과는 제거될 수 있다.Therefore, if the pixel value of the pixel having the smallest pixel value is subtracted from the pixel value of each of the 150 pixels, the effect due to the scattering can be eliminated.

나머지 픽셀 그룹들에 대한 설명은 생략한다.The description of the remaining pixel groups is omitted.

도 6은 도 5에 도시된 다수의 얼굴 영상들 각각에서 산란에 의한 효과가 제거된 후의 얼굴 영상을 도시한다.FIG. 6 illustrates a face image after scattering effects are removed from each of the plurality of face images illustrated in FIG. 5.

도 6을 참조하면, 적합 모듈(100)은 도 5에 도시된 다수의 얼굴 영상들 각각에서 산란에 의한 효과를 제거할 수 있다. 도 6에 도시된 다수의 얼굴 영상들 각각은 각각의 픽셀이 갖는 RGB 벡터의 크기를 이용하여 표현된 것이다.Referring to FIG. 6, the fit module 100 may remove an effect due to scattering in each of the plurality of face images illustrated in FIG. 5. Each of the plurality of face images illustrated in FIG. 6 is represented using the size of an RGB vector of each pixel.

다시 도 4를 참조하면, 적합 모듈(100)은 얼굴 메시를 형성하는 정점 단위로 분석적 표면 반사 모델을 다수의 얼굴 영상들 각각에 포함되고 각각의 정점에 대응하는 픽셀의 픽셀값으로 적합하여 반사 속성을 계산한다(S30). 이때, 상기 분석적 표면 반사 모델은 토런-스패로우 모델일 수 있다.Referring back to FIG. 4, the fitting module 100 fits an analytical surface reflection model to each of a plurality of face images in units of vertices forming a face mesh, and fits the pixel property of a pixel corresponding to each vertex to reflect property. Calculate (S30). In this case, the analytical surface reflection model may be a torron-sparrow model.

수학식 1과 같은 양방향 반사 분포 함수(bidirectional reflectance distribution function; BRDF)를 이용하면 반사 속성을 계산할 수 있다.A reflection property may be calculated by using a bidirectional reflectance distribution function (BRDF) such as Equation (1).

수학식 1에서, 상기 ρ_s는 반사 계수(reflectance)이고, 상기 D는 베크만 미세면 분포함수(Bechmann micro-facet distribution function)이고, 상기 G는 기하항(geometry term)이고, 상기 N은 법선 벡터이고, 상기 w_i는 입사 방향이고, 상기 w₀는 반사 방향이고, 상기 Fr은 프레넬 항(reflective fresnel term)이고, 상기 H는 반향 벡터(half-way vector)이다.In Equation 1, ρ _s is a reflection coefficient, D is a Beckmann micro-facet distribution function, G is a geometry term, and N is a normal vector W _i is the direction of incidence, w ₀ is the reflection direction, Fr is a reflective fresnel term, and H is a half-way vector.

상기 D는 수학식 2와 같이 표현된다.D is expressed as in Equation 2.

수학식 2에서, 상기 m은 거칠기(roughness)이고, 상기 δ는 상기 H와 상기 N 사이의 각이다.In Equation 2, m is roughness, and δ is an angle between H and N.

수학식 1에서 상기 G는 수학식 3과 같이 표현된다.In Equation 1, G is expressed as Equation 3.

수학식 1에서 상기 Fr은 수학식 4와 같이 표현된다.In Equation 1, Fr is expressed as Equation 4.

수학식 4에서, 상기 θ는 상기 입사 방향의 극각이고, 상기 φ는 상기 입사 방향의 방위각이다.In Equation 4, θ is a polar angle in the incident direction, and φ is an azimuth in the incident direction.

사람의 얼굴에 대한 3차원 기하 구조는 3D 스캔을 통하여 파악될 수 있다. 따라서, 다수의 광원들 각각의 위치, 정점의 좌표, 및 법선의 방향을 알고 있으므로, 상기 적합(fitting)은 비선형 최소 제곱합(nonlinear sum of the least squares)으로 해결될 수 있다. 실시예에 따라, 상기 적합 과정은 SQP(sequential quadratic programming) 루틴을 MATLAB으로 작성하여 구현될 수 있다.The 3D geometry of the face of a person can be identified through 3D scanning. Thus, knowing the location of each of the plurality of light sources, the coordinates of the vertices, and the direction of the normal, the fitting can be solved with a nonlinear sum of the least squares. According to an embodiment, the fitting process may be implemented by writing a sequential quadratic programming (SQP) routine in MATLAB.

수학식 5는 상기 적합에 사용되는 목적 함수(objective function)이다.Equation 5 is the objective function used for the fit.

수학식 5에서 상기 v_i는 제i 번째 광원에 대한 가시성이다. 즉, 수학식 5에서 사용되는 하첨자 i는 150개의 광원 중 i 번째의 광원을 의미한다. 또한, b_i는 현재 적합이 진행중인 정점과 가장 근접한 픽셀의 픽셀값이며, 제i 번째 광원에 대응하는 얼굴 영상에 포함된 픽셀의 픽셀값을 의미한다.In Equation 5, v _i is visibility of the i th light source. That is, the subscript i used in Equation 5 means the i-th light source among 150 light sources. In addition, b _i is a pixel value of the pixel closest to the vertex currently being processed, and means a pixel value of the pixel included in the face image corresponding to the i th light source.

수학식 6은 상기 적합에 사용되는 제한 조건(constraint)이다.Equation 6 is the constraint used for the fit.

수학식 5에서 상기 G_i는 수학식 7과 같이 표현된다.In Equation 5, G _i is expressed as Equation 7.

수학식 7에서 상기 H_i는 제i 번째 광원에 대한 반향벡터이다. 상기 H_i는 수학식 8과 같이 표현된다.In Equation 7, H _i is an echo vector with respect to the i th light source. _Hi is expressed as shown in Equation (8).

수학식 8에서 상기 L_i는 제i 번째 광원의 광원 방향이고, 상기 V는 시선 벡터이다.In Equation 8, L _i is the direction of the light source of the i-th light source, and V is a line of sight vector.

수학식 5에서 상기 D_i는 수학식 9와 같이 표현된다.In Equation 5, D _i is expressed as Equation 9.

수학식 9에서 상기 δ_i는 상기 H_i와 상기 N 사이의 각이다.In Equation 9, δ _i is an angle between the H _i and the N.

도 7은 토런-스패로우 반사 모델을 설명하기 위한 도면이다.7 is a diagram for describing a torrent-sparrow reflection model.

도 7을 참조하면, L은 광원 방향이고, N은 법선 벡터이다. 상기 N은 피부 표면과 직각을 이룬다. 또한, V는 시선 벡터, 즉 카메라의 방향이다. H는 반향 벡터(half-way vector)이다. 즉, 상기 H와 상기 V 사이의 각의 크기와 상기 L와 상기 H 사이의 각의 크기는 같다.Referring to FIG. 7, L is a light source direction, and N is a normal vector. N is perpendicular to the skin surface. In addition, V is the line of sight vector, that is, the direction of the camera. H is a half-way vector. That is, the magnitude of the angle between H and V and the magnitude of the angle between L and H are equal.

도 8은 토런-스패로우 반사 모델의 반사 로브(reflection love)를 도시한다.8 shows the reflection lobe of the torrent-sparrow reflection model.

도 8을 참조하면, 얼굴 표면에서 나타나는 평균적인 반사 로브는 중심축(R)과 이루는 각이 40도 이내라고 가정할 수 있다. 따라서, 특정 정점에서의 중심축(R)과 상기 얼굴 표면에 접하는 면이 이루는 각이 50도 이상일 때, 상기 특정 정점에서의 반사 속성은 유효한 값이 된다. 다시 말하면, 상기 특정 정점에서의 시선 벡터와 법선 벡터가 이루는 각이 50도 이하일 때, 상기 특정 정점에서의 반사 속성은 유효한 값이 된다. 상기 특정 정점의 반사 속성이 유효한 값을 갖지 못한 경우, 가장 근접한(nearest) 정점의 반사 속성을 상기 특정 정점의 반사 속성으로 사용할 수 있다.Referring to FIG. 8, it may be assumed that an average reflection lobe appearing on the face surface is within 40 degrees of the central axis R. FIG. Therefore, when the angle formed by the central axis R at the specific vertex and the surface contacting the face surface is 50 degrees or more, the reflection property at the specific vertex becomes a valid value. In other words, when the angle between the line of sight vector and the normal vector at the specific vertex is 50 degrees or less, the reflection property at the specific vertex becomes a valid value. When the reflection property of the specific vertex does not have a valid value, the reflection property of the nearest vertex may be used as the reflection property of the specific vertex.

상기와 같이, 적합 모듈(100)은 BRDF를 이용하여 상기 반사 속성, 즉 반사 계수(ρ_S)과 거칠기(m)을 구할 수 있다. 즉, 적합 모듈(100)은 다수의 정점들 각각에서의 상기 반사 계수과 상기 거칠기를 구할 수 있다.As described above, the fitting module 100 may calculate the reflection property, that is, the reflection coefficient ρ _S and the roughness m, by using BRDF. That is, the fit module 100 can find the reflection coefficient and the roughness at each of a plurality of vertices.

다시 도 4를 참조하면, 평탄화 모듈(300)은 이중 한계치법(double thresholding method)을 이용하여 거칠기 및 반사 계수을 평탄화할 수 있다(S40).Referring to FIG. 4 again, the planarization module 300 may planarize the roughness and the reflection coefficient by using a double thresholding method (S40).

평탄화 모듈(300)은 상기 다수의 정점들 각각에 대응하는 반사 속성이 일정 범위를 벗어나는 경우 상기 반사 속성을 상기 일정한 범위내의 가장 근접한 값으로 바꾸어 평탄화할 수 있다.When the reflection property corresponding to each of the plurality of vertices is out of a predetermined range, the planarization module 300 may flatten the reflective property by changing the reflection property to the nearest value within the predetermined range.

군집화 모듈(500)은 K-평균 군집화 알고리즘(K-means clustering algorithm)을 이용하여 상기 반사 속성을 군집화할 수 있다(S50). 예컨대, 군집화 모듈(500)은 상기 거칠기와 상기 반사 계수 각각을 9단계로 나누어 군집화할 수 있다.The clustering module 500 may cluster the reflection property by using a K-means clustering algorithm (S50). For example, the clustering module 500 may cluster the roughness and the reflection coefficient into nine stages.

9개의 군집들은 9개의 평균들로 대표될 수 있다. 즉, 상기 거칠기는 9개의 평균들로 대표되는 9개의 군집들로 군집화되고, 상기 반사 계수는 9개의 평균들로 대표되는 9개의 군집들로 군집화된다.Nine clusters can be represented by nine means. That is, the roughness is clustered into nine clusters represented by nine means, and the reflection coefficient is clustered into nine clusters represented by nine means.

도 9a는 군집화된 거칠기를 색상을 이용하여 도시한다.9A illustrates clustered roughness using color.

도 9a를 참조하면, 상기 거칠기는 9개의 군집들로 군집화되고, 상기 군집들은 각각의 군집들을 대표하는 대표값, 예컨대 평균값으로 도시된다.Referring to FIG. 9A, the roughness is clustered into nine clusters, which are shown as representative values representing the respective clusters, for example, an average value.

도 9b는 군집화된 반사 계수를 색상을 이용하여 도시한다.9B shows the clustered reflection coefficients using color.

도 9b를 참조하면, 상기 반사 계수는 9개의 군집들로 군집화되고, 상기 군집들은 각각의 군집들을 대표하는 대표값, 예컨대 평균값으로 도시된다.Referring to FIG. 9B, the reflection coefficient is clustered into nine clusters, and the clusters are shown as representative values representing the respective clusters, for example, an average value.

도 10은 각각의 부위에 평균 속성이 할당된 얼굴 표면을 도시한다.10 shows a face surface with each attribute assigned an average attribute.

도 10을 참조하면, 군집화 모듈(500)은 얼굴 표면의 각 부위에 평균 속성을 할당할 수 있다. 상기 평균 속성은 빈도수가 가장 높은 반사 속성을 의미한다. 도 10에 도시된 얼굴 표면은 6개의 부위로 구분되어지나, 본 발명이 이에 한정되는 것은 아니며, 실시예에 따라, 상기 얼굴 표면의 부위의 개수는 변화할 수 있다.Referring to FIG. 10, the clustering module 500 may assign an average attribute to each part of the face surface. The average property means the reflection property with the highest frequency. The face surface shown in FIG. 10 is divided into six regions, but the present invention is not limited thereto. In some embodiments, the number of portions of the face surface may vary.

또한, 얼굴 표면의 부위 인식은 ASM(active shape model)을 사용하여 구현할 수 있다. 도 10에 도시된 얼굴표면은 상기 ASM에 의해 자동으로 인식된 것이다.In addition, the area recognition of the face surface can be implemented using an active shape model (ASM). The face surface shown in FIG. 10 is automatically recognized by the ASM.

다시 도 4를 참조하면, 보간 모듈(700)은 양방향 선형 보간(bilinear interpolation) 기법을 이용하여 상기 평균 속성을 보간할 수 있다(S60). Referring back to FIG. 4, the interpolation module 700 may interpolate the average attribute using a bilinear interpolation technique (S60).

도 11은 도 10에 도시된 얼굴 표면에 보간을 행한 후의 얼굴 표면을 도시한다.FIG. 11 shows the face surface after interpolation to the face surface shown in FIG. 10.

도 10에 도시된 얼굴 표면은 부위와 부위의 경계에서 불연속이 존재한다. 보간 모듈(700)은 각 부위의 중심위치를 기준으로 반사 속성을 보간함으로써 상기 불연속을 제거할 수 있다. 이때, 보간 과정은 상기 거칠기와 상기 반사 계수 각각에 따라 별도로 진행될 수 있다. 즉, 상기 거칠기에 대한 보간이 수행된 후, 상기 반사 계수에 대한 보간이 수행될 수 있다. 실시예에 따라, 상기 보간의 순서는 변화할 수 있고, 동시에 진행될 수도 있다.In the face surface shown in FIG. 10, there is a discontinuity at the boundary between the site and the site. The interpolation module 700 may remove the discontinuity by interpolating reflective properties based on the central position of each part. In this case, the interpolation process may be performed separately according to the roughness and the reflection coefficient, respectively. That is, after interpolation of the roughness is performed, interpolation of the reflection coefficient may be performed. According to an embodiment, the order of the interpolation may vary, and may proceed simultaneously.

도 12a 및 도 12b는 보간의 전후 과정을 설명하기 위한 도면으로, 도 12a는 보간을 수행하기 전의 얼굴 표면을 도시하고, 도 12b는 보간이 수행된 후의 얼굴 표면을 도시한다.12A and 12B are diagrams for explaining a process before and after interpolation, FIG. 12A illustrates a face surface before interpolation, and FIG. 12B illustrates a face surface after interpolation is performed.

도 12a 및 도 12b를 참조하면, 도 12a에서 존재하는 각 부위의 경계면에서의 불연속은 도 12b의 도면에서 제거된 것을 확인할 수 있다.12A and 12B, it can be seen that the discontinuity at the interface of each portion present in FIG. 12A has been removed from the diagram of FIG. 12B.

도 13는 도 4에 도시된 촬영 과정을 설명하기 위한 도면이다.FIG. 13 is a diagram for describing a photographing process illustrated in FIG. 4.

도 13를 참조하면, 상기 다수의 광원들 각각은 점등 시점으로부터 일정 시간까지 밝아지다가 소등 시점으로부터 일정 시간까지 어두어진다. 즉, t0 시점에서 제1 광원을 점등하면, 상기 제1 광원은 t0 시점으로부터 일정 시간 동안 밝아진다. t1 시점에서 상기 제1 광원을 점등하면, 상기 제1 광원은 t1 시점으로부터 일정 시간 동안 어두어진다. 마찬가지로, t1 시점에서 제2 광원을 점등하며, 상기 제2 광원은 t1 시점으로부터 일정 시간 동안 밝아진다. t2 시점에서 상기 제2 광원을 소등하면, 상기 제2 광원은 t2 시점으로부터 일정 시간 동안 어두어진다. 이런식으로 tn-1(n=150) 시점에서 제n 광원을 점등하면, 상기 제n 광원은 상기 tn-1 시점으로부터 일정 시간 동안 밝아진다. tn 시점에서 상기 제n 광원을 점등하면, 상기 제n 광원은 tn 시점으로부터 일정 시간 동안 어두어진다.Referring to FIG. 13, each of the plurality of light sources is brightened from a lighting time to a predetermined time and then darkened from a light off time to a predetermined time. That is, when the first light source is turned on at time t0, the first light source is brightened for a predetermined time from time t0. When the first light source is turned on at the time t1, the first light source is darkened for a predetermined time from the time t1. Similarly, the second light source is turned on at the time t1, and the second light source is brightened for a predetermined time from the time t1. When the second light source is turned off at time t2, the second light source is darkened for a predetermined time from the time t2. In this way, when the n th light source is turned on at the tn-1 (n = 150) time point, the n th light source becomes bright for a predetermined time from the tn-1 time point. When the n th light source is turned on at the tn time point, the n th light source darkens for a predetermined time from the tn time point.

따라서, 밝은 영상을 획득하기 위해서는 상기 다수의 광원들 각각의 점멸 시간 동안 2회 이상의 촬영이 수행될 수 있다. 여기서 상기 점멸 시간은 상기 다수의 광원들 각각의 점등 시점으로부터 소등 시점까지의 시간을 의미한다. Therefore, in order to obtain a bright image, two or more shots may be performed during the blinking time of each of the plurality of light sources. Here, the blinking time means a time from the lighting time of each of the plurality of light sources to the lighting time off.

예컨대, 촬영 장치(10)는 사람의 얼굴을 동영상으로 촬영할 수 있다. 촬영 장치(10)는 상기 다수의 광원들 각각이 점멸하는 속도의 2배 프레임율로 상기 사람의 얼굴을 촬영할 수 있다. For example, the photographing apparatus 10 may photograph a face of a person as a video. The photographing apparatus 10 may photograph the face of the person at a frame rate twice the speed at which each of the plurality of light sources blinks.

즉, △t는 상기 점등 시간(t1 - t0)의 2분의 1에 해당하는 시간이다.That is, Δt is a time corresponding to one half of the lighting time t1-t0.

상기와 같은 촬영을 하면, 상기 다수의 광원들과 상기 카메라의 동기화가 어긋날 경우에도 상기 다수의 광원들 각각에 대응되는 얼굴 영상을 획들할 수 있다.When photographing as described above, a face image corresponding to each of the plurality of light sources may be captured even when the plurality of light sources are out of synchronization with the camera.

이 경우, 적합 모듈(100)은 촬영된 2 이상의 얼굴 영상들 중 밝기가 가장 높은 얼굴 영상을 선택할 수 있다. 이를 위해 적합 모듈(100)은 상기 2 이상의 얼굴 영상들 각각에 포함된 적어도 하나의 픽셀값을 비교할 수 있다. 비교 결과, 높은 픽셀값을 포함하는 얼굴 영상이 선택될 수 있다.In this case, the fit module 100 may select a face image having the highest brightness among two or more captured face images. To this end, the fitting module 100 may compare at least one pixel value included in each of the two or more face images. As a result of the comparison, a face image including a high pixel value may be selected.

본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램으로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 프로그램이 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.Embodiments of the present invention may be embodied as computer readable programs on a computer readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable program is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers of the technical field to which the present invention belongs.

도 14는 본 발명의 실시예에 따른 데이터 처리 장치의 블럭도이다.14 is a block diagram of a data processing apparatus according to an embodiment of the present invention.

도 14를 참조하면, 데이터 처리 장치(1)는 제1 메모리(80) 및 프로세서(70)을 포함한다. 데이터 처리 장치(1)는 제2 메모리(90)를 더 포함할 수 있다.Referring to FIG. 14, the data processing apparatus 1 includes a first memory 80 and a processor 70. The data processing apparatus 1 may further include a second memory 90.

제1 메모리(80)는 프로그램을 저장할 수 있다.The first memory 80 may store a program.

프로세서(70)는 상기 프로그램을 실행시킬 수 있다. 프로세서(70)는, 상기 프로그램이 실행됨에 따라, 얼굴 메시를 형성하는 정점 단위로 분석적 표면 반사 모델을 촬영된 다수의 얼굴 영상들 각각에 포함되고 각각의 정점에 대응하는 픽셀의 픽셀값으로 적합(fitting)하여 반사 속성을 계산하고, K-평균 군집화 알고리즘(K-means clustering algorithm)을 이용하여 상기 반사 속성을 군집화(clustering)하고 얼굴 표면의 각 부위에 평균 속성을 할당하고, 할당된 상기 평균 속성을 보간할 수 있다.The processor 70 may execute the program. As the program is executed, the processor 70 fits an analytical surface reflection model to each of a plurality of photographed face images in units of vertices forming a face mesh and fits the pixel values of pixels corresponding to each vertex ( fitting to calculate reflection properties, clustering the reflection properties using a K-means clustering algorithm, assigning average properties to each area of the face surface, and assigning the average properties Can be interpolated.

실시예에 따라, 프로세서(70)는 제1 메모리(80)에 저장된 상기 프로그램을 제2 메모리(90)에 라이트(write)한 후 상기 프로그램을 실행할 수 있다. 즉, 제1 메모리(80)는 저장 메모리이고, 제2 메모리(90)는 실행 메모리일 수 있다.According to an embodiment, the processor 70 may execute the program after writing the program stored in the first memory 80 to the second memory 90. That is, the first memory 80 may be a storage memory, and the second memory 90 may be an execution memory.

데이터 처리 장치(1)는 컴퓨터(computer) 및 PC(personal computer) 등으로 구현될 수 있다. 또한, 데이터 처리 장치(1)는 도 1에 도시된 반사 속성 추정 장치(50)일 수 있다.The data processing apparatus 1 may be implemented by a computer, a personal computer, or the like. In addition, the data processing apparatus 1 may be the reflection attribute estimation apparatus 50 shown in FIG. 1.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the drawings, this is merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

1 : 데이터 처리 장치
10 : 촬영 장치
30 : 피사체
32 : 입사광
34 : 반사광
36, 37, 38, 및 39 : 산란광
50 : 반사 속성 추정 장치
100 : 적합 모듈
300 : 평탄화 모듈
500 : 군집화 모듈
700 : 보간 모듈
900 : 제어 모듈1: data processing unit
10: shooting device
30: subject
32: incident light
34: reflected light
36, 37, 38, and 39: scattered light
50: reflection property estimation device
100: suitable module
300: flattening module
500: clustering module
700: interpolation module
900: control module

Claims

Photographing a face of a person using an imaging device while sequentially turning on and off each of the plurality of light sources;
A fitting module calculating a reflection property by fitting an analytical surface reflection model to each of a plurality of photographed face images in units of vertices forming a face mesh with pixel values of pixels corresponding to each vertex;
A clustering module clustering the reflection attributes using a K-means clustering algorithm and assigning average attributes to each portion of the face surface; And
Interpolating the average attribute assigned by an interpolation module,
The reflection property is reflection coefficient and roughness,
Each of the reflection coefficient and the roughness is divided into K clusters, and an average value of each of the K clusters is determined as a representative value of a cluster to which the average value belongs, and the cluster having the highest frequency in each region of the face surface. And a representative value is assigned to the average attribute of each of the face surfaces.

The method of claim 1,
The reflection property estimation method of the face surface,
Prior to assigning the average property to each portion of the face surface, the flattening module further comprises flattening the reflection property using a double thresholding method. Way.

delete

The method of claim 1,
And each of the plurality of light sources is a directional light source.

The method of claim 1,
And the analytical surface reflection model is a Torrance-Sparrow model.

The method of claim 1,
Interpolating the average attribute,
A method of estimating the reflection property of the face surface using bilinear interpolation technique.

The method of claim 1,
Taking the face of the person,
Photographing two or more times during the time required to blink each of the plurality of light sources,
The calculating of the reflection property may include selecting a face image having the highest brightness among two or more captured face images.

A recording medium having recorded thereon a computer readable program for performing the method of claim 1.

A memory for storing a program; And
A processor for executing the program,
As the program runs,
The processor comprising:
Calculating an attribute of reflection by fitting an analytical surface reflection model to a pixel value of a pixel included in each of a plurality of captured facial images and corresponding to each vertex in units of vertices forming a face mesh,
Clustering the reflection properties using a K-means clustering algorithm and assigning average properties to each part of the face surface,
Interpolate the assigned average attribute,
The reflection property is reflection coefficient and roughness,
Each of the reflection coefficient and the roughness is divided into K clusters, and an average value of each of the K clusters is determined as a representative value of a cluster to which the average value belongs, and the cluster having the highest frequency in each region of the face surface. And a representative value is assigned to the average attribute of each of the portions.