[go: up one dir, main page]

KR101506812B1 - 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법 - Google Patents

랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법 Download PDF

Info

Publication number
KR101506812B1
KR101506812B1 KR20130120354A KR20130120354A KR101506812B1 KR 101506812 B1 KR101506812 B1 KR 101506812B1 KR 20130120354 A KR20130120354 A KR 20130120354A KR 20130120354 A KR20130120354 A KR 20130120354A KR 101506812 B1 KR101506812 B1 KR 101506812B1
Authority
KR
South Korea
Prior art keywords
image
face
image patch
binary
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR20130120354A
Other languages
English (en)
Inventor
김현덕
이상헌
손명규
김동주
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR20130120354A priority Critical patent/KR101506812B1/ko
Application granted granted Critical
Publication of KR101506812B1 publication Critical patent/KR101506812B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 카메라를 통해 사용자의 얼굴 정보를 이용하여 얼굴 자세를 추정하는 기술에 관한 것이다. 사전에 학습된 랜덤 포레스트의 결정 트리에서 각 노드(Node)의 이진 테스트 함수와 각 리프(Leaf)의 얼굴 자세 라벨의 평균과 분산을 호출하는 제1 단계; 입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 제2 단계; 상기 불러온 이진 테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 동일한 크기의 영상 패치에 얼굴 자세 라벨을 지정하는 제3 단계; 및 모든 영상 패치에 대하여 상기 제3 단계를 반복한 후, 모든 영상 패치마다 지정되어 있는 얼굴 자세 라벨의 최빈값(Mode)을 상기 입력 얼굴 영상의 얼굴 자세 라벨로 출력하는 단계를 포함하는 얼굴 자세 추정 방법이 제공될 수 있다.

Description

랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법{HEAD POSE ESTIMATION METHOD USING RANDOM FORESTS AND BINARY PATTERN RUN LENGTH MATRIX}
본 발명의 실시예는 카메라를 통해 사용자의 얼굴 정보를 이용하여 얼굴 자세를 추정하는 기술에 관한 것이다.
얼굴 자세를 추정하는 기술은 컴퓨터 비전 분야에서 중요한 주제 중 하나이다. 정확하고 견고한 얼굴 자세 추정 알고리즘은 다양한 분야에서 응용이 되고 있다. 예를 들면 인간-컴퓨터 인터페이스(HCI), 운전자 감시 시스템, 엔터테인먼트 시스템 등이 있다.
이러한 이유로 많은 연구자들에 의하여 빠르며 정확한 얼굴 자세 추정 알고리즘들이 개발되고 있으며, 대표적인 방법으로는 모델 기반 접근 방법과 외형 기반 접근 방법으로 나눌 수 있다.
모델 기반 접근 방식은 정확한 얼굴 자세를 추정하기 위하여 얼굴 특징의 위치(예를 들면, 눈, 입, 코 등)과 기하학적 얼굴 모델을 결합한다. 일반적으로 이러한 접근 방법은 제한된 범위의 얼굴 자세에 대해서 정확한 추정이 가능하다. 하지만, 낮은 해상도의 영상에서는 얼굴 특징을 찾기가 어렵기 때문에 정확한 추정이 힘들며 얼굴 특징의 정확한 추출이 중요하기 때문에 얼굴 가림 현상에 민감하다.
외형 기반 접근 방식은 얼굴 영역 전체에서 기계학습을 이용하여 얼굴 자세를 추정한다. 주로 사용되는 기계 학습 방법으로는 SVM(Support Vector Machine), 신경망(Neural Networks) 등이 있으나 학습 데이터의 양이 증가함에 따라 학습 시간이 오래 걸리며 실시간 동작에 어려움이 있다.
본 발명의 실시예에서는 이러한 문제점을 해결하기 위하여 학습데이터의 양의 많고 적음에 상관 없이 효율적으로 학습이 가능하며 실시간 동작이 가능한 랜덤 포레스트를 이용한 얼굴 자세 추정 알고리즘을 제안하고자 한다.
또한 조명 변화에 강인한 알고리즘을 위하여 얼굴 특징 추출 방법인 BPRLM(Binary Pattern Run Length Matrix)를 이용하도록 한다.
일 실시예에 따르면, 사전에 학습된 랜덤 포레스트의 결정 트리에서 각 노드(Node)의 이진 테스트 함수와 각 리프(Leaf)의 얼굴 자세 라벨의 평균과 분산을 호출하는 제1 단계; 입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 제2 단계; 상기 호출된 이진 테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 동일한 크기의 영상 패치에 얼굴 자세 라벨을 지정하는 제3 단계; 및 모든 영상 패치에 대하여 상기 제3 단계를 반복한 후, 모든 영상 패치마다 지정되어 있는 얼굴 자세 라벨의 최빈값(Mode)을 상기 입력 얼굴 영상의 얼굴 자세 라벨로 출력하는 단계를 포함하는 얼굴 자세 추정 방법이 제공될 수 있다.
일측에 있어서, 상기 얼굴 자세 추정 방법은, 상기 랜덤 포레스트를 이용하여 학습하는 단계를 더 포함할 수 있다. 또한, 상기 랜덤 포레스트를 이용하여 학습하는 단계는, 학습 데이터들 중 일정 개수의 영상 패치를 랜덤하게 추출하는 단계; 상기 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산하는 단계; 상기 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성하는 단계; 및 상기 노드를 구성하는 도중에 미리 정해진 조건 중 적어도 하나의 조건을 만족하면 상기 노드의 구성을 멈추고 상기 얼굴 자세 라벨의 평균과 분산을 저장하는 단계를 포함할 수 있다
또 다른 측면에 있어서, 상기 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산하는 단계는, 상기 영상 패치에서 랜덤하게 픽셀을 선택하고, 상기 선택된 픽셀의 화소값을 기준으로 인접 이웃 화소값이 차이를 이진값으로 나타냄으로써 상기 이진 패턴을 계산하는 단계; 및 상기 이진 패턴에서 반복 길이에 대하여 발생하는 반복 길이 값을 저장함으로써 상기 반복 길이 행렬을 계산하는 단계를 포함할 수 있다.
또 다른 측면에 있어서, 상기 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성하는 단계는, 상기 영상 패치들의 상기 이진 테스트 함수 만족 여부에 따라 오른쪽 자식 노드 또는 왼쪽 자식 노드로 분할하는 단계를 포함할 수 있다.
또 다른 측면에 있어서, 상기 미리 정해진 조건은, 상기 결정 트리의 최대 깊이에 도달하는 경우; 및 현재 노드에 속한 상기 영상 패치의 개수가 자식 노드를 만들기에 부족한 경우 중 적어도 하나를 포함할 수 있다.
또 다른 측면에 있어서, 상기 입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 상기 제2 단계는, 상기 랜덤 추출된 영상 패치의 경계 부분에서 나타나는 오류를 피하기 위하여 일정 픽셀 수만큼 오버랩(Overlap)되도록 상기 랜덤 추출된 영상 패치를 이동시키면서 상기 동일한 크기의 영상 패치를 추출하는 단계를 포함할 수 있다.
또 다른 측면에 있어서, 상기 호출된 이진테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 영상 패치에 얼굴 자세 라벨을 지정하는 상기 제3 단계는, 상기 동일한 크기의 영상 패치가 리프에 도달되면 이동을 멈추고, 상기 리프에 저장된 얼굴 자세 라벨의 분산값이 특정값 이하일 경우 상기 리프에 저장된 평균값을 상기 영상 패치의 얼굴 자세 라벨로 지정하는 단계를 포함할 수 있다.
기존의 얼굴 자세 추정방법들은 학습 데이터의 양이 증가함에 따라서 시간이 오래 걸리며 조명 변화에 대응하지 못하여 실제 응용함에 있어서 어려움이 있었으나 랜덤 포레스트 분류기를 이용하여 빅데이터에서도 실시간 구현이 가능하며, 이진 패턴 반복 길이 행렬을 고안하여 조명 변화에도 강인한 얼굴 자세 추정 방법을 제안할 수 있다.
또한, 이러한 방법을 이용하여 인간-컴퓨터 인터페이스 (HCI), 운전자 감시 시스템, 엔터테인먼트 시스템 등 다양한 분야에서 응용이 가능할 것으로 기대할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 랜덤 포레스트를 학습하는 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 이진 패턴을 생성하는 예시를 도시한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 이진 패턴 반복 길이 행렬을 생성하는 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 랜덤 포레스트를 이용하여 얼굴 자세 레벨의 추정 방법을 설명하기 위한 흐름도이다.
이하, 랜덤 포레스트를 이용한 얼굴 자세 추정 방법에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.
본 발명에서는 기존의 다양한 기계 학습 접근 방법과는 다르게, 랜덤 포레스트(Random Forest)를 이용한 얼굴 자세 인식 방법을 제안하고자 한다.
랜덤 포레스트란 집단 학습법의 일종으로, 다수의 결정 트리를 조합하여 정밀도가 높은 식별기를 획득하는 방법이며, 적은 계산량으로 높은 식별 성능을 얻을 수 있어, 최근 컴퓨터 비전 분야에서 인기 있는 기계 학습 방법이다. 2001년 Breiman에 의해서 처음 고안되었으며, 이후 다양하게 변형되어 왔고, 그 중 본 발명에서는 LBP(Local Binary Pattern)와 GLRLM(Gray Level Run Length Matrix)을 결합한 BPRLM(Binary Pattern Run Length Matrix)을 이용한 랜덤 포레스트 기반의 얼굴 자세 추정 방법을 제안한다. BPRLM에 대해서는 이후 자세히 설명하도록 한다.
랜덤 포레스트를 이용하여 얼굴 자세를 추정하기 위해서는 랜덤 포레스트를 학습하여 랜덤 포레스트에 포함되는 결정 트리들의 노드(Node)와 리프(Leaf)를 미리 구성하도록 한다.
도 1은 본 발명의 일실시예에 있어서, 랜덤 포레스트를 학습하는 방법을 설명하기 위한 흐름도이다.
단계(110)에서는 다수 개의 학습할 데이터들 중에서 랜덤하게 일정 개수의 영상 패치를 추출할 수 있다. 실시예에 있어서, 학습할 데이터는 영상, 이미지 데이터를 의미하며, 영상 패치는 해당 데이터의 한 조각을 의미할 수 있다. 영상 패치의 크기는 데이터의 크기에 따라서 다양하게 사용할 수 있으며, 실시예에 있어서, 80 x 80 픽셀의 크기를 사용할 수 있다. 또 다른 실시예에 있어서, 영상 패치를 추출할 때에 영상 패치의 경계 부분이 일정 부분 오버랩(Overlap)되도록 영상 패치를 추출할 수 있다.
단계(120)에서는 추출된 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산할 수 있다. 해당 단계는 영상 패치로부터 특징을 추출하기 위한 것이다.
먼저, BPRLM을 계산하기 위해서 이진 패턴을 계산하는 방법에 대해서 설명한다.
도 2는 본 발명의 일실시예에 있어서, 이진 패턴을 생성하는 예시를 도시한 도면이다. 랜덤하게 추출된 영상 패치에서 랜덤하게 픽셀을 선택하고, 선택된 픽셀의 화소값을 기준으로 인접 이웃 화소값이 차이를 이진값으로 나타냄으로써 이진 패턴을 계산할 수 있다.
도 2에 도시된 실시예를 통해 설명하면, 3의 화소값을 가지는 픽셀을 기준으로 인접 픽셀 8개의 값을 이진값으로 즉 0과 1의 값으로 나타낼 수 있는데, 실시예에 있어서, 기준 픽셀의 화소값 이하의 화소값에 대해서는 0으로 또한 기준 픽셀의 화소값보다 큰 화소값에 대해서는 1로 나타낼 수 있다. 따라서, 기준 픽셀의 화소값인 3보다 작은 1과 2에 대해서는 0으로 기록하며, 4 내지 8의 값에 대해서는 1로 기록할 수 있다.
또한, 이진 패턴으로 나타낼 때, 기준 위치를 기준으로 한쪽 방향으로 순서대로 기록함으로써 랜덤으로 선택한 다수 개의 픽셀에 대해서 각각 이진 패턴을 계산하여 기록할 수 있다. 따라서, 도 2의 실시예에 대란 이진 패턴은 ‘11000011’로 기록할 수 있다.
이진 패턴을 생성한 후, 반복 길이 행렬(Run Length Matrix)을 계산할 수 있다. 이때, 이진 패턴에서 반복 길이에 대하여 발생하는 반복 길이 값을 저장함으로써 반복 길이 행렬을 계산할 수 있다. 실시예에 있어서, 반복 길이는 동일한 값을 연속적으로 가지는 개수를 의미하며, 반복 길이 값은 패턴에서 반복 길이가 발생하는 횟수를 의미할 수 있다.
도 3은 본 발명의 일실시예에 있어서, 이진 패턴 반복 길이 행렬을 생성하는 일례를 설명하기 위한 도면이다.
랜덤하게 선택된 하나의 영상 패치에 대해서 랜덤하게 픽셀을 선택할 수 있다. 도 3에 도시된 실시예에 있어서, 영상 패치에서 두 개의 픽셀을 랜덤하게 선택하는 것에 대해 도시하고 있다.
두 픽셀 중 하나의 픽셀을 BP1, 나머지 하나의 픽셀을 BP2라고 하여 각각의 픽셀에 대해서 이진 패턴을 계산할 수 있다. 이진 패턴을 계산하는 방법은 도 2를 통한 설명을 참조할 수 있다. 실시예에 따른 계산 결과, BP1은 01110100, BP2는 11110100의 값을 각각 얻을 수 있다.
그리고 이진 패턴을 이용하여 BPRLM을 계산함으로써 이진 패턴 반복 길이 행렬을 생성할 수 있다.
도 3에 의하면, BP1에 BPRLM을 계산한 것을 BPRLM1으로, BP2에 대해 BPRLM을 계산한 것을 BPRLM2로 나타내며, BPRLM을 계산한 결과는 행렬로 나타낼 수 있다.
앞서 설명한 바와 같이, 이진 패턴에서 반복 길이에 대하여 발생하는 반복 길이 값을 저장함으로써 반복 길이 행렬을 계산할 수 있다.
따라서, BP1 및 BP2에 대해서 0과 1이 반복적으로 얼마나 나타나는 가에 대해서 행렬로서 나타낼 수 있다.
실시예에 있어서, BP1은 01110100 이므로, 연속되는 수가 존재하지 않는 0은 2개 1은 1개 존재하며, 0이 1번 연속되는 수가 1번, 1이 2번 연속되는 수가 1번 존재하므로, 각각의 값을 행렬 위치에 적절하게 배치시킬 수 있다. 한편, BP2는 11110100의 이진 패턴을 가지므로, 1이 3번 연속으로 1번 나타나며, 0과 1이 각각 1번 연속되지 않은 수로 나타나고, 0이 1번 연속으로 1번 나타나는 것을 계산할 수 있으며, 마찬가지로 행렬로 도 3과 같이 생성할 수 있다.
도 1로 돌아가서, 도 1의 단계(130)에서는 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성할 수 있다. 이로서 결정 트리의 노드를 구성할 수 있다.
해당 단계에서는 부모 노드에서 자식 노드로 계속적으로 분할하는 단계가 반복될 수 있다. 이때, 영상 패치들의 이진 테스트 함수 만족 여부에 따라 오른쪽 자식 노드 또는 왼쪽 자식 노드로 분할할 수 있다. 실시예에 있어서, 영상 패치가 이진 테스트 함수를 만족하면 오른쪽 자식 노드로 분할되고, 그렇지 않은 경우엔 왼쪽 자식 노드로 분할될 수 있다. 영상 패치가 이진 테스트 함수를 만족한다는 기준은 앞서 도 3을 통해 설명한 이진 패턴 반복 길이 행렬에 대한 이진 테스트 함수를 만족한다는 것을 의미할 수 있다.
실시예에 따른 이진 테스트 함수를 수학식 1과 같이 정의할 수 있다.
Figure 112013091386195-pat00001
여기서,
Figure 112013091386195-pat00002
는 p 픽셀에서의 이진 패턴 반복 길이 행렬의 (i, j)번째 값이고, τ는 임계값을 의미할 수 있다. 이와 같은 이진 테스트 함수를 한 개의 부모 노드에서 랜덤하게 약 2000개를 선택한 뒤 자식 노드로의 분할을 시행할 수 있다.
테스트 함수 중 최적의 테스트 함수 하나를 선택하여 부모 노드에 저장할 수 있는데, 최적의 테스트 함수를 선택하는 방법은 다양하게 시도되고 있다. 본 발명에서는 수학식 2와 같은 함수를 이용하여 최적의 테스트 함수를 선택할 수 있다.
Figure 112013091386195-pat00003
여기서, ni와 μi는 각 자식 노드 i에서의 영상 패치의 개수와 얼굴 자세 라벨의 평균을 의미하며, ci , j는 i번째 자식 노드에 속해 있는 j번째 샘플 패치의 얼굴 자세 라벨을 의미하고, μ는 부모 노드에 속해 있는 샘플 패치 전체의 얼굴자세 라벨의 평균을 의미할 수 있다.
단계(140)에서는 노드를 구성하는 도중에 미리 정해진 조건 중 적어도 하나의 조건을 만족하면 노드의 구성을 멈추고 상기 얼굴 자세 라벨의 평균과 분산을 저장할 수 있다. 해당 단계를 통해서 결정 트리의 리프(Leaf)를 구성할 수 있다.
여기서, 미리 정해진 조건은 상기 결정 트리의 최대 깊이에 도달하는 경우, 또는 현재 노드에 속한 영상 패치의 개수가 적은 경우, 즉 현재 노드에 속한 영상 패치의 개수가 자식 노드를 만들기에 부족한 경우 등에 해당할 수 있다.
이상 설명한 방법을 반복하여 여러 개의 결정 트리를 만드는 과정을 랜덤 포레스트를 학습하는 단계로 설명할 수 있다.
학습된 랜덤 포레스트를 이용하여 새로이 입력되는 얼굴 영상에 대해서 얼굴 자세, 특히 얼굴 자세 레벨에 대해서 추정할 수 있다. 실시예에 있어서, 얼굴 자세 레벨은 정면을 기준으로 얼굴이 상하 방향, 좌우 방향으로 이동한 각도 레벨에 대한 정보를 포함할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 랜덤 포레스트를 이용하여 얼굴 자세 레벨의 추정 방법을 설명하기 위한 흐름도이다.
단계(410)에서는 사전에 학습된 랜덤 포레스트의 결정 트리에서 각 노드(Node)의 이진 테스트 함수와 각 리프(Leaf)의 얼굴 자세 라벨의 평균과 분산을 호출할 수 있다. 실시예에 있어서, 도 1 내지 도 3을 통해 설명한 랜덤 포레스트 학습을 통해 구성된 결정 트리에 대해서 호출하는 것이다.
단계(420)에서는 입력 얼굴 영상을 이동하면서 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출할 수 있다. 이때, 좌 상단에서 우 하단 방향으로 영상 패치가 추출될 수 있으며, 실시예에 있어서, 입력 얼굴 영상의 모든 픽셀에 대해서 영상 패치에 할당되도록 할 수 있다.
입력 얼굴 영상의 영상 패치를 추출할 때, 이웃한 영상 패치 사이의 경계 부분에서 오류가 나타나는 것을 방지하기 위해서 일정 픽셀씩 겹치도록, 예컨대 5픽셀 정도씩 오버랩되도록 영상 패치를 추출할 수 있다.
그리고 단계(430)에서는 호출된 이진 테스트 함수를 이용하여 결정 트리의 상단부터 하단으로 이동하며 영상 패치가 리프에 도달되면, 영상 패치에 얼굴 자세 라벨을 지정할 수 있다.
실시예에 있어서, 추출된 얼굴 패치를 하나씩 호출된 이진 테스트 함수에 적용하여 결정 트리의 상단에서 하단으로 이동시키도록 할 수 있다. 영상 패치가 리프에 도달하면 멈추고, 해당 리프에 저장되어 있는 얼굴 자세 라벨의 분산값이 특정값 이하일 경우, 해당 영상 패치의 얼굴 자세 라벨을 도달한 리프에 저장된 평균값으로 출력할 수 있다.
해당 단계는 랜덤 포레스트 학습 방법과는 달리 부모 노드에서 자식 노드로 분할하는 개념이 아닌 하나의 영상 패치가 노드를 타고 이동하는 개념으로 생각할 수 있다.
단계(440)은 모든 영상 패치에 대해서 단계(410) 내지 단계(430)의 단계를 반복한 후에, 모든 영상 패치마다 지정되어 있는 얼굴 자세 라벨의 최빈값(Mode)을 입력 얼굴 영상의 얼굴 자세 라벨로서 출력할 수 있다.
단계(410) 내지 단계(430)을 거친 모든 영상 패치에 대해서 얼굴 자세 라벨이 지정될 수 있는데, 여기서 최빈값, 즉 지정된 빈도 수가 높은 값에 대해서 얼굴 자세 라벨로서 출력할 수 있다.
기존의 얼굴 자세 추정방법들은 학습데이터의 양이 증가함에 따라서 시간이 오래 걸리며 조명변화에 대응하지 못하여 실제 응용함에 있어서 어려움이 있었으나, 이와 같이 랜덤 포레스트 분류기를 이용하여 빅데이터에서도 실시간 구현이 가능하며, 이진 패턴 반복 길이 행렬을 고안하여 조명 변화에도 강인한 얼굴 자세 추정 방법을 제안할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 사전에 학습된 랜덤 포레스트의 결정 트리에서 각 노드(Node)의 이진 테스트 함수 및 각 리프(Leaf)의 얼굴 자세 라벨의 평균 값과 분산 값을 불러오는 제1 단계;
    입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 제2 단계;
    상기 불러온 이진 테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 동일한 크기의 영상 패치에 얼굴 자세 라벨을 지정하는 제3 단계; 및
    모든 영상 패치에 대하여 상기 제3 단계를 반복한 후, 모든 영상 패치마다 지정되어 있는 얼굴 자세 라벨의 최빈값(Mode)을 상기 입력 얼굴 영상의 얼굴 자세 라벨로 출력하는 단계; 및
    상기 랜덤 포레스트를 이용하여 학습하는 단계
    를 포함하고,
    상기 얼굴 자세 라벨은,
    정면을 기준으로 얼굴이 상하 방향, 좌우 방향으로 이동한 각도 레벨을 포함하며,
    상기 랜덤 포레스트를 이용하여 학습하는 단계는,
    학습 데이터들 중 일정 개수의 영상 패치를 랜덤하게 추출하는 단계;
    상기 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산하는 단계;
    상기 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성하는 단계; 및
    상기 노드를 구성하는 도중에 미리 정해진 조건 중 적어도 하나의 조건을 만족하면 상기 노드의 구성을 멈추고 상기 얼굴 자세 라벨의 평균과 분산을 저장하는 단계
    를 포함하는 얼굴 자세 추정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 일정 개수의 영상 패치로부터 이진 패턴 및 반복 길이 행렬을 계산하는 단계는,
    상기 영상 패치에서 랜덤하게 픽셀을 선택하고, 상기 선택된 픽셀의 화소값을 기준으로 인접 이웃 화소값이 차이를 이진값으로 나타냄으로써 상기 이진 패턴을 계산하는 단계; 및
    상기 이진 패턴에서 반복 길이에 대하여 발생하는 반복 길이 값을 저장함으로써 상기 반복 길이 행렬을 계산하는 단계
    를 포함하는 얼굴 자세 추정 방법.
  4. 제1항에 있어서,
    상기 결정 트리의 상단부터 하단으로 내려가면서 재귀적으로 이진 테스트 함수를 할당하여 노드를 구성하는 단계는,
    상기 영상 패치들의 상기 이진 테스트 함수 만족 여부에 따라 오른쪽 자식 노드 또는 왼쪽 자식 노드로 분할하는 단계
    를 포함하는 얼굴 자세 추정 방법.
  5. 제1항에 있어서,
    상기 미리 정해진 조건은,
    상기 결정 트리의 최대 깊이에 도달하는 경우; 및
    현재 노드에 속한 상기 영상 패치의 개수가 자식 노드를 만들기에 부족한 경우
    중 적어도 하나를 포함하는 얼굴 자세 추정 방법.
  6. 제1항에 있어서,
    상기 입력 얼굴 영상을 이동하면서 상기 랜덤 포레스트 학습 시 랜덤 추출된 영상 패치와 동일한 크기의 영상 패치를 추출하는 상기 제2 단계는,
    상기 랜덤 추출된 영상 패치의 경계 부분에서 나타나는 오류를 피하기 위하여 일정 픽셀 수만큼 오버랩(Overlap)되도록 상기 랜덤 추출된 영상 패치를 이동시키면서 상기 동일한 크기의 영상 패치를 추출하는 단계
    를 포함하는 얼굴 자세 추정 방법.
  7. 제1항에 있어서,
    상기 불러온 이진테스트 함수를 이용하여 상기 결정 트리의 상단부터 하단으로 이동하며 상기 동일한 크기의 영상 패치가 리프에 도달되면 상기 영상 패치에 얼굴 자세 라벨을 지정하는 상기 제3 단계는,
    상기 동일한 크기의 영상 패치가 리프에 도달되면 이동을 멈추고, 상기 리프에 저장된 얼굴 자세 라벨의 분산값이 특정값 이하일 경우 상기 리프에 저장된 평균값을 상기 영상 패치의 얼굴 자세 라벨로 지정하는 단계
    를 포함하는 얼굴 자세 추정 방법.
  8. 제1항에 있어서,
    상기 이진 테스트 함수는,
    [수학식]
    Figure 112013091386195-pat00004

    이고,
    Figure 112013091386195-pat00005
    는 p 픽셀에서의 이진 패턴 반복 길이 행렬의 (i, j)번째 값이고, τ는 임계값
    인 얼굴 자세 추정 방법.
KR20130120354A 2013-10-10 2013-10-10 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법 Active KR101506812B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130120354A KR101506812B1 (ko) 2013-10-10 2013-10-10 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130120354A KR101506812B1 (ko) 2013-10-10 2013-10-10 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법

Publications (1)

Publication Number Publication Date
KR101506812B1 true KR101506812B1 (ko) 2015-04-08

Family

ID=53033638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130120354A Active KR101506812B1 (ko) 2013-10-10 2013-10-10 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법

Country Status (1)

Country Link
KR (1) KR101506812B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005273A (ko) * 2015-07-02 2017-01-12 주식회사 에스원 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
CN106650637A (zh) * 2016-12-02 2017-05-10 华中师范大学 一种基于条件随机森林的笑脸检测器及方法
KR101772818B1 (ko) 2016-06-23 2017-08-29 이화여자대학교 산학협력단 Mb-lbp에 기반한 머리 방향 추정 방법
KR20190022027A (ko) * 2017-08-25 2019-03-06 (주)뉴옵틱스 혈구 감별 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G Fanelli, J Gall, L Van Gool, 'Real Time Head Pose Estimation with Random Regression Forests', Computer Vision and Pattern Recognition (CVPR), 2011년 6월, pp. 617-624 *
G Fanelli, J Gall, L Van Gool, 'Real Time Head Pose Estimation with Random Regression Forests', Computer Vision and Pattern Recognition (CVPR), 2011년 6월, pp. 617-624*

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170005273A (ko) * 2015-07-02 2017-01-12 주식회사 에스원 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
KR101705584B1 (ko) 2015-07-02 2017-02-13 주식회사 에스원 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
KR101772818B1 (ko) 2016-06-23 2017-08-29 이화여자대학교 산학협력단 Mb-lbp에 기반한 머리 방향 추정 방법
CN106650637A (zh) * 2016-12-02 2017-05-10 华中师范大学 一种基于条件随机森林的笑脸检测器及方法
KR20190022027A (ko) * 2017-08-25 2019-03-06 (주)뉴옵틱스 혈구 감별 장치 및 방법
KR101995764B1 (ko) 2017-08-25 2019-07-03 (주)뉴옵틱스 혈구 감별 장치 및 방법

Similar Documents

Publication Publication Date Title
JP6972757B2 (ja) 制御プログラム、制御方法、及び情報処理装置
JP6972756B2 (ja) 制御プログラム、制御方法、及び情報処理装置
EP3620979A1 (en) Learning method, learning device for detecting object using edge image and testing method, testing device using the same
JP4970531B2 (ja) １つ以上のオブジェクトの行動を自動的に特徴付けるための方法。
CN111008631B (zh) 图像的关联方法及装置、存储介质和电子装置
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
US20150325046A1 (en) Evaluation of Three-Dimensional Scenes Using Two-Dimensional Representations
KR20130121202A (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
KR20080066671A (ko) 궤적 구간 분석을 사용한 양방향 추적
EP2080167B1 (en) System and method for recovering three-dimensional particle systems from two-dimensional images
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN116229448B (zh) 三维目标检测方法、装置、设备及可读存储介质
JP6577397B2 (ja) 画像解析装置、画像解析方法、画像解析プログラム、および画像解析システム
KR101506812B1 (ko) 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
KR102336284B1 (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
KR102646430B1 (ko) 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치
CN114202732B (zh) 视频行为分类方法、模型训练方法、装置、介质及设备
Vora et al. Future segmentation using 3d structure
JP3763279B2 (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
CN111860261B (zh) 一种客流值的统计方法、装置、设备及介质
JP6989873B2 (ja) システム、画像認識方法、及び計算機
US20240028784A1 (en) Segmenting a building scene
JPWO2007013425A1 (ja) 画像処理自動構成装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20171212

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20181212

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 11