KR20120130627A - 아바타를 이용한 애니메이션 생성 장치 및 방법 - Google Patents

Abstract

아바타를 이용한 애니메이션 생성 장치는 이차원 얼굴 영상으로부터 추출된 복수 개의 특징점들을 이용하여 표정의 변형이 가능한 매개변수 모델을 생성하고, 텍스트 데이터에서 추출된 특징 단어와 복수 개의 특징점들에 대응되는 표정 매개변수를 미리 저장된 데이터베이스에서 검색하는 모델 생성부, 텍스트 데이터에 포함된 단어의 음성학적 특성을 이용하여 텍스트 데이터를 음성으로 표현할 때 복수 개의 특징점들의 위치 변화를 나타내는 벡터를 생성하고, 매개변수 모델에 표정 매개변수 및 벡터를 적용하여 텍스트 데이터를 음성으로 표현하는 동안의 표정 변화를 반영한 애니메이션을 생성하는 애니메이션 생성부, 그리고 가상공간에서 이차원 얼굴 영상에 대응되는 아바타를 이용하여 애니메이션을 출력하는 출력부를 포함한다.

Description

아바타를 이용한 애니메이션 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING ANIMATION USING AVATAR}

본 발명은 아바타를 이용한 애니메이션 생성 장치 및 방법에 관한 것이다. 보다 상세하게, 본 발명은 이차원 얼굴 영상으로부터 생성된 아바타를 이용하여 애니메이션을 생성하기 위한 장치 및 방법에 관한 것이다.

얼굴은 사람들 사이의 상호작용(Interaction)과 대화(Communication)에 있어 매우 중요한 요소이지만, 공학적으로 정의하고 표현하기 매우 복잡한 대상이다. 이와 같은 얼굴을 검출(Detection), 추적(tracking), 인식(recognition), 모델링(modeling), 합성(synthesis) 및 표현(rendering)하기 위한 다양한 연구가 컴퓨터 그래픽스(Computer graphics), 컴퓨터 비전(computer vision), 컴퓨터 애니메이션(Computer Animation) 등과 같은 다양한 분야에서 활발히 진행 중이다.

특히, 얼굴 애니메이션(Facial Animation)은 얼굴의 움직임과 표정을 사실감 있게 표현하기 위한 것으로 얼굴의 해부학적인 구조와 섬세한 표정을 사실감 있게 표현해야 하기 때문에, 컴퓨터 애니메이션 분야에서도 가장 어려운 분야로 인식되고 있다.

하지만, 얼굴 애니메이션은 디지털 콘텐츠 분야에서 실시간 얼굴 애니메이션, 캐릭터 애니메이션, 대화 가능한 실사수준의 아바타(Avatar) 생성, 영상 통신, 사진 내 사람들에 대한 동영상 애니메이션 생성, 휴먼 인터페이스 등에 활용될 수 있기 때문에, 얼굴 애니메이션에 대한 기술적 수요가 증대되고 있다.

이때, 얼굴 애니메이션을 위해서는 컴퓨터 그래픽스와 영상 처리(Image Processing) 기술을 포함한 컴퓨터 비전 기술을 이용하여 얼굴 모션 표현(Facial motion representation) 및 얼굴 모션 합성(facial motion synthesis) 기술이 필요하며, 텍스트에 대한 음성 변환(Text-To-Speech) 및 음성 합성(Speech Synthesis)을 위한 기계 학습(Machine Learning)과 같은 인공지능 기술이 필요하다.

얼굴 애니메이션은 크게 키프레임 기반 방법, 근육 모델 기반 방법, 그리고 매개변수 모델 기반 방법의 세가지 방법들로 나뉠 수 있다.

키프레임 기반 방법은 중간에 얼굴 애니메이션을 생성하기 위해 얼굴 모델의 제어점을 선형 또는 비선형으로 보간한다.

근육 모델 기반 방법은 사람의 얼굴 근육을 애니메이션 모델에 적용한 것으로, 근육의 영향을 받는 영역을 구성 후 근육의 움직임에 따라 얼굴모델을 변형하는 벡터 기반의 근육 모델 방법이 많이 이용된다. 근육 모델 기반 방법은 피부 메시의 모양이 피부 하부에 있는 근육에 의해 영향을 받기 때문에, 비록 해부학적으로 합리적이지만 근육 포인트들에 대한 자동 추적이 어려운 단점이 있다.

도 1은 종래에 따른 선행 근육모델을 도시한 도면이다. 여기서, Water의 선행 근육모델은 도 1에 도시된 바와 같다.

매개변수 모델 기반 방법은 Carl-Heman Hjortsjo에 의해 처음으로 정의된 움직임 단위들(Action Units, 이하에서는 'AUs'라고도 함)을 기반으로 얼굴 움직임 코딩 시스템(Facial Action Coding System, 이하에서는 'FACS'라고도 함)을 이용한 방법으로서, 얼굴의 표정을 AUs로 세분화하여 매개변수와 함께 이용한다.

도 2는 종래에 따른 움직임 단위들의 예제 리스트를 도시한 도면이다. 여기서, Aus의 예제 리스트는 도 2에 도시된 바와 같다.

이러한 FACS는 컴퓨터 그래픽스와 컴퓨터 비전 분야에서도 널리 사용되고 있으며, MPEG-4 얼굴 애니메이션 표준에서는 더욱 확장된 FACS가 채택되었다. 이때, 엠펙4(MPEG-4) 얼굴 애니메이션 표준에서는 3차원 메시와 꼭지점인 얼굴 포인트(Facial Points, 이하에서는 'FPs'라고도 함), 그리고 66 로우레벨(low-level) 얼굴 애니메이션 파라미터(Facial Animation Parameters, 이하에서는 'FAPs'라고도 함)와 2 하이레벨(high-level) FAPs을 정의한다.

얼굴 모션 표현은 크게 영상 기반(image-based) 방법과 모델 기반(model-based) 방법으로 나뉠 수 있다. 영상 기반 방법의 특징은 얼굴 내의 특징점 변화에 대한 확률적 모델을 생성해야 하기 때문에, 다량의 얼굴 영상 학습 데이터가 요구된다. 반면, 모델 기반 방법은 얼굴 데이터를 2차원 혹은 3차원 메시로 표현하여 얼굴 모션을 메시의 변형으로 표현한다. 그리고 지금까지 일반적으로 얼굴 애니메이션이라 하면 모델 기반으로 생성된 메시를 대상으로 매개변수 조절을 통해 표현된 얼굴 영상을 말한다.

얼굴 모션 합성은 얼굴 모션의 매개변수화 표현이 정의되면, 얼굴 모션 합성은 시간에 따른 해당 매개변수들의 궤적 생성과 해당 키 모션 영상들의 보간을 이용하여 수행된다. 얼굴 매개변수들의 궤적 생성시 음성과 입모양 합성을 위해 은닉 마르코프 모델(Hidden Markov Model, 이하에서는 'HMM'이라고도 함)과 같은 확률적 모델 학습 방법을 주로 이용한다. 또한, 얼굴 표정 영상 합성 시, 영상 워핑(warping) 방법을 통해 얼굴 모션을 합성할 수 있다.

세부 얼굴 표현 및 요소 추출(subtle facial expression & component extraction)에서 보다 사실적인 얼굴 표정 및 애니메이션 표현을 위해 얼굴 주름 표현 및 눈동자의 움직임과 다양한 입모양 표현이 매우 중요하다. 얼굴의 주름은 표정 비율 이미지(Expressive Ratio Image, 이하에서는 'ERI'라고도 함)를 이용하여 사실감을 개선할 수 있으나 계산량이 많은 문제점이 있다.

이때, 영상 기반의 방법으로 다양한 눈동자와 입 모양의 움직임을 표현하기 위해서는 세부 부분을 영상으로부터 분리하여 추출해야 한다. 이때, 얼굴 애니메이션의 사실감 증대를 위해서는 눈의 깜박임이나 두 입술의 개별적인 움직임, 미세한 주름과 같은 표현요소들이 매우 중요하다.

도 3은 종래에 따른 영상에서 세부 부분을 추출한 영상 예제를 도시한 도면이다. 여기서, 눈 영상(10)에서 추출된 눈동자(11)와 나머지 텍스처 부분(13)은 도 4에 도시된 바와 같다.

도 4는 종래에 따른 영상 분리 과정에 대한 영상 예제를 도시한 도면이다. 여기서, 입술영역(Mouth region)(20)으로부터 그레디언트 벡터 맵(gradient vector map)(21)과 키 포인트 추출 영상(extraction of key point)(22)을 생성하고, 그레디언트 벡터 맵(gradient vector map)(21), 키 포인트 추출 영상(extraction of key point)(22) 및 다항식 모델(polynomial model)(23)을 이용하여 입술부분(segmented lips)(24)를 생성하는 영상 분리 과정은 도 4에 도시된 바와 같다.

종래에는, 가상공간에서 사용자들간의 대화가 문자, 음성 또는 영상을 통해 이루어졌다. 하지만, 영상을 통한 대화는 데이터의 용량, 또는 데이터의 전송을 위한 비용이 문자나 음성과 같은 데이터에 비해 상대적으로 크기 때문에, 가상공간에서 사용자들간의 대화는 주로 문자나 음성을 통해서만 이루어졌다.

따라서, 데이터의 용량이나 비용이 낮은 방법을 통해 사용자에게 가상공간에서 실사적인 얼굴 애니메이션을 제공할 수 있는 방안이 요구된다.

본 발명의 목적은, 가상공간에서 실사적인 얼굴 애니메이션을 제공하기 위해 아바타를 이용한 애니메이션 생성 장치 및 방법을 제공하는 것이다.

본 발명의 특징에 따른 아바타를 이용한 애니메이션 생성 장치는 모델 생성부, 애니메이션 생성부 및 출력부를 포함한다. 모델 생성부는 이차원 얼굴 영상으로부터 추출된 복수 개의 특징점들을 이용하여 표정의 변형이 가능한 매개변수 모델을 생성하고, 텍스트 데이터에서 추출된 특징 단어와 복수 개의 특징점들에 대응되는 표정 매개변수를 미리 저장된 데이터베이스에서 검색한다. 애니메이션 생성부는 텍스트 데이터에 포함된 단어의 음성학적 특성을 이용하여 텍스트 데이터를 음성으로 표현할 때 복수 개의 특징점들의 위치 변화를 나타내는 벡터를 생성하고, 매개변수 모델에 표정 매개변수 및 벡터를 적용하여 텍스트 데이터를 음성으로 표현하는 동안의 표정 변화를 반영한 애니메이션을 생성한다. 출력부는 가상공간에서 이차원 얼굴 영상에 대응되는 아바타를 이용하여 애니메이션을 출력한다.

이때, 아바타를 이용한 애니메이션 생성 장치의 모델 생성부는 복수 개의 특징점들을 이용하여 이차원 얼굴 영상에서 얼굴 요소들을 추출하고, 얼굴 요소들의 변형을 통해 표정의 변형이 가능한 매개변수 모델을 생성한다.

또한, 아바타를 이용한 애니메이션 생성 장치에서, 벡터는 텍스트 데이터를 음성으로 표현할 때 얼굴 요소들에 대한 궤적을 나타낸다.

또한, 아바타를 이용한 애니메이션 생성 장치의 애니메이션 생성부는 표정 매개변수에 따라 얼굴 요소들을 변형하여 얼굴 표정 영상을 생성하고, 얼굴 표정 영상에 벡터를 적용하여 텍스트 데이터를 음성으로 표현하는 동안에 얼굴 요소들의 움직임을 반영한 얼굴 애니메이션을 생성한다.

또한, 아바타를 이용한 애니메이션 생성 장치의 애니메이션 생성부는 텍스트 데이터를 웨이브폼 형태로 변환하여 텍스트 데이터에 대응되는 음성 데이터를 생성하는 음성 변환부, 그리고 얼굴 애니메이션을 음성 데이터와 합성하여 대화 애니메이션을 생성하는 음성 합성부를 포함한다.

또한, 아바타를 이용한 애니메이션 생성 장치의 모델 생성부는 복수 개의 특징점들을 이용하여 이차원 얼굴 영상에서 복수 개의 템플릿들을 추출하고, 디지털 이미지 매팅을 통해 복수 개의 템플릿들에 대응되는 매팅 영상들을 생성하며, 매팅 영상들을 이용하여 얼굴 요소들을 생성한다.

또한, 아바타를 이용한 애니메이션 생성 장치의 모델 생성부는 템플릿 매칭을 통해 이차원 얼굴 영상에서 복수 개의 템플릿들을 추출한다.

또한, 아바타를 이용한 애니메이션 생성 장치의 모델 생성부는 복수 개의 특징점들을 아핀 변환(Affine Transformation)을 통해 정규화하여 정규화된 얼굴 모델을 생성하고, 정규화된 얼굴 모델과 특징 단에 대응되는 표정 매개변수를 검색하는 검색부를 포함한다.

또한, 아바타를 이용한 애니메이션 생성 장치에서, 데이터베이스는 미리 저장된 표본 영상들과 표본 단어들을 서로 다른 표정들로 분류하여 각 표정에 대응되는 복수 개의 표정 매개변수들을 저장한다.

본 발명의 특징에 따른 아바타를 이용한 애니메이션 생성 방법은 이차원 얼굴 영상 및 텍스트 데이터를 포함하는 입력 데이터로부터 복수 개의 특징점들 및 특징 단어를 포함하는 특징 데이터를 추출하는 단계, 복수 개의 특징점들을 이용하여 매개변수 제어를 통해 표정의 변형이 가능한 매개변수 모델을 생성하는 단계, 미리 저장된 데이터베이스에서 특징 데이터에 대응되는 표정 매개변수를 검색하는 단계, 텍스트 데이터를 음성으로 표현하는 동안에 복수 개의 특징점들의 위치 변화를 나타내는 벡터를 생성하는 단계, 매개변수 모델에 표정 매개변수 및 벡터를 적용하여 텍스트 데이터를 음성으로 표현하는 동안에 복수 개의 특징점들의 위치 변화를 반영한 얼굴 애니메이션을 생성하는 단계, 그리고 텍스트 데이터를 웨이브폼 형태로 변환한 음성 데이터를 얼굴 애니메이션과 합성하여 대화 애니메이션을 생성하는 단계를 포함한다.

이때, 표정 매개변수를 검색하는 단계는, 복수 개의 특징점들을 정규화하여 정규화된 얼굴 모델을 생성하는 단계, 그리고 데이터베이스에서 정규화된 얼굴 모델 및 특징 단어에 대응되는 표정 매개변수를 검색하는 단계를 포함한다.

또한, 아바타를 이용한 애니메이션 생성 방법에서, 데이터베이스는 미리 저장된 표본 영상들과 표본 단어들을 서로 다른 표정들로 분류하여 각 표정에 대응되는 표정 매개변수를 저장한다.

또한, 매개변수 모델을 생성하는 단계는, 복수 개의 특징점들을 이용하여 이차원 얼굴 영상에서 얼굴 요소들을 검출하는 단계, 그리고 얼굴 요소들로 구성되고 얼굴 요소들의 변형을 통해 표정의 변형이 가능한 상기 매개변수 모델을 생성하는 단계를 포함한다.

또한, 벡터를 생성하는 단계는 텍스트 데이터를 음성으로 표현하는 동안에 얼굴 요소들의 궤적을 나타내는 벡터를 생성한다.

또한, 얼굴 애니메이션을 생성하는 단계는, 표정 매개변수에 따라 매개변수 모델의 표정을 변형하여 얼굴 표정 모델을 생성하는 단계, 그리고 얼굴 표정 모델에 벡터를 적용하여 텍스트 데이터를 음성으로 표현하는 동안에 얼굴 요소들의 움직임을 반영한 얼굴 애니메이션을 생성하는 단계를 포함한다.

또한, 아바타를 이용한 애니메이션 생성 방법은, 가상공간에서 이차원 얼굴 영상에 대응되는 아바타를 이용하여 대화 애니메이션을 출력하는 단계를 더 포함한다.

본 발명의 특징에 따르면, 하나의 이차원 영상과 텍스트를 이용하여 가상공간에서 사용자들을 대신하는 아바타를 통해 애니메이션을 합성할 수 있는 효과가 있다.

또한, 본 발명의 특징에 따르면, 이차원 영상에서 추출된 얼굴 요소들을 이용하여 영상과 텍스트에 따른 표정을 반영한 애니메이션을 합성할 수 있는 효과가 있다.

또한, 본 발명의 특징에 따르면, 텍스트에 대응되는 음성을 합성하여 출력할 때 해당 텍스트의 음성학적 특성을 이용하여 해당 음성의 출력에 따른 얼굴의 표정 변화를 반영한 애니메이션을 합성할 수 있는 효과가 있다.

도 1은 종래에 따른 선행 근육모델을 도시한 도면이다.
도 2는 종래에 따른 움직임 단위들의 예제 리스트를 도시한 도면이다.
도 3은 종래에 따른 영상에서 세부 부분을 추출한 영상 예제를 도시한 도면이다.
도 4는 종래에 따른 영상 분리 과정에 대한 영상 예제를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 애니메이션 생성 장치의 구성을 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 모델 생성부의 구성을 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 얼굴 요소 추출 방법을 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 아랫입술 추출 과정을 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 데이터 분류 방법을 도시한 도면이다.
도 10은 본 발명의 실시 예에 따른 표본 영상의 정규화 방법을 도시한 도면이다.
도 11은 본 발명의 실시 예에 따른 특징점 검출 방법을 도시한 도면이다.
도 12는 본 발명의 실시 예에 따른 특징점 좌표 산출 방법을 도시한 도면이다.
도 13은 본 발명의 실시 예에 따른 애니메이션 생성부의 구성을 도시한 도면이다.
도 14는 본 발명의 제1 실시 예에 따른 얼굴 요소의 좌표를 도시한 도면이다.
도 15는 본 발명의 제1 실시 예에 따른 눈동자의 좌표를 도시한 도면이다.
도 16은 본 발명의 제2 실시 예에 따른 눈동자의 좌표를 도시한 도면이다.
도 17은 본 발명의 제2 실시 예에 따른 얼굴 요소의 좌표를 도시한 도면이다.
도 18은 본 발명의 제1 실시 예에 따른 입술의 좌표를 도시한 도면이다.
도 19는 본 발명의 제2 실시 예에 따른 입술의 좌표를 도시한 도면이다.
도 20은 본 발명의 실시 예에 따른 제1 얼굴 표정 영상을 도시한 도면이다.
도 21은 본 발명의 실시 예에 따른 제2 얼굴 표정 영상을 도시한 도면이다.
도 22는 본 발명의 실시 예에 따른 제3 얼굴 표정 영상을 도시한 도면이다.
도 23은 본 발명의 실시 예에 따른 제4 얼굴 표정 영상을 도시한 도면이다.
도 24는 본 발명의 실시 예에 따른 애니메이션 생성 방법을 도시한 도면이다.
도 25는 본 발명의 실시 예에 따른 아바타들간의 대화 애니메이션 출력 영상을 도시한 도면이다.

본 발명을 첨부된 도면을 참고하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 고지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 해당 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이제 도면을 참고하여 본 발명의 실시 예에 따른 아바타를 이용한 애니메이션 생성 장치 및 방법에 대해 설명한다.

먼저, 도 5를 참고하여 본 발명의 실시 예에 따른 아바타를 이용한 애니메이션 생성 장치에 대해 설명한다.

도 5는 본 발명의 실시 예에 따른 애니메이션 생성 장치의 구성을 도시한 도면이다.

도 5에 도시된 바와 같이, 본 발명의 실시 예에 따른 애니메이션 생성 장치(100)는 입력되는 영상에 대응되는 아바타(Avatar)를 생성하기 위한 것으로, 입력부(110), 모델 생성부(120), 애니메이션 생성부(130) 및 출력부(140)를 포함한다.

입력부(110)는 가상공간에서 아바타로 표현하고자 하는 대상의 이차원 얼굴 영상(2D Facial Image), 및 가상공간에서 아바타를 통해 음성으로 출력하고자 하는 단어나 문장 등의 문장 요소를 포함하는 텍스트(Text) 데이터를 입력 받는다.

모델 생성부(120)는 입력된 이차원 얼굴 영상으로부터 복수 개의 특징점들을 추출하고, 추출된 복수 개의 특징점들을 이용하여 얼굴 표정(Expression)을 결정하는 움직임 단위들(Action Units, 이하에서는 'AUs'라고도 함)에 해당하는 얼굴 요소들을 추출하고, 추출된 얼굴 요소들의 변형을 통해 표정의 변형이 가능한 매개변수 모델(Parameter Model)을 생성한다. 또한, 모델 생성부(120)는 입력된 텍스트 데이터 및 추출된 복수 개의 특징점들을 이용하여 아바타의 표정을 결정하기 위한 표정 매개변수(Expression Parameter)를 검출한다.

애니메이션 생성부(130)는 검출된 표정 매개변수에 따라 매개변수 모델의 표정을 변형하여 얼굴 표정 영상을 생성하고, 텍스트 데이터에 포함된 문장 요소에 따른 특징점들의 좌표를 산출하여 텍스트 데이터를 음성으로 표현할 때 특징점들의 좌표 변화를 나타내는 고유벡터(Eigenvector)를 생성하고, 텍스트 데이터를 청취 가능한 웨이브폼(waveform) 형태로 변환하여 음성 데이터를 생성하며, 얼굴 표정 영상에 고유벡터를 반영하여 얼굴 애니메이션을 생성한 후 얼굴 애니메이션과 음성 데이터를 합성하여 대화 애니메이션을 생성한다.

출력부(140)는 가상공간에서 이차원 얼굴 영상에 대응되는 아바타를 이용하여 대화 애니메이션을 출력한다.

다음, 도 6을 참고하여 본 발명의 실시 예에 따른 모델 생성부의 구성에 대해 설명한다.

도 6은 본 발명의 실시 예에 따른 모델 생성부의 구성을 도시한 도면이다.

도 6에 도시된 바와 같이, 본 발명의 실시 예에 따른 모델 생성부(120)는 특징 추출부(121), 검색부(123) 및 학습부(125)를 포함한다.

특징 추출부(121)는 입력된 이차원 얼굴 영상으로부터 복수 개의 특징점들을 추출하고, 입력된 텍스트 데이터에서 특징 단어를 추출한다. 여기서, 특징 추출부(121)는 아다부스트(Adaboost), 서포트 벡터 머신(support vector machine, SVM), 능동 형태 모델(active appearance model, AAM) 등과 같은 특징점 검출 알고리즘을 이용하여 각 특징점을 검출할 수 있다. 이때, 특징 추출부(121)는 눈썹의 끝점, 눈의 위쪽 중간점, 아랫입술의 중간점 등과 같이 미리 정의된 특징점들을 추출할 수 있다.

검색부(123)는 특징 추출부(121)에서 추출된 복수 개의 특징점들과 특징 단어에 대응되는 표정 매개변수를 학습부(125)에서 검색하여 추출한다. 여기서, 검색부(123)는 추출된 복수 개의 특징점들을 정규화하여 프로토타입 얼굴 모델(Prototype Face Model)을 생성하고, 생성된 프로토타입 얼굴 모델과 추출된 특징 단어에 대응되는 표정 매개변수를 학습부(125)에서 검색하여 추출한다. 이때, 검색부(123)는 변형(translation), 회전(Rotation), 스케일링(Scaling)을 고려한 아핀 변환(Affine Transformation)을 통해 추출된 복수 개의 특징점들을 정규화하여 프로토타입 얼굴 모델을 생성할 수 있다.

학습부(125)는 기계학습을 통해 미리 저장된 표본 영상들과 표본 단어들을 서로 다른 표정들로 분류하여 각 표정에 대한 표정 매개변수를 저장한다. 여기서, 학습부(125)는 아핀 변환을 통해 표본 영상을 정규화하고, 정규화된 표본 영상에서 특징점들을 추출하며, 추출된 특징점들을 이용하여 특징점 좌표를 산출할 수 있다.

다음, 도 7을 참고하여 본 발명의 실시 예에 따른 모델 생성부가 얼굴 요소를 추출하는 방법에 대해 설명한다.

도 7은 본 발명의 실시 예에 따른 얼굴 요소 추출 방법을 도시한 도면이다.

도 7에 도시된 바와 같이, 먼저, 모델 생성부(120)는 이차원 얼굴 영상으로부터 복수 개의 특징점들을 추출한다(S100).

다음, 모델 생성부(120)는 추출된 특징점들을 이용하여 템플릿 매칭(Template Matching)을 통해 얼굴 요소에 대한 템플릿들을 추출한다(S110). 여기서, 추출된 템플릿들은 얼굴 템플릿, 눈썹 템플릿, 눈 템플릿, 눈동자 템플릿, 입술 템플릿 등을 포함한다.

이후, 모델 생성부(120)는 추출된 템플릿들을 이용하여 디지털 이미지 매팅(Digital Image Matting)을 통해 얼굴 요소에 대한 매팅 영상들을 생성한다(S120).

다음, 모델 생성부(120)는 생성된 매팅 영상들을 이용하여 이차원 얼굴 영상에 대한 얼굴 요소들을 추출한다(S130). 여기서, 추출된 얼굴 요소들은 전체 얼굴, 눈썹, 눈, 눈동자, 입술 등을 포함한다.

다음, 도 8을 참고하여 본 발명의 실시 예에 따른 모델 생성부가 얼굴 영상에서 아랫입술을 추출하는 방법에 대해 설명한다.

도 8은 본 발명의 실시 예에 따른 아랫입술 추출 과정을 도시한 도면이다.

도 8에 도시된 바와 같이, 먼저, 모델 생성부(120)는 템플릿 매칭을 통해서 입술 영상(210)으로부터 아랫입술에 대한 템플릿 영상(220)을 추출한다.

다음, 모델 생성부(120)는 디지털 이미지 매팅을 통해서 아랫입술에 대한 템플릿 영상(220)으로부터 아랫입술에 대한 알파맵(Alpha MAP)(230)을 추출한다.

이후, 모델 생성부(120)는 아랫입술에 대한 알파맵(Alpha MAP)(230)으로부터 얼굴 요소에 해당하는 아랫입술 영상(240)을 추출한다.

다음은, 도 9를 참고하여 본 발명의 실시 예에 따른 학습부가 표본 데이터를 서로 다른 표정들로 분류하는 방법에 대해 설명한다.

도 9는 본 발명의 실시 예에 따른 데이터 분류 방법을 도시한 도면이다.

학습부(125)는 표정의 종류에 따라 복수 개의 표본 영상들과 복수 개의 표본 단어들을 분류하여 군집화할 수 있다.

도 9에 도시된 바와 같이, 예를 들어, 학습부(125)는 제1 영상(Image 1), 제2 영상(Image 2) 및 제1 단어(Word 1)를 "행복함(happy)"을 나타내는 제1 표정으로 분류할 수 있다. 특히, 제1 단어(Word 1)는 제1 영상(Image 1)의 표정과 제2 영상(Image 2)의 표정에 대응될 수 있다.

또한, 학습부(125)는 제3 영상(Image 3), 제4 영상(Image 4), 제2 단어(Word 2), 제3 단어(Word 3) 및 제4 단어(Word 4)를 "놀라움(surprise)"을 나타내는 제2 표정으로 분류할 수 있다. 특히, 제2 단어(Word 2)는 제3 영상(Image 3)의 표정과 제4 영상(Image 4)의 표정에 대응되고, 제3 단어(Word 3)는 제3 영상(Image 3)의 표정에 대응되며, 제4 단어(Word 4)는 제4 영상(Image 4)의 표정에 대응될 수 있다.

또한, 학습부(125)는 제n-2 영상(Image n-2), 제n-1 영상(Image n-1), 제n 영상(Image n), 제p-1 단어(Word p-1) 및 제p 단어(Word p)를 "두려움(fear)"을 나타내는 제3 표정으로 분류할 수 있다. 특히, 제p-1 단어(Word p-1)는 제n-2 영상(Image n-2)의 표정과 제n 영상(Image n)의 표정에 대응되고, 제p 단어(Word p)는 제n-1 영상(Image n-1)에 대응될 수 있다.

또한, 학습부(125)는 제m-2 영상(Image m-2), 제m-1 영상(Image m-1), 제m 영상(Image m), 제q-1 단어(Word q-1) 및 제q 단어(Word q)를 "혐오감(disgust)"을 나타내는 제4 표정으로 분류할 수 있다. 특히, 제q-1 단어(Word q-1)는 제m-2 영상(Image m-2)의 표정과 제m-1 영상(Image m-1)의 표정에 대응되고, 제q 단어(Word q)는 제m-2 영상(Image m-2)의 표정, 제m-1 영상(Image m-1)의 표정, 및 제m 영상(Image m)의 표정에 대응될 수 있다.

이와 같이, 학습부(125)는 표본 영상과 표본 단어를 군집화함으로써 표정 매개변수를 산출할 때 계산량을 감소시키고 표정의 정확성을 증대시킬 수 있다.

다음, 도 10 내지 도 12를 참고하여 본 발명의 실시 예에 따른 학습부가 표본 영상으로부터 특징점 좌표를 산출하는 방법에 대해 설명한다.

도 10은 본 발명의 실시 예에 따른 표본 영상의 정규화 방법을 도시한 도면이다.

도 10에 도시된 바와 같이, 학습부(125)는 제1 표본 영상(311)의 두 눈동자를 기준으로 변형(translation), 회전(Rotation), 스케일링(Scaling)을 고려한 아핀 변환(Affine Transformation)을 통해 제1 표본 영상(311)을 정규화한다.

또한, 학습부(125)는 제2 표본 영상(312)의 두 눈동자를 기준으로 변형(translation), 회전(Rotation), 스케일링(Scaling)을 고려한 아핀 변환(Affine Transformation)을 통해 제2 표본 영상(312)을 정규화한다.

도 11은 본 발명의 실시 예에 따른 특징점 검출 방법을 도시한 도면이다.

도 11에 도시된 바와 같이, 학습부(125)는 도 11에서 제1 표본 영상(311)을 정규화하여 생성된 제1 정규화 영상(331)에서 미리 정해진 종류 및 개수에 대응되는 특징점들을 검출한다.

또한, 학습부(125)는 도 11에서 제2 표본 영상(312)을 정규화하여 생성된 제2 정규화 영상(332)에서 미리 정해진 종류 및 개수에 대응되는 특징점들을 검출한다.

도 12는 본 발명의 실시 예에 따른 특징점 좌표 산출 방법을 도시한 도면이다.

도 12에 도시된 바와 같이, 학습부(125)는 제1 정규화 영상(331)에서 검출된 특징점들 각각에 대한 좌표를 산출한다.

또한, 학습부(125)는 제2 정규화 영상(332)에서 검출된 특징점들 각각에 대한 좌표를 산출한다.

다음, 도 13을 참고하여 본 발명의 실시 예에 따른 애니메이션 생성부의 구성에 대해 설명한다.

도 13은 본 발명의 실시 예에 따른 애니메이션 생성부의 구성을 도시한 도면이다.

도 13에 도시된 바와 같이, 애니메이션 생성부(130)는 표정 변형부(131), 고유벡터 생성부(133), 영상 보정부(135), 음성 변환부(137) 및 음성 합성부(139)를 포함한다.

표정 변형부(131)는 표정 매개변수에 따라 매개변수 모델을 구성하는 얼굴 요소들을 변형하여 얼굴 표정 영상을 생성한다. 여기서, 표정 변형부(131)는 표정 매개변수에 따라 얼굴 요소들에 대한 특징점 위치 변화를 통해 매개변수 모델의 표정을 변형할 수 있다.

고유벡터 생성부(133)는 텍스트 데이터에 포함된 각 문장 요소에 대한 음성학적 특성을 이용하여 각 문장 요소에 대응되는 특징점 좌표를 산출하고, 산출된 특징점 좌표를 이용하여 텍스트 데이터를 음성으로 표현할 때 특징점 좌표의 변화를 나타내는 고유벡터를 생성한다. 여기서, 음성학적 특성은 해당 문장 요소를 음성으로 표현할 때 발음기관의 움직임, 얼굴 요소의 움직임 등을 포함할 수 있다.

영상 보정부(135)는 영상 워핑(Image Warping)을 통해 얼굴 애니메이션 또는 대화 애니메이션에 대한 영상 왜곡을 보정한다. 이때, 영상 보정부(135)는 표정 비율 이미지(Expressive Ratio Image, 이하에서는 'ERI'라고도 함)를 이용하여 얼굴의 주름 등을 표현할 수 있다.

음성 변환부(137)는 텍스트 데이터를 청취 가능한 웨이브폼(waveform) 형태로 변환하여 음성 데이터를 생성한다.

음성 합성부(139)는 얼굴 표정 영상에 고유벡터를 반영하여 생성된 얼굴 애니메이션과 음성 변환부(137)에서 생성된 음성 데이터를 합성하여 대화 애니메이션을 생성한다.

다음, 도 14 내지 도 16을 참고하여 본 발명의 실시 예에 따른 애니메이션 생성부가 눈동자의 좌표를 결정하는 방법에 대해 설명한다.

도 14는 본 발명의 제1 실시 예에 따른 얼굴 요소의 좌표를 도시한 도면이다.

도 14에 도시된 바와 같이, 애니메이션 생성부(130)는 얼굴 요소 중 오른쪽 눈동자(410), 왼쪽 눈동자(420), 코(430)의 좌표를 x축, y축, z축의 좌표로 표현할 수 있다.

여기서, 눈동자 기준점(400)은 오른쪽 눈동자(410)와 왼쪽 눈동자(420)의 기준점에 해당한다.

도 15는 본 발명의 제1 실시 예에 따른 눈동자의 좌표를 도시한 도면이다.

도 15에 도시된 바와 같이, 오른쪽 눈꺼풀(440)은 움직이지 않은 상태에서 오른쪽 눈동자(410)가 아래쪽 방향으로 움직인 경우, 애니메이션 생성부(130)는 눈동자 기준점(400)을 중심으로 오른쪽 눈동자(410)의 z축 좌표의 변화량을 이용하여 오른쪽 눈동자(410)가 움직인 각도를 결정할 수 있다. 여기서, 오른쪽 눈동자(410), 왼쪽 눈동자(420), 오른쪽 눈꺼풀(440)의 z축 좌표는 수학식 1을 따른다.

수학식 1에서, "z_eye"는 눈동자의 z축 좌표를 나타내고, "a"는 제1 가중치를 나타내고, "x_p"는 기준점(400)의 x축 좌표를 나타내고, "x_r"은 오른쪽 눈동자의 x축 좌표를 나타내고, "x_l"은 왼쪽 눈동자의 x축 좌표를 나타낸다. 또한, 수학식 1에서, "z_eye′"은 눈꺼풀의 z축 좌표를 나타내고, "b"는 제2 가중치를 나타낸다. 여기서, 제1 가중치는 제2 가중치보다 크다.

도 16은 본 발명의 제2 실시 예에 따른 눈동자의 좌표를 도시한 도면이다.

도 16에 도시된 바와 같이, 오른쪽 눈꺼풀(440)과 왼쪽 눈꺼풀(450)은 움직이지 않은 상태에서 오른쪽 눈동자(410)와 왼쪽 눈동자(420)가 좌측 방향으로 움직인 경우, 애니메이션 생성부(130)는 기준점(400)을 중심으로 오른쪽 눈동자(410)의 x축 좌표의 변화량을 이용하여 오른쪽 눈동자(410)가 움직인 각도를 결정할 수 있다. 여기서, 오른쪽 눈동자(410) 및 왼쪽 눈동자(420)의 x축 좌표는 수학식 2를 따른다.

수학식 2에서, "x"는 눈동자의 x축 좌표를 나타내고, "g(?)"는 눈동자의 템플릿 함수를 나타낸다.

여기서, 애니메이션 생성부(130)는 눈동자의 움직임을 회전 행렬 연산으로 표현할 수 있다. 여기서, 움직임에 따른 눈동자의 좌표는 수학식 3을 따른다.

수학식 3에서, "x′"는 눈동자가 움직인 후의 x축 좌표, "y′"는 눈동자가 움직인 후의 y축 좌표, "z′"는 눈동자가 움직인 후의 z축 좌표를 나타내고, "x"는 눈동자가 움직이기 전의 x축 좌표, "y"는 눈동자가 움직이기 전의 y축 좌표, "z"는 눈동자가 움직이기 전의 z축 좌표를 나타내며, "R_xy"는 x-y 축에서의 회전 행렬을 나타내고, "R_yz"는 y-z 축에서의 회전 행렬을 나타낸다.

다음, 도 17 내지 도 19를 참고하여 본 발명의 실시 예에 따른 애니메이션 생성부가 입술의 좌표를 결정하는 방법에 대해 설명한다.

도 17은 본 발명의 제2 실시 예에 따른 얼굴 요소의 좌표를 도시한 도면이다.

도 17에 도시된 바와 같이, 애니메이션 생성부(130)는 얼굴 요소 중 윗입술(510)과 아랫입술(520)의 좌표를 x축, y축, z축의 좌표로 표현할 수 있다.

도 18은 본 발명의 제1 실시 예에 따른 입술의 좌표를 도시한 도면이다.

도 18에 도시된 바와 같이, 입을 열지 않은 경우, 애니메이션 생성부(130)는 턱 기준점(500)에서 아랫입술(520)까지의 각도를 이용하여 아랫입술(520)의 좌표를 결정할 수 있다. 여기서, 아랫입술(520)의 좌표는 수학식 4를 따른다.

수학식 4에서, "x"는 영상 내의 x축 좌표, "y"는 영상 내의 y축 좌표, "f(?)"는 아랫입술의 템플릿 포물선 함수를 나타내고, "z"는 영상 내의 (x, y)에서의 z축 좌표, "

"는 임의로 정의된 특징점의 y축 좌표를 나타낸다.

도 19는 본 발명의 제2 실시 예에 따른 입술의 좌표를 도시한 도면이다.

도 19에 도시된 바와 같이, 입을 벌린 경우, 애니메이션 생성부(130)는 입을 벌린 각도를 이용하여 아랫입술(520)의 좌표를 결정할 수 있다. 여기서, 아랫입술(520)의 좌표는 수학식 5를 따른다.

수학식 5에서, "z′"는 입을 벌린 후의 z축 좌표, "y′"는 입을 벌린 후의 y축 좌표, "θ"는 입이 벌어진 각도, "z"는 입을 벌리기 전의 z축 좌표, "y"는 입을 벌리기 전의 y축 좌표를 나타낸다.

수학식 5에 따르면, 입을 벌린 경우, 아랫입술의 모든 좌표는 (x, y)에서 (x, y′)로 변환된다.

다음, 도 20 내지 도 23을 참고하여 본 발명의 실시 예에 따른 애니메이션 생성부가 얼굴 표정 영상을 생성하는 방법에 대해 설명한다.

도 20은 본 발명의 실시 예에 따른 제1 얼굴 표정 영상을 도시한 도면이다.

도 20에 도시된 바와 같이, 애니메이션 생성부(130)의 표정 변형부(131)는 매개변수 제어부(600)를 통해 표정 매개변수들을 제어하여 다양한 얼굴 표정 영상들을 생성할 수 있다. 여기서, 매개변수 제어부(600)는 "행복함(Happiness)", "놀라움(Surprise)", "슬픔(Sadness)", "두려움(Fear)", "혐오감(Disgust)", 및 "화남(Anger)"에 각각 대응되는 표정 매개변수들을 제어할 수 있다.

특히, 애니메이션 생성부(130)의 표정 변형부(131)는 표정 매개변수들을 제어하지 않음으로써 표정이 없는 얼굴 영상에 해당하는 제1 얼굴 표정 영상(610)을 생성할 수 있다.

도 21은 본 발명의 실시 예에 따른 제2 얼굴 표정 영상을 도시한 도면이다.

도 21에 도시된 바와 같이, 애니메이션 생성부(130)의 표정 변형부(131)는 매개변수 제어부(600)를 통해 표정 매개변수들을 제어하여 다양한 얼굴 표정 영상들을 생성할 수 있다. 여기서, 매개변수 제어부(600)는 "행복함(Happiness)", "놀라움(Surprise)", "슬픔(Sadness)", "두려움(Fear)", "혐오감(Disgust)", 및 "화남(Anger)"에 각각 대응되는 표정 매개변수들을 제어할 수 있다.

특히, 애니메이션 생성부(130)의 표정 변형부(131)는 "화남(Anger)"에 대응되는 표정 매개변수를 제어하여 화난 표정을 나타내는 얼굴 영상에 해당하는 제2 얼굴 표정 영상(620)을 생성할 수 있다.

도 22는 본 발명의 실시 예에 따른 제3 얼굴 표정 영상을 도시한 도면이다.

도 22에 도시된 바와 같이, 애니메이션 생성부(130)의 표정 변형부(131)는 매개변수 제어부(600)를 통해 표정 매개변수들을 제어하여 다양한 얼굴 표정 영상들을 생성할 수 있다. 여기서, 매개변수 제어부(600)는 "행복함(Happiness)", "놀라움(Surprise)", "슬픔(Sadness)", "두려움(Fear)", "혐오감(Disgust)", 및 "화남(Anger)"에 각각 대응되는 표정 매개변수들을 제어할 수 있다.

특히, 애니메이션 생성부(130)의 표정 변형부(131)는 "행복함(Happiness)"에 대응되는 표정 매개변수를 제어하여 행복한 표정을 나타내는 얼굴 영상에 해당하는 제3 얼굴 표정 영상(630)을 생성할 수 있다.

도 23은 본 발명의 실시 예에 따른 제4 얼굴 표정 영상을 도시한 도면이다.

도 23에 도시된 바와 같이, 애니메이션 생성부(130)의 표정 변형부(131)는 매개변수 제어부(600)를 통해 표정 매개변수들을 제어하여 다양한 얼굴 표정 영상들을 생성할 수 있다. 여기서, 매개변수 제어부(600)는 "행복함(Happiness)", "놀라움(Surprise)", "슬픔(Sadness)", "두려움(Fear)", "혐오감(Disgust)", 및 "화남(Anger)"에 각각 대응되는 표정 매개변수들을 제어할 수 있다.

특히, 애니메이션 생성부(130)의 표정 변형부(131)는 "놀라움(Surprise)"에 대응되는 표정 매개변수를 제어하여 슬픈 표정을 나타내는 얼굴 영상에 해당하는 제4 얼굴 표정 영상(640)을 생성할 수 있다.

다음, 도 24를 참고하여 본 발명의 실시 예에 따른 아바타를 이용한 애니메이션 생성 방법에 대해 설명한다.

도 24는 본 발명의 실시 예에 따른 애니메이션 생성 방법을 도시한 도면이다.

도 24에 도시된 바와 같이, 먼저, 입력부(110)는 이차원 얼굴 영상 및 텍스트 데이터를 포함하는 입력 데이터를 수신한다(S200).

다음, 모델 생성부(120)는 입력 데이터에 포함된 이차원 얼굴 영상으로부터 복수 개의 특징점들을 추출하고, 입력 데이터에 포함된 텍스트 데이터에서 특징 단어를 추출하여, 입력 데이터로부터 복수 개의 특징점들 및 특징 단어를 포함하는 특징 데이터를 추출한다(S210).

이후, 모델 생성부(120)는 추출된 복수 개의 특징점들을 이용하여 입력된 이차원 얼굴 영상에서 얼굴 요소들을 추출한다(S220).

다음, 모델 생성부(120)는 추출된 얼굴 요소들로 구성되고 얼굴 요소들의 변형을 통해 표정의 변형이 가능한 매개변수 모델을 생성한다(S230).

이후, 모델 생성부(120)는 미리 저장된 데이터베이스에서 추출된 특징 데이터 대응되는 표정 매개변수를 검색한다(S240).

다음, 애니메이션 생성부(130)는 검색된 표정 매개변수에 따라 매개변수 모델을 구성하는 얼굴 요소들을 변형하여 표정 매개변수에 대응되는 표정이 반영된 얼굴 표정 영상을 생성한다(S250).

이후, 애니메이션 생성부(130)는 텍스트 데이터를 음성으로 표현할 때 얼굴 표정 영상의 얼굴 요소들에 대한 궤적을 나타내는 고유벡터를 생성한다(S260). 여기서, 애니메이션 생성부(130)는 텍스트 데이터에 포함된 각 문자 요소에 대한 음성학적 특성을 이용하여 각 문장 요소에 대응되는 특징점 좌표를 산출하고, 산출된 특징점 좌표를 이용하여 고유벡터를 생성할 수 있다.

다음, 애니메이션 생성부(130)는 얼굴 표정 영상에 고유벡터를 적용하여 텍스트 데이터를 음성으로 표현하는 동안에 얼굴 표정 영상의 얼굴 요소들의 움직임을 반영한 얼굴 애니메이션을 생성한다(S270).

이후, 애니메이션 생성부(130)는 텍스트 데이터를 웨이브폼 형태로 변환한 음성 데이터를 얼굴 애니메이션과 합성하여 대화 애니메이션을 생성한다(S280).

다음, 출력부(140)는 가상공간에서 입력 데이터에 포함된 이차원 얼굴 영상에 대응되는 아바타를 이용하여 대화 애니메이션을 출력한다(S290).

다음, 도 25를 참고하여 본 발명의 실시 예에 따른 가상공간에서 아바타들 간의 대화 애니메이션을 출력한 영상에 대해 설명한다.

도 25는 본 발명의 실시 예에 따른 아바타들간의 대화 애니메이션 출력 영상을 도시한 도면이다.

도 25에 도시된 바와 같이, 먼저, 애니메이션 생성 장치(100)는 제1 입력 데이터(710) 및 제2 입력 데이터(720)를 입력받는다. 여기서, 제1 입력 데이터(710)는 제1 이차원 얼굴 영상(711) 및 제1 대화 문장(713)을 포함하고, 제2 입력 데이터(720)는 제2 이차원 얼굴 영상(721) 및 제2 대화 문장(723)을 포함한다.

다음, 애니메이션 생성 장치(100)는 제1 입력 데이터(710)를 이용하여 제1 대화 애니메이션을 생성하고, 제2 입력 데이터(720)를 이용하여 제2 대화 애니메이션을 생성한다.

이후, 애니메이션 생성 장치(100)는 가상환경(730)에서 제1 이차원 얼굴 영상(711)에 대응되는 제1 아바타(740)를 통해 제1 대화 애니메이션을 출력하고, 제2 이차원 얼굴 영상(721)에 대응되는 제2 아바타(750)를 통해 제2 대화 애니메이션을 출력한다.

이상에서와 같이 도면과 명세서에서 최적의 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 애니메이션 생성 장치
110: 입력부
120: 모델 생성부
121: 특징 추출부
123: 검색부
125: 학습부
130: 애니메이션 생성부
131: 표정 변형부
133: 고유벡터 생성부
135: 영상 보정부
137: 음성 변환부
139: 음성 합성부
140: 출력부

Claims (16)

1. 이차원 얼굴 영상으로부터 추출된 복수 개의 특징점들을 이용하여 표정의 변형이 가능한 매개변수 모델을 생성하고, 텍스트 데이터에서 추출된 특징 단어와 상기 복수 개의 특징점들에 대응되는 표정 매개변수를 미리 저장된 데이터베이스에서 검색하는 모델 생성부;
   상기 텍스트 데이터에 포함된 단어의 음성학적 특성을 이용하여 상기 텍스트 데이터를 음성으로 표현할 때 상기 복수 개의 특징점들의 위치 변화를 나타내는 벡터를 생성하고, 상기 매개변수 모델에 상기 표정 매개변수 및 상기 벡터를 적용하여 상기 텍스트 데이터를 음성으로 표현하는 동안의 표정 변화를 반영한 애니메이션을 생성하는 애니메이션 생성부; 및
   가상공간에서 상기 이차원 얼굴 영상에 대응되는 아바타를 이용하여 상기 애니메이션을 출력하는 출력부를 포함하는 아바타를 이용한 애니메이션 생성 장치.
2. 청구항 1에 있어서,
   상기 모델 생성부는
   상기 복수 개의 특징점들을 이용하여 상기 이차원 얼굴 영상에서 얼굴 요소들을 추출하고, 상기 얼굴 요소들의 변형을 통해 표정의 변형이 가능한 상기 매개변수 모델을 생성하는 아바타를 이용한 애니메이션 생성 장치.
3. 청구항 2에 있어서,
   상기 벡터는
   상기 텍스트 데이터를 음성으로 표현할 때 상기 얼굴 요소들에 대한 궤적을 나타내는 아바타를 이용한 애니메이션 생성 장치.
4. 청구항 3에 있어서,
   상기 애니메이션 생성부는
   상기 표정 매개변수에 따라 상기 얼굴 요소들을 변형하여 얼굴 표정 영상을 생성하고, 상기 얼굴 표정 영상에 상기 벡터를 적용하여 상기 텍스트 데이터를 음성으로 표현하는 동안에 상기 얼굴 요소들의 움직임을 반영한 얼굴 애니메이션을 생성하는 아바타를 이용한 애니메이션 생성 장치.
5. 청구항 4에 있어서,
   상기 애니메이션 생성부는
   상기 텍스트 데이터를 웨이브폼 형태로 변환하여 상기 텍스트 데이터에 대응되는 음성 데이터를 생성하는 음성 변환부; 및
   상기 얼굴 애니메이션을 상기 음성 데이터와 합성하여 대화 애니메이션을 생성하는 음성 합성부를 포함하는 아바타를 이용한 애니메이션 생성 장치.
6. 청구항 2에 있어서,
   상기 모델 생성부는
   상기 복수 개의 특징점들을 이용하여 상기 이차원 얼굴 영상에서 복수 개의 템플릿들을 추출하고, 디지털 이미지 매팅을 통해 상기 복수 개의 템플릿들에 대응되는 매팅 영상들을 생성하며, 상기 매팅 영상들을 이용하여 상기 얼굴 요소들을 생성하는 아바타를 이용한 애니메이션 생성 장치.
7. 청구항 6에 있어서,
   상기 모델 생성부는
   템플릿 매칭을 통해 상기 이차원 얼굴 영상에서 상기 복수 개의 템플릿들을 추출하는 아바타를 이용한 애니메이션 생성 장치.
8. 청구항 1에 있어서,
   상기 모델 생성부는
   상기 복수 개의 특징점들을 아핀 변환(Affine Transformation)을 통해 정규화하여 정규화된 얼굴 모델을 생성하고, 상기 정규화된 얼굴 모델과 상기 특징 단에 대응되는 상기 표정 매개변수를 검색하는 검색부를 포함하는 아바타를 이용한 애니메이션 생성 장치.
9. 청구항 1에 있어서,
   상기 데이터베이스는
   미리 저장된 표본 영상들과 표본 단어들을 서로 다른 표정들로 분류하여 각 표정에 대응되는 복수 개의 표정 매개변수들을 저장하는 아바타를 이용한 애니메이션 생성 장치.
10. 이차원 얼굴 영상 및 텍스트 데이터를 포함하는 입력 데이터로부터 복수 개의 특징점들 및 특징 단어를 포함하는 특징 데이터를 추출하는 단계;
    상기 복수 개의 특징점들을 이용하여 매개변수 제어를 통해 표정의 변형이 가능한 매개변수 모델을 생성하는 단계;
    미리 저장된 데이터베이스에서 상기 특징 데이터에 대응되는 표정 매개변수를 검색하는 단계;
    상기 텍스트 데이터를 음성으로 표현하는 동안에 상기 복수 개의 특징점들의 위치 변화를 나타내는 벡터를 생성하는 단계;
    상기 매개변수 모델에 상기 표정 매개변수 및 상기 벡터를 적용하여 상기 텍스트 데이터를 음성으로 표현하는 동안에 상기 복수 개의 특징점들의 위치 변화를 반영한 얼굴 애니메이션을 생성하는 단계; 및
    상기 텍스트 데이터를 웨이브폼 형태로 변환한 음성 데이터를 상기 얼굴 애니메이션과 합성하여 대화 애니메이션을 생성하는 단계를 포함하는 아바타를 이용한 애니메이션 생성 방법.
11. 청구항 10에 있어서,
    상기 표정 매개변수를 검색하는 단계는
    상기 복수 개의 특징점들을 정규화하여 정규화된 얼굴 모델을 생성하는 단계; 및
    상기 데이터베이스에서 상기 정규화된 얼굴 모델 및 상기 특징 단어에 대응되는 상기 표정 매개변수를 검색하는 단계를 포함하는 아바타를 이용한 애니메이션 생성 방법.
12. 청구항 11에 있어서,
    상기 데이터베이스는
    미리 저장된 표본 영상들과 표본 단어들을 서로 다른 표정들로 분류하여 각 표정에 대응되는 표정 매개변수를 저장하는 아바타를 이용한 애니메이션 생성 방법.
13. 청구항 10에 있어서,
    상기 매개변수 모델을 생성하는 단계는
    상기 복수 개의 특징점들을 이용하여 상기 이차원 얼굴 영상에서 얼굴 요소들을 검출하는 단계; 및
    상기 얼굴 요소들로 구성되고 상기 얼굴 요소들의 변형을 통해 표정의 변형이 가능한 상기 매개변수 모델을 생성하는 단계를 포함하는 아바타를 이용한 애니메이션 생성 방법.
14. 청구항 13에 있어서,
    상기 벡터를 생성하는 단계는
    상기 텍스트 데이터를 음성으로 표현하는 동안에 상기 얼굴 요소들의 궤적을 나타내는 벡터를 생성하는 아바타를 이용한 애니메이션 생성 방법.
15. 청구항 14에 있어서,
    상기 얼굴 애니메이션을 생성하는 단계는
    상기 표정 매개변수에 따라 상기 매개변수 모델의 표정을 변형하여 얼굴 표정 모델을 생성하는 단계; 및
    상기 얼굴 표정 모델에 상기 벡터를 적용하여 상기 텍스트 데이터를 음성으로 표현하는 동안에 상기 얼굴 요소들의 움직임을 반영한 얼굴 애니메이션을 생성하는 단계를 포함하는 아바타를 이용한 애니메이션 생성 방법.
16. 청구항 10에 있어서,
    가상공간에서 상기 이차원 얼굴 영상에 대응되는 아바타를 이용하여 상기 대화 애니메이션을 출력하는 단계를 더 포함하는 아바타를 이용한 애니메이션 생성 방법.

Images