[go: up one dir, main page]

KR20080050336A - Mobile communication terminal with 3D avatar generation function and 3D avatar generation method - Google Patents

Mobile communication terminal with 3D avatar generation function and 3D avatar generation method Download PDF

Info

Publication number
KR20080050336A
KR20080050336A KR1020070123247A KR20070123247A KR20080050336A KR 20080050336 A KR20080050336 A KR 20080050336A KR 1020070123247 A KR1020070123247 A KR 1020070123247A KR 20070123247 A KR20070123247 A KR 20070123247A KR 20080050336 A KR20080050336 A KR 20080050336A
Authority
KR
South Korea
Prior art keywords
model
face
avatar
generating
animation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070123247A
Other languages
Korean (ko)
Other versions
KR100912877B1 (en
Inventor
김종진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20080050336A publication Critical patent/KR20080050336A/en
Application granted granted Critical
Publication of KR100912877B1 publication Critical patent/KR100912877B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 이동통신 단말기의 카메라로 촬영한 얼굴 화상을 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성할 수 있는 장치 및 방법에 관한 것으로, 3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리와; 이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부와; 상기 메모리에 저장되어 있는 상기 표준 3차원 얼굴모델 및 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하는 3D 모델변환부와; 상기 3D 모델변환부에서 생성된 3차원 아바타 모델과 추가로 입력되는 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하는 애니메이션 조합부와; 상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합·편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하여 구성된다.The present invention relates to an apparatus and method for generating a three-dimensional avatar modeled after a real person using a face image photographed by a camera of a mobile communication terminal, and storing a standard three-dimensional face model for generating a three-dimensional avatar. Memory being played; An image processor which combines a front face image and a side face image obtained through a camera of the mobile communication terminal; A 3D model converter configured to generate a 3D avatar model using the front face image and the side face image combined from the standard 3D face model and the image processor stored in the memory; An animation combination unit generating 3D avatar animation data by combining the 3D avatar model generated by the 3D model converter and text or voice additionally input; And an animation data generator for combining and editing the plurality of 3D avatar animation data generated by the animation combination unit to generate animation data.

Description

３차원 아바타 생성 기능을 구비한 이동통신 단말기 및 ３차원 아바타 생성 방법{A MOBILE COMMUNICATION TERMINAL HAVING A FUNCTION OF THE CREATING 3D AVATA MODEL AND THE METHOD THEREOF}A mobile communication terminal having a three-dimensional avatar generation function and a three-dimensional avatar generation method {A MOBILE COMMUNICATION TERMINAL HAVING A FUNCTION OF THE CREATING 3D AVATA MODEL AND THE METHOD THEREOF}

본 발명은 3차원 아바타(Avatar)를 생성하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 이동통신 단말기의 카메라로 촬영한 얼굴 화상을 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성할 수 있는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a 3D avatar, and more particularly, to generate a 3D avatar modeled after a real person using a face image photographed by a camera of a mobile communication terminal. An apparatus and method are provided.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-044-01, 과제명: 멀티코아 CPU 및 MPU 기반 크롯플랫폼 게임기술 개발].The present invention is derived from the research conducted as part of the IT new growth engine core technology development project of the Ministry of Information and Communication and the Ministry of Information and Telecommunication Research and Development. [Task Management Number: 2006-S-044-01, Title: Multicore CPU and MPU based Crot Platform game technology development].

일반적으로, 아바타는 사이버 공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터로 정의되며, 기존 2차원 아바타는 단순한 그래픽으로 구현되어 현실감이 부족하다는 단점이 있었고, 이런 단점을 개선하여 등장한 것이 3차원 아바타이다.In general, an avatar is defined as an animation character that replaces the user's role in cyberspace, and the existing two-dimensional avatar has a shortcoming of lack of realism because it is implemented as a simple graphic.

그러나, 종래에는 3차원 아바타 생성을 위하여 3차원 모델 제작자가 별도의 3차원 그래픽 프로그램을 이용하여 여러 공정을 거쳐야만 제작이 가능하였다. 특히, 3차원 아바타에 사용되는 피부 재질이나 표정 애니메이션 등은 별도의 장비로 입력받은 데이터들을 이용할 수 밖에 없었다.However, in the related art, a three-dimensional model maker may use a separate three-dimensional graphics program to generate a three-dimensional avatar, and thus, may be manufactured. In particular, skin materials and facial animations used in 3D avatars had to use data input by separate equipment.

예를들면, 자연스러운 표정 애니메이션을 만들기 위해서는 고가의 페이셜 모션 캡처 장비가 필요하며, 이 또한 여러 가지 후처리 작업이 필요하다. 이는 3차원 아바타를 제작하기에 많은 시간과 인력, 그리고 고가의 장비가 필요하기에 많은 어려움을 가지고 있다.For example, creating facial expression animations requires expensive facial motion capture equipment, which also requires a lot of post-processing. This has a lot of difficulties because it takes a lot of time, manpower, and expensive equipment to produce a three-dimensional avatar.

이러한 문제점을 해결하기 위하여, 국내공개특허 제2001-0089329호(선행기술1)는 인터넷상에서 자신의 사진을 이용하여 아바타를 생성하고, 이를 이동통신 단말기로 전송할 수 있도록 해줌으로써 기존의 자기 사진만을 캡쳐하여 전송하는 방식과는 달리 자신의 사진을 아바타로 만듦으로써 아바타 몰을 이용하여 자신이 원하는 스타일로 변화할 수 있는 다양한 흥미거리를 제공할 수 있는 모바일 이미지 및 아바타 자가생성 프로그램에 대해 개시하고 있다. 그러나, 선행기술1은 인터넷 상에서 생성한 아바타를 다시 모바일로 전송하는 방식을 취하기 때문에 인터넷 상에서 아바타를 생성해야 하는 번거로운 절차가 필수적으로 요구된다.In order to solve this problem, Korean Laid-Open Patent No. 2001-0089329 (prior art 1) generates an avatar using its own picture on the Internet, and captures only the existing self-picture by allowing it to be transmitted to a mobile communication terminal. Unlike the method of transmitting a photo by using the avatar to make a picture of yourself using the avatar mall is a mobile image and avatar self-generation program that can provide a variety of interests that can be changed to the desired style. However, since the prior art 1 takes a method of transmitting an avatar generated on the Internet back to the mobile, a cumbersome procedure of generating an avatar on the Internet is required.

국내공개특허 제2003-0025588호(선행기술2)는 실사사진을 이용한 이동통신 단말기용 고품질 일러스트, 동영상캐릭터 생성 및 응용 서비스를 제공하는 사업 형태에 대해 개시하고 있으며, 이동통신 단말기의 사용자가 자신의 사진을 서비스 제공자에게 전송하여 그 사진을 이용 전문 디자이너가 고품질의 일러스트를 만들어 동영상(2차원 또는 3차원) 형태의 캐릭터로 사용자의 이동통신 단말기에 제공하고 있다.Korean Laid-Open Patent Publication No. 2003-0025588 (Prior Art 2) discloses a business type for providing high quality illustration, video character generation and application services for mobile communication terminals using live-action photographs. Photographs are sent to service providers, and professional designers use them to create high-quality illustrations and provide them to the user's mobile terminal as characters in the form of video (2D or 3D).

그러나, 선행기술2는 고품질의 캐릭터 제공이 가능하다는 장점을 제공하지 만, 사용자가 아닌 전문 디자이너가 아바타를 제작해주는 형태를 취하므로 시간 및 비용면에서 비경제적인 단점을 가진다.However, although the prior art 2 provides an advantage of providing a high quality character, it takes an uneconomical disadvantage in terms of time and cost because it takes the form of producing an avatar by a professional designer rather than a user.

본 발명은 상기한 문제점들을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 이동통신 단말기의 카메라로 촬영한 얼굴 이미지를 이용하여 실제 인물을 모델로 하는 3차원 아바타를 생성하고 이를 이용하여 다양한 3차원 컨텐츠를 제작할 수 있는 3차원 아바타 생성 기능을 구비한 이동통신 단말기 및 3차원 아바타 생성 방법을 제공하는 것이다.The present invention has been made to solve the above problems, an object of the present invention is to create a three-dimensional avatar modeled on a real person using a face image taken by the camera of the mobile communication terminal and using the various three-dimensional A mobile communication terminal having a 3D avatar generation function capable of producing content and a 3D avatar generation method are provided.

본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.Other objects and advantages of the invention will be described below and will be appreciated by the embodiments of the invention. In addition, the objects and advantages of the invention may be realized by the means and combinations indicated in the claims.

상기한 목적을 달성하기 위한 본 발명에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기는,3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리와; 이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부와; 상기 메모리에 저장되어 있는 상기 표준 3차원 얼굴모델 및 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하는 3D 모델변환부와; 상기 3D 모델변환부에서 생성된 3차원 아바타 모델과 추가로 입력되는 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하는 애니메이션 조합부와; 상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합· 편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a mobile communication terminal having a three-dimensional avatar generation function, including: a memory storing a standard three-dimensional face model for generating a three-dimensional avatar; An image processor which combines a front face image and a side face image obtained through a camera of the mobile communication terminal; A 3D model converter configured to generate a 3D avatar model using the front face image and the side face image combined from the standard 3D face model and the image processor stored in the memory; An animation combination unit generating 3D avatar animation data by combining the 3D avatar model generated by the 3D model converter and text or voice additionally input; And an animation data generation unit for generating animation data by combining and editing the plurality of 3D avatar animation data generated by the animation combination unit.

또한, 본 발명에 따른 3차원 아바타 생성 방법은, 이동통신 단말기의 카메라로 인물의 정면, 측면 얼굴 이미지를 촬영하는 단계; 상기 정면, 측면 얼굴 이미지를 이용하여 3차원 얼굴모델을 생성하는 단계; 및 텍스트 혹은 음성을 입력받은 후, 상기 입력받은 텍스트 혹은 음성을 상기 3차원 얼굴모델과 조합하여 얼굴 애니메이션 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.In addition, the three-dimensional avatar generation method according to the present invention comprises the steps of photographing the front, side face images of the person with a camera of the mobile communication terminal; Generating a 3D face model using the front and side face images; And after receiving text or voice, generating face animation data by combining the received text or voice with the 3D face model.

이상 상술한 바와 같이 본 발명에 따르면, 현재 보편적으로 사용되고 있는 이동통신 단말기의 카메라를 사용해 3D 아바타에 사용될 이미지를 쉽게 얻고, 이 이미지를 기반으로 자동화된 시스템으로 3D 얼굴모델을 제작하며, 또한 텍스트나 음성을 추가적으로 입력할 때 자동으로 3D 얼굴모델에 기초한 애니메이션을 생성함으로써 적은 노력과 시간으로 3D 아바타 모델과 애니메이션 제작이 가능하다는 효과가 있다.As described above, according to the present invention, an image to be used for a 3D avatar is easily obtained using a camera of a mobile communication terminal which is currently used in general, and a 3D face model is produced by an automated system based on the image, and also a text or When an additional voice is input, an animation based on a 3D face model is automatically generated, which enables the 3D avatar model and animation to be produced with little effort and time.

이러한 3차원 컨텐츠는 텍스트 기반의 문자메시지나 메일, 채팅 등의 서비스보다 보다 다양하고 재미있는 컨텐츠로 제작될 수 있으며, 또한 작은 텍스트 대신에 음성을 동반한 해상도 높은 동화상으로 제공되기 때문에 사용자가 쉽게 인지할 수 있는 장점을 제공한다.This 3D content can be produced with more diverse and interesting contents than text-based text messages, mails, chats, etc. Also, instead of small texts, the 3D contents are provided with high resolution moving images with voice so that users can easily recognize them. It provides the advantages.

이하, 본 발명에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기 및 3차원 아바타 생성 방법을 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, a mobile communication terminal having a 3D avatar generating function and a 3D avatar generating method according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기의 구성 블록도로서, 메모리부(102), 제어부(104), RF부(106), 음성처리부(108), 스피커(110), 마이크로폰(112), 키입력부(114), 표시부(116), 카메라(118), 및 3차원 아바타 생성부(120)를 포함하여 구성된다.1 is a block diagram of a mobile communication terminal having a 3D avatar generating function according to an embodiment of the present invention, which includes a memory unit 102, a controller 104, an RF unit 106, and a voice processor 108. , A speaker 110, a microphone 112, a key input unit 114, a display unit 116, a camera 118, and a 3D avatar generator 120.

메모리부(102)는 3차원 아바타 생성 기능을 수행하기 위한 절차가 프로그래밍된 프로그램을 저장하고 있다.The memory unit 102 stores a program in which a procedure for performing a 3D avatar generating function is programmed.

또한, 메모리부(102)에는 제어부(104)의 동작 프로그램, 시스템 프로그램이 저장되며, 특히 3차원 아바타를 생성하는데 필요한 프로그램과, 3D 얼굴 모델링을 위한 표준 3D 얼굴모델 정보를 저장하고 있다.In addition, the memory unit 102 stores an operation program and a system program of the controller 104, in particular, a program necessary for generating a 3D avatar, and standard 3D face model information for 3D face modeling.

제어부(104)는 이동통신 단말기의 전반적인 동작을 제어함과 동시에, 메모리부(102)에 저장된 프로그램을 읽어들여 해당 프로그램에 프로그래밍된 절차를 수행하여 촬영된 얼굴 이미지로부터 3차원 아바타를 생성하고, 이를 이용하여 다양한 3차원 컨텐츠 제작이 가능하도록 제어한다.The controller 104 controls the overall operation of the mobile communication terminal and simultaneously reads a program stored in the memory 102 and performs a procedure programmed in the program to generate a 3D avatar from the photographed face image. Control to enable various three-dimensional content production.

RF부(106)는 무선주파수신호의 송수신을 제어한다.The RF unit 106 controls the transmission and reception of radio frequency signals.

음성처리부(108)는 마이크로폰(112)에 의해 입력된 전기 신호를 변조하여 음성 데이터로 변환하고, RF부(106)로 출력하거나 또는 RF부(106)로부터 입력된 부호 화된 음성 데이터를 전기 신호로 복조하여 스피커(110)로 출력한다.The voice processing unit 108 modulates the electrical signal input by the microphone 112 and converts the voice signal into voice data, outputs it to the RF unit 106, or converts the encoded voice data input from the RF unit 106 into an electrical signal. Demodulate and output to the speaker 110.

키입력부(114)는 일반적으로 키 매트릭스 구조로 구성되는데, 다수의 숫자 키와 방향키와 각종 기능을 수행하기 위한 기능키로 이루어지며, 사용자의 키 입력에 의해 키 데이터의 전기적인 신호를 제어부(104)로 출력한다.The key input unit 114 generally includes a key matrix structure, and includes a plurality of numeric keys, direction keys, and function keys for performing various functions. The controller 104 controls an electrical signal of key data by a user's key input. Will output

표시부(116)는 단말기 현재의 상태를 표시하거나 프로그램의 진행 상황 변화를 표시한다. 또한 수신 단문 메시지 등을 표시한다. 이런 표시 장치는 액정 표시 장치(Liquid Crystal Display : LCD) 등과 같은 표시 장치로 구성할 수 있다.The display unit 116 displays the current state of the terminal or changes in the progress of the program. It also displays incoming short messages. Such a display device may be configured as a display device such as a liquid crystal display (LCD).

카메라(118)는 고체 촬상 소자(CCD) 또는 CMOS 이미지 센서(CIS)와 같은 반도체 이미지 센서, 연성회로기판(FPCB), 카메라용 렌즈, 적어도 하나 이상의 플래시 등과 같은 디지털 카메라의 부품을 구비하여, 제어부(104)의 제어 신호에 따라 외부의 대상을 촬영하여 영상 데이터를 획득하는 동작을 수행한다.The camera 118 is provided with a component of a digital camera such as a semiconductor image sensor such as a solid state imaging device (CCD) or a CMOS image sensor (CIS), a flexible printed circuit board (FPCB), a lens for a camera, at least one flash, and the like. An external object is photographed according to the control signal of 104 to acquire image data.

또한, 본 발명에 따른 이동통신 단말기는 3차원 아바타 생성부(120)를 구비하고 있는데, 3차원 아바타 생성부(120)는 영상처리부(122), 3D 모델변환부(124), 애니메이션 조합부(126), 애니메이션 데이터 생성부(128)로 구성된다.In addition, the mobile communication terminal according to the present invention includes a 3D avatar generating unit 120. The 3D avatar generating unit 120 includes an image processing unit 122, a 3D model converting unit 124, and an animation combining unit ( 126, an animation data generation unit 128.

영상처리부(122)에서는 얼굴의 이미지가 적절히 사용될 수 있도록 얼굴이 위치할 가이드 라인을 표시해주는데, 이 가이드 라인은 정면 얼굴 위치 가이드와 측면 얼굴 위치 가이드를 표시한다. 촬영자는 이 가이드 라인에 맞춰 정면 얼굴과 측면 얼굴 이미지를 연이어 촬영하고, 촬영된 이미지는 다음 단계의 데이터를 사용되기 위해 정면 얼굴 이미지와 측면 얼굴 이미지가 조합된다.The image processor 122 displays a guide line on which the face is to be positioned so that the image of the face can be used appropriately. The guide line displays the front face position guide and the side face position guide. The photographer sequentially shoots the front face and side face images in accordance with these guidelines, and the photographed image is combined with the front face image and the side face image to use the data of the next stage.

일실시예에서, 영상처리부(122)는 키입력부(114)를 통한 촬영 명령에 따라 카메라(118)를 통해 입력된 정면, 측면 얼굴을 촬영하여 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하고, 3차원 아바타를 생성하기 위해 조합된 얼굴 이미지를 메모리(102)에 저장한다.In an embodiment, the image processor 122 captures the front and side faces input through the camera 118 according to the shooting command through the key input unit 114, and combines the front face image and the side face image, and 3D. The combined face image is stored in the memory 102 to generate the avatar.

이때, 영상 처리부(122)는 사용자에 의해 촬영 대상의 얼굴에 조준된 상태에서 촬영을 명령하는 키입력부(114)의 조작이 이루어지면 3차원 아바타를 생성을 위한 일련의 절차에 필요한 각종 화면을 표시부(116)에 표시한다.In this case, the image processing unit 122 displays various screens necessary for a series of procedures for generating a 3D avatar when a manipulation of the key input unit 114 for commanding photographing is performed while the user is aimed at the face of the photographing subject. (116).

예를 들어, 영상 처리부(122)에 의해 촬영 모드가 실행되는 경우, 가이드 라인 기법에 의한 촬영이 이루어질 수 있도록 촬영할 대상을 조준할 수 있게 하기 위해 얼굴의 가이드 라인을 보여주는 가이드 라인 화면을 카메라(118)를 통해 입력되어 표시부(116)에 표시된 영상 위에 오버레이하여 표시한다.For example, when the shooting mode is executed by the image processor 122, the camera screen 118 may display a guide line screen showing the guide line of the face in order to be able to aim the target to be photographed so that shooting by the guideline technique may be performed. ) Is inputted through) and is overlaid and displayed on the image displayed on the display unit 116.

표시부(116)에 표시되는 정면 얼굴의 가이드 라인에는 얼굴 윤곽이 보여진다. 즉, 표시부(116)에는 카메라(118)를 통해 입력되는 얼굴 이미지가 표시된 상태에서 눈썹, 눈, 코, 입의 영역들을 나타내는 가이드 라인이 오버레이되어 표시된다.The outline of the face is shown in the guide line of the front face displayed on the display unit 116. That is, the display unit 116 is displayed by overlaying guide lines indicating the areas of the eyebrows, eyes, nose, and mouth while the face image input through the camera 118 is displayed.

이에 따라, 사용자는 이동통신 단말기의 위치를 조절하여 표시부(116)에 오버레이 되어 표시된 가이드 라인에 촬영 대상의 해당 부분이 매칭되도록 촬영 대상에 대한 조준을 수행할 수 있다.Accordingly, the user may adjust the position of the mobile communication terminal to perform an aiming on the photographing target so that the corresponding portion of the photographing target is matched to the displayed guide line overlaid on the display unit 116.

도 2는 도 1에서의 3D 모델변환부의 상세 구성 블록도로서, 3D 모델변환부(124)는 정면 얼굴 이미지와 측면 얼굴 이미지가 조합되어 얻어진 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하며, 표준 3차원 얼굴 모델 형태변형부(124a) 및 3차원 얼굴 피부재질 생성부(124b)를 포함하고 있다.FIG. 2 is a detailed block diagram of the 3D model converter of FIG. 1. The 3D model converter 124 generates a 3D avatar model using a face image obtained by combining a front face image and a side face image. A three-dimensional face model shape deformation unit 124a and a three-dimensional face skin material generating unit 124b are included.

도 2를 참조하면, 3차원 얼굴 모델을 위해서는 표준 3차원 얼굴모델을 제공한다. 이 표준 3차원 얼굴모델은 영상처리부(122)에서 얻어진 정면, 측면 얼굴 이미지를 기초로 형태가 자동으로 변형이 된다. 이는 표준 3차원 얼굴 모델 형태변형부(124a)가 담당한다.Referring to FIG. 2, a standard three-dimensional face model is provided for the three-dimensional face model. The standard three-dimensional face model is automatically deformed based on the front and side face images obtained by the image processor 122. This is handled by the standard three-dimensional face model shape deformation unit 124a.

표준 3차원 얼굴 모델 형태변형부(124a)에서 자동으로 변형된 3차원 얼굴모델은 실제 얼굴 이미지의 사람과 비슷한 형태로 변형되게 되는데, 3차원 얼굴 피부재질 생성부(124b)가 그 다음 정면, 측면 얼굴 이미지에서 3차원 얼굴 모델에 입혀질 피부재질을 생성한다.The three-dimensional face model automatically deformed by the standard three-dimensional face model shape deformation unit 124a is transformed into a shape similar to a person of an actual face image, and the three-dimensional face skin material generation unit 124b is then front and side The skin material to be applied to the 3D face model is generated from the face image.

피부재질이 생성되면 3차원 얼굴 모델에 정해진 피부 좌표대로 재질이 입혀지게 되어 3차원 아바타 모델이 생성되게 된다.When the skin material is generated, the material is coated on the 3D face model according to the skin coordinates, thereby generating the 3D avatar model.

바람직하게, 정면, 측면 얼굴 이미지를 이용하여 표준 3차원 얼굴 모델을 변형시키는 시스템은 이동통신 단말기용 프로그램으로 별도로 지원된다.Preferably, a system for transforming a standard three-dimensional face model using front and side face images is separately supported as a program for a mobile terminal.

도 3은 도 1에서의 애니메이션 조합부의 상세 구성 블록도이다.3 is a detailed block diagram illustrating an animation combination unit in FIG. 1.

도 3을 참조하면, 애니메이션 조합부(126)는 도 2에서 생성된 3차원 아바타 모델과 추가로 입력된 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하며, 예제 얼굴 모델 생성부(126a), 얼굴 예제 데이터 생성부(126b), 및 3차원 얼굴 모델 혼합부(126c)를 포함하고 있다.Referring to FIG. 3, the animation combination unit 126 generates 3D avatar animation data by combining the 3D avatar model generated in FIG. 2 and additionally input text or voice, and the example face model generator 126a. , A face example data generator 126b, and a three-dimensional face model mixer 126c.

예제 얼굴 모델 생성부(126a)는 3차원 아바타 모델을 이용하여 표정과 음소에 따른 여러 가지 예제 얼굴 모델을 생성시킨다. 예를들면, 예제 얼굴 모델들은 한글 발음, 영어 발음, 희로애락의 표정에 따라 각각 생성되게 된다.The example face model generator 126a generates various example face models according to facial expressions and phonemes using the 3D avatar model. For example, example face models are generated according to Korean pronunciation, English pronunciation, and facial expressions.

기본적인 원리는, 도 2에서의 표준 3차원 얼굴 모델 안에 여러 개의 뼈대가 연결되어있어 이를 정해진 패턴에 따라 이동시켜 각각의 예제 얼굴 모델을 생성시킨다.The basic principle is that several skeletons are connected within the standard three-dimensional face model in FIG. 2 and moved according to a predetermined pattern to generate each example face model.

얼굴 예제 데이터 생성부(126b)는 사용자가 이동통신 단말기로 직접 입력한 텍스트나 음성을 기반으로 애니메이션에 필요한 얼굴 예제 데이터를 생성시킨다.The face example data generator 126b generates face example data for animation based on text or voice input by the user directly to the mobile communication terminal.

이 데이터들은 3차원 얼굴 모델 혼합부(126c)에서 이전에 만들어진 3차원 얼굴 모델들과 혼합되어진다. 이때, 텍스트나 음성으로 입력된 데이터들에 맞추어 해당 예제 3차원얼굴 모델들이 혼합되어진다.These data are mixed with the three-dimensional face models previously made in the three-dimensional face model mixer 126c. At this time, the example 3D face models are mixed according to the data input by text or voice.

이런 과정으로 혼합되어진 3차원얼굴 모델들은 프레임별로 이어져 3차원 아바타 애니메이션을 완성하게 된다.The three-dimensional face models mixed in this process are continued frame by frame to complete the three-dimensional avatar animation.

이렇게 애니메이션 조합부(126)에서 생성된 여러 개의 3차원 아바타 애니메이션 데이터들은 애니메이션 데이터 생성부(128)에서 조합·편집된다.The three-dimensional avatar animation data generated by the animation combination unit 126 is combined and edited by the animation data generation unit 128.

전 단계에서 생성된 여러 개의 3차원 아바타 애니메이션 데이터들이 이 단계에서 조합하고 편집할 수 있다.Several three-dimensional avatar animation data generated in the previous step can be combined and edited in this step.

편집 시에는 애니메이션 길이와 순서 등을 변화시킬 수 있다.When editing, you can change the length and order of animations.

최종 편집된 3차원 아바타 애니메이션은 이동통신 단말기에서 제공하는 다양한 3차원 컨텐츠에 활용될 수 있도록 범용적인 데이터 포맷으로 저장된다. 이 데이 터들은 3차원 메일, 채팅 등의 다양한 컨텐츠에 활용하여 각각의 컨텐츠 데이터로 공통적으로 사용될 수 있다.The final edited 3D avatar animation is stored in a universal data format to be utilized for various 3D contents provided by the mobile communication terminal. These data can be used for various contents such as 3D mail and chat, and can be commonly used for each content data.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 고안이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the above has been illustrated and described with respect to the preferred embodiments of the present invention, the present invention is not limited to the specific embodiments described above, it is usually in the art to which the subject innovation belongs without departing from the spirit of the invention claimed in the claims. Various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

도 1은 본 발명의 일실시예에 따른 3차원 아바타 생성 기능을 구비한 이동통신 단말기의 구성 블록도이다.1 is a block diagram of a mobile communication terminal having a 3D avatar generating function according to an embodiment of the present invention.

도 2는 도 1에서의 3D 모델변환부의 상세 구성 블록도이다.FIG. 2 is a detailed block diagram of the 3D model converter of FIG. 1.

도 3은 도 1에서의 애니메이션 조합부의 상세 구성 블록도이다.3 is a detailed block diagram illustrating an animation combination unit in FIG. 1.

Claims (6)

3차원 아바타 생성을 위한 표준 3차원 얼굴 모델을 저장하고 있는 메모리;A memory storing a standard three-dimensional face model for generating a three-dimensional avatar; 이동통신 단말기의 카메라를 통해 획득된 정면 얼굴 이미지와 측면 얼굴 이미지를 조합하는 영상처리부;An image processor for combining a front face image and a side face image obtained through a camera of the mobile communication terminal; 상기 메모리에 저장되어 있는 상기 표준 3차원 얼굴모델 및 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 이용하여 3차원 아바타 모델을 생성하는 3D 모델변환부;A 3D model converter configured to generate a 3D avatar model using the front face image and the side face image combined from the standard 3D face model and the image processor stored in the memory; 상기 3D 모델변환부에서 생성된 3차원 아바타 모델과 추가로 입력되는 텍스트 혹은 음성을 조합하여 3차원 아바타 애니메이션 데이터를 생성하는 애니메이션 조합부; 및An animation combination unit generating 3D avatar animation data by combining the 3D avatar model generated by the 3D model converter and text or voice additionally input; And 상기 애니메이션 조합부에서 생성된 복수개의 3차원 아바타 애니메이션 데이터들을 조합·편집하여 애니메이션 데이터를 생성하는 애니메이션 데이터 생성부를 포함하는 것을 특징으로 하는 3차원 아바타 생성 기능을 구비한 이동통신 단말기.And an animation data generation unit for generating animation data by combining and editing the plurality of 3D avatar animation data generated by the animation combination unit. 제1항에 있어서, 상기 3D 모델변환부는The method of claim 1, wherein the 3D model conversion unit 상기 영상처리부로부터 조합된 정면 얼굴 이미지와 측면 얼굴 이미지를 기초로 표준 3차원 얼굴 모델의 형태를 자동으로 변형시키는 표준 3차원 얼굴 모델 형태 변형부; 및A standard three-dimensional face model shape transformation unit that automatically deforms the shape of the standard three-dimensional face model based on the front face image and the side face image combined from the image processor; And 상기 3차원 얼굴 모델에 입혀질 피부재질을 생성하는 3차원 얼굴 피부재질 생성부를 포함하는 것을 특징으로 하는 3차원 아바타 생성 기능을 구비한 이동통신 단말기.And a 3D facial skin material generating unit for generating a skin material to be coated on the 3D face model. 제1항에 있어서, 상기 애니메이션 조합부는The method of claim 1, wherein the animation combination unit 상기 3차원 아바타 모델을 이용하여 표정과 음소에 따른 여러 가지 예제 얼굴 모델을 생성하는 예제 얼굴 모델 생성부;An example face model generator for generating various example face models according to facial expressions and phonemes using the 3D avatar model; 사용자가 이동통신 단말기로 직접 입력한 텍스트나 음성을 기반으로 애니메이션에 필요한 얼굴 예제 데이터를 생성하는 얼굴 예제 데이터 생성부; 및A face example data generator configured to generate face example data for animation based on text or voice input by a user directly to a mobile communication terminal; And 상기 예제 얼굴 모델과 상기 얼굴 예제 데이터를 혼합하는 3차원 얼굴 모델 혼합부를 포함하는 것을 특징으로 하는 3차원 아바타 생성 기능을 구비한 이동통신 단말기.And a three-dimensional face model mixer for mixing the example face model and the face example data. 제3항에 있어서, 상기 예제 얼굴 모델은 한글 발음, 영어 발음, 및 희로애락의 표정 중 어느 하나에 따라 각각 생성되는 것을 특징으로 하는 3차원 아바타 생성 기능을 구비한 이동통신 단말기.The mobile communication terminal of claim 3, wherein the example face model is generated according to any one of Hangul pronunciation, English pronunciation, and facial expressions. 이동통신 단말기의 카메라로 인물의 정면, 측면 얼굴 이미지를 촬영하는 단계;Photographing front and side face images of a person with a camera of a mobile communication terminal; 상기 정면, 측면 얼굴 이미지를 이용하여 3차원 얼굴모델을 생성하는 단계; 및Generating a 3D face model using the front and side face images; And 텍스트 혹은 음성을 입력받은 후, 상기 입력받은 텍스트 혹은 음성을 상기 3차원 얼굴모델과 조합하여 얼굴 애니메이션 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 이동통신 단말기 및 3차원 아바타 생성 방법.And after receiving text or voice, generating face animation data by combining the received text or voice with the 3D face model. 제5항에 있어서, 상기 생성된 얼굴 애니메이션 데이터를 조합·편집하는 단계를 더 포함하는 것을 특징으로 하는 이동통신 단말기 및 3차원 아바타 생성 방법.The method of claim 5, further comprising combining and editing the generated facial animation data.
KR1020070123247A 2006-12-02 2007-11-30 A mobile communication terminal having a function of the creating 3d avata model and the method thereof Expired - Fee Related KR100912877B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060121091 2006-12-02
KR20060121091 2006-12-02

Publications (2)

Publication Number Publication Date
KR20080050336A true KR20080050336A (en) 2008-06-05
KR100912877B1 KR100912877B1 (en) 2009-08-18

Family

ID=39805796

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070123247A Expired - Fee Related KR100912877B1 (en) 2006-12-02 2007-11-30 A mobile communication terminal having a function of the creating 3d avata model and the method thereof

Country Status (1)

Country Link
KR (1) KR100912877B1 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100965622B1 (en) * 2008-10-31 2010-06-23 김영자 Method and apparatus for generating emotional character and animation
WO2011010788A1 (en) * 2009-07-24 2011-01-27 Huboro Co., Ltd Video call device and method
WO2010128798A3 (en) * 2009-05-04 2011-02-17 삼성전자주식회사 Device and method for producing three-dimensional content for portable devices
KR20110030869A (en) * 2009-09-18 2011-03-24 삼성전자주식회사 3D facial expression extraction method and device of user
WO2011083978A3 (en) * 2010-01-06 2011-11-10 (주) 퓨처로봇 System and method for providing utterances and emotional expressions of a character
KR20190033082A (en) * 2016-09-23 2019-03-28 애플 인크. Create and edit avatars
WO2020139054A1 (en) * 2018-12-29 2020-07-02 Samsung Electronics Co., Ltd. Apparatus and method for generating a virtual avatar
WO2020171541A1 (en) * 2019-02-19 2020-08-27 삼성전자 주식회사 Electronic device and method of providing user interface for emoji editing while interworking with camera function by using said electronic device
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
US10891013B2 (en) 2016-06-12 2021-01-12 Apple Inc. User interfaces for retrieving contextually relevant media content
US11061372B1 (en) 2020-05-11 2021-07-13 Apple Inc. User interfaces related to time
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11334209B2 (en) 2016-06-12 2022-05-17 Apple Inc. User interfaces for retrieving contextually relevant media content
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US12147655B2 (en) 2021-05-21 2024-11-19 Apple Inc. Avatar sticker editor user interfaces
US12287913B2 (en) 2022-09-06 2025-04-29 Apple Inc. Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
US12417596B2 (en) 2022-09-23 2025-09-16 Apple Inc. User interfaces for managing live communication sessions

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074271A (en) 1996-08-30 1998-03-17 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional portrait creation method and apparatus
KR100422471B1 (en) * 2001-02-08 2004-03-11 비쥬텍쓰리디(주) Apparatus and method for creation personal photo avatar
KR100643415B1 (en) * 2005-01-05 2006-11-10 엘지전자 주식회사 3D avatar messenger system of mobile terminal

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100965622B1 (en) * 2008-10-31 2010-06-23 김영자 Method and apparatus for generating emotional character and animation
WO2010128798A3 (en) * 2009-05-04 2011-02-17 삼성전자주식회사 Device and method for producing three-dimensional content for portable devices
WO2011010788A1 (en) * 2009-07-24 2011-01-27 Huboro Co., Ltd Video call device and method
KR20110030869A (en) * 2009-09-18 2011-03-24 삼성전자주식회사 3D facial expression extraction method and device of user
US8675952B2 (en) 2009-09-18 2014-03-18 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3D) facial expression
US9483860B2 (en) 2009-09-18 2016-11-01 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3D) facial expression
WO2011083978A3 (en) * 2010-01-06 2011-11-10 (주) 퓨처로봇 System and method for providing utterances and emotional expressions of a character
US12223612B2 (en) 2010-04-07 2025-02-11 Apple Inc. Avatar editing environment
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
US11869165B2 (en) 2010-04-07 2024-01-09 Apple Inc. Avatar editing environment
US11941223B2 (en) 2016-06-12 2024-03-26 Apple Inc. User interfaces for retrieving contextually relevant media content
US10891013B2 (en) 2016-06-12 2021-01-12 Apple Inc. User interfaces for retrieving contextually relevant media content
US11681408B2 (en) 2016-06-12 2023-06-20 Apple Inc. User interfaces for retrieving contextually relevant media content
US11334209B2 (en) 2016-06-12 2022-05-17 Apple Inc. User interfaces for retrieving contextually relevant media content
US12184969B2 (en) 2016-09-23 2024-12-31 Apple Inc. Avatar creation and editing
KR20190033082A (en) * 2016-09-23 2019-03-28 애플 인크. Create and edit avatars
US11682182B2 (en) 2018-05-07 2023-06-20 Apple Inc. Avatar creation user interface
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US12340481B2 (en) 2018-05-07 2025-06-24 Apple Inc. Avatar creation user interface
US12170834B2 (en) 2018-05-07 2024-12-17 Apple Inc. Creative camera
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
WO2020139054A1 (en) * 2018-12-29 2020-07-02 Samsung Electronics Co., Ltd. Apparatus and method for generating a virtual avatar
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US12482161B2 (en) 2019-01-18 2025-11-25 Apple Inc. Virtual avatar animation based on facial feature movement
WO2020171541A1 (en) * 2019-02-19 2020-08-27 삼성전자 주식회사 Electronic device and method of providing user interface for emoji editing while interworking with camera function by using said electronic device
US11995750B2 (en) 2019-02-19 2024-05-28 Samsung Electronics Co., Ltd. Electronic device and method of providing user interface for emoji editing while interworking with camera function by using said electronic device
US12008230B2 (en) 2020-05-11 2024-06-11 Apple Inc. User interfaces related to time with an editable background
US11442414B2 (en) 2020-05-11 2022-09-13 Apple Inc. User interfaces related to time
US12099713B2 (en) 2020-05-11 2024-09-24 Apple Inc. User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11061372B1 (en) 2020-05-11 2021-07-13 Apple Inc. User interfaces related to time
US11822778B2 (en) 2020-05-11 2023-11-21 Apple Inc. User interfaces related to time
US12379834B2 (en) 2020-05-11 2025-08-05 Apple Inc. Editing features of an avatar
US12422977B2 (en) 2020-05-11 2025-09-23 Apple Inc. User interfaces with a character having a visual state based on device activity state and an indication of time
US12147655B2 (en) 2021-05-21 2024-11-19 Apple Inc. Avatar sticker editor user interfaces
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US12287913B2 (en) 2022-09-06 2025-04-29 Apple Inc. Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
US12417596B2 (en) 2022-09-23 2025-09-16 Apple Inc. User interfaces for managing live communication sessions

Also Published As

Publication number Publication date
KR100912877B1 (en) 2009-08-18

Similar Documents

Publication Publication Date Title
KR100912877B1 (en) A mobile communication terminal having a function of the creating 3d avata model and the method thereof
KR102728245B1 (en) Avatar display device, avatar creation device and program
JP3946676B2 (en) Captured image processing apparatus and method
JP4310916B2 (en) Video display device
CN100420297C (en) Mobile communication terminal and method
US6943794B2 (en) Communication system and communication method using animation and server as well as terminal device used therefor
JPWO2004039068A1 (en) Image composition portable terminal and image composition method used therefor
CN110401810B (en) Virtual picture processing method, device and system, electronic equipment and storage medium
JP2010519791A (en) Communication network and text-to-speech / text-to-face video converter
JP2005020607A (en) Composite image output apparatus and composite image output processing program
KR20050082559A (en) Dance learning system, internet community service system and internet community service method using the same, dance learning method, and computer executable recording media on which programs implement said methods are recorded
US20080094364A1 (en) Object outputting method and information processing apparatus
CN112887796A (en) Video generation method, device, equipment and medium
JPH11234602A (en) Video print supply device
JP5813542B2 (en) Image communication system, AR (Augmented Reality) video generation device, and program
CN111530087B (en) Method and device for generating real-time expression package in game
JP5894505B2 (en) Image communication system, image generation apparatus, and program
KR100643415B1 (en) 3D avatar messenger system of mobile terminal
CN107070784A (en) A kind of 3D instant communicating systems based on WebGL and VR technologies
KR20010017865A (en) Method Of Visual Communication On Speech Translating System Based On Avatar
KR100700872B1 (en) 3D personal character expression display method of mobile communication terminal and mobile communication terminal therefor
JP4284447B2 (en) Morphing camera and morphing method
JP2002199446A (en) Photo seal generating device
CN118055201B (en) Method and device for displaying special effect images
KR101280226B1 (en) Method for composing the image signals in a robot and a robot thereof

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20130813

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20130813

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000