[go: up one dir, main page]

KR100943548B1 - Pose guide method and device of shooting device - Google Patents

Pose guide method and device of shooting device Download PDF

Info

Publication number
KR100943548B1
KR100943548B1 KR1020080048450A KR20080048450A KR100943548B1 KR 100943548 B1 KR100943548 B1 KR 100943548B1 KR 1020080048450 A KR1020080048450 A KR 1020080048450A KR 20080048450 A KR20080048450 A KR 20080048450A KR 100943548 B1 KR100943548 B1 KR 100943548B1
Authority
KR
South Korea
Prior art keywords
subject
pose
image
guide
pose guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080048450A
Other languages
Korean (ko)
Other versions
KR20090122572A (en
Inventor
홍윤표
변성찬
김락용
박운기
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080048450A priority Critical patent/KR100943548B1/en
Publication of KR20090122572A publication Critical patent/KR20090122572A/en
Application granted granted Critical
Publication of KR100943548B1 publication Critical patent/KR100943548B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 촬영 장치의 포즈 가이드 방법 및 장치에 관한 것으로, 구체적으로 영상 표시부에 포즈 가이드(pose guide)를 표시하여 피사체 촬영 시 다양한 포즈를 용이하게 촬영할 수 있도록 하는 촬영 장치의 포즈 가이드 방법 및 장치에 관한 것이다.The present invention relates to a pose guide method and apparatus for a photographing apparatus, and more particularly, to a pose guide method and apparatus for displaying a pose guide on an image display unit to easily capture various poses when photographing a subject. It is about.

포즈 가이드, 피사체, 촬영 Pose Guide, Subject, Shooting

Description

촬영 장치의 포즈 가이드 방법 및 장치{Method and apparatus for pose guide of photographing device}Method and apparatus for pose guide of photographing device

본 발명은 촬영 장치의 포즈 가이드 방법 및 장치에 관한 것으로, 보다 구체적으로 영상 표시부에 포즈 가이드(pose guide)를 표시하여 피사체 촬영 시 다양한 포즈를 용이하게 촬영할 수 있도록 하는 촬영 장치의 포즈 가이드 방법 및 장치에 관한 것이다.The present invention relates to a pose guide method and apparatus of a photographing apparatus, and more particularly, to a pose guide method and apparatus for displaying a pose guide on an image display unit to easily capture various poses when photographing a subject. It is about.

종래의 필름 카메라를 대신하여 디지털 카메라가 저렴한 가격으로 소비자에게 제공되면서 카메라의 보급이 확대되었다. 카메라의 보급이 확대되면서 사진 촬영은 일반인들에게 있어 하나의 취미 생활로 발전하였다. 디지털 카메라는 필름 없이 전자 센서를 이용하여 영상을 감지하여, 상기 영상의 정보를 JPEG, TIFF, RAW 또는 GIF 등의 디지털 이미지 파일 형식이나 MPEG, DV 또는 MJPEG 등의 디지털 동영상 파일 형식으로 저장하는 카메라이다. 동영상 촬영을 주 기능으로 하는 카메라는 디지털 비디오 카메라로 불리고, 정지 영상 촬영을 주 기능으로 하는 카메라는 디지털 스틸 카메라로 불린다. As digital cameras are provided to consumers at low prices in place of conventional film cameras, the spread of cameras has been expanded. As cameras expanded, photography became a hobby for the general public. A digital camera is a camera that senses an image using an electronic sensor without a film, and stores the information of the image in a digital image file format such as JPEG, TIFF, RAW, or GIF, or a digital video file format such as MPEG, DV, or MJPEG. . Cameras whose main function is movie shooting are called digital video cameras, and cameras whose main function is still image shooting are called digital still cameras.

디지털 스틸 카메라는 종래의 필름 카메라와 달리 사진 촬영 후 결과물을 즉 시 확인할 수 있으며 편집과 전송이 용이하고, 복사본을 용이하게 제작할 수 있는 장점이 있다. 또한, 컴팩트한 크기로 카메라를 제조할 수 있으며, 감광 속도를 변경할 수 있으며, 디지털 이미지 센서의 경우 종래의 필름에 비해 양자 효율이 매우 높다는 장점이 있다. Unlike conventional film cameras, digital still cameras have the advantage of being able to immediately check the result after taking a picture, easily editing and transferring, and making a copy easily. In addition, the camera can be manufactured in a compact size, the photosensitive speed can be changed, and the digital image sensor has an advantage that the quantum efficiency is very high compared to the conventional film.

현재에는 디지털 스틸 카메라보다는 고가이지만 디지털 일안 반사식 사진기(Digital Single Lens Reflex, DSLR) 역시 대중에게 급속도로 보급되고 있다. DSLR은 높은 감광 속도에서 종래의 필름 카메라에 비해 화질이 월등하게 뛰어나며, 촬상 면적이 동일한 디지털 스틸 카메라와 비교했을 경우 해상도 및 화질에서 우수하다. 이와 같은 카메라 기술의 발전으로 저렴하고 우수한 품질의 카메라가 일반인에게 널리 보급되었으며, 그 결과 일반인이 일반인을 상대로 작품성 높은 사진을 촬영하는 경우가 증가하였다.Currently more expensive than digital still cameras, digital single-lens reflex cameras (DSLRs) are also rapidly spreading to the public. DSLRs offer superior image quality compared to conventional film cameras at high photosensitivity and are superior in resolution and image quality when compared to digital still cameras with the same imaging area. Such advances in camera technology have resulted in widespread inexpensive and high-quality cameras for the general public, and as a result, the general public has taken more photographic works with the general public.

종래에는 전문 모델이 아닌 일반인을 상대로 촬영을 하는 경우, 일반인인 피사체는 다양한 포즈를 취하기 어려웠으며, 카메라의 사용자도 일반인인 경우 다양한 포즈를 요구하기 어려운 문제점이 발생하였다. 따라서, 카메라 사용자는 제한된 포즈에 대해서만 피사체를 촬영할 수 있었으며, 촬영된 피사체의 포즈는 자연스럽지 못하거나 사용자의 기대를 만족시킬 수 없었다. Conventionally, when shooting against a general person rather than a professional model, it is difficult for the general subject to take various poses, and when the user of the camera is also a general person, it is difficult to request various poses. Thus, the camera user could only photograph the subject for a limited pose, and the pose of the photographed subject was not natural or could not satisfy the user's expectations.

또한, 사용자 및 피사체 모두 특정 포즈를 인식하고 있는 경우에도, 종래의 카메라는 피사체가 정확한 포즈를 취하는데 참조할 기준을 제시하지 못하여 사용자 및 피사체 모두에게 불편함을 초래하였다. In addition, even when both the user and the subject recognize a specific pose, the conventional camera fails to provide a reference for the subject to take the correct pose, causing inconvenience to both the user and the subject.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 사용자가 피사체 촬영 시 다양한 포즈를 용이하게 촬영할 수 있도록 하는 촬영 장치의 포즈 가이드 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a pose guide method and apparatus of a photographing apparatus that enables a user to easily photograph various poses when photographing a subject.

또한, 본 발명은 피사체의 영상에서, 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정 등을 검출하여 이에 대응하는 적절한 포즈 가이드를 제공하는 촬영 장치의 포즈 가이드 방법 및 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a pose guide method and apparatus of a photographing apparatus that detects a face size, a face position, or an expression of the subject, and provides an appropriate pose guide corresponding thereto.

또한, 본 발명은 상기 포즈 가이드와 상기 피사체의 포즈의 유사도를 계산하여 사용자에게 제공하는 촬영 장치의 포즈 가이드 방법 및 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a pose guide method and apparatus of a photographing apparatus that calculates and provides a similarity between the pose guide and a pose of the subject to a user.

본 발명의 일 실시예에 따른 촬영 장치의 포즈 가이드 방법은 피사체의 영상을 수집하고 표시하는 단계; 포즈 가이드(pose guide)를 표시하는 단계; 및 상기 피사체를 촬영하는 단계;를 포함한다.A pose guide method of a photographing apparatus according to an exemplary embodiment of the present disclosure may include collecting and displaying an image of a subject; Displaying a pose guide; And photographing the subject.

본 발명의 일 실시예에 따른 촬영 장치의 포즈 가이드 장치는 피사체의 영상을 수집하는 영상 수집부; 포즈 가이드를 저장하는 저장부; 상기 피사체의 영상 또는 상기 포즈 가이드를 표시하는 영상 표시부; 및 상기 저장부에 저장된 상기 포즈 가이드를 상기 영상 표시부에 표시하도록 제어하는 제어부;를 포함한다.According to an embodiment of the present invention, a pose guide device of a photographing apparatus includes: an image collector configured to collect an image of a subject; A storage unit for storing a pose guide; An image display unit displaying an image of the subject or the pose guide; And a controller which controls to display the pause guide stored in the storage unit on the image display unit.

본 발명에 따르면, 영상 표시부에 포즈 가이드를 표시하여 사용자가 피사체 촬영 시 다양한 포즈를 용이하게 촬영할 수 있다. According to the present invention, the pose guide is displayed on the image display unit so that the user can easily capture various poses when photographing a subject.

본 발명에 따르면, 사용자가 직접 포즈 가이드를 선택할 필요 없이, 상기 피사체의 영상에서 상기 피사체의 얼굴 크기, 얼굴 위치 등을 기반으로 이에 대응하는 적절한 포즈 가이드가 선택되도록 할 수 있다. According to the present invention, an appropriate pose guide may be selected based on a face size, a face position, etc. of the subject in the image of the subject, without the user having to directly select the pose guide.

본 발명에 따르면, 상기 포즈 가이드와 상기 피사체의 포즈의 유사도가 제공되어 사용자 및 피사체가 보다 정확한 포즈를 형성할 수 있는 기준을 제공할 수 있다.According to the present invention, the similarity between the pose guide and the pose of the subject may be provided to provide a criterion for the user and the subject to form a more accurate pose.

이하 첨부한 도면을 참조하여 본 발명의 일 실시예를 보다 상세하게 설명한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 촬영 장치의 포즈 가이드 방법을 설명하는 흐름도이다.1 is a flowchart illustrating a pose guide method of a photographing apparatus according to an exemplary embodiment.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 촬영 장치의 포즈 가이드 방법은 피사체의 영상을 수집하고 표시하는 단계(S11), 선택된 포즈 가이드를 표시하는 단계(S22), 표시된 포즈 가이드를 줌인, 줌아웃, 회전 또는 위치 이동 하는 단계(S13), 표시된 포즈 가이드를 기반으로 피사체의 포즈 변경을 가이드하는 단계(S14), 피사체의 포즈와 선택된 포즈 가이드의 유사도를 표시하는 단계(S15), 상기 유사도가 기설정된 값 이상인지 판단하는 단계(S16) 및 상기 유사도가 기설정된 값 이상인 경우 피사체를 촬영하는 단계(S17)를 포함한다.As shown in FIG. 1, the pose guide method of the photographing apparatus according to an exemplary embodiment includes collecting and displaying an image of a subject (S11), displaying a selected pose guide (S22), and displaying a displayed pose guide. Zooming in, zooming out, rotating, or moving the position (S13), guiding the subject to change the pose based on the displayed pose guide (S14), displaying the similarity between the pose of the subject and the selected pose guide (S15), and Determining whether the similarity is equal to or greater than a preset value (S16); and photographing a subject when the similarity is equal to or greater than a preset value (S17).

상기 촬영 장치의 포즈 가이드 방법은 피사체를 촬영하는 장치인 카메라, 캠코더 또는 휴대용 단말의 카메라 모듈에 적용될 수 있으나, 이에 제한되지 않고 상기 피사체의 영상을 수집하여 표시 및 출력하는 촬영 장치에 적용 가능하다.The pose guide method of the photographing apparatus may be applied to a camera module, a camera, a camcorder, or a camera module of a portable terminal, but is not limited thereto. The pose guide method may be applied to a photographing apparatus that collects, displays, and outputs an image of the subject.

상기 단계(S11)에서는 상기 포즈 가이드가 적용되는 촬영 장치, 예컨대 카메라의 영상 수집부에서 피사체의 영상을 수집하고, 상기 피사체의 영상을 상기 카메라의 영상 표시부에 표시한다. In operation S11, an image of a subject is collected by a photographing apparatus to which the pose guide is applied, for example, a camera, and the image of the subject is displayed on an image display unit of the camera.

상기 영상 수집부는 피사체에서 반사되는 빛을 감광하여 전기적 신호로 변환하고, 변환된 전기적 신호는 상기 영상 표시부에 전송되어 영상으로 표시된다.The image collecting unit reduces light reflected from a subject and converts the light into an electrical signal, and the converted electrical signal is transmitted to the image display unit and displayed as an image.

상기 단계(S12)에서는 카메라에 기저장된 포즈 가이드 중에서 사용자가 선택한 포즈 가이드를 카메라의 영상 표시부에 표시한다. 상기 카메라에는 상기 포즈 가이드에 대한 데이터를 저장하는 저장부, 예컨대 메모리 등이 포함되어 상기 카메라의 사용자는 저장된 데이터 중에서 원하는 포즈 가이드를 선택할 수 있다. In the step S12, the pose guide selected by the user among the pose guides previously stored in the camera is displayed on the image display unit of the camera. The camera may include a storage unit for storing data regarding the pose guide, for example, a memory, so that a user of the camera may select a desired pose guide from the stored data.

이하 영상 표시부에 표시되는 영상을 도시한 도면과 함께 단계별 동작을 상세히 설명한다.Hereinafter, the step-by-step operation will be described in detail together with the drawings showing the image displayed on the image display unit.

도 2a는 본 발명의 일 실시예에 따른 포즈 가이드가 표시된 카메라의 영상 표시부를 나타낸다.2A illustrates an image display unit of a camera on which a pose guide is displayed according to an embodiment of the present invention.

도 2a에 도시된 바와 같이 상기 영상 표시부(63)에는 다수의 포즈 가이드(21,23,24,25)가 표시될 수 있다. 사용자는 상기 카메라에 장착된 버튼, 터치 스크린 등의 사용자 입력부를 통해 특정 포즈 가이드를 선택할 수 있다. 도 2a에서는 선택 상자(22)로 특정 포즈 가이드(21)를 활성화하고 선택하였다. As shown in FIG. 2A, a plurality of pose guides 21, 23, 24, and 25 may be displayed on the image display unit 63. The user may select a specific pose guide through a user input unit such as a button or a touch screen mounted on the camera. In FIG. 2A, the specific pose guide 21 is activated and selected by the selection box 22.

본 발명의 다른 실시예에서는 상기 영상 표시부(63)에는 하나의 포즈 가이드만이 표시될 수 있다. 이 경우, 사용자는 상기 사용자 입력부를 통해 상기 영상 표시부(63)에 표시되는 포즈 가이드를 변경하며 원하는 포즈 가이드를 선택할 수 있다. In another embodiment of the present invention, only one pose guide may be displayed on the image display unit 63. In this case, the user may change a pose guide displayed on the image display unit 63 through the user input unit and select a desired pose guide.

사용자는 피사체가 특정 포즈를 취하게 하여 촬영하고자 한다. 상기 영상 표시부에 표시된 포즈 가이드로부터 피사체가 취할 포즈에 대응하는 특정 포즈 가이드가 선택된다. The user wants to photograph the subject by taking a specific pose. A specific pose guide corresponding to a pose to be taken by the subject is selected from the pose guide displayed on the image display unit.

상기 포즈 가이드는 상기 피사체가 한 명인 경우 외에 다수의 인물인 경우에도 적용될 수 있다. 상기 피사체가 다수의 인물인 경우에는 다수의 인물 각각이 취할 포즈에 대한 포즈 가이드가 상기 영상 표시부(63)에 표시될 수 있다. The pose guide may be applied to the case where the subject is one or more than one person. When the subject is a plurality of persons, a pose guide for a pose to be taken by each of the plurality of persons may be displayed on the image display unit 63.

상기 다수의 인물에 대한 포즈 가이드는 그 자체가 상기 카메라의 저장부에 저장될 수 있고, 한 명의 인물에 대한 포즈 가이드에 다른 포즈 가이드를 추가하여 다수의 인물에 대한 포즈 가이드를 사용자가 직접 구성할 수 있다.The pose guides for the plurality of figures may themselves be stored in a storage unit of the camera, and the user may directly configure the pose guides for the plurality of figures by adding another pose guide to the pose guide for one person. Can be.

도 2b는 본 발명의 일 실시예에 따른 피사체가 두 명인 경우 피사체의 영상 및 포즈 가이드를 표시한 영상 표시부를 나타낸다. FIG. 2B is a view illustrating an image display unit displaying an image of an object and a pose guide when there are two subjects according to an embodiment of the present invention.

도 2b와 같이 상기 피사체가 두 명인 경우에는 상기 카메라의 저장부에 기저장된 포즈 가이드 중 두 명의 포즈에 대한 포즈 가이드를 선택하여 상기 영상 표시부에 표시할 수 있다. As shown in FIG. 2B, when two subjects are present, a pose guide for two poses among pre-stored pose guides of the camera may be selected and displayed on the image display unit.

상기 포즈 가이드 선택 시, 사용자가 포즈 가이드를 직접 선택하도록 하는 대신 상기 피사체의 영상에서, 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정을 검출하여, 상기 검출된 얼굴 크기, 얼굴 위치 또는 표정에 해당하는 포즈 가이드를 자동으로 선택할 수 있다.When the pose guide is selected, instead of allowing the user to directly select the pose guide, a face size, a face position or an expression of the subject is detected from the image of the subject, thereby posing a pose corresponding to the detected face size, face position or expression. The guide can be selected automatically.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 피사체의 얼굴 크기를 통해 임의의 포즈 가이드를 선택하는 단계를 설명하는 영상 표시부의 도면이다. 3A and 3B are diagrams of an image display unit for explaining a step of selecting an arbitrary pose guide through a face size of a subject according to an exemplary embodiment of the present invention.

카메라의 영상 수집부는 상기 피사체의 영상을 수집하며, 상기 카메라의 영상 표시부(63)에는 피사체의 영상(32)이 표시될 수 있다. 사용자는 상기 카메라의 사용자 입력부를 통해 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정으로부터 포즈 가이드를 제공하는 모드, 예컨대 포즈 가이드 추천 모드를 설정할 수 있다. The image collecting unit of the camera collects the image of the subject, and the image display unit 63 of the camera may display the image 32 of the subject. The user may set a mode for providing a pose guide from a face size, a face position or an expression of the subject through the user input unit of the camera, for example, a pose guide recommendation mode.

상기 포즈 가이드 추천 모드에서 상기 카메라는 상기 피사체의 영상(32)에서 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정을 검출할 수 있다. 도 2a에서는 검출된 상기 피사체의 얼굴을 영역 표시 상자(31)로 구분하였다. 상기 피사체의 영상(32)에서 상기 피사체의 얼굴 크기는 상기 카메라와 상기 피사체와의 거리에 따라 변경될 수 있다. 상기 카메라와 상기 피사체의 거리가 가까울수록 상기 피사체의 영상(32)에서 상기 피사체의 얼굴 크기는 커지고, 멀어질수록 상기 작아질 수 있다.In the pose guide recommendation mode, the camera may detect a face size, a face position, or an expression of the subject in the image 32 of the subject. In FIG. 2A, the detected face of the subject is divided into an area display box 31. In the image 32 of the subject, the face size of the subject may be changed according to the distance between the camera and the subject. The closer the distance between the camera and the subject is, the larger the face size of the subject becomes in the image 32 of the subject, and the smaller the distance becomes.

상기 카메라의 제어부에서는 상기 피사체의 얼굴 크기를 상기 피사체의 영상(32)과 비교하여 상기 피사체의 위치 또는 상태에서 가장 유사한 포즈 가이드를 선택할 수 있다. 예를 들면, 상기 피사체의 영상(32)의 면적과 비교하여 상기 피사체의 얼굴 크기가 기설정된 비율 이상인 경우에는 상반신 포즈 가이드가 선택되고, 기설정된 비율 이하인 경우에는 전신 포즈 가이드가 선택될 수 있다. The controller of the camera may select a pose guide that is most similar to the position or state of the subject by comparing the face size of the subject with the image 32 of the subject. For example, the upper body pose guide may be selected when the face size of the subject is greater than or equal to a preset ratio compared to the area of the image 32 of the subject, and the whole body pose guide may be selected when less than or equal to the preset ratio.

또한, 상기 피사체의 얼굴 위치가 상기 피사체의 영상(32)과 비교하여 상기 피사체의 몸통과 같은 높이에 위치하는 경우, 누워 있는 포즈 가이드가 선택될 수 있다. 이와 같이, 상기 피사체의 얼굴 크기 또는 위치를 통해 상기 피사체가 취한 포즈와 가장 유사하거나 적절한 포즈 가이드를 선택할 수 있다. In addition, when the face position of the subject is located at the same height as the torso of the subject compared to the image 32 of the subject, the lying pose guide may be selected. As such, a pose guide that is most similar to or appropriate to a pose taken by the subject may be selected through the face size or position of the subject.

본 발명의 다른 실시예에 따르면, 상기 피사체의 표정을 검출하여 적절한 포즈 가이드를 선택할 수도 있다. 상기 피사체의 표정을 다수 개로 구분하여, 예컨대 웃는 표정 또는 찡그린 표정을 구분하여 각 표정에 대한 샘플 이미지를 저장부에 저장할 수 있다. 상기 카메라의 제어부는 상기 피사체의 영상(32)에서 상기 피사체의 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역을 상기 저장된 샘플 이미지와의 비교 과정을 통해 각 표정의 기본 이미지에 대한 일치도를 계산할 수 있다. According to another embodiment of the present invention, an appropriate pose guide may be selected by detecting the expression of the subject. By dividing a plurality of facial expressions of the subject, for example, a smiling facial expression or a frowning facial expression may be stored and a sample image for each facial expression may be stored in the storage unit. The controller of the camera may detect a face region of the subject in the image 32 of the subject, and calculate a degree of agreement with respect to the basic image of each facial expression by comparing the detected face region with the stored sample image. .

상기 비교 과정은 샘플 이미지와 검출된 얼굴 영역의 이미지 정합을 통해 수행될 수 있으며, 이미지 정합 과정은 각 이미지 사이의 가능한 오버랩 위치를 파악하고, 해당 오버랩 위치에 대한 오버래핑 화소의 일치 정도에 따른 스코어를 결정하는 방식 등의 종래 기술을 사용할 수 있다.The comparison process may be performed by image matching between the sample image and the detected face region, and the image matching process may identify possible overlap positions between the respective images and calculate scores according to the degree of matching of overlapping pixels with respect to the corresponding overlap positions. Conventional techniques such as the determination method can be used.

그 결과, 상기 각 표정의 기본 이미지에 대한 일치도를 비교하여 가장 높은 일치도를 가지는 표정을 선택할 수 있다. 상기 선택된 표정과 연계된 기설정된 포즈 가이드를 상기 카메라의 영상 표시부에 표시할 수 있다. As a result, the facial expressions having the highest degree of concordance can be selected by comparing the degree of concordance with respect to the basic image of each facial expression. The preset pose guide associated with the selected facial expression may be displayed on the image display unit of the camera.

도 3a는 상기 영상 표시부(63)에 전신 포즈 가이드(21)가 표시된 상태를 나타낸다. 상기 카메라의 제어부는 상기 피사체의 영상(32)에서 상기 피사체의 얼굴을 검출하고, 검출된 얼굴 영상의 크기를 상기 피사체의 영상(32)의 크기와 비교할 수 있다. 또는, 상기 피사체의 영상(32)에서 피사체의 얼굴 위치를 상기 포즈 가이드(21)의 얼굴 위치와 비교하여 검출할 수 있다. 3A illustrates a state in which the whole body pose guide 21 is displayed on the image display unit 63. The controller of the camera may detect the face of the subject in the image 32 of the subject, and compare the size of the detected face image with the size of the image 32 of the subject. Alternatively, the face position of the subject in the image 32 of the subject may be detected by comparing with the face position of the pose guide 21.

도 3b와 같이, 도 3a에서 검출된 상기 피사체의 얼굴 크기 또는 위치를 기반으로 기설정된 포즈 가이드(33)를 상기 영상 표시부(63)에 표시할 수 있다. 사용자는 상기 영상 표시부(63)에 표시된 기설정된 포즈 가이드(33)를 참고로 피사체, 즉 촬영되는 사람에게 해당 포즈를 취하도록 가이드한 다음 촬영할 수 있다.As illustrated in FIG. 3B, the pose guide 33 may be displayed on the image display unit 63 based on the size or position of the face of the subject detected in FIG. 3A. The user may guide the subject, that is, the person to be photographed, to take a corresponding pose by taking a reference to the preset pose guide 33 displayed on the image display unit 63 and then take a picture.

상기 피사체가 다수의 인물인 경우에도 상기 카메라의 제어부는 각 피사체의 얼굴 크기, 얼굴 위치 또는 표정 등을 검출할 수 있다. Even when the subject is a plurality of persons, the controller of the camera may detect a face size, a face position, or an expression of each subject.

도 2b에 도시된 바와 같이, 상기 피사체가 두 명인 경우에도 각 피사체의 얼굴 영역을 검출할 수 있으며, 상기 각 피사체의 얼굴 영역은 각각 제 1 얼굴 영역 상자(33) 및 제 2 얼굴 영역 상자(34)로 구분될 수 있다.As illustrated in FIG. 2B, even when the subjects are two, the face regions of each subject may be detected, and the face regions of each subject may be the first face region box 33 and the second face region box 34, respectively. ) Can be separated.

도 4는 도 2a에서 선택된 포즈 가이드(21)가 피사체의 영상(32)과 동시에 표시된 영상 표시부(63)를 나타낸다. FIG. 4 illustrates an image display unit 63 in which the pose guide 21 selected in FIG. 2A is displayed simultaneously with the image 32 of the subject.

본 발명의 일 실시예에 따르면 상기 선택된 포즈 가이드(21)는 사용자에 의해 상기 영상 표시부(63) 내에서 이동할 수 있다. 사용자는 상기 카메라의 사용자 입력부를 통해 카메라의 동작 모드를 상기 포즈 가이드(21)를 이동시킬 수 있는 모드(이하 "포즈 가이드 이동 모드"라 함)로 설정할 수 있다. 상기 포즈 가이드 이동 모드에서 사용자는 상기 사용자 입력부를 통해 상기 포즈 가이드(21)를 상기 영상 표시부(63) 내에서 자유롭게 이동시킬 수 있다.According to an embodiment of the present invention, the selected pose guide 21 may be moved within the image display unit 63 by a user. The user may set an operation mode of the camera through a user input unit of the camera to a mode for moving the pose guide 21 (hereinafter, referred to as a "pose guide movement mode"). In the pause guide movement mode, the user may freely move the pause guide 21 in the image display unit 63 through the user input unit.

단계(S13)에서는 상기 포즈 가이드(21)를 줌인, 줌아웃, 회전 또는 위치 이 동을 할 수 있다. 상기 피사체가 카메라에 근접하게 위치하여 상기 피사체의 영상이 상기 포즈 가이드보다 큰 경우, 사용자는 포즈 가이드 이동 모드를 선택하여 상기 포즈 가이드(21)를 줌인하여 확대시킬 수 있다.In step S13, the pose guide 21 may be zoomed in, zoomed out, rotated, or moved. When the subject is located close to the camera and the image of the subject is larger than the pose guide, the user may select a pose guide movement mode to zoom in and enlarge the pose guide 21.

이와 마찬가지로, 상기 피사체가 카메라로부터 원거리에 위치하여 상기 피사체의 영상이 상기 포즈 가이드보다 작은 경우, 사용자는 포즈 가이드(21)를 줌아웃하여 축소시킬 수 있다. 이와 같이, 피사체와 카메라 간의 거리에 제약되지 않고 포즈 가이드를 자유롭게 적용할 수 있다.Similarly, when the subject is located far from the camera and the image of the subject is smaller than the pose guide, the user may zoom out and reduce the pose guide 21. As such, the pose guide can be freely applied without being limited by the distance between the subject and the camera.

또한, 포즈 가이드를 임의의 기준점을 중심으로 회전시킬 수도 있다. 예를 들면, 사용자는 상기 영상 표시부(63) 내의 임의의 기준점을 선택한다. 선택된 기준점을 중심으로 사용자는 포즈 가이드를 시계 방향 또는 반시계 방향으로 회전시켜 포즈 가이드의 위치 및 상태를 자유롭게 변경할 수 있다.It is also possible to rotate the pose guide about an arbitrary reference point. For example, the user selects an arbitrary reference point in the image display unit 63. The user can freely change the position and state of the pose guide by rotating the pose guide clockwise or counterclockwise around the selected reference point.

본 발명의 일 실시예에 따르면 상기 선택된 포즈 가이드(21)는 도 4에 도시된 바와 같이, 상기 피사체가 취할 포즈의 윤곽선으로 제공될 수 있다. According to an embodiment of the present invention, as shown in FIG. 4, the selected pose guide 21 may be provided as an outline of a pose to be taken by the subject.

본 발명의 다른 실시예에 따르면 상기 선택된 포즈 가이드(21)는 상기 피사체가 취할 포즈의 영상으로 표시될 수 있다. 바람직하게, 상기 선택된 포즈 가이드는 상기 피사체가 취할 포즈의 반투명한 영상으로 표시되어, 사용자가 용이하게 상기 피사체의 영상(32)과 상기 포즈 가이드를 비교할 수 있도록 할 수 있다. 또한 상기 포즈 가이드가 반투명 영상으로 제공되면 상기 피사체의 영상과 오버랩되어도 상기 포즈 가이드 및 상기 피사체의 영상 둘 모두를 확인할 수 있는 장점이 있다.According to another embodiment of the present invention, the selected pose guide 21 may be displayed as an image of a pose to be taken by the subject. Preferably, the selected pose guide is displayed as a semi-transparent image of a pose to be taken by the subject, so that the user can easily compare the pose guide with the image 32 of the subject. In addition, when the pose guide is provided as a semi-transparent image, there is an advantage in that both the pose guide and the image of the subject can be checked even when the pose guide overlaps with the image of the subject.

본 발명의 다른 실시예에서는, 상기 포즈 가이드는 상기 피사체가 취할 포즈 의 영상을 3D로 표시할 수 있다. 이 경우, 상기 포즈 가이드에 대한 2D 정보 외에 3D 정보가 카메라의 저장부에 저장되어야 하며, 사용자가 3D 포즈 가이드를 선택한 경우, 상기 영상 표시부(63)는 저장부로부터 3D 포즈 가이드 정보를 수신하여 영상으로 표시한다. In another embodiment of the present invention, the pose guide may display an image of a pose to be taken by the subject in 3D. In this case, 3D information other than 2D information about the pose guide should be stored in the storage unit of the camera. When the user selects the 3D pose guide, the image display unit 63 receives the 3D pose guide information from the storage unit to display the image. Indicated by.

상기 포즈 가이드가 3D로 표시되는 경우에도 상기 포즈 가이드를 줌인, 줌아웃, 회전 또는 위치 이동할 수 있다. 이 경우, 상기 포즈 가이드의 회전 시 회전축을 설정하여 공간적으로 회전이 가능하다. 따라서, 2D로 표시된 포즈 가이드에서는 확인할 수 없었던 신체의 특정 부위의 모습까지도 확인이 가능하다. Even when the pose guide is displayed in 3D, the pose guide may be zoomed in, zoomed out, rotated, or moved. In this case, it is possible to spatially rotate by setting the rotation axis when the pose guide is rotated. Therefore, it is possible to check the shape of a specific part of the body that cannot be confirmed in the pose guide displayed in 2D.

상기 단계(S14)는 상기 선택된 포즈 가이드(21)를 기반으로 상기 피사체에게 포즈 변경을 가이드한다. 사용자가 특정 포즈 가이드를 선택하고, 상기 선택된 포즈 가이드(21)가 상기 영상 표시부(63)에 표시된 상태에서는 상기 피사체의 영상(32)은 상기 포즈 가이드(21)와 일치하지 않은 상태이다. The step S14 guides the pose change to the subject based on the selected pose guide 21. When the user selects a specific pose guide and the selected pose guide 21 is displayed on the image display unit 63, the image 32 of the subject does not coincide with the pose guide 21.

사용자는 상기 영상 표시부(63)를 통해 상기 피사체의 영상(32)과 상기 포즈 가이드(21)를 비교하면서 상기 피사체의 포즈를 상기 포즈 가이드(21)와 일치시키도록 가이드할 수 있다. 이 과정에서, 상기 카메라는 상기 피사체의 포즈를 상기 포즈 가이드(21)와 일치시키기 위해 상기 피사체의 움직임을 가이드할 수 있다. 셀프 카메라의 경우에는 상기 사용자와 피사체가 동일할 것이므로 촬영자가 직접 포즈를 바꿀 수 있다.The user may guide the pose of the subject to match the pose guide 21 while comparing the pose guide 21 with the image 32 of the subject through the image display unit 63. In this process, the camera may guide the movement of the subject to match the pose of the subject with the pose guide 21. In the case of the self-camera, since the user and the subject will be the same, the photographer can change the pose directly.

본 발명의 일 실시예에 따르면, 상기 포즈 변경 가이드는 음성으로 상기 피사체 또는 사용자에게 제공될 수 있다. 상기 카메라에는 스피커 등의 음성 출력부 가 포함되어, 상기 피사체 또는 사용자는 음성으로 상기 피사체의 움직임 가이드를 확인할 수 있다. According to an embodiment of the present invention, the pose change guide may be provided to the subject or the user by voice. The camera includes a voice output unit such as a speaker, so that the subject or the user can check the movement guide of the subject by voice.

도 4를 참조하면, 상기 피사체의 영상(32)은 상기 포즈 가이드(21)와 비교하여, 상기 피사체를 기준으로 얼굴, 팔 및 몸통은 오른쪽으로 떨어져 있고, 다리는 왼쪽으로 떨어져 있다. 이 경우, 상기 카메라의 제어부는 상기 피사체의 얼굴, 팔, 몸통 및 다리를 검출하고 위치를 파악하여 상기 포즈 가이드(21)와 일치하기 위해 어느 방향으로 얼마의 거리만큼 이동해야 하는지 계산할 수 있다. 또한, 상기 카메라의 음성 출력부는 상기 카메라의 제어부로부터 상기 방향 및 거리를 수신하고, 그것을 음성으로 출력할 수 있다. Referring to FIG. 4, the image 32 of the subject is compared to the pose guide 21, and the face, the arm, and the body are separated to the right and the legs are separated to the left based on the subject. In this case, the controller of the camera may detect a face, an arm, a torso and a leg of the subject, determine a position, and calculate how much distance in which direction to move to match the pose guide 21. The voice output unit of the camera may receive the direction and distance from the control unit of the camera and output the voice.

이동할 거리의 계산은 상기 영상 표시부에 표시된 피사체의 영상과 실제 피사체의 1차원적 길이의 비를 이용하여, 상기 영상 표시부 상에서의 상기 피사체와 상기 포즈 가이드 간의 거리 차를 실제 거리 차로 환산하는 등 종래 기술을 사용할 수 있다. The calculation of the distance to be moved is performed by converting a distance difference between the subject and the pose guide on the image display unit into an actual distance difference using a ratio of an image of the subject displayed on the image display unit to a one-dimensional length of the actual subject. Can be used.

예를 들어, 영상 표시부에 표시된 피사체의 영상이 5cm이고 실제 피사체는 150cm의 신장인 경우, 피사체의 영상과 실제 피사체의 길이의 비는 1:30이다. 따라서, 상기 영상 표시부 상에서 상기 피사체와 상기 포즈 가이드 간의 거리 차가 1cm라고 측정되는 경우, 피사체가 이동할 거리는 30cm라고 할 수 있다. For example, when the image of the subject displayed on the image display unit is 5 cm and the actual subject is 150 cm tall, the ratio of the image of the subject to the length of the actual subject is 1:30. Therefore, when the distance difference between the subject and the pose guide is 1cm on the image display unit, the distance that the subject moves is 30cm.

본 발명의 다른 실시예에 따르면, 상기 포즈 변경 가이드 단계는 상기 카메라의 영상 표시부(63)를 통해 상기 피사체가 포즈를 수정하도록 가이드할 수 있다. According to another embodiment of the present invention, the pose change guide step may guide the subject to correct the pose through the image display unit 63 of the camera.

도 4를 참조하면, 상기 영상 표시부(63)에 화살표(41)를 표시하여 상기 피사 체의 영상이 이동해야 할 방향 및 거리 정보를 확인할 수 있다. 상기 화살표(41)가 가리키는 방향은 피사체가 이동할 방향이며, 상기 화살표(41)의 길이는 상기 피사체가 이동할 거리일 수 있다. 본 발명의 다른 실시예에서는 상기 피사체가 이동할 거리는 상기 영상 표시부(63)의 일부 영역에 수치로 표시될 수 있다. Referring to FIG. 4, an arrow 41 may be displayed on the image display unit 63 to confirm direction and distance information to which the image of the subject should move. The direction indicated by the arrow 41 is a direction in which the subject moves, and the length of the arrow 41 may be a distance in which the subject moves. In another embodiment of the present invention, the distance to which the subject is to be moved may be numerically displayed on a portion of the image display unit 63.

본 발명의 일 실시예에 따르면, 상기 포즈 가이드(21)는 상기 얼굴 각도에 대한 정보를 포함하여 상기 피사체의 얼굴 각도를 수정하도록 가이드할 수 있다. 상기 카메라의 저장부에 저장된 상기 포즈 가이드(21)는 얼굴 각도에 대한 정보를 저장할 수 있다. 상기 카메라의 제어부는 상기 포즈 가이드(21)를 선택하여 상기 포즈 가이드(21)에 대한 정보를 상기 저장부로부터 수신하는 경우, 얼굴 각도에 대한 정보도 수신할 수 있다. According to an embodiment of the present disclosure, the pose guide 21 may guide to correct the face angle of the subject by including information on the face angle. The pose guide 21 stored in the storage unit of the camera may store information about a face angle. When the controller of the camera selects the pose guide 21 to receive information about the pose guide 21 from the storage unit, the controller may also receive information about a face angle.

상기 제어부는 상기 피사체의 영상(32)에서 얼굴 영역을 검출하고 얼굴 각도를 계산할 수 있다. 상기 얼굴 각도 계산은 상기 저장부에 기저장된 정면 얼굴에 대한 이미지로부터 이미지 정합 과정을 통해 수행될 수 있다. 상기 정면 얼굴에 대한 이미지와 상기 피사체의 얼굴 이미지의 이미지 정합으로 계산된 각도는 상기 영상 표시부(63)에 표시될 수 있다. 따라서, 사용자는 상기 얼굴 각도를 통해 상기 피사체의 얼굴 각도를 움직도록 가이드하여 정확한 포즈를 형성하게 할 수 있다.The controller may detect a face region in the image 32 of the subject and calculate a face angle. The face angle calculation may be performed through an image matching process from an image of the front face previously stored in the storage unit. An angle calculated by image matching between the image of the front face and the face image of the subject may be displayed on the image display unit 63. Therefore, the user may guide the user to move the face angle of the subject through the face angle to form an accurate pose.

단계(S15)에서는 상기 피사체의 포즈와 상기 포즈 가이드의 유사도를 표시한다. 본 발명의 일 실시예에 따르면, 상기 카메라의 제어부는 상기 피사체의 포즈와 상기 포즈 가이드(21)의 유사도를 계산하고 상기 계산 결과를 상기 영상 표시부(63)로 전송한다. 상기 영상 표시부(63)는 상기 전송된 계산 결과를 상기 영상 표시부(63)의 일부 영역에 표시하여 사용자가 보다 용이하게 상기 피사체의 포즈와 상기 포즈 가이드(21)를 비교할 수 있도록 한다.In step S15, the similarity between the pose of the subject and the pose guide is displayed. According to an embodiment of the present disclosure, the controller of the camera calculates the similarity between the pose of the subject and the pose guide 21 and transmits the calculation result to the image display unit 63. The image display unit 63 displays the transmitted calculation result in a partial region of the image display unit 63 so that a user can more easily compare the pose of the subject and the pose guide 21.

본 발명의 일 실시예에 따르면, 상기 유사도는 상기 피사체의 영상(32)과 상기 포즈 가이드(21) 간의 거리를 기반으로 계산될 수 있다. 상기 피사체의 영상(32)과 상기 포즈 가이드(21)를 얼굴, 몸체, 팔, 다리 또는 얼굴 각도 등의 각 부분으로 구분하여 상기 피사체의 영상(32)과 상기 포즈 가이드(21)의 각 부분 별 이격 거리를 계산할 수 있다. 계산된 각 부분 별 거리는 유사도의 파라미터로 설정될 수 있으며, 거리를 파라미터로 한 유사도 함수를 카메라의 제어부에 프로그래밍할 수 있다. According to an embodiment of the present invention, the similarity may be calculated based on a distance between the image 32 of the subject and the pose guide 21. The image 32 of the subject and the pose guide 21 are divided into respective parts such as a face, a body, an arm, a leg, or a face angle, and the respective parts of the image 32 and the pose guide 21 of the subject. The separation distance can be calculated. The calculated distance for each part may be set as a parameter of similarity, and a similarity function using the distance as a parameter may be programmed in the controller of the camera.

여기서, 거리가 가까울수록 각 부위의 유사도는 증가하고, 거리가 멀수록 각 부위의 유사도는 감소하게 설정할 수 있다. 그 결과, 계산된 각 부위의 유사도의 평균값 등을 산출하여 전체 피사체의 영상(32)과 전체 포즈 가이드(21)의 유사도를 계산할 수 있다.Here, as the distance increases, the similarity of each part increases, and as the distance increases, the similarity of each part decreases. As a result, it is possible to calculate the similarity between the image 32 of the entire subject and the overall pose guide 21 by calculating the calculated average value of the similarity of the respective portions.

상기 유사도는 상기 영상 표시부(63)의 일부 영역에 수치로 표시될 수 있다. 상기 유사도는 상기 영상 표시부(63)의 일측에 막대 그래프 형식으로 표시될 수 있다. 사용자는 그래프를 보고 피사체의 포즈가 상기 포즈 가이드와 어느 정도 일치하는지 여부를 직관적으로 확인할 수 있다. 상기 그래프는 상기 피사체의 얼굴, 팔, 다리, 몸통 등의 신체 각 부위 또는 얼굴 표정마다 각각 표시되어 각 부위별 유사도를 확인할 수도 있다.The similarity may be numerically displayed on a portion of the image display unit 63. The similarity may be displayed in a bar graph form on one side of the image display unit 63. The user can intuitively check how the subject's pose matches the pose guide by looking at the graph. The graph may be displayed for each body part or facial expression of the subject's face, arms, legs, torso, etc., to check similarity for each part.

이 경우, 각 부위 별로 가중치를 다르게 부여하여 유사도 판단 시 특정 부위 를 보다 중점적으로 고려하도록 할 수 있다. 가중치가 부여되는 부위 또는 구체적인 가중치는 실시예에 따라 달라질 수 있다.In this case, different weights may be assigned to each part so that specific parts may be considered more seriously in determining similarity. The weighted portion or the specific weight may vary depending on the embodiment.

실시예에 따라서는, 상기 포즈 가이드의 색깔 변화로 유사도를 표시할 수 있다. 예를 들면, 상기 피사체의 포즈와 상기 포즈 가이드의 유사도가 높아질수록 푸른 색으로 변하고, 유사도가 낮아질수록 붉은 색으로 변하게 설정할 수 있다. According to an embodiment, the similarity may be displayed by changing the color of the pose guide. For example, as the similarity between the pose of the subject and the pose guide increases, the color turns blue, and the lower the similarity becomes, the red color changes.

실시예에 따라서는, 상기 유사도를 음성으로 나타낼 수 있다. 예를 들면, 상기 유사도가 높아질수록 카메라의 음성 출력부가 출력하는 음성의 주파수가 높아지고 상기 유사도가 낮아질수록 음성의 주파수가 낮아지도록 설정할 수 있다.According to an embodiment, the similarity may be represented by voice. For example, the higher the similarity, the higher the frequency of the voice output from the audio output unit of the camera, and the lower the similarity, the lower the frequency of the voice.

실시예에 따라서는, 상기 유사도는 문자로 표시될 수 있다. 상기 유사도를 다수 개의 범위로 구분하여, 각 범위마다 유사도를 대표할 수 있는 문자를 카메라의 영상 표시부에 표시할 수 있다. 예를 들면, 상기 유사도의 최저값이 1이고 최대값이 100인 경우, 상기 유사도가 1 이상 20 미만인 경우에는 '매우 불일치', 상기 유사도가 20 이상 40 미만인 경우에는 '불일치', 상기 유사도가 40 이상 60 미만인 경우에는 '보통', 상기 유사도가 60 이상 80 미만인 경우에는 '일치' 및 상기 유사도가 80 이상 100 이하인 경우에는 '매우 일치'의 문자가 영상 표시부에 표시될 수 있다.In some embodiments, the similarity may be represented by text. The similarity may be divided into a plurality of ranges, and a character representing the similarity may be displayed on the image display unit of the camera for each range. For example, when the minimum value of the similarity is 1 and the maximum value is 100, 'very inconsistency' when the similarity is 1 or more and less than 20, 'unmatched' when the similarity is 20 or more and less than 40, and the similarity is 40 or more If the value is less than 60, 'normal', and if the similarity is 60 or more and less than 80, 'match', and if the similarity is 80 or more and 100 or less, a character of 'very match' may be displayed on the image display unit.

단계(S16)에서는 상기 피사체의 포즈가 상기 선택된 포즈 가이드(21)의 유사도가 기설정된 값 이상인지 판단한다. 상기 카메라의 제어부는 상기 단계(S15)에서 계산된 유사도가 시스템에 기설정된 값 이상인지 여부를 판단한다. In operation S16, it is determined whether the pose of the subject is equal to or greater than a preset value of the selected pose guide 21. The controller of the camera determines whether the similarity calculated in the step S15 is greater than or equal to a value preset in the system.

이 경우, 상기 기설정된 값은 사용자에 의해 조절될 수 있으며, 카메라 제조 시 시스템에 입력된 값으로 고정될 수 있다.In this case, the preset value may be adjusted by the user and may be fixed to a value input to the system when the camera is manufactured.

상기 단계(S17)에서는 상기 단계(S16)에서 상기 피사체의 영상(32)과 상기 포즈 가이드(21)의 유사도가 기설정된 값 이상인 경우 상기 피사체를 촬영한다. 본 발명의 일 실시예에 따르면, 상기 포즈 가이드(21)와 상기 피사체의 포즈의 유사도가 기설정된 값 이상인 경우 상기 카메라에 의해 자동으로 상기 피사체를 촬영하도록 구성할 수 있다. In step S17, when the similarity between the image 32 of the subject and the pose guide 21 is greater than or equal to a preset value in step S16, the subject is photographed. According to an embodiment of the present invention, when the similarity between the pose guide 21 and the pose of the subject is equal to or greater than a preset value, the subject may be automatically photographed by the camera.

이 경우, 카메라가 자동으로 촬영하기 전에 촬영을 알리는 신호를 사용자 또는 피사체에게 제공할 수 있다. 상기 신호는 식별이 용이한 빛(예컨대 붉은 빛) 또는 음성(예컨대 "찍습니다")일 수 있다.In this case, the camera may provide the user or the subject with a signal informing of shooting before the camera automatically photographs. The signal may be light (eg red light) or voice (eg "take") that is easy to identify.

도 5는 상기 피사체의 영상(32)과 상기 포즈 가이드(21)가 일치하는 경우의 영상 표시부(63)의 도면이다. 상기 피사체가 상기 단계(S14)의 포즈 변경 가이드를 통해 이동하여 상기 피사체의 영상(32)이 상기 포즈 가이드(21)와 일치하는 경우, 상기 카메라가 자동으로 상기 피사체를 촬영하게 할 수 있다.5 is a diagram of the image display unit 63 when the image 32 of the subject and the pose guide 21 coincide with each other. When the subject moves through the pose change guide of step S14 and the image 32 of the subject coincides with the pose guide 21, the camera may automatically photograph the subject.

상기 피사체를 촬영한 후, 촬영된 피사체의 영상은 저장부에 저장될 수 있다. 본 발명의 다른 실시예에서는 촬영된 피사체의 영상은 카메라의 출력 포트를 통해 외부로 전송될 수 있다. After photographing the subject, an image of the photographed subject may be stored in the storage unit. In another embodiment of the present invention, the image of the photographed subject may be transmitted to the outside through the output port of the camera.

이 경우, 저장부에 저장되거나 외부로 전송되는 피사체의 영상에는 상기 포즈 가이드가 포함되지 않는다. 상기 포즈 가이드는 촬영 시 상기 피사체가 용이하게 포즈를 취할 수 있도록 가이드하는 기능을 가지며, 최종 출력 영상에는 포함되지 않는다.In this case, the pose guide is not included in the image of the subject stored in the storage unit or transmitted to the outside. The pose guide has a function of guiding the subject to easily pose when photographing, and is not included in the final output image.

도 6은 본 발명의 일 실시예에 따른 포즈 가이드 장치의 구조를 나타낸다.6 shows the structure of a pose guide device according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 포즈 가이드 장치는 피사체의 영상을 수집하는 영상 수집부(61), 포즈 가이드를 저장하는 저장부(62), 상기 피사체의 영상 또는 상기 포즈 가이드를 표시하는 영상 표시부(63), 상기 저장부(62)에 저장된 상기 포즈 가이드를 상기 영상 표시부(63)에 표시하도록 제어하는 제어부(64), 상기 표시된 포즈 가이드를 기반으로 음성으로 피사체의 움직임을 가이드하는 음성 출력부(65) 및 사용자로부터 상기 피사체의 촬영 또는 상기 포즈 가이드의 조작을 입력받는 사용자 입력부(66)를 포함한다.As shown in FIG. 6, the pose guide apparatus according to an exemplary embodiment of the present invention includes an image collector 61 collecting an image of a subject, a storage unit 62 storing a pose guide, an image of the subject, or the An image display unit 63 for displaying a pose guide, a controller 64 for controlling the pose guide stored in the storage unit 62 to be displayed on the image display unit 63, and a voice of the subject based on the displayed pose guide. A voice output unit 65 for guiding movement and a user input unit 66 for receiving a photograph of the subject or an operation of the pose guide from a user.

상기 영상 수집부(61)는 상기 피사체의 영상을 수집하여 상기 영상 표시부(63)에 표시하게 한다. 상기 영상 수집부(61)는 빛을 감광하여 전기적 신호로 변환하는 장치를 포함하며, CCD 또는 CMOS 이미지 센서일 수 있다.The image collector 61 collects an image of the subject and displays the image on the image display unit 63. The image collecting unit 61 includes a device for converting light into an electrical signal and may be a CCD or CMOS image sensor.

상기 저장부(62)는 포즈 가이드에 대한 데이터를 저장한다. 상기 저장부(62)는 다양한 포즈 가이드에 대한 데이터를 저장하고, 상기 제어부(64)로부터 상기 포즈 가이드에 대한 데이터 전송 요청을 받는 경우 상기 포즈 가이드에 대한 데이터를 전송한다. The storage unit 62 stores data about the pose guide. The storage unit 62 stores data about various pose guides, and transmits data about the pose guide when receiving a data transmission request for the pose guide from the controller 64.

상기 영상 표시부(63)는 상기 피사체의 영상 또는 상기 포즈 가이드를 표시한다. 상기 영상 표시부(63)는 상기 영상 수집부(61)가 수집한 상기 피사체의 영상 또는 상기 저장부(62)에 저장된 상기 포즈 가이드를 상기 제어부(64)의 제어를 통해 수신하여 디스플레이에 표시한다. 상기 영상 표시부(63)에는 터치 스크린 패널을 장착하여 사용자가 터치 스크린을 통해 포즈 가이드에 대한 각종 조작을 가능하 게 할 수 있다.The image display unit 63 displays an image of the subject or the pose guide. The image display unit 63 receives the image of the subject collected by the image collection unit 61 or the pose guide stored in the storage unit 62 through the control of the controller 64 and displays the image on the display. The image display unit 63 may be equipped with a touch screen panel to enable a user to manipulate various pose guides through the touch screen.

본 발명의 일 실시예에 따른 상기 영상 표시부(63)는 상기 포즈 가이드를 상기 피사체가 취할 포즈의 윤곽선으로 표시할 수 있다.The image display unit 63 may display the pose guide as an outline of a pose to be taken by the subject.

본 발명의 일 실시예에 따른 상기 영상 표시부(63)는 상기 포즈 가이드를 상기 피사체가 취할 포즈의 영상으로 표시할 수 있으며, 바람직하게, 상기 피사체가 취할 포즈의 영상은 반투명하게 표시되어 사용자가 상기 피사체의 영상과 상기 피사체가 취할 포즈의 영상을 용이하게 구별되도록 할 수 있다. The image display unit 63 according to an exemplary embodiment may display the pose guide as an image of a pose to be taken by the subject. Preferably, the image of a pose to be taken by the subject is displayed semi-transparently so that the user may An image of a subject and an image of a pose to be taken by the subject may be easily distinguished.

본 발명의 다른 실시예에서 상기 영상 표시부(63)는 상기 포즈 가이드를 상기 피사체가 취할 포즈의 3D 영상으로 표시할 수 있다. In another embodiment of the present invention, the image display unit 63 may display the pose guide as a 3D image of a pose to be taken by the subject.

상기 제어부(64)는 상기 저장부에 저장된 상기 포즈 가이드를 상기 영상 표시부에 표시하도록 제어한다.The controller 64 controls to display the pause guide stored in the storage unit on the image display unit.

또한, 본 발명의 일 실시예에 따르면 상기 제어부(64)는 상기 영상 수집부(61)가 수집한 상기 피사체의 영상에서, 상기 피사체의 얼굴 크기, 얼굴 위치 또는 표정을 검출할 수 있다. 상기 검출된 얼굴 크기, 얼굴 위치 또는 표정을 기반으로 이에 대응하는 포즈 가이드를 선택할 수 있다. In addition, according to an embodiment of the present invention, the controller 64 may detect a face size, a face position, or an expression of the subject from the image of the subject collected by the image collector 61. A pose guide corresponding to the detected face size, face position, or facial expression may be selected.

상기 제어부(64)는 상기 피사체의 영상의 크기와 상기 피사체의 얼굴의 크기를 비교하여 상기 피사체의 위치 또는 자세에 가장 유사한 포즈 가이드를 선택할 수 있다. 예를 들어, 상기 피사체의 영상의 크기에 대한 상기 피사체의 얼굴의 크기의 비율이 기설정된 비율 이상인 경우 상반신 포즈 가이드가 선택될 수 있고, 기설정된 비율 이하인 경우 전신 포즈 가이드가 선택될 수 있다. 상기 선택된 포즈 가이드는 다수 개일 수 있으며, 이 중에서 사용자는 별도의 선택을 통해 하나의 포즈 가이드를 선택할 수 있다. 또는, 상기 피사체의 얼굴 위치에 대한 포즈 가이드를 추가로 선택하여 포즈 가이드의 선택을 더욱 구체적으로 할 수 있다.The controller 64 may select a pose guide most similar to the position or posture of the subject by comparing the size of the image of the subject with the size of the face of the subject. For example, the upper body pose guide may be selected when the ratio of the size of the face of the subject to the size of the image of the subject is greater than or equal to a preset ratio, and the whole body pose guide may be selected when less than or equal to the preset ratio. There may be a plurality of selected pose guides, and a user may select one pose guide through a separate selection. Alternatively, the pose guide for the face position of the subject may be further selected to more specifically select the pose guide.

상기 제어부(64)는 상기 영상 표시부(63)에 표시된 포즈 가이드를 줌인, 줌아웃, 회전 또는 위치 이동하도록 더 구성될 수 있다. 상기 저장부(62)에 저장된 포즈 가이드의 정보를 기반으로 크기를 확대 또는 축소하도록 구성될 수 있으며, 상기 포즈 가이드가 상기 영상 표시부(63) 상의 임의의 기준점을 중심으로 회전이 가능하도록 구성될 수 있다. The controller 64 may be further configured to zoom in, zoom out, rotate, or move the pose guide displayed on the image display unit 63. It may be configured to enlarge or reduce the size based on the information of the pose guide stored in the storage unit 62, the pose guide may be configured to be rotated about any reference point on the image display unit 63. have.

또한, 상기 제어부(64)는 상기 포즈 가이드와 상기 피사체의 포즈의 유사도를 계산할 수 있다. 상기 유사도는 상기 포즈 가이드와 상기 피사체의 포즈의 이미지 정합을 통해 계산될 수 있다. In addition, the controller 64 may calculate the similarity between the pose guide and the pose of the subject. The similarity may be calculated through image registration of the pose guide and the pose of the subject.

상기 유사도는 상기 피사체의 얼굴, 몸통, 팔, 다리 또는 얼굴 각도 등의 각 부위 별로 계산될 수 있다. 예를 들어, 상기 피사체의 각 부위 별로 상기 피사체의 포즈와 상기 포즈 가이드 간의 거리를 측정하여 거리가 멀어질수록 유사도는 작아지고, 가까워질수록 유사도는 증가하도록 프로그램될 수 있다. 그 결과, 각 부위별로 계산된 유사도는 평균값 산출 등을 통해 전체 피사체 포즈 및 전체 포즈 가이드의 유사도를 계산할 수 있다. 상기 제어부(64)는 계산된 유사도를 상기 영상 표시부(63)로 전송하고, 상기 영상 표시부(63)는 상기 전송된 유사도를 수치, 막대 그래프 등으로 표시할 수 있다.The similarity may be calculated for each part of the subject's face, torso, arm, leg, or face angle. For example, by measuring the distance between the pose of the subject and the pose guide for each part of the subject, the similarity decreases as the distance increases, and the similarity increases as the distance increases. As a result, the similarity calculated for each part may calculate the similarity of the entire subject pose and the entire pose guide by calculating an average value. The controller 64 may transmit the calculated similarity to the image display unit 63, and the image display unit 63 may display the transmitted similarity as a numerical value or a bar graph.

상기 음성 출력부(65)는 상기 영상 표시부(63)에 표시된 포즈 가이드를 기반 으로 상기 피사체의 포즈 변경을 음성으로 가이드한다. 상기 피사체의 영상이 상기 표시된 포즈 가이드와 일치하지 않은 경우, 상기 피사체는 위치를 이동하거나 자세를 변경하여 상기 포즈 가이드와 일치하도록 포즈 변경을 가이드할 수 있다. The voice output unit 65 guides the pose change of the subject to the voice based on the pose guide displayed on the image display unit 63. When the image of the subject does not match the displayed pose guide, the subject may guide the change of the pose to match the pose guide by moving a position or changing a pose.

상기 음성 출력부(65)는 상기 피사체의 얼굴, 몸통, 팔 또는 다리 등의 각 부위 별로 상기 포즈 가이드의 대응하는 각 부위에 일치하기 위한 포즈 변경 방향 및 거리를 음성으로 가이드할 수 있다. The voice output unit 65 may voice-guide a pose change direction and a distance to correspond to each corresponding portion of the pose guide for each portion of the subject's face, torso, arm or leg.

상기 사용자 입력부(66)는 사용자로부터 상기 피사체의 촬영 또는 상기 포즈 가이드의 조작을 입력받는다. 사용자는 상기 사용자 입력부(66)의 셔터를 조작함으로써 상기 피사체를 촬영할 수 있고, 상기 사용자 입력부(66)의 방향키를 조작함으로써 상기 영상 표시부(63)에 표시된 커서 또는 선택 상자를 이동할 수 있다.The user input unit 66 receives a photograph of the subject or an operation of the pose guide from a user. The user may photograph the subject by operating the shutter of the user input unit 66, and move a cursor or a selection box displayed on the image display unit 63 by operating a direction key of the user input unit 66.

이상 실시예를 통해 본 발명을 설명하였으나, 위 실시예는 단지 본 발명의 사상을 설명하기 위한 것이며, 이에 한정되지 않는다. 당업자는 위에 설명한 실시예에 다양한 변형이 가해질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 특허청구범위의 해석을 통해서만 정해진다.Although the present invention has been described through the above embodiments, the above embodiments are merely intended to illustrate the spirit of the present invention, and the present invention is not limited thereto. Those skilled in the art will appreciate that various modifications may be made to the embodiments described above. The scope of the invention is defined only by the interpretation of the appended claims.

도 1은 본 발명의 일 실시예에 따른 포즈 가이드 방법을 설명하는 흐름도이다.1 is a flowchart illustrating a pose guide method according to an embodiment of the present invention.

도 2a는 본 발명의 일 실시예에 따른 포즈 가이드가 표시된 카메라의 영상 표시부를 나타낸다. 2A illustrates an image display unit of a camera on which a pose guide is displayed according to an embodiment of the present invention.

도 2b는 본 발명의 일 실시예에 따른 피사체가 두 명인 경우 피사체의 영상 및 포즈 가이드를 표시한 영상 표시부를 나타낸다. FIG. 2B is a view illustrating an image display unit displaying an image of an object and a pose guide when there are two subjects according to an embodiment of the present invention.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 피사체의 얼굴 크기를 통해 임의의 포즈 가이드를 선택하는 단계를 설명하는 영상 표시부를 나타낸다. 3A and 3B illustrate an image display unit for explaining a step of selecting an arbitrary pose guide through the size of a face of a subject according to an exemplary embodiment of the present invention.

도 4는 도 2에서 선택된 포즈 가이드(21)가 피사체의 영상(32)과 동시에 표시된 영상 표시부(63)를 나타낸다.FIG. 4 illustrates an image display unit 63 in which the pose guide 21 selected in FIG. 2 is displayed simultaneously with the image 32 of the subject.

도 5는 상기 피사체의 영상(32)과 상기 포즈 가이드(21)가 일치하는 경우의 영상 표시부(63)를 나타낸다.5 illustrates the image display unit 63 when the image 32 of the subject and the pose guide 21 coincide with each other.

도 6은 본 발명의 일 실시예에 따른 포즈 가이드 장치의 구조 블록도이다.6 is a structural block diagram of a pose guide device according to an embodiment of the present invention.

Claims (10)

피사체의 영상을 수집하고 표시하는 단계;Collecting and displaying an image of the subject; 포즈 가이드(pose guide)를 표시하는 단계; Displaying a pose guide; 상기 표시된 포즈 가이드를 상기 피사체의 영상에 맞도록 영상 표시부 상에서 줌인, 줌아웃, 회전 또는 위치 이동하는 단계; 및Zooming in, zooming out, rotating, or moving the displayed pose guide on an image display unit to fit the image of the subject; And 상기 피사체를 촬영하는 단계;Photographing the subject; 를 포함하는 촬영 장치의 포즈 가이드 방법.The pose guide method of the photographing device comprising a. 제 1항에 있어서, The method of claim 1, 상기 포즈 가이드는 상기 피사체가 취할 포즈의 윤곽선, 반투명의 2차원 영상 또는 반투명의 3차원 영상으로 표시되는 촬영 장치의 포즈 가이드 방법.And the pose guide is a contour of a pose to be taken by the subject, a translucent two-dimensional image, or a translucent three-dimensional image. 삭제delete 제 1항에 있어서, The method of claim 1, 상기 표시된 포즈 가이드를 기반으로 피사체의 포즈 변경을 음성 또는 영상으로 가이드하는 단계를 더 포함하는 촬영 장치의 포즈 가이드 방법.And guiding a change of a pose of a subject as a voice or an image based on the displayed pose guide. 제 1항에 있어서, The method of claim 1, 상기 포즈 가이드와 상기 피사체의 포즈의 유사도를 표시하는 단계를 더 포함하는 촬영 장치의 포즈 가이드 방법.And displaying the similarity between the pose guide and a pose of the subject. 제 5항에 있어서,The method of claim 5, 상기 유사도는 수치, 그래프, 음성, 문자 또는 색깔로 표시되는 단계를 포함하는 촬영 장치의 포즈 가이드 방법.The similarity is a pose guide method of the photographing device comprising the step of displaying in numerical value, graph, voice, text or color. 제 5항에 있어서, 상기 촬영 단계는The method of claim 5, wherein the photographing step 상기 유사도가 기설정된 값 이상인 경우 상기 피사체를 자동으로 촬영하는 단계를 포함하는 촬영 장치의 포즈 가이드 방법.And automatically photographing the subject when the similarity is greater than or equal to a preset value. 피사체의 영상을 수집하는 영상 수집부;An image collecting unit collecting an image of the subject; 포즈 가이드를 저장하는 저장부;A storage unit for storing a pose guide; 상기 피사체의 영상 또는 상기 포즈 가이드를 표시하는 영상 표시부; 및An image display unit displaying an image of the subject or the pose guide; And 상기 저장부에 저장된 상기 포즈 가이드를 상기 영상 표시부에 표시하고, 상기 표시된 포즈 가이드를 상기 피사체의 영상에 맞도록 상기 영상 표시부 상에서 줌인, 줌아웃, 회전 또는 위치 이동하도록 제어하는 제어부;A control unit which displays the pose guide stored in the storage unit on the image display unit and controls the displayed pose guide to be zoomed in, zoomed out, rotated, or moved on the image display unit to fit the image of the subject; 를 포함하는 촬영 장치의 포즈 가이드 장치.Pose guide device of the shooting device including a. 삭제delete 제 8항에 있어서,The method of claim 8, 상기 제어부는 상기 포즈 가이드와 상기 피사체의 포즈의 유사도를 계산하도록 더 구성되고,The controller is further configured to calculate the similarity between the pose guide and the pose of the subject, 상기 영상 표시부는 상기 계산된 유사도를 표시하는 촬영 장치의 포즈 가이드 장치.And the image display unit to display the calculated similarity.
KR1020080048450A 2008-05-26 2008-05-26 Pose guide method and device of shooting device Expired - Fee Related KR100943548B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080048450A KR100943548B1 (en) 2008-05-26 2008-05-26 Pose guide method and device of shooting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080048450A KR100943548B1 (en) 2008-05-26 2008-05-26 Pose guide method and device of shooting device

Publications (2)

Publication Number Publication Date
KR20090122572A KR20090122572A (en) 2009-12-01
KR100943548B1 true KR100943548B1 (en) 2010-02-22

Family

ID=41685030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080048450A Expired - Fee Related KR100943548B1 (en) 2008-05-26 2008-05-26 Pose guide method and device of shooting device

Country Status (1)

Country Link
KR (1) KR100943548B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10165199B2 (en) 2015-09-01 2018-12-25 Samsung Electronics Co., Ltd. Image capturing apparatus for photographing object according to 3D virtual object
US10630896B1 (en) 2019-02-14 2020-04-21 International Business Machines Corporation Cognitive dynamic photography guidance and pose recommendation

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101140506B1 (en) * 2010-05-06 2012-04-30 엔에이치엔(주) Photographing apparatus supporting pose template and the same method
KR101762769B1 (en) 2011-04-18 2017-08-07 삼성전자주식회사 Apparatus and method for capturing subject in photographing device
CN103220466B (en) * 2013-03-27 2016-08-24 华为终端有限公司 The output intent of picture and device
KR102365393B1 (en) 2014-12-11 2022-02-21 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR102228663B1 (en) * 2020-10-23 2021-03-16 주식회사 포즈 Method of providing photographing guide and system therefor
CN116996761A (en) 2022-04-14 2023-11-03 北京字跳网络技术有限公司 Photography methods, devices, equipment, storage media and program products

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070077247A (en) * 2006-01-23 2007-07-26 장수동 Display information about portrait poses in digital photography tools
KR20080044132A (en) * 2006-11-15 2008-05-20 삼성테크윈 주식회사 Operation method of digital image processing device having composition guide function

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070077247A (en) * 2006-01-23 2007-07-26 장수동 Display information about portrait poses in digital photography tools
KR20080044132A (en) * 2006-11-15 2008-05-20 삼성테크윈 주식회사 Operation method of digital image processing device having composition guide function

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10165199B2 (en) 2015-09-01 2018-12-25 Samsung Electronics Co., Ltd. Image capturing apparatus for photographing object according to 3D virtual object
US10630896B1 (en) 2019-02-14 2020-04-21 International Business Machines Corporation Cognitive dynamic photography guidance and pose recommendation

Also Published As

Publication number Publication date
KR20090122572A (en) 2009-12-01

Similar Documents

Publication Publication Date Title
KR100943548B1 (en) Pose guide method and device of shooting device
JP5206095B2 (en) Composition determination apparatus, composition determination method, and program
US8638372B2 (en) Image capture unit with changeable image capture direction
CN110536069B (en) Zoom control device, control method of zoom control device, and recording medium
TWI433530B (en) Camera system and image-shooting method with guide for taking stereo photo and method for automatically adjusting stereo photo
CN101415076B (en) Composition judging device, composition judging method
JP5389697B2 (en) In-camera generation of high-quality composite panoramic images
US9025044B2 (en) Imaging device, display method, and computer-readable recording medium
JP5434339B2 (en) Imaging control apparatus, imaging system, imaging method, program
JP2001357404A (en) Picture extracting device
JP2016516369A (en) Photo output method and apparatus
WO2018094648A1 (en) Guiding method and device for photography composition
JP2019067312A (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, CONTROL METHOD OF IMAGE PROCESSING APPARATUS, AND PROGRAM
CN105847666B (en) Camera device and control method thereof
KR20120118144A (en) Apparatus and method for capturing subject in photographing device
US8896670B2 (en) Image processing device, image processing method, and program
JP5098917B2 (en) Composition determination apparatus, composition determination method, and program
JP6257260B2 (en) Imaging apparatus and control method thereof
JP5967422B2 (en) Imaging apparatus, imaging processing method, and program
KR101009832B1 (en) Image Synthesis Device and Method in Digital Camera
JP6376753B2 (en) Imaging apparatus, display control apparatus control method, and recording apparatus control method
CN102478756B (en) Method and apparatus for shooting stereoscopic film
JP5380833B2 (en) Imaging apparatus, subject detection method and program
JP4771524B2 (en) Imaging apparatus and program thereof
KR101798019B1 (en) Terminal having camera and method for processing image thereof

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20130128

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20150128

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20170213

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20170213

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000