KR101710521B1

KR101710521B1 - Apparatus and method of performing simulation for virtual fitting with computer-graphics representation of user body and computer program for the same

Info

Publication number: KR101710521B1
Application number: KR1020150161797A
Authority: KR
Inventors: 탁세윤; 이창환
Original assignee: (주)에프엑스기어
Priority date: 2015-11-18
Filing date: 2015-11-18
Publication date: 2017-02-27
Anticipated expiration: 2035-11-18

Abstract

가상 피팅(virtual fitting)을 위한 시뮬레이션 장치는, 용자의 영상으로부터 사용자의 신체 정보 및 움직임 정보를 검출하도록 구성된 검출부; 상기 신체 정보 및 상기 움직임 정보를 이용하여, 사용자의 움직임에 대응하여 시뮬레이션되는 의상의 3차원 모델을 생성하도록 구성된 의상 시뮬레이션부; 상기 신체 정보 및 상기 움직임 정보를 이용하여, 사용자 신체의 일 부분에 정합되며, 사용자의 움직임에 대응하여 시뮬레이션되는 가상신체의 3차원 모델을 생성하도록 구성된 가상신체 시뮬레이션부; 및 상기 의상의 3차원 모델 및 상기 가상신체의 3차원 모델을 상기 사용자의 영상 위에 오버레이 형태로 표시하도록 구성된 표시부를 포함할 수 있다. 상기 시뮬레이션 장치에 의하면, 의상뿐만 아니라 사용자의 신체 일부를 CG(Computer Graphics)로 표현함으로써 가상 피팅의 자연스러움이 개선된다. A simulation apparatus for virtual fitting includes: a detection unit configured to detect a user's body information and motion information from an image of a user; A garment simulation unit configured to generate a three-dimensional model of a garment to be simulated corresponding to a user's movement using the body information and the motion information; A virtual body simulation unit configured to generate a three-dimensional model of a virtual body, which is matched to a part of the user's body using the body information and the motion information, and is simulated corresponding to a movement of the user; And a display unit configured to display a three-dimensional model of the wardrobe and a three-dimensional model of the virtual body in an overlay form on the image of the user. According to the simulation apparatus, the naturalness of the virtual fitting is improved by expressing not only the costume but also the body part of the user in CG (Computer Graphics).

Description

TECHNICAL FIELD The present invention relates to a simulation apparatus, a method, and a computer program for a virtual fitting having a CG expression function of a user body, and a computer program for the same. [0002]

실시예들은 가상 피팅(virtual fitting)을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램에 대한 것으로, 보다 구체적으로는 의상뿐만 아니라 사용자의 신체 일부를 CG(Computer Graphics)로 표현하여 가상 피팅의 자연스러움을 개선한 기술에 대한 것이다. Embodiments relate to a simulation apparatus and method for virtual fitting, and a computer program for the same. More specifically, the present invention relates to a computer program for virtual fitting, It is about improved technology.

최근 깊이 센서(depth sensor) 등 관련 기술이 발전하면서, 사용자가 직접 의상을 착용하지 않고도 자신의 아바타(avatar) 또는 3차원 인체 모델을 이용하여 가상으로 의상을 착용해보는 가상 피팅(virtual fitting) 서비스가 등장하였다. 가상 피팅 서비스를 위해서는, 깊이 센서를 이용하여 사용자의 외형을 스캔(scan)하는 방법 등에 의하여 사용자에 대응되는 3차원 모델을 생성하고, 이러한 사용자의 3차원 모델에 미리 준비된 의상의 3차원 모델을 정합시키는 과정이 요구된다. Recently, as a related technology such as a depth sensor has been developed, a virtual fitting service in which a virtual clothing is worn using an avatar or a three-dimensional human body model without a user wearing a costume directly . In order to provide a virtual fitting service, a three-dimensional model corresponding to a user is created by a method of scanning a contour of a user using a depth sensor, and a three-dimensional model of a costume prepared in advance is registered .

그러나, 현재까지 가상 피팅 서비스는 실험적인 수준의 응용예들에 적용되는데 그치고 있으며, 실제 의류 매장에 적용되어 의상에 대한 구매로까지 이어질 수 있는 기술에 대해서는 연구가 이루어지지 않고 있다. 특히, 종래의 가상 피팅 서비스에서는 단순히 사용자의 영상 위에 의상 이미지를 오버레이(overlay) 형태로 표시하는 데에 그치고 있는데, 이는 사용자가 가만히 서 있는 상태에서는 문제가 없으나, 사용자가 움직임에 따라 신체가 구부려지거나 중첩되는 경우에도 사용자의 영상이 의상 이미지에 의하여 가려지게 되어 부자연스럽게 표현되는 문제가 있다. However, until now, the virtual fitting service has only been applied to experimental applications, and research has not been conducted on techniques that can be applied to actual clothes shops and lead to purchase of clothes. Particularly, in the conventional virtual fitting service, the costume image is simply displayed in an overlay form on the user's image. This is not a problem in a state where the user is standing still, but when the user is bent There is a problem that the image of the user is obscured by the garment image even when overlapping.

공개특허공보 제10-2014-0077820호Japanese Patent Application Laid-Open No. 10-2014-0077820

본 발명의 일 측면에 의하면, 의상뿐만 아니라 사용자의 신체 일부를 CG(Computer Graphics)로 표현함으로써 사용자의 움직임에 따른 가상 피팅(virtual fitting)의 자연스러움이 개선된, 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램을 제공할 수 있다. According to an aspect of the present invention, there is provided a simulation apparatus and method for virtual fitting, in which the naturalness of virtual fitting according to the movement of a user is improved by expressing not only a costume but also a body part of a user as CG (Computer Graphics) And a computer program therefor.

일 실시예에 따른 가상 피팅(virtual fitting)을 위한 시뮬레이션 장치는, 용자의 영상으로부터 사용자의 신체 정보 및 움직임 정보를 검출하도록 구성된 검출부; 상기 신체 정보 및 상기 움직임 정보를 이용하여, 사용자의 움직임에 대응하여 시뮬레이션되는 의상의 3차원 모델을 생성하도록 구성된 의상 시뮬레이션부; 상기 신체 정보 및 상기 움직임 정보를 이용하여, 사용자 신체의 일 부분에 정합되며, 사용자의 움직임에 대응하여 시뮬레이션되는 가상신체의 3차원 모델을 생성하도록 구성된 가상신체 시뮬레이션부; 및 상기 의상의 3차원 모델 및 상기 가상신체의 3차원 모델을 상기 사용자의 영상 위에 오버레이 형태로 표시하도록 구성된 표시부를 포함한다.According to an embodiment, a simulation apparatus for virtual fitting includes: a detection unit configured to detect a user's body information and motion information from a user's image; A garment simulation unit configured to generate a three-dimensional model of a garment to be simulated corresponding to a user's movement using the body information and the motion information; A virtual body simulation unit configured to generate a three-dimensional model of a virtual body, which is matched to a part of the user's body using the body information and the motion information, and is simulated corresponding to a movement of the user; And a display unit configured to display a three-dimensional model of the wardrobe and a three-dimensional model of the virtual body in an overlay form on the image of the user.

일 실시예에서, 상기 가상신체 시뮬레이션부는, 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는지 여부를 탐지하도록 구성된 중첩 영역 검출부를 포함하며, 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는 경우에만 상기 가상신체의 3차원 모델을 표시하도록 더 구성된다.In one embodiment, the virtual body simulation section includes an overlap region detection section configured to detect whether the one portion overlaps with another portion of the user's body or a three-dimensional model of the garment, Dimensional model of the virtual body only when it overlaps with the three-dimensional model of the virtual body.

일 실시예에서, 상기 사용자의 영상은 깊이 정보를 포함한다.In one embodiment, the image of the user includes depth information.

일 실시예에서, 상기 중첩 영역 검출부는, 상기 일 부분의 깊이 정보와 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델의 깊이 정보의 차이가 미리 설정된 문턱값 이상일 경우 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는 것으로 결정하도록 더 구성된다.In one embodiment, when the difference between the depth information of the one part and the depth information of the other part of the user's body or the three-dimensional model of the ward is greater than a preset threshold value, Part or a three-dimensional model of the garment.

일 실시예에서, 상기 중첩 영역 검출부는, 상기 일 부분의 깊이 정보와 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델의 깊이 정보의 차이가 미리 설정된 문턱값 이상이며, 상기 일 부분에 대응되는 외곽선이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델의 외곽선과 교차하는 경우 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는 것으로 결정하도록 더 구성된다.In one embodiment, the overlapped area detecting unit determines that the difference between the depth information of the one part and the depth information of another part of the user's body or the three-dimensional model of the worn body is not less than a preset threshold value, Dimensional model of the wearer's body or the other part of the user's body or the outline of the three-dimensional model of the garment.

일 실시예에서, 상기 가상신체 시뮬레이션부는, 상기 사용자의 영상으로부터 사용자의 피부 색상 정보를 추출하고, 추출된 상기 피부 색상 정보에 기초하여 상기 가상신체의 3차원 모델의 색상을 조절하도록 구성된 색상 조절부를 더 포함한다.In one embodiment, the virtual body simulation unit may include a color adjusting unit configured to extract skin color information of a user from the image of the user and to adjust a color of the three-dimensional model of the virtual body based on the extracted skin color information .

일 실시예에 따른 시뮬레이션 장치는, 깊이 카메라를 포함하며, 상기 사용자의 영상 데이터를 획득하도록 구성된 스캔부를 더 포함한다.The simulation apparatus according to an embodiment further includes a scanning unit including a depth camera and configured to acquire image data of the user.

일 실시예에서, 상기 의상 시뮬레이션부는, 미리 저장된 베이스 메쉬를 상기 신체 정보에 기초하여 변형시킴으로써 상기 의상의 3차원 모델을 생성하도록 더 구성된다.In one embodiment, the costume simulation section is further configured to generate a three-dimensional model of the garment by modifying a pre-stored base mesh based on the body information.

일 실시예에 따른, 가상 피팅을 위한 시뮬레이션 방법은, 시뮬레이션 장치가 사용자의 영상으로부터 사용자의 신체 정보 및 움직임 정보를 검출하는 단계; 상기 시뮬레이션 장치가, 상기 신체 정보 및 상기 움직임 정보를 이용하여, 사용자의 움직임에 대응하여 시뮬레이션되는 의상의 3차원 모델을 생성하는 단계; 상기 시뮬레이션 장치가, 상기 신체 정보 및 상기 움직임 정보를 이용하여, 사용자 신체의 일 부분에 정합되며, 사용자의 움직임에 대응하여 시뮬레이션되는 가상신체의 3차원 모델을 생성하는 단계; 및 상기 시뮬레이션 장치가, 상기 의상의 3차원 모델 및 상기 가상신체의 3차원 모델을 상기 사용자의 영상 위에 오버레이 형태로 표시하는 단계를 포함한다.According to an embodiment, a simulation method for virtual fitting includes the steps of: the simulation apparatus detecting the user's body information and motion information from the user's image; Generating a three-dimensional model of a costume to be simulated corresponding to a movement of a user using the body information and the motion information; Generating a three-dimensional model of a virtual body which is matched to a part of the user's body and is simulated corresponding to the movement of the user, using the body information and the motion information; And displaying the three-dimensional model of the garment and the three-dimensional model of the virtual body in an overlay form on the image of the user.

일 실시예에서, 상기 가상신체의 3차원 모델을 생성하는 단계는, 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는지 여부를 탐지하는 단계; 및 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는 경우에만 상기 가상신체의 3차원 모델이 표시되도록 상기 가상신체의 3차원 모델을 제어하는 단계를 포함한다. In one embodiment, the step of generating a three-dimensional model of the virtual body comprises the steps of: detecting whether the one part overlaps with another part of the user's body or a three-dimensional model of the wrist; And controlling the three-dimensional model of the virtual body so that the three-dimensional model of the virtual body is displayed only when the one part overlaps with another part of the user's body or a three-dimensional model of the ward.

일 실시예에서, 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는지 여부를 탐지하는 단계는, 상기 일 부분의 깊이 정보와 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델의 깊이 정보의 차이가 미리 설정된 문턱값 이상일 경우 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는 것으로 결정하도록 구성된다.In one embodiment, the step of detecting whether said portion overlaps with another portion of the user's body or with a three-dimensional model of said garment comprises the steps of: Is determined to be overlapped with another part of the user's body or a three-dimensional model of the garment when the difference in depth information of the wearer's body is equal to or greater than a preset threshold value.

일 실시예에서, 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는지 여부를 탐지하는 단계는, 상기 일 부분의 깊이 정보와 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델의 깊이 정보의 차이가 미리 설정된 문턱값 이상이며, 상기 일 부분에 대응되는 외곽선이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델의 외곽선과 교차하는 경우 상기 일 부분이 사용자 신체의 다른 부분 또는 상기 의상의 3차원 모델과 중첩되는 것으로 결정하도록 구성된다.In one embodiment, the step of detecting whether said portion overlaps with another portion of the user's body or with a three-dimensional model of said garment comprises the steps of: Dimensional model of the user's body or the outline of the three-dimensional model of the user's body when the outline corresponding to the one part intersects the other part of the user's body or the outline of the three- Dimensional model of the garment.

일 실시예에서, 상기 가상신체의 3차원 모델을 생성하는 단계는, 상기 사용자의 영상으로부터 사용자의 피부 색상 정보를 추출하는 단계; 및 추출된 상기 피부 색상 정보에 기초하여 상기 가상신체의 3차원 모델의 색상을 조절하는 단계를 포함한다.In one embodiment, the step of generating the three-dimensional model of the virtual body includes extracting skin color information of the user from the image of the user; And adjusting the color of the three-dimensional model of the virtual body based on the extracted skin color information.

일 실시예에 따른 시뮬레이션 방법은, 상기 사용자 신체의 외곽선을 검출하는 단계 전에, 깊이 카메라를 포함하는 스캔부에 의하여 상기 사용자의 영상 데이터를 획득하는 단계를 더 포함한다.The simulation method may further include acquiring the image data of the user by a scan unit including a depth camera before the step of detecting an outline of the user's body.

일 실시예에서, 상기 의상의 3차원 모델을 생성하는 단계는, 미리 저장된 베이스 메쉬를 상기 신체 정보에 기초하여 변형시킴으로써 상기 의상의 3차원 모델을 생성하는 단계를 포함한다.In one embodiment, the step of creating a three-dimensional model of the garment includes generating a three-dimensional model of the garment by modifying a pre-stored base mesh based on the body information.

본 발명의 실시예들에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 전술한 실시예들에 따른 가상 피팅을 위한 시뮬레이션 방법을 실행하기 위한 것으로서, 컴퓨터로 판독 가능한 매체에 저장될 수 있다. A computer program in accordance with embodiments of the present invention is for executing a simulation method for virtual fitting according to the above-described embodiments in combination with hardware, and can be stored in a computer-readable medium.

본 발명의 일 측면에 따른 가상 피팅(virtual fitting)을 위한 시뮬레이션 기술에 의하면, 사용자의 영상 위에 의상을 표시하는 것뿐만 아니라 사용자의 신체 일부를 CG(Computer Graphics)로 표현함으로써, 사용자가 팔이나 다리 등을 자유롭게 움직이더라도 시뮬레이션되는 의상과 실제 영상 사이의 부조화가 발생하지 않아 사용자가 자연스러운 가상 피팅을 경험하도록 할 수 있다. According to the simulation technique for virtual fitting according to one aspect of the present invention, not only the costume is displayed on the image of the user but also the body part of the user is represented by CG (Computer Graphics) Even if the user moves freely, there is no discrepancy between the simulated costume and the actual image, so that the user can experience a natural virtual fitting.

도 1은, 일 실시예에 따른, 가상 피팅(virtual fitting)을 위한 시뮬레이션 장치의 개략적인 블록도이다.
도 2a 및 2b는 종래 기술에 따른 시뮬레이션 시 중첩된 신체가 표현되지 않는 것을 나타내는 이미지이다.
도 3a 및 3b는 일 실시예에 따른 시뮬레이션 시 가상신체가 표현된 것을 나타내는 이미지이다.
도 4a 및 4b는 또 다른 실시예에 따른 시뮬레이션 시 가상신체가 표현된 것을 나타내는 이미지이다.
도 5는, 일 실시예에 따른, 가상 피팅을 위한 시뮬레이션 방법의 순서도이다.1 is a schematic block diagram of a simulation apparatus for virtual fitting, according to one embodiment.
2A and 2B are images showing that the superimposed body is not represented in the simulation according to the prior art.
3A and 3B are images showing that a virtual body is represented in a simulation according to an embodiment.
4A and 4B are images showing that a virtual body is represented in a simulation according to another embodiment.
5 is a flowchart of a simulation method for virtual fitting, according to one embodiment.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은, 일 실시예에 따른, 가상 피팅(virtual fitting)을 위한 시뮬레이션 장치의 개략적인 블록도이다.1 is a schematic block diagram of a simulation apparatus for virtual fitting, according to one embodiment.

도 1을 참조하면, 가상 피팅을 위한 시뮬레이션 장치(1)는 검출부(20), 의상 시뮬레이션부(30), 가상신체 시뮬레이션부(40) 및 표시부(50)를 포함할 수 있다. 일 실시예에서, 시뮬레이션 장치(1)는 스캔부(10)를 더 포함한다. 실시예들에 따른 가상 피팅을 위한 시뮬레이션 장치(1) 및 이에 포함된 각 부(unit)는 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 1, the simulation apparatus 1 for virtual fitting may include a detection unit 20, a costume simulation unit 30, a virtual body simulation unit 40, and a display unit 50. In one embodiment, the simulation apparatus 1 further comprises a scanning unit 10. [ The simulation apparatus 1 for virtual fitting according to embodiments and each unit included therein may be entirely hardware, or may be partly hardware and partly software.

가상 피팅을 위한 시뮬레이션 장치(1)의 각 부는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있으며, 본 명세서에서 "부", "시스템" 및 "장치" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.Each part of the simulation apparatus 1 for virtual fitting can be referred to as hardware having data processing capability and operating software for driving it, and the terms "part "," system &Quot; is intended to refer to a combination of hardware and software driven by that hardware. For example, the hardware may be a data processing device including a Central Processing Unit (CPU), a Graphic Processing Unit (GPU), or another processor. Also, the software may refer to a running process, an object, an executable, a thread of execution, a program, and the like.

또한, 실시예들에 따른 시뮬레이션 장치(1)를 구성하는 각각의 부(10, 20, 30, 40, 50)는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 즉, 도 1에서 스캔부(10), 검출부(20), 의상 시뮬레이션부(30), 가상신체 시뮬레이션부(40) 및 표시부(50)는 서로 구분되는 별개의 블록으로 도시되나, 실시예에 따라서는 이들 중 일부 또는 전부가 동일한 하나의 컴퓨팅 장치에 집적화될 수 있다. 이때, 각각의 부(10, 20, 30, 40, 50)는 이들이 구현된 컴퓨팅 장치에서 수행하는 동작에 따라 장치를 기능적으로 구분한 것일 뿐, 반드시 서로 분리된 별개의 소자를 의미하는 것이 아니다. 그러나, 이는 예시적인 것으로서, 다른 실시예에서는 스캔부(10), 검출부(20), 의상 시뮬레이션부(30), 가상신체 시뮬레이션부(40) 및 표시부(50) 중 하나 이상이 다른 부와 물리적으로 구분되는 별개의 장치 또는 서버로 구현될 수도 있다. 예컨대, 각각의 부(10, 20, 30, 40, 50)는 분산 컴퓨팅 환경 하에서 통신 가능하게 연결된 컴포넌트들일 수도 있다.Further, each of the parts 10, 20, 30, 40, 50 constituting the simulation apparatus 1 according to the embodiments is not necessarily intended to refer to a separate component which is physically separated. 1, the scan unit 10, the detection unit 20, the costume simulation unit 30, the virtual body simulation unit 40, and the display unit 50 are shown as separate blocks separated from each other, May be integrated into one and the same computing device, some or all of which may be the same. In this case, each of the units 10, 20, 30, 40, and 50 is a functionally separated device according to an operation performed by the computing device in which they are implemented, and does not necessarily mean a separate device separate from each other. However, this is an exemplary one. In another embodiment, at least one of the scan section 10, the detection section 20, the costume simulation section 30, the virtual body simulation section 40, and the display section 50 may physically Or may be implemented as separate devices or servers that are separate. For example, each of the components 10, 20, 30, 40, 50 may be components communicatively coupled under a distributed computing environment.

일 실시예에서, 시뮬레이션 장치(1)는 매장 등에 설치되어 사용자의 가상 피팅을 유도하는 장치로 구현될 수 있다. 예를 들어, 시뮬레이션 장치(1)는 평상시에는 통상의 거울의 기능 또는 특정 영상을 디스플레이하는 기능을 하다가, 사용자(100)가 근접할 경우 또는 사용자(100)로부터 특정 입력이 있을 경우 사용자의 영상과 함께 의상을 표시하여 가상 피팅 서비스를 제공할 수 있다. In one embodiment, the simulation apparatus 1 may be implemented as a device installed in a store or the like to derive a virtual fitting of a user. For example, the simulation apparatus 1 normally functions as a normal mirror or displays a specific image. When the user 100 is close to the user or when there is a specific input from the user 100, It is possible to provide a virtual fitting service by displaying costumes together.

스캔부(10)는 시뮬레이션 장치(1)에 인접한 사용자(100)의 영상을 획득하기 위한 장치이다. 본 명세서에서 사용자의 영상은 사용자의 신체의 적어도 일부를 포함하여 사용자의 모습을 촬영한 동영상을 의미한다. 스캔부(10)에는 하나 이상의 카메라가 구비되어 사용자(100)를 촬영함으로써 영상을 획득할 수 있다. 또한, 스캔부(10)에는 적어도 하나의 깊이 카메라가 구비되어 깊이 정보를 포함한 영상을 획득할 수 있다. 이하의 본 명세서에서, 상기 사용자 영상의 획득 과정은 단순히 "스캔(scan)"으로도 지칭된다. The scanning unit 10 is an apparatus for acquiring an image of the user 100 adjacent to the simulation apparatus 1. [ In this specification, the user's image means a moving image including at least a part of the body of the user and photographing the user's appearance. One or more cameras may be provided in the scan unit 10 to acquire an image by photographing the user 100. Also, at least one depth camera is provided in the scan unit 10 to acquire an image including depth information. In the following description, the process of acquiring the user image is also referred to simply as "scan ".

검출부(20)는, 스캔된 사용자의 영상으로부터 사용자의 움직임 정보 및 사용자의 신체 정보를 추출하도록 구성된다. 예컨대, 사용자의 영상은 깊이 정보를 포함할 수 있으며, 검출부(20)는 깊이 정보가 포함된 영상으로부터 신체의 외곽선 정보, 신장, 팔 길이, 허리 둘레, 다리 길이, 어깨나 팔꿈치 또는 무릎과 같은 관절의 위치 등 사용자의 신체 각 부분의 정보를 추출할 수 있다. 또한, 검출부(20)는 이러한 신체 정보의 추출 과정을 영상 데이터의 각 시간 구간(예컨대, 각 프레임(frame))별로 수행함으로써 신체 정보의 시간에 따른 변화, 즉, 움직임 정보를 추출할 수 있다.The detection unit 20 is configured to extract user's motion information and user's body information from the scanned user's image. For example, the image of the user may include depth information, and the detection unit 20 may extract the depth information from the image including the depth information, such as body outline information, height, arm length, waist circumference, leg length, joints such as shoulder, elbow, The information of each part of the user's body such as the position of the user can be extracted. In addition, the detection unit 20 can extract the change of the body information with time, that is, the motion information, by performing the extraction process of the body information for each time interval of the image data (for example, each frame).

의상 시뮬레이션부(30)는, 사용자의 신체 정보와 움직임 정보 및 미리 저장된 의상 데이터를 이용하여, 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 생성할 수 있다. The costume simulation unit 30 can generate a three-dimensional model of the costume to be simulated according to the movement of the user, using the user's body information, motion information, and pre-stored costume data.

구체적으로, 의상 시뮬레이션부(30)는 사용자의 신체 각 부분의 정보(예컨대, 신체의 외곽선 정보, 신장, 팔 길이, 허리 둘레, 다리 길이, 어깨나 팔꿈치, 무릎과 같은 관절의 위치 등)를 이용하여 사용자를 나타내는 3차원 메쉬(mesh)를 생성할 수 있다. 예를 들면 의상 시뮬레이션부(30)는 미리 저장된 베이스(base) 메쉬를 사용자의 신체 정보에 따라 부분적으로 변형시킴으로써 사용자의 3차원 메쉬를 생성할 수도 있으나, 이에 한정되는 것은 아니다. 의상 데이터 또한 의상의 형태를 나타내는 메쉬일 수 있으며, 의상 시뮬레이션부(30)는 사용자의 3차원 메쉬의 각 정점(vertex)과 의상 데이터의 각 정점을 매핑(mapping)함으로써 의상의 3차원 모델을 생성할 수 있다. Specifically, the costume simulation unit 30 uses the information of each part of the user's body (for example, the outline information of the body, the elongation, the arm length, the waist circumference, the leg length, the position of the joint such as the shoulder or elbow, A three-dimensional mesh representing a user can be generated. For example, the garment simulation unit 30 may generate a 3D mesh of a user by partially modifying a previously stored base mesh according to the user's body information, but the present invention is not limited thereto. The garment data may also be a mesh representing the shape of the garment. The garment simulation unit 30 generates a three-dimensional model of the garment by mapping each vertex of the user's three-dimensional mesh and each vertex of the garment data can do.

또한, 의상 시뮬레이션부(30)는 의상의 3차원 모델을 사용자의 움직임 정보에 따라 시뮬레이션할 수 있다. 의상 시뮬레이션부(30)는 사용자의 3차원 모델을 검출부(20)에 의해 검출된 움직임 정보에 따라 움직이도록 하고, 이때 사용자의 3차원 모델에 정합된 의상 데이터의 움직임을 각 시간 구간별로 산출함으로써 의상의 3차원 모델의 움직임을 시뮬레이션할 수 있다. 의상의 물리 시뮬레이션을 위한 구체적인 연산 과정은 특정 방법에 한정되지 않으며, 이에 대해서는 본 발명의 기술 분야에서 잘 알려져 있으므로, 본 명세서에서는 발명의 요지를 명확하게 하기 위하여 물리 시뮬레이션 연산 과정에 대해서는 설명을 생략한다. Further, the garment simulation unit 30 can simulate the three-dimensional model of the garment according to the user's motion information. The costume simulation unit 30 causes the 3D model of the user to move according to the motion information detected by the detection unit 20 and calculates the movement of the costume data matched to the user's 3D model at each time interval, The motion of the three-dimensional model of FIG. The detailed calculation process for the physical simulation of the garment is not limited to a specific method, and since this is well known in the technical field of the present invention, the description of the physical simulation calculation process is omitted in order to clarify the gist of the present invention .

표시부(50)는 시뮬레이션 장치(1)의 디스플레이 수단에 해당되는 부분으로, 예컨대, 액정표시장치(Liquid Crystal Display) 또는 다른 임의의 형태의 디스플레이 소자를 포함할 수 있다. 표시부(50)는, 사용자의 움직임에 따라 시뮬레이션되는 의상의 3차원 모델을 사용자 영상 위에 오버레이(overlay) 형태로 표시함으로써, 사용자가 해당 의상을 가상 피팅한 효과를 얻을 수 있도록 한다. The display unit 50 may correspond to a display means of the simulation apparatus 1 and may include a liquid crystal display or any other type of display device. The display unit 50 displays the three-dimensional model of the costume simulated according to the movement of the user in an overlay form on the user image so that the user can obtain the virtual fitting effect of the costume.

그러나, 의상 시뮬레이션부(30) 및 표시부(50)만에 의하여 가상 피팅을 구현하게 되면, 종래와 마찬가지로 사용자가 움직임에 따라 신체가 구부려지거나 중첩되는 경우에도 사용자의 영상이 의상 이미지에 의하여 가려지게 되어 부자연스럽게 표현되는 문제가 있다. However, if the virtual fitting is implemented only by the garment simulation unit 30 and the display unit 50, the user's image is obscured by the garment image even when the user is bent or overlapped with the user's movement There is a problem expressed unnaturally.

도 2a 및 2b는 종래 기술에 따른 시뮬레이션 시 중첩된 신체가 표현되지 않는 것을 나타내는 이미지이다.2A and 2B are images showing that the superimposed body is not represented in the simulation according to the prior art.

도 2a 및 2b를 참조하면, 종래의 가상 피팅 서비스에서는 사용자의 영상(200) 위에 이를 덮는 오버레이 형태로 의상 이미지(250)를 표시하였다. 이 경우, 도 2a와 같이 사용자가 팔다리를 벌리고 서 있는 상태에서는 문제가 없으나, 도 2b와 같이 사용자가 팔다리를 움직여 신체가 중첩될 경우 문제가 발생된다. 도 2b에서는 사용자가 자신의 몸 앞에 손을 위치시킴에 따라 중첩 영역(A)이 발생되었다. 그러나 의상 이미지(250)가 사용자의 영상(200)을 덮도록 표시되고 있으므로, 몸 앞에 위치한 사용자의 손 영상은 의상 이미지(250)에 덮여 표시되지 않는다. 그 결과, 가상 피팅 경험이 부자연스러워지는 문제점이 있다. Referring to FIGS. 2A and 2B, a conventional virtual fitting service displays a garment image 250 in the form of an overlay covering the image 200 of a user. In this case, there is no problem in a state where the user is standing with his / her limbs open as shown in FIG. 2A, but a problem occurs when the user moves the limbs and overlaps the body as shown in FIG. 2B. In FIG. 2B, as the user places his / her hand in front of his / her body, the overlap area A is generated. However, since the garment image 250 is displayed so as to cover the user's image 200, the hand image of the user located in front of the body is not covered with the garment image 250. As a result, there is a problem that the virtual fitting experience becomes unnatural.

이를 해결하기 위하여, 본 발명의 실시예들에서는 가상신체 시뮬레이션부(40)가 사용자의 신체 일 부분에 대응되는 가상신체의 3차원 모델을 생성하도록 구성된다. 신체 일 부분은 바람직하게는 사용자의 움직임에 따라 신체의 다른 부분과 중첩될 수 있는 부분으로서, 예컨대 팔이나 다리 또는 그 일부일 수 있으나 이에 한정되는 것은 아니다. 가상신체 시뮬레이션부(40)는 가상신체의 3차원 모델을 생성하고, 이를 사용자의 신체 정보를 이용하여 사용자의 신체 일 부분에 정합시킨 후 사용자의 움직임 정보에 따라 시뮬레이션하도록 구성된다. 물리 시뮬레이션을 위한 구체적인 연산 과정은 의상의 3차원 모델에 대한 시뮬레이션과 동일할 수 있다. In order to solve this problem, in the embodiments of the present invention, the virtual body simulation unit 40 is configured to generate a three-dimensional model of a virtual body corresponding to a part of the user's body. The body part is preferably a part which can be overlapped with another part of the body according to the movement of the user, for example, but not limited to, an arm or a leg or a part thereof. The virtual body simulation unit 40 is configured to generate a three-dimensional model of the virtual body, to match the body part of the user with the user's body information, and then to simulate the three-dimensional model according to the user's motion information. The specific computation process for the physics simulation may be the same as the simulation for the three-dimensional model of the costume.

도 3a 및 3b는 일 실시예에 따른 시뮬레이션 시 가상신체가 표현된 것을 나타내는 이미지이다. 3A and 3B are images showing that a virtual body is represented in a simulation according to an embodiment.

도 3a 및 3b를 참조하면, 종래와 마찬가지로 의상 이미지(350)가 사용자의 영상(300) 위에 오버레이 형태로 표시되는 것에 더하여, 본 실시예에서는 가상신체 이미지(360)가 사용자의 영상(300) 위에 오버레이 형태로 표시된다. 의상 이미지(350)는 의상 시뮬레이션부에 의해 생성된 의상의 3차원 모델을 렌더링(rendering)한 결과물에 대응되며, 가상신체 이미지(360)는 가상신체 시뮬레이션부에 의해 생성된 가상신체의 3차원 모델을 렌더링한 결과물에 대응된다. 본 명세서의 도면들에서는 사용자 영상(300)의 넓이에 비해 의상 및 가상신체 이미지(350, 360)의 넓이가 더 큰 것으로 도시되었으나, 이는 설명의 편의를 위한 예시적인 것이며, 사용자 영상 및 그 위에 오버레이 형태로 표시되는 이미지들의 실제 외곽선을 나타내는 것이 아니라는 점이 용이하게 이해될 것이다. 3A and 3B, in addition to displaying the garment image 350 on the user's image 300 in an overlay form, the virtual body image 360 is displayed on the user's image 300 It is displayed in overlay form. The garment image 350 corresponds to a result of rendering a three-dimensional model of the garment produced by the garment simulation unit, and the virtual body image 360 corresponds to a three-dimensional model of the virtual body generated by the virtual body simulation unit Which corresponds to the rendering result. Although the figures herein are shown with a larger area of the garment and virtual body image 350, 360 compared to the width of the user image 300, this is illustrative only for convenience of illustration, But does not represent the actual outline of the images displayed in the form.

종래 기술에 의하면 의상 이미지로 덮이지 않은 사용자의 손은 사용자의 영상(300)이 그대로 노출되어야 하나, 본 실시예에 의하면 사용자의 손 부분에서도 사용자의 영상(300)을 덮도록 가상신체 이미지가 표시된다. 이로 인하여, 도 3b와 같이 사용자가 자신의 몸 앞에 손을 위치시켜 중첩 영역(B)이 형성된 경우, 종래 기술에 따르면 의상 이미지에 덮여 사용자의 손이 표시되지 않아 어색함을 유발하였으나, 본 실시예에 의하면 손을 나타내는 가상신체 이미지(360)가 표시되므로 자연스러운 가상 피팅 경험이 가능하게 된다. According to the related art, a user's image 300 is not covered with a garment image but a virtual body image is displayed so as to cover the user's image 300 in the user's hand according to the present embodiment. do. 3B, when the user places his / her hand in front of his or her body and the overlap area B is formed, according to the prior art, the hand of the user covered with the costume image is not displayed, causing awkwardness. A virtual body image 360 representing a hand is displayed, thereby enabling a natural virtual fitting experience.

가상신체 시뮬레이션부(40)에 의하여 가상신체를 표시할 부분은, 사용자 신체의 특정 영역 중 의상 이미지에 의하여 덮이지 않는 부분으로 정의될 수 있다. 예컨대, 사용자의 팔 또는 다리에서 의상에 의해 덮이지 않는 부분에 한정되도록 가상신체의 3차원 모델을 생성하고, 사용자 영상의 해당 부분에 가상신체의 3차원 모델을 정합시켜 표시할 수 있다. The portion for displaying the virtual body by the virtual body simulation unit 40 may be defined as a portion that is not covered by the garment image among specific regions of the user's body. For example, a three-dimensional model of a virtual body can be created so as to be confined to a part not covered by an outfit on the user's arm or leg, and a three-dimensional model of a virtual body can be matched and displayed on a corresponding part of the user's image.

도 4a 및 4b는 또 다른 실시예에 따른 시뮬레이션 시 가상신체가 표현된 것을 나타내는 이미지로서, 도 3a 및 3b에서는 긴팔 상의를 가상 피팅한 것을 표시한 반면 도 4a 및 4b는 반팔 상의를 가상 피팅한 것을 표시하는 점에서 차이가 있다. FIGS. 4A and 4B are images showing that a virtual body is represented in a simulation according to another embodiment. In FIGS. 3A and 3B, a virtual fitting of a long-sleeved image is shown, whereas FIGS. 4A and 4B show a virtual fitting of a short- There is a difference in the indication.

도 4a 및 4b에 도시되는 것과 같이, 반팔 상의를 가상 피팅하는 경우에는 사용자의 영상(400) 위에 사용자의 손뿐만 아니라 팔의 하완 및 상완 일부를 덮도록 가상신체 이미지(460)를 표시할 수 있다. 따라서, 의상 이미지(450)와 가상신체 이미지(460) 사이에 단절된 영역이 없게 되어 자연스러운 가상신체 표현을 얻을 수 있다.4A and 4B, the virtual body image 460 may be displayed on the user's image 400 so as to cover not only the user's hand but also the lower and upper arms of the arm, . Accordingly, there is no disconnected area between the garment image 450 and the virtual body image 460, so that a natural virtual body expression can be obtained.

다시 도 1을 참조하면, 이상의 동작을 위하여, 가상신체 시뮬레이션부(40)는 의상 시뮬레이션부(30)에 의해 시뮬레이션되는 의상의 3차원 모델을 고려하여 가상신체의 3차원 모델을 생성할 수 있다. 가상신체의 3차원 모델은 팔이나 다리 등 사전에 지정된 신체의 특정 영역에서 의상의 3차원 모델에 의하여 덮이지 않는 부분에 대응될 수 있다. 예를 들어, 의상의 3차원 모델이 긴팔 의상에 대한 것일 경우 가상신체의 3차원 모델은 소매 밖으로 드러나는 손목 일부 및 손 부분에 대응될 수 있으며, 의상의 3차원 모델이 반팔 의상에 대한 것일 경우 가상신체의 3차원 모델은 소매 밖으로 드러나는 상완 일부를 포함하여 하완 및 손에 이르는 부분에 대응될 수 있다. 팔이 아닌 다리 또는 그 외 상이한 신체 부분의 경우에도 유사한 방식으로 적용될 수 있다. Referring again to FIG. 1, for the above operation, the virtual body simulation unit 40 can generate a three-dimensional model of the virtual body considering the three-dimensional model of the costume simulated by the costume simulation unit 30. FIG. A three-dimensional model of a virtual body may correspond to a portion not covered by a three-dimensional model of a garment in a predetermined region of a predetermined body such as an arm or a leg. For example, if the three-dimensional model of the garment is for a long-sleeved garment, the three-dimensional model of the virtual body may correspond to a portion of the wrist and a portion of the hand exposed to the sleeve, The three-dimensional model of the body may correspond to the lower and upper parts including the upper arm part exposed to the sleeve. It can also be applied in a similar way for legs other than arms or for other body parts.

일 실시예에서, 가상신체 시뮬레이션부(40)는 사전에 지정된 신체 일 부분이 신체의 다른 부분 혹은 의상의 3차원 모델과 중첩되는지를 사용자 영상으로부터 검출하고, 이러한 중첩이 발생되는 경우에만 가상신체의 3차원 모델이 표시되도록 한다. 이를 위하여, 가상신체 시뮬레이션부(40)는 중첩 영역 검출부(410)를 포함할 수 있다. 본 명세서의 사용자 영상은 깊이 정보를 포함하고 있으므로, 중첩 영역 검출부(410)는 깊이 정보에 기초하여 신체의 중첩이 발생하였는지 여부를 결정할 수 있다. In one embodiment, the virtual body simulation unit 40 detects from the user image whether a previously designated body part is overlapping with another part of the body or a three-dimensional model of the body of the body, Let the three-dimensional model be displayed. For this purpose, the virtual body simulation unit 40 may include an overlap area detection unit 410. FIG. Since the user image in this specification includes depth information, the overlap area detecting unit 410 can determine whether or not overlap of the body has occurred based on the depth information.

일 실시예에서, 중첩 영역 검출부(410)는 신체 일 부분의 깊이 정보가 다른 부분 또는 의상의 3차원 모델의 깊이 정보와 비교하여 사전에 설정된 문턱값 이상으로 차이가 날 경우 중첩이 발생한 것으로 결정한다. 예를 들어, 사용자가 자신의 몸 앞에 손을 위치시켰다면, 신체 다른 부분에 비해 손 부분의 깊이가 감소된다. 중첩 영역 검출부(410)는 손 부분의 깊이 감소를 통하여 손 부분이 신체 다른 부분과 중첩되었음을 감지하고, 손에 대응되는 가상신체의 3차원 모델이 표시되도록 할 수 있다. 또는, 중첩 영역 검출부(410)는 깊이의 감소 및 증가를 불문하고 신체의 다른 부분 혹은 의상의 3차원 모델과의 깊이 비교를 통해서만 중첩 영역을 검출할 수도 있다. 이 경우 사용자가 자신의 몸 뒤에 손을 위치시키더라도 손이 중첩 영역으로 검출될 수 있으나, 의상의 3차원 모델 및 가상신체의 3차원 모델에 대한 물리 시뮬레이션 과정에서 의상보다 뒤에 위치하는 가상신체는 이미지로 표시되지 않으므로 자연스럽게 앞에 위치하는 의상만이 이미지로 표시된다.In one embodiment, the overlapping region detection unit 410 determines that overlapping occurs when the depth information of one part of the body is compared with the depth information of the other part or the three-dimensional model of the wristband, and the difference is greater than a preset threshold value . For example, if a user places his hand in front of his / her body, the depth of the hand portion is reduced compared to other parts of the body. The overlapping area detecting unit 410 can detect that the hand part overlaps with another part of the body through the reduction of the depth of the hand part and display the three-dimensional model of the virtual body corresponding to the hand. Alternatively, the overlapped area detecting unit 410 may detect the overlapping area only by comparing the depth with the three-dimensional model of the other part of the body or the wardrobe regardless of the decrease in depth and increase in depth. In this case, even if the user puts his / her hand behind his / her body, the hand can be detected as the overlap region. However, in the physics simulation process of the 3D model of the costume and the 3D model of the virtual body, So that only the costume that is naturally positioned in front is displayed as an image.

다른 일 실시예에서, 중첩 영역 검출부(410)는, 신체 일 부분의 깊이 정보가 다른 부분 또는 의상의 3차원 모델의 깊이 정보와 비교하여 문턱값 이상으로 차이가 나는 동시에, 신체 일 부분의 외곽선이 다른 부분 또는 의상의 3차원 모델의 외곽선과 교차하는 경우에 중첩이 발생한 것으로 결정한다. 검출부(20)에 의해 검출된 신체 정보는 신체의 외곽선 정보를 포함할 수 있으므로, 깊이 정보에 의해 전후 방향의 이동을 파악하는 것과 병행하여 외곽선의 교차를 통하여 중첩을 검출할 경우 보다 확실하게 신체의 중첩 발생 여부를 감지할 수 있다. In another embodiment, the overlapping area detecting unit 410 compares the depth information of one part of the body with the depth information of the other part or the three-dimensional model of the ward and differs by more than the threshold value. At the same time, It is determined that overlapping has occurred in the case of intersecting the outline of the three-dimensional model of the other part or the costume. Since the body information detected by the detection unit 20 can include the body contour information, it is possible to more reliably detect the movement of the body than the case where the overlap is detected through the intersection of the contour lines, It is possible to detect whether or not the overlap occurs.

전술한 실시예들에서, 가상신체 시뮬레이션부(40)는 중첩이 발생한 경우에만 가상신체의 3차원 모델이 표시되도록 한다. 이는 실시예들에 따라 중첩이 발생하지 않는 경우 가상신체의 3차원 모델 자체를 생성하지 않는 것을 의미할 수도 있으며, 또는 중첩 발생 여부와 무관하게 가상신체의 3차원 모델을 생성하되 렌더링 과정에서 이미지의 알파(alpha)값 등을 제어함으로써 중첩 영역이 아닌 부분은 최종 이미지로 표시되지 않게 하는 것을 의미할 수도 있다. In the above-described embodiments, the virtual body simulation unit 40 allows a three-dimensional model of the virtual body to be displayed only when overlap occurs. This may mean that the three-dimensional model of the virtual body itself is not created if there is no overlap according to the embodiments, or a three-dimensional model of the virtual body is generated irrespective of whether overlap occurs or not, Alpha value or the like to prevent non-overlapping areas from being displayed as a final image.

일 실시예에서, 가상신체 시뮬레이션부(40)는 의상 시뮬레이션부(30)와 마찬가지로 미리 저장된 베이스 메쉬를 사용자의 신체 정보에 따라 변형시키는 형태로 가상신체의 3차원 메쉬를 생성한다. 이를 통하여, 사용자의 실제 영상에 보다 자연스럽게 어울리는 가상신체의 3차원 모델을 얻을 수 있다. 여기서 베이스 메쉬는 의상의 3차원 모델 생성을 위한 베이스 메쉬와 동일하거나 또는 상이한 것일 수 있다. 예를 들어, 사용자의 손에 대응되는 가상신체 이미지를 표시하고자 하는 경우, 베이스 메쉬는 사람의 신체 전체가 아닌 손 부분에만 대응되는 메쉬일 수도 있다. In one embodiment, the virtual body simulation unit 40 generates a three-dimensional mesh of the virtual body in a manner that transforms the previously stored base mesh according to the user's body information, like the costume simulation unit 30. Through this, a three-dimensional model of a virtual body can be obtained that is more natural to the user's actual image. Wherein the base mesh may be the same as or different from the base mesh for generating a three-dimensional model of the garment. For example, when displaying a virtual body image corresponding to a user's hand, the base mesh may be a mesh corresponding to only a hand portion, not the entire body of a person.

또한 일 실시예에서, 가상신체 시뮬레이션부(40)는 사용자의 피부 색상에 따라 가상신체의 3차원 메쉬에 입혀질 색상을 조절한다. 이를 위하여, 가상신체 시뮬레이션부(40)는 색상 조절부(420)를 포함한다. 색상 조절부(420)는 사용자의 영상으로부터 사용자의 피부 색상 정보, 예컨대, 피부 톤이나 밝기 등을 추출할 수 있다. 다음으로, 색상 조절부(420)는 가상신체의 3차원 메쉬에 입혀질 색상을 사용자의 피부 색상 정보와 가능한 유사하게 조절하여 가상신체의 3차원 모델을 생성할 수 있다. 이를 통하여, 사용자의 실제 영상에 보다 자연스럽게 어울리는 가상신체 이미지를 얻을 수 있다.Also, in one embodiment, the virtual body simulation unit 40 adjusts the color to be applied to the three-dimensional mesh of the virtual body according to the skin color of the user. For this purpose, the virtual body simulation unit 40 includes a color adjusting unit 420. The color adjusting unit 420 may extract skin color information of a user, such as a skin tone or brightness, from the user's image. Next, the color adjusting unit 420 can generate a three-dimensional model of the virtual body by adjusting the color to be applied to the three-dimensional mesh of the virtual body to be similar as possible to the skin color information of the user. Through this, a virtual body image that matches the actual image of the user more naturally can be obtained.

도 5는, 일 실시예에 따른, 가상 피팅을 위한 시뮬레이션 방법의 순서도이다.5 is a flowchart of a simulation method for virtual fitting, according to one embodiment.

도 5를 참조하면, 먼저 가상 피팅을 수행할 사용자의 신체를 스캔할 수 있다(S1). 스캔 과정은 깊이 카메라를 이용하여 사용자 신체의 적어도 일부에 대한 깊이 정보를 포함하는 영상을 획득하는 과정을 포함한다. 다음으로, 스캔된 영상으로부터 사용자의 신체 정보 및 움직임 정보를 검출할 수 있다(S2). 신체 정보는 신체의 외곽선 정보, 신장, 팔 길이, 허리 둘레, 다리 길이, 어깨나 팔꿈치 또는 무릎과 같은 관절의 위치 등 사용자의 신체 각 부분의 정보를 포함하며, 움직임 정보는 이러한 신체 정보의 시간에 따른 변화 정보를 포함한다. Referring to FIG. 5, first, a body of a user performing virtual fitting may be scanned (S1). The scanning process includes acquiring an image including depth information of at least a part of the user's body using a depth camera. Next, the user's body information and motion information can be detected from the scanned image (S2). The body information includes information on each part of the user's body such as the body's outline information, height, arm length, waist circumference, leg length, joint position such as shoulder, elbow or knee, As shown in FIG.

신체 정보 및 움직임 정보가 얻어지면, 이를 이용하여 가상 피팅할 의상의 3차원 모델을 생성할 수 있다. 의상의 3차원 모델 생성을 위하여, 먼저 사용자의 신체 정보에 따라 베이스 메쉬를 조절하여 의상의 3차원 메쉬를 얻고(S31), 3차원 메쉬에 의상 데이터를 정합시켜 3차원 모델을 생성하며(S32), 이러한 의상의 3차원 모델에 대하여 사용자의 움직임에 따라 물리 시뮬레이션을 수행할 수 있다(S33). 그러나, 이는 단지 예시적인 것으로서, 사용자의 움직임에 따라 의상의 움직임을 시뮬레이션하기 위한 상이한 단계들이 적용될 수도 있다. When the body information and the motion information are obtained, a three-dimensional model of the clothes to be virtual-fitted can be generated using the information. In order to create a three-dimensional model of the garment, first, a three-dimensional mesh of the garment is obtained by adjusting the base mesh according to the user's body information (S31), and the three-dimensional model is created by matching the garment data on the three- , And the physical simulation can be performed according to the user's motion with respect to the three-dimensional model of the costume (S33). However, this is merely exemplary and different steps may be applied to simulate the movement of the garment according to the user's movements.

한편, 마찬가지로 신체 정보 및 움직임 정보를 이용하여 가상신체의 3차원 모델을 생성할 수 있다. 이를 위하여, 의상의 3차원 메쉬를 고려하여 신체의 특정 부분 중 의상에 의하여 덮이지 않는 부분에 대응되도록 가상신체의 3차원 메쉬를 생성할 수 있다(S41). 이때, 사용자의 신체 정보에 따라 베이스 메쉬를 조절함으로써 3차원 메쉬를 생성할 수도 있다(S42). 또한, 영상으로부터 검출된 사용자의 피부 색상에 따라 3차원 메쉬에 입혀질 색상을 조절할 수도 있다(S43). 다음으로, 3차원 메쉬에 색상이 입혀진 가상신체의 3차원 모델에 대하여 사용자의 움직임에 따라 물리 시뮬레이션을 수행할 수 있다(S44). 그러나, 이는 예시적인 것으로서, 가상신체의 3차원 모델을 생성하기 위한 과정은 반드시 전술한 단계 전부를 포함하는 것은 아니며, 예컨대 상기 단계 S42 및/또는 S43는 생략될 수도 있다. Similarly, a three-dimensional model of a virtual body can be generated using body information and motion information. For this purpose, a three-dimensional mesh of a virtual body can be created so as to correspond to a part of the body that is not covered by a garment, in consideration of the 3D mesh of the garment (S41). At this time, the 3D mesh may be generated by adjusting the base mesh according to the user's body information (S42). In addition, the color to be applied to the 3D mesh may be adjusted according to the skin color of the user detected from the image (S43). Next, a physics simulation can be performed according to the user's motion with respect to the three-dimensional model of the virtual body colored in the three-dimensional mesh (S44). However, this is an example, and the process for creating the three-dimensional model of the virtual body does not necessarily include all of the steps described above, for example, steps S42 and / or S43 may be omitted.

마지막으로, 스캔된 사용자의 영상 위에 의상의 3차원 모델 및 가상신체의 3차원 모델을 오버레이 형태로 표시할 수 있다(S5). 그 결과, 사용자의 영상 위에 의상을 표시하는 것뿐만 아니라 사용자의 신체 일부가 CG(Computer Graphics)로 표현되므로, 사용자가 팔이나 다리 등을 자유롭게 움직이더라도 시뮬레이션되는 의상과 실제 영상 사이의 부조화가 발생하지 않아 사용자가 자연스러운 가상 피팅을 경험하도록 할 수 있다.Finally, a three-dimensional model of the garment and a three-dimensional model of the virtual body can be displayed on the scanned user's image in an overlay form (S5). As a result, since not only the costume is displayed on the user's image but also a part of the user's body is represented by CG (Computer Graphics), even if the user freely moves the arm or leg, incongruity between the simulated costume and the actual image occurs Allowing the user to experience natural virtual fittings.

도 5에 도시된 각각의 단계들은 일정한 순서에 따라 기술되었으나, 이는 본 발명의 실시예들에 의하여 수행되는 기능을 용이하게 설명하기 위한 것일 뿐, 각각의 단계가 수행되어야 하는 시점이나 순서를 제한하도록 의도되지 않는다. 예를 들어, 사용자가 가상 피팅을 위한 시뮬레이션 장치 앞에 서면 도 5에 도시된 단계(S1 내지 S5)들이 실시간으로 수행됨으로써 가상의 거울을 보는 것과 같은 사용자 경험을 제공할 수 있다. Although each step shown in FIG. 5 has been described in a certain order, it is only intended to easily explain the functions performed by the embodiments of the present invention, It is not intended. For example, if a user stands in front of a simulation device for virtual fitting, steps S1 through S5 shown in FIG. 5 may be performed in real time to provide a user experience such as viewing a virtual mirror.

이상에서 설명한 실시예들에 따른 가상 피팅을 위한 시뮬레이션 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 가상 피팅을 위한 시뮬레이션 방법에 의한 동작을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.The simulation method for virtual fitting according to the embodiments described above can be at least partially implemented in a computer program and recorded in a computer-readable recording medium. In the recording medium according to the embodiments, a program for implementing the operation by the simulation method for virtual fitting is recorded, and the recording medium includes any type of recording device capable of storing data that can be read by a computer do. For example, computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, functional programs, codes, and code segments for implementing the present embodiment may be easily understood by those skilled in the art to which this embodiment belongs.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.While the invention has been shown and described with reference to certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. However, it should be understood that such modifications are within the technical scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims

A scanning unit including a depth camera and configured to acquire image data of a user including depth information;
A detecting unit configured to detect a user's body information and motion information from the image data of the user obtained by the scanning unit, the body information including depth information of a plurality of parts of the user's body;
A garment simulation unit configured to generate a three-dimensional model of a garment to be simulated corresponding to a user's movement using the body information and the motion information;
A virtual body simulation unit configured to generate a three-dimensional model of a virtual body, which is matched to a part of the user's body using the body information and the motion information, and is simulated corresponding to a movement of the user; And
And a display unit configured to display a three-dimensional model of the wardrobe and a three-dimensional model of the virtual body in an overlay form on the image of the user,
The virtual-
And an overlapping region detection unit configured to detect whether the one portion overlaps with another portion of the user's body or a three-dimensional model of the wristband based on depth information of the one portion of the user's body,
And to display the three-dimensional model of the virtual body only if the one portion overlaps with another portion of the user's body or a three-dimensional model of the garment.

delete

The method according to claim 1,
Wherein the overlapping area detecting unit determines that the overlapping area detecting unit determines that the overlapping area detecting unit determines that the overlapping area detecting unit determines that the overlapping area detecting unit does not detect the overlapping part of the user's body or the costume if the difference between the depth information of one part and the depth information of another part of the user's body, Further comprising determining to be superimposed on the three-dimensional model.

The method according to claim 1,
Wherein the overlapped area detecting unit detects that the difference between the depth information of the one part and the depth information of the other part of the user's body or the three-dimensional model of the clothes is not less than a preset threshold value, Dimensional model of the garment, the one portion being overlapped with another portion of the user's body or a three-dimensional model of the garment. &Lt; Desc / Clms Page number 13 >

The method according to claim 1,
Wherein the virtual body simulation unit further comprises a color adjusting unit configured to extract skin color information of the user from the image of the user and to adjust the color of the three-dimensional model of the virtual body based on the extracted skin color information, Simulation device for fitting.

delete

The method according to claim 1,
Wherein the costume simulation unit is further configured to generate a three-dimensional model of the garment by deforming a pre-stored base mesh based on the body information.

Acquiring image data of a user including depth information using a depth camera of a simulation apparatus;
Wherein the simulation apparatus detects the user's body information and motion information from the user's image data, the body information including depth information of a plurality of parts of the user's body, step;
Generating a three-dimensional model of a costume to be simulated corresponding to a movement of a user using the body information and the motion information;
Generating a three-dimensional model of a virtual body which is matched to a part of the user's body and is simulated corresponding to the movement of the user, using the body information and the motion information; And
Wherein the simulation apparatus includes a step of displaying a three-dimensional model of the wardrobe and a three-dimensional model of the virtual body overlaid on the image of the user,
Wherein the step of generating a three-dimensional model of the virtual body comprises:
Detecting whether the one portion overlaps with another portion of the user's body or a three-dimensional model of the garment based on depth information of the one portion of the user's body; And
And controlling the three-dimensional model of the virtual body such that the three-dimensional model of the virtual body is displayed only when the one part overlaps with another part of the user's body or a three-dimensional model of the wardrobe. Simulation method.

delete

9. The method of claim 8,
Wherein the step of detecting whether the one portion overlaps with another portion of the user's body or with the three-dimensional model of the garment comprises: comparing the depth information of the one portion with the depth information of the other portion of the user's body or the three- Is determined to be overlapped with another portion of the user's body or a three-dimensional model of the garment when the predetermined portion is above a predetermined threshold.

9. The method of claim 8,
Wherein the step of detecting whether the one part overlaps with another part of the user's body comprises the step of comparing the depth information of the one part with the depth information of the other part of the user's body or the three- And to determine that the one portion overlaps with another portion of the user's body or a three-dimensional model of the garment when the outline corresponding to the one portion intersects another portion of the user's body or the outline of the three- , Simulation method for virtual fitting.

9. The method of claim 8,
Wherein the step of generating a three-dimensional model of the virtual body comprises:
Extracting skin color information of the user from the image of the user; And
And adjusting the color of the three-dimensional model of the virtual body based on the extracted skin color information.

delete

9. The method of claim 8,
Wherein the step of creating a three-dimensional model of the garment comprises generating a three-dimensional model of the garment by modifying a pre-stored base mesh based on the body information.

A computer program stored in a computer-readable storage medium coupled to hardware for executing a simulation method for virtual fitting,
The simulation method for virtual fitting includes:
Acquiring image data of a user including depth information using a depth camera;
Detecting body information and motion information of a user from the image data of the user, the body information including depth information of a plurality of parts of the user's body;
Generating a three-dimensional model of a costume to be simulated corresponding to a user's movement using the body information and the motion information;
Generating a three-dimensional model of a virtual body that is matched to a part of the user's body using the body information and the motion information and is simulated corresponding to a movement of the user; And
Displaying the three-dimensional model of the garment and the three-dimensional model of the virtual body in an overlay form on the image of the user,
Wherein the step of generating a three-dimensional model of the virtual body comprises:
Detecting whether the one portion overlaps with another portion of the user's body or a three-dimensional model of the garment based on depth information of the one portion of the user's body; And
Controlling the three-dimensional model of the virtual body so that the three-dimensional model of the virtual body is displayed only when the one part overlaps with another part of the user's body or a three-dimensional model of the ward.