KR102256110B1 - Method for image compression and method for image restoration - Google Patents
Method for image compression and method for image restoration Download PDFInfo
- Publication number
- KR102256110B1 KR102256110B1 KR1020170065217A KR20170065217A KR102256110B1 KR 102256110 B1 KR102256110 B1 KR 102256110B1 KR 1020170065217 A KR1020170065217 A KR 1020170065217A KR 20170065217 A KR20170065217 A KR 20170065217A KR 102256110 B1 KR102256110 B1 KR 102256110B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- landmark
- image
- frames
- location information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 실시예에 따른 제1 프레임(Frame)과 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임의 랜드마크(Land Mark) 위치 정보에 기초하여 상기 제1 프레임과 상기 제2 프레임을 포함하는 영상을 복원하는 방법은, 상기 제1 프레임을 획득하는 단계; 상기 제1 프레임의 하나 이상의 랜드마크 를 설정하는 단계; 상기 제2 프레임의 랜드마크 위치 정보 를 획득하는 단계; 및 상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함할 수 있다. 이 때 상기 제2 프레임의 랜드마크 위치 정보는 상기 제1 프레임에서 설정된 랜드마크의 상기 제2 프레임 내에서의 위치 정보일 수 있다.Including the first frame and the second frame based on the location information of the first frame and the landmark (Land Mark) of one or more second frames following the first frame according to an embodiment of the present invention A method of restoring an image that includes: acquiring the first frame; Setting one or more landmarks of the first frame; Obtaining landmark location information of the second frame; And generating the second frame from the first frame based on the landmark location information of the second frame. In this case, the landmark location information of the second frame may be location information of the landmark set in the first frame within the second frame.
Description
본 발명의 실시예들은 영상 압축 및 복원 방법에 관한 것으로, 보다 상세하게는 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축하거나, 역으로 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로부터 영상을 복원하는 방법에 관한 것이다.Embodiments of the present invention relate to a method of compressing and reconstructing an image, and more particularly, compressing an image including a plurality of frames into landmark position information for some frames and other frames of the corresponding image, or vice versa. The present invention relates to a method of restoring an image from landmark location information for the remaining frames.
정보통신 기술의 비약적인 발전으로 인해 이동통신 단말, 개인용 컴퓨터 등과 같은 다양한 종류의 단말들은 다양한 기능을 수행할 수 있도록 구현되고 있다.Due to the rapid development of information and communication technology, various types of terminals such as mobile communication terminals and personal computers are being implemented to perform various functions.
이동통신 단말을 예로 들어 설명하면, 이동통신 단말은 기본적인 음성 통신 기능에서 더 나아가 최근에는 데이터 통신, 카메라를 이용한 사진이나 동영상 촬영, 음악 또는 동영상 파일 재생, 게임, 방송 시청 등 다양한 기능들을 이용할 수 있도록 구현되고 있다.Taking a mobile communication terminal as an example, the mobile communication terminal goes beyond basic voice communication functions and, in recent years, enables various functions such as data communication, taking pictures or videos using a camera, playing music or video files, playing games, and watching broadcasts. It is being implemented.
최근에는 이러한 단말을 통하여 영상을 촬영하여 실시간으로 송수신 할 수 있도록 다양한 기술들이 구현되고 있다. 그러나 이와 같은 영상의 송수신은 통신 리소스를 과도하게 점유할 뿐만 아니라, 빠르고 밴드위스가 높은 통신을 요하므로 열악한 통신 환경에서는 제대로 동작하지 않는 문제점이 있었다.Recently, various technologies have been implemented so that an image can be captured through such a terminal and transmitted and received in real time. However, the transmission and reception of such an image not only occupies excessive communication resources, but also requires fast and high-bandwidth communication, so there is a problem that it does not operate properly in a poor communication environment.
본 발명은 이러한 상술한 문제점을 해결하기 위한 것으로, 영상을 보다 효율적으로 압축하고 복원할 수 있는 방법을 제공하고자 한다. The present invention is to solve the above-described problem, and to provide a method for compressing and reconstructing an image more efficiently.
또한 본 발명은 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있는 방법을 제공하고자 한다. In addition, an object of the present invention is to provide a method for compressing an image including a plurality of frames into some frames of the corresponding image and landmark location information for the remaining frames.
또한 본 발명은 복수의 프레임을 포함하는 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보에 기초하여 영상을 복원할 수 있는 방법을 제공하고자 한다. 특히 본 발명은 영상을 복원함에 있어서, 템플릿 프레임을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수 있는 방법을 제공하고자 한다.In addition, an object of the present invention is to provide a method of reconstructing an image based on some frames of an image including a plurality of frames and landmark location information for the remaining frames. In particular, the present invention is to provide a method of reconstructing an image by synthesizing two images with reference to a template frame in restoring an image.
본 발명의 일 실시예에 따른 제1 프레임(Frame)과 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임의 랜드마크(Land Mark) 위치 정보에 기초하여 상기 제1 프레임과 상기 제2 프레임을 포함하는 영상을 복원하는 방법은, 상기 제1 프레임을 획득하는 단계; 상기 제1 프레임의 하나 이상의 랜드마크 를 설정하는 단계; 상기 제2 프레임의 랜드마크 위치 정보 를 획득하는 단계; 및 상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함할 수 있다. 이 때 상기 제2 프레임의 랜드마크 위치 정보는 상기 제1 프레임에서 설정된 랜드마크의 상기 제2 프레임 내에서의 위치 정보일 수 있다.Including the first frame and the second frame based on the location information of the first frame and the landmark (Land Mark) of one or more second frames following the first frame according to an embodiment of the present invention A method of restoring an image that includes: acquiring the first frame; Setting one or more landmarks of the first frame; Obtaining landmark location information of the second frame; And generating the second frame from the first frame based on the landmark location information of the second frame. In this case, the landmark location information of the second frame may be location information of the landmark set in the first frame within the second frame.
상기 위치 정보를 획득하는 단계는 상기 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고, 상기 이벤트 발생 여부를 판단하는 단계는 상기 제2 프레임에 후행하는 프레임이 제1 프레임인 경우 및 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단할 수 있다.The obtaining of the location information includes determining whether an event has occurred based on the landmark location information of the second frame and a predetermined time period, and the determining whether the event has occurred includes the second frame. The event may be determined to have occurred when any one of a case in which the frame following the first frame is a first frame or a case in which the predetermined time period has elapsed from the time when the first frame is acquired.
상기 제1 프레임을 획득하는 단계는 이벤트 발생시 마다 갱신된 제1 프레임을 반복하여 획득하고, 상기 랜드마크를 설정하는 단계는 상기 갱신된 제1 프레임의 하나 이상의 랜드마크를 설정하고, 상기 제2 프레임을 생성하는 단계는 상기 갱신된 제1 프레임으로부터 상기 제2 프레임을 생성할 수 있다.In the obtaining of the first frame, an updated first frame is repeatedly obtained whenever an event occurs, and the setting of the landmark is to set one or more landmarks of the updated first frame, and the second frame The step of generating may generate the second frame from the updated first frame.
본 발명의 일 실시예에 영상 복원하는 방법은, 상기 제1 프레임을 획득하는 단계 이전에 하나 이상의 템플릿(Template) 프레임의 하나 이상의 랜드마크를 설정하는 단계;를 더 포함하고, 상기 제2 프레임을 생성하는 단계는 상기 제1 프레임 및 상기 제2 프레임의 랜드마크 위치 정보 중 적어도 하나에 기초하여, 상기 템플릿 프레임으로부터 상기 제2 프레임을 생성할 수 있다.According to an embodiment of the present invention, the method of reconstructing an image further includes: setting one or more landmarks of one or more template frames before the step of acquiring the first frame, further comprising: In the generating step, the second frame may be generated from the template frame based on at least one of the landmark location information of the first frame and the second frame.
상기 템플릿 프레임의 하나 이상의 랜드마크를 설정하는 단계는 상기 템플릿 프레임에 대한 사용자의 입력에 기초하여 상기 템플릿 프레임의 하나 이상의 랜드마크를 설정할 수 있다.In the step of setting one or more landmarks of the template frame, one or more landmarks of the template frame may be set based on a user's input to the template frame.
상기 제2 프레임을 생성하는 단계는 상기 템플릿 프레임의 적어도 일부 영역을 상기 제1 프레임의 적어도 일부 영역으로 대체하여 상기 제2 프레임을 생성할 수 있다.In the generating of the second frame, the second frame may be generated by replacing at least a partial region of the template frame with at least a partial region of the first frame.
상기 제2 프레임을 생성하는 단계는 상기 제2 프레임의 랜드마크 위치 정보에 기초하여 상기 제1 프레임의 하나 이상의 랜드마크의 위치를 변경하여 상기 제2 프레임을 생성할 수 있다.In the generating of the second frame, the second frame may be generated by changing a position of one or more landmarks of the first frame based on the landmark position information of the second frame.
상기 하나 이상의 랜드마크는 상기 제1 프레임에 포함되는 사람 얼굴의 하나 이상의 특징점에 설정될 수 있다.The one or more landmarks may be set at one or more feature points of a human face included in the first frame.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 대화상대 단말로부터 사용자 단말로 전송되고, 상기 영상의 제1 프레임을 획득하는 단계는 상기 대화상대 단말로부터 상기 제1 프레임을 획득하고, 상기 랜드마크를 설정하는 단계는 상기 제1 프레임에 포함되는 상기 대화상대 얼굴의 하나 이상에 특징점에 상기 랜드마크를 설정하고, 상기 랜드마크 위치 정보를 획득하는 단계는 상기 대화상대 단말로부터 상기 제2 프레임의 랜드마크 위치 정보를 획득하고, 상기 제2 프레임을 생성하는 단계는 상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 대화상대 얼굴의 하나 이상의 특징점의 위치를 변경하여 상기 제2 프레임을 생성할 수 있다.The image including the first frame and the second frame is transmitted from the conversation partner terminal to the user terminal, and the step of obtaining the first frame of the image obtains the first frame from the conversation partner terminal, and the landmark In the step of setting, the landmark is set at a feature point on at least one of the conversation partner's face included in the first frame, and the step of obtaining the landmark location information comprises a land of the second frame from the conversation partner terminal. Acquiring mark position information and generating the second frame may include changing the position of one or more feature points of the conversation partner's face from the first frame based on the landmark position information of the second frame to obtain the second frame. You can create frames.
본 발명의 일 실시예에 따른 제1 프레임(Frame)과 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임을 포함하는 영상을 랜드마크 위치 정보에 기초하여 압축 하는 방법은, 상기 제1 프레임 및 상기 하나 이상의 제2 프레임 중 적어도 하나를 획득하는 단계; 상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계; 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 확인하는 단계; 및 상기 제1 프레임을 처리하고, 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, a method for compressing an image including a first frame and one or more second frames following the first frame based on landmark location information includes the first frame and the Obtaining at least one of one or more second frames; Setting one or more landmarks of the first frame; Checking the position of the landmark in the at least one second frame; And processing the first frame and sequentially processing the position of the landmark in the one or more second frames.
상기 랜드마크의 위치를 확인하는 단계는 상기 하나 이상의 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고, 상기 이벤트 발생 여부를 판단하는 단계는 인접하는 제2 프레임의 랜드마크 위치 간의 차이가 소정의 차이 이상인 경우, 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 및 외부 장치로부터 상기 제1 프레임의 송신 요청을 수신한 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단할 수 있다.The step of checking the location of the landmark includes determining whether an event has occurred based on the landmark location information of the one or more second frames and a predetermined time period, wherein the determining whether the event has occurred comprises: When the difference between the landmark positions of adjacent second frames is greater than or equal to a predetermined difference, when the predetermined time period has elapsed from the acquisition time of the first frame, and when a request to transmit the first frame is received from an external device In the case of any one of them, it may be determined that an event has occurred.
상기 획득하는 단계는 이벤트 발생시 마다 갱신된 제1 프레임을 반복하여 획득하고, 상기 랜드마크를 설정하는 단계는 상기 갱신된 제1 프레임의 하나 이상의 랜드마크를 설정하고, 상기 랜드마크의 위치를 확인하는 단계는 상기 하나 이상의 제2 프레임에서의 상기 갱신된 제1 프레임의 하나 이상의 랜드마크의 위치를 확인하고 상기 처리하는 단계는 상기 갱신된 제1 프레임을 처리하고, 상기 갱신된 제1 프레임에 후행하는 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리할 수 있다.The obtaining step is to repeatedly obtain the updated first frame every time an event occurs, and the step of setting the landmark is to set one or more landmarks of the updated first frame, and check the position of the landmark. The step of verifying the position of one or more landmarks of the updated first frame in the one or more second frames, and the processing step of processing the updated first frame, and following the updated first frame Positions of the landmarks in one or more second frames may be sequentially processed.
상기 처리하는 단계는 상기 제1 프레임 및 상기 랜드마크의 위치가 적용될 템플릿 프레임를 선택하는 사용자의 입력을 획득하는 단계;를 포함할 수 있다.The processing may include obtaining an input from a user of selecting a template frame to which the first frame and the position of the landmark are to be applied.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 사용자 단말로부터 대화상대 단말로 전송되고, 상기 획득하는 단계는 상기 사용자 단말의 영상 획득부로부터 상기 제1 프레임 및 상기 제2 프레임을 획득하고, 상기 처리하는 단계는 상기 제1 프레임 및 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 상기 대화상대 단말로 순차적으로 전송할 수 있다.The image including the first frame and the second frame is transmitted from the user terminal to the conversation partner terminal, and the obtaining step is to obtain the first frame and the second frame from the image acquisition unit of the user terminal, and the The processing may sequentially transmit the position of the landmark in the first frame and the one or more second frames to the conversation partner terminal.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 사용자 단말에 저장되고, 상기 획득하는 단계는 상기 사용자 단말의 영상 획득부로부터 상기 제1 프레임 및 상기 제2 프레임을 획득하고, 상기 처리하는 단계는 상기 제1 프레임 및 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 상기 사용자 단말의 저장부에 순차적으로 저장할 수 있다.The image including the first frame and the second frame is stored in a user terminal, and the obtaining step includes obtaining the first frame and the second frame from an image acquisition unit of the user terminal, and the processing step The position of the landmark in the first frame and the one or more second frames may be sequentially stored in a storage unit of the user terminal.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시예들에 따르면, 영상을 보다 효율적으로 압축하고 복원할 수 있는 방법을 구현할 수 있다.According to embodiments of the present invention, a method of compressing and reconstructing an image more efficiently can be implemented.
또한 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있는 방법을 구현할 수 있다. In addition, a method of compressing an image including a plurality of frames into some frames of the corresponding image and landmark location information for the remaining frames may be implemented.
또한 복수의 프레임을 포함하는 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보에 기초하여 영상을 복원할 수 있는 방법을 구현할 수 있다. 이 때 템플릿 프레임을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수 있는 방법도 구현할 수도 있다.In addition, a method of reconstructing an image may be implemented based on some frames of an image including a plurality of frames and landmark location information for the remaining frames. In this case, a method of reconstructing an image by synthesizing two images with reference to the template frame may also be implemented.
도 1은 본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 개략적으로 도시한다.
도 3 내지 도 4는 본 발명의 일 실시예에 따른 사용자 단말이 획득한 영상을 압축하는 방법을 설명하기 위한 도면이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 사용자 단말이 획득한 영상을 복원하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자 단말이 획득한 영상을 압축하는 구체적인 예시이다.
도 10 내지 도 11은 본 발명의 일 실시예에 따른 사용자 단말이 획득한 영상을 복원하는 구체적인 예시이다.
도 12 내지 도 13은 본 발명의 일 실시예에 따라 프레임에 효과 및 개체가 부가된 다양한 예시이다.1 schematically illustrates an image compression and decompression system according to an embodiment of the present invention.
2 schematically shows a configuration of a user terminal according to an embodiment of the present invention.
3 to 4 are diagrams for explaining a method of compressing an image acquired by a user terminal according to an embodiment of the present invention.
5 to 8 are diagrams for explaining a method of restoring an image acquired by a user terminal according to an embodiment of the present invention.
9 is a detailed example of compressing an image acquired by a user terminal according to an embodiment of the present invention.
10 to 11 are specific examples of restoring an image acquired by a user terminal according to an embodiment of the present invention.
12 to 13 are various examples in which effects and objects are added to a frame according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. Since the present invention can apply various transformations and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when describing with reference to the drawings, the same or corresponding components are assigned the same reference numerals, and redundant descriptions thereof will be omitted. .
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the following embodiments, terms such as first and second are used for the purpose of distinguishing one constituent element from other constituent elements rather than a limiting meaning. In the following examples, expressions in the singular include plural expressions unless the context clearly indicates otherwise. In the following embodiments, terms such as include or have means that the features or elements described in the specification are present, and do not preclude the possibility of adding one or more other features or components in advance. In the drawings, components may be exaggerated or reduced in size for convenience of description. For example, the size and shape of each component shown in the drawings are arbitrarily shown for convenience of description, and thus the present invention is not necessarily limited to what is shown.
도 1은 본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템을 개략적으로 도시한다.1 schematically illustrates an image compression and decompression system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템은 사용자 단말(100, 200), 서버(300) 및 이들을 연결하는 통신망(400)을 포함할 수 있다.Referring to FIG. 1, an image compression and decompression system according to an embodiment of the present invention may include
본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템의 사용자 단말(100, 200)은 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있다.The
본 발명의 일 실시예에 따른 영상 압축 및 복원 시스템의 사용자 단말(100, 200)은 복수의 프레임을 포함하는 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보에 기초하여 영상을 복원할 수도 있다.The
또한 본 발명의 다른 실시예에 따른 영상 압축 및 복원 시스템의 사용자 단말(100, 200)은 전술한 바와 같이 영상을 복원함에 있어서, 템플릿 프레임을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수 있다. 보다 상세한 설명은 후술한다.In addition, the
본 발명에서 '영상(映像)'은 하나 이상의 프레임(Frame)을 포함하는 멀티미디어(Multi Media) 개체를 의미할 수 있다. 이 때 프레임은 영상을 구성하는 개별적인 장면(Scene)을 의미할 수 있다. In the present invention,'image' may mean a multimedia object including one or more frames. In this case, the frame may mean an individual scene constituting an image.
영상은 제1 프레임과 제2 프레임으로 구성될 수 있다. 이 때 제1 프레임과 제2 프레임은 각각의 프레임을 순서에 따라 명명한 것으로, 제1 프레임과 제2 프레임은 성질이 상이하거나 종류가 상이한 프레임을 의미하는 것은 아니다. The image may be composed of a first frame and a second frame. In this case, the first frame and the second frame are named each frame in order, and the first frame and the second frame do not mean frames having different properties or different types.
영상은 복수개의 영상 구간으로 구성될 수 있다. 이 때 각각의 영상 구간은 최초 프레임인 제1 프레임과 제1 프레임에 후행하는 하나 이상의 제2 프레임을 포함할 수 있다. 바꾸어 말하면 영상 전체는 복수의 구간 각각 포함되는 제1 프레임과, 복수의 구간 각각에 포함되는 하나 이상의 제2 프레임을 포함할 수 있다. 이 때 영상은 이벤트 발생 여부에 따라 수 개의 구간으로 구분될 수 있으며, 이벤트에 대한 상세한 설명은 후술한다.The image may be composed of a plurality of image sections. In this case, each image section may include a first frame, which is an initial frame, and one or more second frames following the first frame. In other words, the entire image may include a first frame included in each of the plurality of sections, and one or more second frames included in each of the plurality of sections. In this case, the image may be divided into several sections depending on whether an event occurs, and a detailed description of the event will be described later.
한편 영상은 전술한 프레임 외에, 각 프레임에 대응되는 음향을 더 포함할 수도 있다.Meanwhile, the image may further include sound corresponding to each frame in addition to the above-described frames.
본 발명에서 어떤 프레임의 '랜드마크(Land Mark)'는 해당 프레임을 식별하는 목표물로서, 적당한 것을 의미할 수 있다. 가령 어떤 영상의 각 프레임이 사람의 얼굴을 포함하는 경우, 랜드마크는 사람 얼굴의 각 부분을 의미할 수 있다. 이 때 각 부분은 가령 '왼쪽 눈썹의 시작 부분', '입술의 오른쪽 끝 부분'과 같이 구체적인 부분을 의미할 수 있다. In the present invention, a'land mark' of a frame is a target for identifying the frame, and may mean a suitable one. For example, when each frame of an image includes a human face, the landmark may mean each part of the human face. In this case, each part may mean a specific part such as'the beginning of the left eyebrow' and'the right end of the lips'.
이러한 랜드마크의 설정 규칙은 미리 정해질 수 있다. 가령 전술한 예시에서와 같이 각 프레임이 사람의 얼굴을 포함하는 경우, 랜드마크의 설정 규칙은 사람의 얼굴상의 66개 지점에 대해 설정하는 것으로 미리 정해질 수 있다. 물론 어떤 프레임에 대한 랜드마크의 설정에 앞서, 해당 프레임 내에서 랜드마크 설정 대상 객체의 인식이 선행될 수도 있다. 다만 이는 예시적인 것으로, 본 발명의 사상이 이에 한정되는 것은 아니다.The rules for setting these landmarks may be determined in advance. For example, as in the above-described example, when each frame includes a face of a person, a rule for setting a landmark may be predetermined as setting for 66 points on the face of the person. Of course, prior to the setting of a landmark for a frame, recognition of a target object for setting a landmark within the corresponding frame may precede. However, this is exemplary, and the spirit of the present invention is not limited thereto.
본 발명의 일 실시예에서 서버(300)는 사용자 단말(100, 200)간의 통신을 중계하는 장치를 의미할 수 있다. 이 때 서버(300)는 사용자 단말(100, 200)간의 영상의 송수신을 중계할 수 있다. In an embodiment of the present invention, the
한편 본 발명의 다른 실시예에서, 서버(300)는 사용자 단말(100, 200)간의 통신을 중계함에 있어서, 영상을 압축하거나 또는 복원할 수 있다. 가령 서버(300)는 상대적으로 좋은 네트워크 환경에 있는 사용자 단말(100, 200)로부터 영상을 수신하고, 상대적으로 나쁜 네트워크 환경에 있는 사용자 단말(100, 200)에 해당 영상을 송신하기 위해 후술하는 방식에 따라 영상을 압축하여 전송할 수 있다. 물론 서버(300)는 이와 반대로 상대적으로 나쁜 네트워크 환경에 있는 사용자 단말(100, 200)로부터 영상을 수신하고, 이를 복원하여 상대적으로 좋은 네트워크 환경에 있는 사용자 단말(100, 200)로 전송할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.Meanwhile, in another embodiment of the present invention, the
본 발명에서 통신망(400)은 서버(300) 및 사용자 단말(100, 200)을 연결하는 역할을 수행한다. 예를 들어, 통신망(400)은 첫 번째 사용자 단말(100)이 두 번째 사용자 단말(200)에 패킷 데이터를 송수신 할 수 있도록 접속 경로를 제공한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.In the present invention, the
본 발명에서 사용자 단말(100, 200)은 전술한 영상을 상호간에 및/또는 서버(300)와 송수신 하거나, 영상을 저장할 수 있는 다양한 장치를 의미할 수 있다. 이 때 단말은 휴대용 단말(101, 201)일 수도 있고, 퍼스널 컴퓨터(102, 202)일 수도 있다. 물론 사용자 단말(100, 200)는 도 1에 도시된 예시 외에 셋탑박스(Set-top box), TV 를 비롯한 다양한 엔터테인먼트(Entertainment) 장치에 해당할 수 있다. 따라서 본 발명에 따른 영상 압축 및 복원 방법은 영상 통화를 비롯하여, 영상을 송수신 하거나 영상을 다루는 다양한 분야에 사용될 수 있다. 가령 본 발명은 영상의 방송 분야에 사용될 수도 있고, 영상을 압축하여 저장하거나 압축된 영상으로부터 원 영상을 복원하는 분야에도 사용될 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In the present invention, the
본 발명에서 사용자 단말(100, 200)은 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있다. 또한 사용자 단말(100, 200)은 복수의 프레임을 포함하는 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보에 기초하여 영상을 복원할 수 있다. 또한 사용자 단말(100, 200)은 영상을 복원함에 있어서, 템플릿 프레임을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수 있다. In the present invention, the
도 2는 본 발명의 일 실시예에 따른 사용자 단말(100)의 구성을 개략적으로 도시한다.2 schematically shows the configuration of a
도 2를 참조하면, 본 실시예에 따른 사용자 단말(100)은 디스플레이부(110), 제어부(120), 통신부(130), 영상 획득부(140) 및 메모리(150)를 포함할 수 있다. 다만 이와 같은 구성은 예시적인 것으로, 사용자 단말(100)은 일부 구성을 생략하여 구성될 수도 있고, 전술한 구성 외에 다른 구성을 더 포함하여 구성될 수도 있다.Referring to FIG. 2, the
일 실시예에 따른 디스플레이부(110)는 후술하는 제어부(120)가 생성한 전기 신호에 따라 도형, 문자 또는 이들의 조합을 표시하는 표시장치를 의미할 수 있다. 예컨대, 디스플레이부(110)는 CRT(Cathode Ray Tube), LCD(Liquid Crystal Display), PDP (Plasma Display Panel) 및 OLED(Organic Light Emitting Diode) 중 어느 하나로 구성될 수 있으나, 본 발명의 사상은 이에 제한되지 않는다.The
한편 디스플레이부(110)는 사용자의 입력을 획득할 수 있는 입력 수단을 더 구비할 수 있다. 예컨대, 디스플레이부(110)는 사용자의 터치(Touch) 좌표를 판독하여, 전기적 신호로 변환하는 디지타이저(Digitizer)를 더 구비하여, 표시장치에 표시되는 화면에 따른 사용자의 입력을 획득할 수 있다. 따라서 디스플레이부(110)는 터치 패널(Touch Pannel)을 구비한 터치 스크린(Touch Screen)일 수 있다. Meanwhile, the
물론 전술한 입력 수단은 디스플레이부(110)와 별도로 구비될 수 있다. 예컨대, 입력 수단은 디스플레이부(110)와 별도로 구비되는 키보드, 마우스, 트랙볼, 마이크 및 버튼 중 어느 하나일 수 있다.Of course, the aforementioned input means may be provided separately from the
일 실시예에 따른 제어부(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The
일 실시예에 따른 통신부(130)는 사용자 단말(100)이 다른 사용자 단말(200) 및 서버(300)와 같은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. The
일 실시예에 따른 영상 획득부(140)는 주변환경을 촬영할 수 있는 수단으로, 렌즈 및 이미지 센서를 포함할 수 있다. 이 때 렌즈는 1매 이상의 렌즈로 구성되는 렌즈군을 의미할 수도 있다. 이미지 센서는 렌즈에 의하여 입력된 영상을 전기적 신호로 변환할 수 있다. 예컨대 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS (Complementary Metal Oxide Semiconductor)와 같이 광학 신호를 전기적 신호(즉 영상 및/또는 프레임)로 변환할 수 있는 반도체 소자일 수 있다. The
일 실시예에 따른 메모리(150)는 사용자 단말(100)이 처리하는 데이터, 명령어(instructions), 프로그램, 프로그램 코드, 또는 이들의 결합 등을 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리(150)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The
한편 이와 같은 사용자 단말(100)에 대한 설명은 사용자 단말(200)에도 동일하게 적용될 수 있으므로, 사용자 단말(200)에 대한 상세한 설명은 생략한다. 바꾸어 말하면, 사용자 단말(100)과 사용자 단말(200)은 동일하거나 유사한 구성을 포함하는 장치로, 단순히 본 발명의 각 실시예에서 각 단말의 역할에 따라 상이하게 명명한 것에 불과할 수 있다.Meanwhile, since the description of the
이하에서는 사용자 단말(100, 200)이 영상을 압축하는 방법을 먼저 설명하고, 그 뒤에 사용자 단말(100, 200)이 압축된 영상을 복원하는 방법을 설명한다.Hereinafter, a method of compressing an image by the
< 영상의 압축 방법 ><Video compression method>
이하에서는 도 3 내지 도 4와 도 9를 함께 참조하여, 본 발명의 일 실시예에 따른 사용자 단말(100, 200)이 획득한 영상을 압축하는 방법을 설명한다.Hereinafter, a method of compressing an image acquired by the
본 발명의 일 실시예에 따른 제어부(120)는 전술한 바와 같이 복수의 프레임을 포함하는 영상을 해당 영상의 일부 프레임과 나머지 프레임에 대한 랜드마크 위치 정보로 압축할 수 있다.As described above, the
이를 위하여 본 발명의 일 실시예에 따른 제어부(120)는 압축하고자 하는 영상(910)의 제1 프레임(91)과 제1 프레임(91)에 후행하는 하나 이상의 제2 프레임(92)을 획득할 수 있다.(S31) 가령 압축하고자 하는 영상(910)이 영상 획득부(140)에 의해 실시간으로 획득되는 영상인 경우, 제어부(120)는 전술한 제1 프레임(91)과 제2 프레임(92)을 영상 획득부(140)로부터 순차적으로 및/또는 반복적으로 획득할 수 있다. 이 때 제어부(120)는 이벤트 발생 여부에 기초하여 제1 프레임(91) 또는 제2 프레임(92) 중 어느 하나를 획득할 수 있다. 이에 대한 상세한 설명은 단계 S33에서 후술한다. To this end, the
한편 압축하고자 하는 영상이 메모리(150)에 저장된 영상인 경우, 제어부(120)는 전술한 제1 프레임(91)과 제2 프레임(92)을 메모리(150)로부터 동시에 또는 순차적으로 획득할 수 있다. 물론 이러한 경우에도 제어부(120)는 제1 프레임(91)과 제2 프레임(92)을 메모리(150)로부터 반복적으로 획득할 수 있다.On the other hand, when the image to be compressed is an image stored in the
가령 본 발명에 따른 영상 압축 방법이 영상통화에 사용되는 경우를 가정해 보자. 이러한 경우 제어부(120)는 실시간으로 영상 획득부(140)로부터 복수의 프레임을 포함하는 영상을 획득할 수 있다. 이 때 제어부(120)가 영상 획득부(140)로부터 획득하는 영상의 가장 첫 프레임은 제1 프레임(91)이고, 제1 프레임(91) 이후에 획득하는 프레임들은 제2 프레임(92)일 수 있다. 제1 프레임(91)은 영상 통화 개시 후 사용자의 첫 이미지(가령 얼굴 이미지)를 포함할 수 있고, 제2 프레임(92)들은 시간의 흐름에 따라 변화하는 사용자의 이미지(가령 얼굴 이미지)들을 포함할 수 있다.For example, it is assumed that the video compression method according to the present invention is used for a video call. In this case, the
이어서 본 발명의 일 실시예에 따른 제어부(120)는 단계 S31에서 획득한 제1 프레임(91)의 하나 이상의 랜드마크를 설정할 수 있다.(S32) 이 때 어떤 프레임에 대해 '랜드마크를 설정'하는 것은 해당 프레임 내에서 랜드마크 대상이 되는 객체를 검색하여 인식하는 것을 의미할 수 있다. 가령 제1 프레임(91)이 사람의 얼굴을 포함하는 경우을 가정해 보자. 이러한 경우 제1 프레임(91)의 하나 이상의 랜드마크를 설정하는 것은 제1 프레임(91)에서 사람 얼굴의 각 부분을 검색하고 인식하는 것을 의미할 수 있다. (도 9의 920 참조) 제1 프레임(91)에서 사람 얼굴의 각 부분을 검색하고 인식하는 것을 보다 상세히 설명하면, 제어부(120)는 제1 프레임(91)에서 얼굴의 윤곽선, 머리의 윤곽선, 눈의 윤곽선, 코의 윤곽선, 입의 윤곽선, 귀의 윤곽선 기타 점의 윤곽선을 검색할 수 있다. Subsequently, the
물론 제어부(120)는 각 랜드마크를 윤곽선과 같은 '선'이 아닌 '면'으로써 인식할 수도 있다. 가령 제어부(120)는 얼굴의 영역, 머리의 영역, 눈의 영역, 코의 영역, 입의 영역, 귀의 영역 기타 점의 영역 그 자체를 검색할 수 있다.Of course, the
이어서 제어부(120)는 검색된 각 랜드마크를 하나 이상의 포인트(Point) 및/또는 픽셀과 대응시킬 수 있다. 가령 랜드마크가 얼굴의 윤곽선(또는 얼굴의 영역)인 제어부(120)는 얼굴의 라인을 얼굴의 라인에 따라 배치된 수 개의 점과 대응시킬 수 있다. 이와 유사하게 제어부(120)는 눈의 윤곽선을 눈의 윤곽선에 따라 배치된 수 개의 점과 대응시킬 수도 있다.Subsequently, the
한편 프레임의 어떤 부분을 랜드마크로 설정할 지에 관한 규칙, 즉 랜드마크 설정 규칙은 미리 정해질 수 있다. 가령 전술한 예시에서와 같이 각 프레임이 사람의 얼굴을 포함하는 경우, 랜드마크의 설정 규칙은 사람의 얼굴상의 66개 지점에 대해 설정하는 것으로 미리 정해질 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니며, 본 발명에 따른 영상 압축 및 복원 시스템이 사용되는 목적 및/또는 환경에 따라 랜드마크 설정 규칙은 다양하게 설정될 수 있다.Meanwhile, a rule regarding which part of the frame is to be set as a landmark, that is, a landmark setting rule may be determined in advance. For example, as in the above-described example, when each frame includes a face of a person, a rule for setting a landmark may be predetermined as setting for 66 points on the face of the person. However, this is illustrative and the spirit of the present invention is not limited thereto, and the landmark setting rules may be variously set according to the purpose and/or environment in which the image compression and reconstruction system according to the present invention is used.
제어부(120)가 제1 프레임(91)에서 설정한 하나 이상의 랜드마크는 제2 프레임(92)에서의 위치 확인의 대상이 될 수 있다.One or more landmarks set by the
본 발명의 일 실시예에 따른 제어부(120)는 하나 이상의 제2 프레임(92)에서의 랜드마크의 위치를 확인할 수 있다.(S33) 이 때 랜드마크는 단계 S32에서 설정된 것일 수 있다. 바꾸어 말하면 제어부(120)는 제1 프레임(91)에서 설정된 랜드마크들의 제2 프레임(92) 내에서의 위치를 확인할 수 있다.The
보다 상세히, 본 발명의 일 실시예에 따른 제어부(120)는 하나 이상의 제2 프레임(92)에서, 각각의 랜드마크의 위치를 확인할 수 있다.(S331)(도 9의 930 참조)In more detail, the
가령 전술한 예시에서와 같이 랜드마크의 설정 규칙이 사람의 얼굴상의 66개 지점에 대해 설정하는 것이라고 가정해 보자. 또한 66개의 지점 중 어느 하나의 지점이 '왼쪽 눈썹의 시작 부분'이라고 가정해 보자. For example, as in the above example, assume that the rule for setting a landmark is to set 66 points on a person's face. Also, suppose that any one of the 66 points is'the beginning of the left eyebrow'.
이러한 경우 제어부(120)는 제2 프레임(92)에서의 '왼쪽 눈썹의 시작 부분'의 위치를 검색하여 확인할 수 있다. 바꾸어 말하면, 제어부(120)는 제2 프레임(92)에서의 '왼쪽 눈썹의 시작 부분'의 위치 정보를 생성할 수 있다. 이 때 생성된 제2 프레임(92)의 랜드마크 위치 정보는 가령 '왼쪽 눈썹의 시작 부분'의 제2 프레임(92) 내에서의 좌표를 포함할 수 있다.In this case, the
한편 제어부(120)는 단계 S331에서 확인된 하나 이상의 제2 프레임(92)의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단할 수 있다.(S332)Meanwhile, the
가령 제어부(120)는 인접하는 제2 프레임(92)의 랜드마크 위치 정보 간의 차이가 소정의 차이 이상인 경우에 이벤트가 발생한 것으로 판단할 수 있다. 이 때 소정의 차이는 랜드마크 설정 대상 객체의 사라짐, 대상 객체의 증가 및 대상 객체의 가려짐 등에 의해 발생할 수 있다.For example, the
또한 제어부(120)는 제1 프레임(91)의 획득 시점으로부터 소정의 시간 주기가 경과된 경우에 이벤트가 발생한 것으로 판단할 수 있다. 가령 제어부(120)는 제1 프레임(91)의 획득 시점으로부터 10초가 경과된 경우 이벤트가 발생한 것으로 판단할 수 있다.In addition, the
또한 제어부(120)는 외부 장치로부터 제1 프레임(91)의 송신 요청을 수신한 경우 이벤트가 발생한 것으로 판단할 수도 있다.In addition, the
제어부(120)는 이벤트가 발생한 것으로 판단한 경우, 단계 S31에 따라 갱신된 제1 프레임(91)을 획득할 수 있다. 한편 제어부(120)는 이벤트가 발생하지 않은 것으로 판단한 경우, 후행하는 단계 S34에 따른 동작을 수행할 수 있다.When it is determined that the event has occurred, the
본 발명의 일 실시예에 따른 제어부(120)는 단계 S31에서 획득한 제1 프레임(91)을 처리하고, 이어서 단계 S33에서 확인된 2 프레임에서의 랜드마크의 위치(93)를 순차적으로 처리할 수 있다.(S34)The
본 발명에서 프레임 및/또는 랜드마크의 위치를 '처리'하는 것은 프레임 및/또는 랜드마크의 위치를 통신부(130)를 통하여 다른 사용자 단말에 전송하거나, 메모리(150)에 저장하는 것을 의미할 수 있다.In the present invention,'processing' the position of the frame and/or landmark may mean transmitting the position of the frame and/or landmark to another user terminal through the
따라서 제어부(120)는 제1 프레임(91)을 다른 장치에 전송하거나, 메모리(150)에 저장하고, 이어서 제2 프레임(92)에서의 랜드마크의 위치(93)를 다른 장치에 전송하거나 메모리(150)에 저장할 수 있다. 이 때 본 발명의 일 실시예에 따른 제어부(120)는 제1 프레임(91) 및 랜드마크의 위치(93)의 복원에 적용될 템플릿 프레임의 선택에 관한 입력을 획득할 수 있다. 템플릿 프레임에 대한 상세한 설명은 영상 복원 방법에서 설명한다.Accordingly, the
한편 제어부(120)는 단계 S33에서 이벤트가 발생하지 않은 것으로 판단한 경우, 단계 S34에 따른 동작의 수행 후에 다시 단계 S31에 따른 동작을 수행할 수 있다. 바꾸어 말하면, 제어부(120)는 이벤트 발생에 따라 제1 프레임(91)이 갱신되기 전 까지는 하나 이상의 제2 프레임(92)에 대해 단계 S31 내지 단계 S34에 따른 동작을 반복하여 수행할 수 있다.Meanwhile, when it is determined that the event has not occurred in step S33, the
이로써 본 발명은 최소화된 리소스(Resource) 및/또는 저장공간의 사용으로 영상을 전송하거나 저장할 수 있으며, 나아가 사용자의 선택에 따라 영상에 템플릿 프레임을 적용할 수 있다.Accordingly, the present invention may transmit or store an image by using a minimized resource and/or a storage space, and further, a template frame may be applied to the image according to a user's selection.
< 영상의 복원 방법 ><How to restore images>
이하에서는 도 5 내지 도 8 및 도 10 내지 도 13을 함께 참조하여, 본 발명의 일 실시예에 따른 사용자 단말(100, 200)이 획득한 영상을 복원하는 방법을 설명한다.Hereinafter, a method of restoring an image acquired by the
본 발명의 일 실시예에 따른 제어부(120)는 전술한 바와 같이 복수의 프레임을 포함하는 영상(1010)의 일부 프레임(101)과 나머지 프레임(102)에 대한 랜드마크 위치 정보(103)에 기초하여 영상을 복원할 수 있다. 또한 영상을 복원함에 있어서, 템플릿 프레임(1110)을 참조하여 두 개의 영상을 합성하여 영상을 복원할 수도 있다. 이하에서는 설명의 편의를 위하여 복수의 프레임을 포함하는 영상(1010)이 일부 프레임(101)과 나머지 프레임(102)에 대한 랜드마크 위치 정보(103)를 포함하는 영상(1020)으로 압축되었음을 전제로 설명한다.As described above, the
본 발명의 일 실시예에 따른 제어부(120)는 복원하고자 하는 영상(1020)의 제1 프레임(101)을 획득할 수 있다.(S51) 가령 복원하고자 하는 영상이 통신부(130)에 의해 다른 장치로부터 실시간으로 획득되는 영상인 경우, 제어부(120)는 전술한 제1 프레임(101)과 후술하는 제2 프레임의 랜드마크 위치 정보(103)를 통신부(130)로부터 순차적 및/또는 반복적으로 획득할 수 있다. 한편 복원하고자 하는 영상이 메모리(150)에 저장된 영상인 경우, 제어부(120)는 전술한 제1 프레임(101)을 메모리(150)로부터 획득할 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.The
이어서 본 발명의 일 실시예에 따른 제어부(120)는 단계 S51에서 획득한 제1 프레임(101)의 하나 이상의 랜드마크를 설정할 수 있다.(S52) 제1 프레임(101)에의 하나 이상의 랜드마크를 설정하는 것은 영상 압축 방법의 단계 S32에서 상세하게 설명하였으므로, 이에 대한 상세한 설명은 생략한다.Subsequently, the
한편 영상을 압축하는 과정에서 제1 프레임(101)의 랜드마크를 설정하는 방법과, 영상을 복원하는 과정에서 제1 프레임(101)의 랜드마크를 설정하는 방법은 미리 약속되거나 또는 공유되는 방법일 수 있다. Meanwhile, the method of setting the landmark of the
따라서 제1 프레임(101)에서 랜드마크를 설정하는 방법은 소스코드 및/또는 프로그램의 형태로 메모리(150)에 미리 저장되어 있거나, 통신부(130)를 통하여 다른 장치로부터 수신할 수 있는 것일 수 있다.Therefore, a method of setting a landmark in the
본 발명의 일 실시예에 따른 제어부(120)는 복원하고자 하는 영상의 제2 프레임(102)의 랜드마크 위치 정보(103)를 획득할 수 있다.(S53) 바꾸어 말하면 제어부(120)는 제1 프레임(101)에서 설정된 랜드마크들의 제2 프레임(102) 내에서의 위치를 획득할 수 있다.가령 복원하고자 하는 영상이 통신부(130)에 의해 다른 장치로부터 실시간으로 획득되는 영상인 경우, 제어부(120)는 전술한 제1 프레임(101)과 함께 제2 프레임(102)의 랜드마크 위치 정보(103)를 통신부(130)로부터 순차적 및/또는 반복적으로 획득할 수 있다. 즉 제어부(120)는 제1 프레임(101)만 이미지(또는 영상)의 형태로 획득하고, 나머지 프레임인 제2 프레임(102)은 위치 정보의 형태로 획득할 수 있다. 바꾸어 말하면 제1 프레임(101)만 용량이 큰 형태로 획득하고, 나머지 프레임인 제2 프레임(102)들은 용량이 작은 숫자 및/또는 문자 데이터의 형태로 획득할 수 있다.The
한편 복원하고자 하는 영상이 메모리(150)에 저장된 영상인 경우, 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103)를 메모리(150)로부터 획득할 수 있다. 물론 이러한 경우에도 제1 프레임(101)만 이미지(또는 영상)의 형태로 저장되고, 나머지 프레임인 제2 프레임(102)은 숫자 및/또는 문자 데이터의 형태로 저장될 수 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.Meanwhile, when the image to be restored is an image stored in the
이 때 상기 제2 프레임(102)의 랜드마크 위치 정보(103)는 제1 프레임(101)에서 설정된 랜드마크의 제2 프레임(102) 내에서의 위치 정보로, 가령 하나 이상의 랜드마크의 제2 프레임(102) 내에서의 좌표를 포함할 수 있다.In this case, the
한편 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103)를 획득하고(S531), 이를 바탕으로 이벤트 발생 여부를 판단할 수 있다.(S532)Meanwhile, the
가령 제어부(120)는 제2 프레임(102)에 후행하는 프레임이 제1 프레임(101)인 경우에 이벤트가 발생한 것으로 판단할 수 있다. 이 때 제어부(120)는 외부 장치로부터 제1 프레임(101) 그 자체를 수신하거나, 제1 프레임(101)의 전송을 알리는 신호를 수신한 경우 후행하는 프레임이 제1 프레임(101)인 것으로 판단할 수 있다.For example, the
또한 제어부(120)는 제1 프레임(101)의 획득 시점으로부터 소정의 시간 주기가 경과된 경우에 이벤트가 발생한 것으로 판단할 수 있다.In addition, the
제어부(120)는 이벤트가 발생한 것으로 판단한 경우, 단계 S51에 따라 갱신된 제1 프레임(101)을 획득할 수 있다. 한편 제어부(120)는 이벤트가 발생하지 않은 것으로 판단한 경우, 후행하는 단계 S54에 따른 동작을 수행할 수 있다.When it is determined that the event has occurred, the
본 발명의 일 실시예에 따른 제어부(120)는 단계 S53에서 획득한 제2 프레임(102)의 랜드마크 위치 정보(103)에 기초하여, 제1 프레임(101)으로부터 제2 프레임(102)을 생성할 수 있다.(S54)The
보다 상세히, 전술한 바와 같이 랜드마크 위치 정보(103)는 하나 이상의 랜드마크의 제2 프레임(102) 내에서의 좌표를 포함할 수 있다. 따라서 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103), 즉 좌표에 기초하여 제1 프레임(101)의 하나 이상의 랜드마크의 위치를 변경함으로써 제2 프레임(102)을 생성할 수 있다. 이에 따라 복원된 영상의 첫 번째 프레임은 제1 프레임(101)그 자체가 될 수 있고, 복원된 영상의 두 번째 프레임은 첫 번째 프레임인 제1 프레임(101)에서 랜드마크들의 위치만 변경한 프레임일 수 있다. 영상통화의 예를 들면, 영상 통화시 가장 처음 표시되는 프레임은 제1 프레임(101)그 자체이고, 제1 프레임(101) 이후에 표시되는 프레임은 제1 프레임(101)에서 랜드마크들의 위치반 변경한 프레임일 수 있다. 즉 영상통화과정 중 표시되는 프레임들은 랜드마크 위치 정보(103)에 따라 변형된 제1 프레임(101)일 수 있다.In more detail, as described above, the
이 때 제어부(120)는 보다 자연스로운 제2 프레임(102)의 생성을 위해 다양한 기법을 사용할 수 있다. 가령 제어부(120)는 픽셀 유동화 기법을 사용하여 제1 프레임(101)으로부터 제2 프레임(102)을 생성할 수 있다. 또한 제어부(120)는 머신러닝 (Machine Learning)기법을 사용하여 제1 프레임(101)으로부터 제2 프레임(102)을 생성할 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.In this case, the
본 발명의 일 실시예에 따른 제어부(120)는 제1 프레임(101)과 단계 S54에서 생성된 제2 프레임(102)을 연속하여 디스플레이부(110)에 표시할 수 있다. 가령 도 10의 1030을 참조하여, 영상(1010)내에서 사람의 얼굴이 오른쪽으로 이동한 경우를 가정해 보자. 이러한 경우 제어부(120)는 제1 프레임(101)과 제2 프레임(102)을 연속하여 디스플레이부(110)에 표시할 수 있다. 이 때 제2 프레임(102)은 얼굴의 이동정보가 반영된 제2 프레임(102)의 랜드마크 위치 정보(103)로부터 생성된것일 수 있다.The
또한 본 발명에 따른 영상 압축/및 복원 방법이 영상통화에 사용되는 경우를 가정해 보면, 제어부(120)는 제1 프레임(101)과 단계 S54에서 생성된 제2 프레임(102)을 연속하여 디스플레이부(110)에 표시함으로써 배경은 변화가 없으나 랜드마크, 즉 사람의 얼굴만 변화되는 영상을 표시할 수 있다. 이때 사람의 얼굴이 변화되는 것은 전술한 예시와 같이 사람의 얼굴 전체가 왼쪽 오른쪽 또는 위 아래로 그 위치가 움직이는 것을 의미할 수 있다. 또한 사람의 얼굴이 변화되는 것은 입을 벌리거나, 눈썹을 찡그리거나, 하품을 하거나, 콧구멍을 확장하거나, 눈을 깜박이거나, 눈을 가리거나 하는 등의 얼굴의 일부 부분만이 변환하는 것을 의미할 수도 있다. In addition, assuming that the image compression/decompression method according to the present invention is used for a video call, the
한편 제어부(120)는 단계 S53에서 이벤트가 발생하지 않은 것으로 판단한 경우, 단계 S54에 따른 동작의 수행 후에 다시 단계 S53에 따른 동작을 수행할 수 있다. 바꾸어 말하면, 제어부(120)는 이벤트 발생에 따라 제1 프레임(101)이 갱신되기 전 까지는 하나 이상의 제2 프레임(102)에 대해 단계 S53 및 단계 S54에 따른 동작을 반복하여 수행할 수 있다. 이와 같은 동작의 반복수행에 의해 동영상의 프레임이 끊임 없이 생성 및/또는 표시될 수 있다.Meanwhile, when it is determined that the event has not occurred in step S53, the
본 발명의 일 실시예에 따른 제어부(120)는 제2 프레임(102)의 생성에 있어서, 랜드마크의 위치 정보에 기초하여 제2 프레임(102)에 다양한 효과를 부가할 수 있다. 보다 상세히, 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103)를 참조하여, 특정 랜드마크가 소정의 임계치 이상 이동한 경우 해당 랜드마크에 대한 국부적인 효과 또는 프레임 전체에 대한 효과를 적용할 수 있다.The
가령 제2 프레임이 사람의 얼굴을 포함하는 경우, 제어부(120)는 제2 프레임(102)의 랜드마크 위치 정보(103)를 참조하여 눈을 깜박이것, 눈을 감는 것, 눈을 크게 뜨것, 놀란 표정을 짓는것, 입을 크게 벌리는 것 등의 변화를 검출할 수 있다. 제어부(120)는 검출된 변화에 대응하여 제2 프레임(102)에 눈알이 튀어나오는 효과(도 12의 1210), 입에서 새로운 개체가 튀어나오는 효과(도 12의 1220) 등을 부가할 수 있다. 다만 이와 같은 효과는 예시적인 것으로 본 발명의 사상이 이에 한정되는 것은 아니다.For example, when the second frame includes a human face, the
본 발명의 일 실시예에 따른 제어부(120)는 제2 프레임(102)의 생성에 있어서 다양한 정보를 참조하여 제2 프레임(102)에 다양한 효과를 부가할 수 있다. 가령 제어부(120)는 사용자 단말(100, 200)의 위치 정보, 사용자 단말(100, 200)의 식별정보, 사용자 단말(100, 200)의 상태정보, 사용자의 정보 중 어느 하나를 참조하여 제2 프레임(102)에 상기 정보와 대응되는 개체 및/또는 효과를 포함시킬 수 있다.The
가령 제어부(120)는 사용자 단말(100, 200)의 위치 정보를 참조하여, 해당 위치의 랜드마크를 상징하는 개체(가령 파리의 경우 에펠탑의 이미지(도 12의 1230))가 제2 프레임(102)에 포함되도록 할 수 있다.For example, the
또한 제어부(120)는 사용자 단말(100, 200)의 배터리 상태 정보를 참조하여, 배터리 잔량이 부족한 경우 제2 프레임(102)이 지지직거리는 효과를 부가할 수 있다. (도 12의 1240)In addition, the
또한 제어부(120)는 사용자의 정보를 참조하여, 사용자의 생일과 같이 특별한 기념일에 해당하는 경우, 해당 기념일을 상징하는 개체(가령 생일의 경우 생일케익의 이미지)가 제2 프레임(102)에 포함되도록 할 수 있다. (도 12의 1250)In addition, when the
이로써 본 발명은 최소화된 리소스(Resource) 및/또는 저장공간의 활용으로 전송되거나 저장된 영상을 보다 자연스럽게 복원하여 표시할 수 있으며, 이와 더불어 영상에 다양한 특수 효과를 간편하고 손쉽게 적용할 수 있다.Accordingly, the present invention can more naturally restore and display an image transmitted or stored by utilizing a minimized resource and/or a storage space, and in addition, various special effects can be conveniently and easily applied to the image.
도 7은 본 발명의 일 실시예에 따라 제어부(120)가 영상을 복원함에 있어서, 템플릿 프레임(1110)을 참조하여 두 개의 영상을 합성하여 영상을 복원하는 과정을 설명하기 위한 도면이다. 이하에서는 도 5 내지 도 6에서 설명한 내용과 중복하는 내용의 설명은 생략한다.7 is a diagram for explaining a process of reconstructing an image by synthesizing two images with reference to the
본 발명의 일 실시예에 따른 제어부(120)는 제1 프레임(101)을 획득하기에 앞서, 템플릿 프레임(1110)의 렌드마크를 설정할 수 있다. 이 때 탬플릿 프레임은 복원의 대상이 되는 영상(1120)과 합성하고자 하는 이미지를 포함하는 프레임을 의미할 수 있으며, 복수일 수 있다.Before acquiring the
가령 전술한 예시에서와 같이 복원의 대상이 되는 영상(1120)에 사람의 얼굴이 포함되어 있는 경우, 템플릿 프레임(1110)은 '모나리자의 얼굴', '석고상의 얼굴' 또는 '유명인의 얼굴'을 포함할 수 있다. For example, as in the above-described example, when a human face is included in the
또한 본 발명에 따른 영상 압축 및 복원 방법이 영상통화에 사용되는 경우 템플릿 프레임(1110)은 영상 통화의 수신자 및/또는 발신자의 얼굴을 포함할 수 있다. 영상 통화의 수신자 및/또는 발신자의 얼굴이 템플릿 프레임으로써 사용자 단말에 미리 저장된 경우, 제1 프레임의 송, 수신 없이 제2 프레임의 랜드마크 위치 정보의 송,수신 만으로 영상통화가 진행될 수도 있다. 바꾸어 말하면, 수신된 제2 프레임의 랜드마크 위치 정보에 기초하여 기 저장된 템플릿 프레임에서의 랜드마크들의 위치를 변경시킴으로써, 영상(또는 프레임)의 송, 수신 없이 영상통화가 진행될 수도 있다.In addition, when the video compression and decompression method according to the present invention is used for a video call, the
이러한 템플릿 프레임(1110)은 영상을 복원할 때 사용자의 선택에 의해 결정될 수도 있고, 반대로 영상을 압축할 때 사용자의 선택에 의해 결정될 수도 있다.The
가령 전술한 영상 압축 및 복원 방법이 영상통화에 사용되는 경우 발신자 단말의 입장에서, 템플릿 프레임(1110)은 영상 통화의 수신자에 의해 결정될 수도 있고(왜냐하면 발신자 단말에 표시되는 자신의 얼굴을 결정하는 것이므로), 또는 영상 통화의 발신자에 의해 결정될 수도 있다.(왜냐하면 자신이 보고 싶은 형상으로 수신자의 얼굴을 보고 싶으므로)For example, when the above-described video compression and decompression method is used for a video call, from the perspective of the caller terminal, the
본 발명의 일 실시예에 따른 제어부(120)는 이와 같은 템플릿 프레임(1110)과 복원의 대상이 되는 영상(1120)의 합성을 위해 템플릿 프레임(1110)의 랜드마크를 미리 설정할 수 있다. 이 때 랜드마크를 설정하는 것은 영상 압축 방법의 단계 S32에서 설명하였으므로, 이에 대한 상세한 설명은 생략한다.The
한편 이와 같은 랜드마크의 설정은 사용자의 입력에 기초하여 이루어 질 수도 있다. 가령 템플릿 프레임(1110)의 낮은 해상도 및/또는 낮은 품질로 인해 제어부(120)가 템플릿 프레임(1110)에서 랜드마크를 자동으로 인식할 수 없는 경우, 제어부(120)는 사용자의 입력에 기초하여 템플릿 프레임(1110)의 랜드마크를 설정할 수 있다. 이 때 제어부(120)는 디스플레이부(110)를 통하여 랜드마크를 설정 가이드를 표시할 수 있다.Meanwhile, such a landmark may be set based on a user's input. For example, if the
이어서 본 발명의 일 실시예에 따른 제어부(120)는 복원하고자 하는 영상의 제1 프레임(101)을 획득할 수 있다.(S71) 또한 본 발명의 일 실시예에 따른 제어부(120)는 전술한 단계 S71에서 획득한 제1 프레임(101)의 하나 이상의 랜드마크를 설정할 수 있다.(S72) 물론 본 발명의 일 실시예에 따른 제어부(120)는 복원하고자 하는 영상의 제2 프레임의 랜드마크 위치 정보(103)를 획득할 수 있다.(S73) Subsequently, the
본 발명의 일 실시예에 따른 제어부(120)는 제1 프레임(101) 및 제2 프레임의 랜드마크 위치 정보(103) 중 적어도 하나에 기초하여, 템플릿 프레임(1110)으로부터 제2 프레임(1130)을 생성할 수 있다.(S74)Based on at least one of the
전술한 바와 같이 랜드마크 위치 정보(103)는 하나 이상의 랜드마크의 제2 프레임 내에서의 좌표를 포함할 수 있으므로, 제어부(120)는 제2 프레임의 랜드마크 위치 정보, 즉 좌표에 기초하여 템플릿 프레임(1110)의 하나 이상의 랜드마크의 위치를 변경하여 제2 프레임을 생성할 수 있다. 바꾸어 말하면 제어부(120)는 영상의 전체를 템플릿 프레임(1110)에 포함된 형상으로 대체하여 제2 프레임을 생성할 수 있다.As described above, since the
가령 복원의 대상이 되는 영상(1120)에 사람의 얼굴이 포함되어 있고, 템플릿 프레임(1110)은 '석고상의 얼굴'을 포함하는 경우, 제어부(120)는 사람의 표정와 움직임이 모두 석고상의 얼굴에 투영된, 석고상의 얼굴을 포함하는 제2 프레임을 생성할 수 있다.For example, when a human face is included in the
한편 이와는 달리, 제어부(120)는 제2 프레임의 랜드마크 위치 정보, 즉 좌표에 기초하여 템플릿 프레임(1110)의 하나 이상의 랜드마크의 위치를 변경하되, 템플릿 프레임(1110)의 적어도 일부 영역을 제1 프레임(101)의 적어도 일부 영역으로 대체하여 제2 프레임(1130)을 생성할 수 있다. On the other hand, unlike this, the
가령 복원의 대상이 되는 영상(1120)에 사람의 얼굴이 포함되어 있고, 템플릿 프레임(1110)은 '석고상의 얼굴'을 포함하는 경우, 제어부(120)는 석고상의 이미지에서 얼굴 부분만 사람의 얼굴로 대체된 제2 프레임(1130)을 생성할 수 있다. 이 때 제2 프레임(1130)의 사람의 얼굴로 대체된 부분에는 제2 프레임의 랜드마크 위치 정보(103)가 반영될 수 있다. 이 때 두 프레임, 즉 제2 프레임과 템플릿 프레임(1110)의 보다 자연스러운 병합을 위하여 다양한 기술이 사용될 수 있다.For example, if a human face is included in the
먼저 제어부(120)는 템플릿 프레임(1110)과 제1 프레임(101) 각각에서 랜드마크의 설정 대상이 되는 객체를 인식할 수 있다. 가령, 랜드마크가 사람의 얼굴에 설정되는 경우 제어부(120)는 템플릿 프레임(1110)과 제1 프레임(101) 각각에서 사람의 얼굴을 인식할 수 있다.First, in each of the
또한 제어부(120)는 제1 프레임(101)에서 인식된 랜드마크 설정 대상이 되는 객체의 적어도 일 영역을 선택하고, 해당 영역을 흐리게(Blur) 처리할 수 있다. 또한 제어부(120)는 템플릿 프레임(1110)에서의 랜드마크 설정 대상이 되는 객체의 표시 위치 및 각도를 산출하고, 산출된 결과에 기초하여 전술한 과정에 의해 흐리게 처리된 제1 프레임(101)의 일 영역을 템플릿 프레임(1110)과 머지(Merge)할 수 있다.In addition, the
이 때 제어부(120)는 양 프레임(101, 1110) 간의 색상차이 등을 고려하여 흐리게 처리된 제1 프레임(101)의 일 영역과 템플릿 프레임(1110)을 병합할 수 있다. In this case, the
또한 템플릿 프레임(1110)과 제1 프레임(101)에 포함된 객체의 각 부분의 비율(가령 랜드마크 간의 거리)이 서로 상이할 수 있으므로, 제어부(120)는 제2 프레임의 랜드마크 위치 정보(103)를 템플릿 프레임(1110)의 위치 정보로 변환할 수 있다.In addition, since the ratio of each part of the object included in the
제어부(120)는 픽셀 유동화, 머신 러닝 등의 다양한 기법을 사용하여 양 프레임을 보다 자연스럽게 정합시킬 수 있다.The
본 발명의 일 실시예에 따른 제어부(120)는 전술한 영상의 처리와 함께, 선택된 템플릿 프레임(1110)에 대응되도록 각각의 프레임에 대응되는 음향을 조작할 수 있다.The
가령 템플릿 프레임(1110)이 유명 케릭터 또는 유명 방송인의 얼굴을 포함하고, 각 프레임에 대응되는 음향이 사람의 목소리를 포함하는 경우 제어부(120)는 사람의 목소리를 템플릿 프레임에 포함된 케릭터 또는 유명 방송인의 목소리로 변조할 수 있다. 물론 선택적 실시예에 따라 제어부(120)는 음향을 묵음 처리할 수도 있다.For example, when the
또한 본 발명의 일 실시예에 따른 제어부(120)는 각 프레임에 대응되는 음향으로부터 각 프레임에 표시되는 새로운 개체를 생성할 수도 있다.In addition, the
가령 각 프레임에 대응되는 음향이 사람의 목소리를 포함하는 경우 제어부(120)는 사람의 목소리에 대응되는 자막 개체를 생성하여 프레임에 포함시킬 수도 있다. (도 13의 1310)For example, when the sound corresponding to each frame includes a human voice, the
또한 각 프레임에 대응되는 음향이 사이렌 소리, 특정 알림 소리, 트림 소리, 방귀 소리 및 새 소리와 같이 특정할 수 있는 음향을 포함하는 경우, 제어부(120)는 특정되는 음향과 대응되는 개체를 생성하여 프레임에 포함시킬 수 있다. 바꾸어 말하면 제어부(120)는 음향이 사이렌 소리 포함하는 경우, 사이렌 표시를 프레임에 포함시킬 수도 있고(도 13의 1320), 음향이 트림 소리를 포함하는 경우 트림 표시를 프레임에 포함시킬 수도 있다. (도 13의 1330)In addition, when the sound corresponding to each frame includes a sound that can be specified, such as a siren sound, a specific notification sound, a trim sound, a fart sound, and a bird sound, the
이로써 본 발명은 최소화된 리소스(Resource) 및/또는 저장공간의 활용으로 전송되거나 저장된 영상을 보다 자연스럽게 복원함과 동시에, 영상을 자연스럽게 합성할 수 있으며, 이로써 사용자의 흥미를 유도할 수 있다.Accordingly, the present invention can more naturally restore an image transmitted or stored by utilizing a minimized resource and/or a storage space, and simultaneously synthesize the image naturally, thereby inducing interest of the user.
또한 본 발명은 영상을 복원함에 있어서, 영상과 대응되는 음향을 참조하여 음향을 반영한 영상을 생성할 수 있다.In addition, in reconstructing an image, the present invention may generate an image reflecting sound by referring to sound corresponding to the image.
도 8은 본 발명의 일 실시예에 따른 영상 압축 및 복원 방법이 영상통화에 사용되는 경우의 동작방법을 설명하기 위한 흐름도이다. 이하에서는 도 3 내지 도 7에서 설명한 내용과 중복하는 내용의 설명은 생략한다. 또한 설명의 편의를 위해 제2 사용자 단말(200)이 제1 사용자 단말(100)로부터 영상을 수신하는 측면 만을 고려하여 설명한다.8 is a flowchart illustrating an operation method when an image compression and decompression method according to an embodiment of the present invention is used for a video call. Hereinafter, descriptions of contents overlapping with those described in FIGS. 3 to 7 will be omitted. In addition, for convenience of explanation, the description will be made in consideration of only the aspect in which the
본 발명의 일 실시예에 따른 제2 사용자 단말(200)은 제1 사용자 단말(100)로부터 제1 프레임을 수신할 수 있다.(S81) 이 때 제1 프레임은 제1 사용자 단말(100)의 영상 획득 수단에 의해 획득된 영상에 포함되는 프레임일 수 있다. 또한 제2 사용자 단말(200)은 제1 프레임과 더불어 영상 통화의 개시를 알리는 신호, 제1 사용자의 식별정보 등을 더 수신할 수 있다.The
제2 사용자 단말(200)은 수신된 제1 프레임의 하나 이상의 랜드마크를 설정할 수 있다.(S82) 제2 사용자 단말(200)은 제2 프레임의 랜드마크 위치 정보를 획득할 수 있다.(S83a) 제2 사용자 단말(200)은 획득된 제2 프레임의 랜드마크 위치를 바탕으로 이벤트 발생 여부를 판단할 수 있다.(S84a) 제2 사용자 단말(200)은 제2 프레임의 랜드마크 위치 정보에 기초하여, 제1 프레임으로부터 제2 프레임을 생성할 수 있다.(S85a) 전술한 단계 S82 내지 S85a에 대한 상세한 설명은 도 5의 단계 S52 내지 단계 S54를 참조한다. The
제2 사용자 단말(200)은 이벤트가 발생할 까지 전술한 단계 S82 내지 S85a를 수행할 수 있다. (S83b, S84b, S85b, S83c, S84c)The
제2 사용자 단말(200)은 이벤트가 발생한 경우 제1 사용자 단말(100)에 제1 프레임을 요청하고(S86), 갱신된 제1 프레임을 수신할 수 있다.(S87) When an event occurs, the
선택적 실시예에 따라 제1 사용자 단말(100)이 이벤트를 감지하고, 이에 따라 갱신된 제1 프레임을 제2 사용자 단말(200)로 전송할 수도 있다. 이러한 경우 제2 사용자 단말(200)은 갱신된 제1 프레임을 수신하는 것을 이벤트로 감지하고, 이벤트 감지에 대응되는 동작을 수행할 수 있다. According to an optional embodiment, the
제2 사용자 단말(200)은 갱신된 제1 프레임(101)을 수신한 경우, 전술한 과정을 반복하여 압축된 영상을 수신하고, 복원할 수 있다.When receiving the updated
이로써 본 발명은 보다 낮은 대역폭으로 끊임 없는 영상통화를 수행할 수 있고, 영상통화시 사용자 단말(100, 200)간의 데이터 송수신량을 비약적으로 절감시킬 수 있다. 이에 따라 본 발명은 음성통화와 유사한 수준의 데이터 송수신량 만으로도 끊임 없는 부드러운 영상을 제공하는 영상통화가 가능하도록 할 수 있다.Accordingly, the present invention can perform continuous video calls with a lower bandwidth, and can dramatically reduce the amount of data transmission and reception between the
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.The embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium. In this case, the medium is a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a CD-ROM and a DVD, a magnetic-optical medium such as a floptical disk, and a ROM. It may include a hardware device specially configured to store and execute program instructions, such as, RAM, flash memory, and the like.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and usable to a person skilled in the computer software field. Examples of computer programs may include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Specific implementations described in the present invention are examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings exemplarily represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections that can be replaced or additionally It may be referred to as a connection, or circuit connections. In addition, if there is no specific mention such as "essential", "important", etc., it may not be an essential component for the application of the present invention.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.In the specification of the present invention (especially in the claims), the use of the term "above" and the reference term similar thereto may correspond to both the singular and the plural. In addition, when a range is described in the present invention, the invention to which an individual value falling within the range is applied (unless otherwise stated), and each individual value constituting the range is described in the detailed description of the invention. Same as. Finally, unless explicitly stated or contradicted to the order of the steps constituting the method according to the present invention, the steps may be performed in a suitable order. The present invention is not necessarily limited according to the order of description of the steps. The use of all examples or illustrative terms (for example, etc.) in the present invention is merely for describing the present invention in detail, and the scope of the present invention is limited by the above examples or illustrative terms unless limited by the claims. It does not become. In addition, those skilled in the art can recognize that various modifications, combinations, and changes may be configured according to design conditions and factors within the scope of the appended claims or their equivalents.
100: 사용자 단말
110: 디스플레이부
120: 제어부
130: 통신부
140: 영상 획득부
150: 메모리
200: 사용자 단말
300: 서버
400: 통신망100: user terminal
110: display unit
120: control unit
130: communication department
140: image acquisition unit
150: memory
200: user terminal
300: server
400: communication network
Claims (17)
상기 제1 프레임을 획득하는 단계;
상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계;
상기 제2 프레임의 랜드마크 위치 정보를 획득하는 단계; 및
상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함하고,
상기 제2 프레임의 랜드마크 위치 정보는 상기 제1 프레임에서 설정된 랜드마크의 상기 제2 프레임 내에서의 위치 정보이고,
상기 위치 정보를 획득하는 단계는
상기 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고,
상기 이벤트 발생 여부를 판단하는 단계는
상기 제2 프레임에 후행하는 프레임이 새로운 제1 프레임인 경우 및 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단하는, 영상 복원 방법.In a method for restoring an image including the first frame and the second frame based on a first frame and landmark location information of one or more second frames following the first frame, ,
Obtaining the first frame;
Setting one or more landmarks of the first frame;
Acquiring landmark location information of the second frame; And
Generating the second frame from the first frame based on the landmark location information of the second frame; Including,
The landmark location information of the second frame is location information of the landmark set in the first frame within the second frame,
The step of obtaining the location information
Including; determining whether an event occurs based on the landmark location information of the second frame and a predetermined time period; Including,
The step of determining whether the event has occurred
An image restoration method of determining that an event has occurred when the frame following the second frame is a new first frame or when the predetermined time period has elapsed from the acquisition time of the first frame .
상기 제1 프레임을 획득하는 단계는
이벤트 발생시 마다 갱신된 제1 프레임을 반복하여 획득하고,
상기 랜드마크를 설정하는 단계는
상기 갱신된 제1 프레임의 하나 이상의 랜드마크를 설정하고,
상기 제2 프레임을 생성하는 단계는
상기 갱신된 제1 프레임으로부터 상기 제2 프레임을 생성하는, 영상 복원 방법.The method of claim 1
The step of obtaining the first frame
Whenever an event occurs, the updated first frame is repeatedly acquired,
The step of setting the landmark
Set one or more landmarks of the updated first frame,
Generating the second frame comprises:
Generating the second frame from the updated first frame.
상기 제1 프레임을 획득하는 단계 이전에
하나 이상의 템플릿(Template) 프레임의 하나 이상의 랜드마크를 설정하는 단계;를 더 포함하고,
상기 제2 프레임을 생성하는 단계는
상기 제1 프레임 및 상기 제2 프레임의 랜드마크 위치 정보 중 적어도 하나에 기초하여, 상기 템플릿 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함하는, 영상 복원 방법.The method of claim 1
Before the step of obtaining the first frame
Further comprising: setting one or more landmarks of one or more template frames,
Generating the second frame comprises:
Generating the second frame from the template frame based on at least one of the first frame and landmark position information of the second frame.
상기 템플릿 프레임의 하나 이상의 랜드마크를 설정하는 단계는
상기 템플릿 프레임에 대한 사용자의 입력에 기초하여 상기 템플릿 프레임의 하나 이상의 랜드마크를 설정하는, 영상 복원 방법.According to claim 4
Setting one or more landmarks of the template frame comprises:
Setting one or more landmarks of the template frame based on a user's input to the template frame.
상기 제2 프레임을 생성하는 단계는
상기 템플릿 프레임의 적어도 일부 영역을 상기 제1 프레임의 적어도 일부 영역으로 대체하여 상기 제2 프레임을 생성하는, 영상 복원 방법.According to claim 4
Generating the second frame comprises:
Generating the second frame by replacing at least a partial region of the template frame with at least a partial region of the first frame.
상기 제2 프레임을 생성하는 단계는
상기 제2 프레임의 랜드마크 위치 정보에 기초하여 상기 제1 프레임의 하나 이상의 랜드마크의 위치를 변경하여 상기 제2 프레임을 생성하는, 영상 복원 방법.The method of claim 1
Generating the second frame comprises:
The second frame is generated by changing the position of one or more landmarks of the first frame based on the landmark position information of the second frame.
상기 하나 이상의 랜드마크는 상기 제1 프레임에 포함되는 사람 얼굴의 하나 이상의 특징점에 설정되는, 영상 복원 방법.The method of claim 1
The one or more landmarks are set at one or more feature points of a human face included in the first frame.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 대화상대 단말로부터 사용자 단말로 전송되고,
상기 영상의 제1 프레임을 획득하는 단계는
상기 대화상대 단말로부터 상기 제1 프레임을 획득하고,
상기 랜드마크를 설정하는 단계는
상기 제1 프레임에 포함되는 상기 대화상대 얼굴의 하나 이상에 특징점에 상기 랜드마크를 설정하고,
상기 랜드마크 위치 정보를 획득하는 단계는
상기 대화상대 단말로부터 상기 제2 프레임의 랜드마크 위치 정보를 획득하고,
상기 제2 프레임을 생성하는 단계는
상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 대화상대 얼굴의 하나 이상의 특징점의 위치를 변경하여 상기 제2 프레임을 생성하는, 영상 복원 방법.According to claim 8
The video including the first frame and the second frame is transmitted from the conversation partner terminal to the user terminal,
The step of obtaining the first frame of the image
Obtaining the first frame from the conversation partner terminal,
The step of setting the landmark
Setting the landmark at a feature point on at least one of the faces of the conversation partner included in the first frame,
The step of obtaining the landmark location information
Obtaining landmark location information of the second frame from the conversation partner terminal,
Generating the second frame comprises:
The second frame is generated by changing a location of one or more feature points of the conversation partner face from the first frame based on the landmark location information of the second frame.
상기 제1 프레임 및 상기 하나 이상의 제2 프레임 중 적어도 하나를 획득하는 단계;
상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계;
상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 확인하는 단계; 및
상기 제1 프레임을 처리하고, 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리하는 단계;를 포함하고,
상기 랜드마크의 위치를 확인하는 단계는
상기 하나 이상의 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고,
상기 이벤트 발생 여부를 판단하는 단계는
인접하는 제2 프레임의 랜드마크 위치 간의 차이가 소정의 차이 이상인 경우, 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 및 외부 장치로부터 상기 제1 프레임의 송신 요청을 수신한 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단하는, 영상 압축 방법.In the method of compressing an image including a first frame and one or more second frames following the first frame based on landmark location information,
Obtaining at least one of the first frame and the one or more second frames;
Setting one or more landmarks of the first frame;
Checking the position of the landmark in the at least one second frame; And
Processing the first frame and sequentially processing the position of the landmark in the one or more second frames; Including,
Checking the location of the landmark
Including; determining whether an event occurs based on the landmark location information of the one or more second frames and a predetermined time period; Including,
The step of determining whether the event has occurred
When the difference between the landmark positions of adjacent second frames is greater than or equal to a predetermined difference, when the predetermined time period has elapsed from the acquisition time of the first frame, and when a request to transmit the first frame is received from an external device An image compression method that determines that an event has occurred in the case of any one of.
상기 획득하는 단계는
이벤트 발생시 마다 갱신된 제1 프레임을 반복하여 획득하고,
상기 랜드마크를 설정하는 단계는
상기 갱신된 제1 프레임의 하나 이상의 랜드마크를 설정하고,
상기 랜드마크의 위치를 확인하는 단계는
상기 하나 이상의 제2 프레임에서의 상기 갱신된 제1 프레임의 하나 이상의 랜드마크의 위치를 확인하고
상기 처리하는 단계는
상기 갱신된 제1 프레임을 처리하고, 상기 갱신된 제1 프레임에 후행하는 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리하는, 영상 압축 방법.The method of claim 10
The obtaining step
Whenever an event occurs, the updated first frame is repeatedly acquired,
The step of setting the landmark
Set one or more landmarks of the updated first frame,
Checking the location of the landmark
Check the position of one or more landmarks of the updated first frame in the one or more second frames, and
The processing step
Processing the updated first frame and sequentially processing the position of the landmark in one or more second frames following the updated first frame.
상기 처리하는 단계는
상기 제1 프레임 및 상기 랜드마크의 위치가 적용될 템플릿 프레임를 선택하는 사용자의 입력을 획득하는 단계;를 포함하는, 영상 압축 방법.The method of claim 10
The processing step
Comprising, the image compression method comprising; the step of acquiring a user input for selecting a template frame to which the position of the first frame and the landmark is to be applied.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 사용자 단말로부터 대화상대 단말로 전송되고,
상기 획득하는 단계는
상기 사용자 단말의 영상 획득부로부터 상기 제1 프레임 및 상기 제2 프레임을 획득하고,
상기 처리하는 단계는
상기 제1 프레임 및 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 상기 대화상대 단말로 순차적으로 전송하는, 영상 압축 방법.The method of claim 10
The video including the first frame and the second frame is transmitted from the user terminal to the conversation partner terminal,
The obtaining step
Acquiring the first frame and the second frame from the image acquisition unit of the user terminal,
The processing step
The image compression method for sequentially transmitting the position of the landmark in the first frame and the one or more second frames to the conversation partner terminal.
상기 제1 프레임 및 제2 프레임을 포함하는 영상은 사용자 단말에 저장되고
상기 획득하는 단계는
상기 사용자 단말의 영상 획득부로부터 상기 제1 프레임 및 상기 제2 프레임을 획득하고,
상기 처리하는 단계는
상기 제1 프레임 및 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 상기 사용자 단말의 저장부에 순차적으로 저장하는, 영상 압축 방법.The method of claim 10
The image including the first frame and the second frame is stored in the user terminal,
The obtaining step
Acquiring the first frame and the second frame from the image acquisition unit of the user terminal,
The processing step
The image compression method of sequentially storing the position of the landmark in the first frame and the one or more second frames in a storage unit of the user terminal.
하나 이상의 프레임(Frame)을 포함하는 영상의 제1 프레임을 획득하는 단계;
상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계;
상기 영상의 제2 프레임의 랜드마크 위치 정보를 획득하는 단계; 및
상기 제2 프레임의 랜드마크 위치 정보에 기초하여, 상기 제1 프레임으로부터 상기 제2 프레임을 생성하는 단계;를 포함하고,
상기 제2 프레임의 랜드마크 위치 정보는 상기 제1 프레임에서 설정된 랜드마크의 상기 제2 프레임 내에서의 위치 정보이고,
상기 위치 정보를 획득하는 단계는
상기 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고,
상기 이벤트 발생 여부를 판단하는 단계는
상기 제2 프레임에 후행하는 프레임이 새로운 제1 프레임인 경우 및 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단하는 영상 복원 방법을 실행하기 위하여 기록매체에 저장된 컴퓨터 프로그램.Using a computer
Obtaining a first frame of an image including one or more frames;
Setting one or more landmarks of the first frame;
Acquiring landmark location information of a second frame of the image; And
Generating the second frame from the first frame based on the landmark location information of the second frame; Including,
The landmark location information of the second frame is location information of the landmark set in the first frame within the second frame,
Obtaining the location information
Including; determining whether an event occurs based on the landmark location information of the second frame and a predetermined time period; Including,
The step of determining whether the event has occurred
An image restoration method for determining that an event has occurred when the frame following the second frame is a new first frame or when the predetermined time period has elapsed from the acquisition time of the first frame. A computer program stored on a recording medium for execution.
하나 이상의 프레임(Frame)을 포함하는 상의 제1 프레임 및 상기 제1 프레임에 후행하는 하나 이상의 제2 프레임 중 적어도 하나를 획득하는 단계;
상기 제1 프레임의 하나 이상의 랜드마크를 설정하는 단계;
상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 확인하는 단계; 및
상기 제1 프레임을 처리하고, 상기 하나 이상의 제2 프레임에서의 상기 랜드마크의 위치를 순차적으로 처리하는 단계;를 포함하고,
상기 랜드마크의 위치를 확인하는 단계는
상기 하나 이상의 제2 프레임의 랜드마크 위치 정보 및 소정의 시간 주기에 기초하여 이벤트 발생 여부를 판단하는 단계;를 포함하고,
상기 이벤트 발생 여부를 판단하는 단계는
인접하는 제2 프레임의 랜드마크 위치 간의 차이가 소정의 차이 이상인 경우, 상기 제1 프레임의 획득 시점으로부터 상기 소정의 시간 주기가 경과된 경우 및 외부 장치로부터 상기 제1 프레임의 송신 요청을 수신한 경우 중 어느 하나에 해당하는 경우 이벤트가 발생한 것으로 판단하는 영상 압축 방법을 실행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램.Using a computer
Acquiring at least one of a first frame on top including one or more frames and one or more second frames following the first frame;
Setting one or more landmarks of the first frame;
Checking the position of the landmark in the at least one second frame; And
Processing the first frame and sequentially processing the position of the landmark in the one or more second frames; Including,
Checking the location of the landmark
Including; determining whether an event occurs based on the landmark location information of the one or more second frames and a predetermined time period; Including,
The step of determining whether the event has occurred
When the difference between the landmark positions of adjacent second frames is greater than or equal to a predetermined difference, when the predetermined time period has elapsed from the acquisition time of the first frame, and when a request to transmit the first frame is received from an external device A computer program stored in a recording medium to execute an image compression method that determines that an event has occurred in any one of the cases.
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170065217A KR102256110B1 (en) | 2017-05-26 | 2017-05-26 | Method for image compression and method for image restoration |
| JP2018095446A JP7176861B2 (en) | 2017-05-26 | 2018-05-17 | Video processing method, video restoration method and computer program |
| CN201810502974.8A CN108965889B (en) | 2017-05-26 | 2018-05-23 | Image compression method, image restoration method, and computer-readable recording medium |
| CN202111003801.XA CN113691806A (en) | 2017-05-26 | 2018-05-23 | Image compression method, image restoration method, and computer-readable recording medium |
| US15/989,384 US11039155B2 (en) | 2017-05-26 | 2018-05-25 | Image compression method and image decompression method |
| US17/315,746 US11463718B2 (en) | 2017-05-26 | 2021-05-10 | Image compression method and image decompression method |
| KR1020210064380A KR102343325B1 (en) | 2017-05-26 | 2021-05-18 | Method for image compression and method for image restoration |
| JP2022180124A JP7441926B2 (en) | 2017-05-26 | 2022-11-10 | Computer program that performs video coding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170065217A KR102256110B1 (en) | 2017-05-26 | 2017-05-26 | Method for image compression and method for image restoration |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210064380A Division KR102343325B1 (en) | 2017-05-26 | 2021-05-18 | Method for image compression and method for image restoration |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180129339A KR20180129339A (en) | 2018-12-05 |
| KR102256110B1 true KR102256110B1 (en) | 2021-05-26 |
Family
ID=64401719
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170065217A Active KR102256110B1 (en) | 2017-05-26 | 2017-05-26 | Method for image compression and method for image restoration |
| KR1020210064380A Active KR102343325B1 (en) | 2017-05-26 | 2021-05-18 | Method for image compression and method for image restoration |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210064380A Active KR102343325B1 (en) | 2017-05-26 | 2021-05-18 | Method for image compression and method for image restoration |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11039155B2 (en) |
| JP (2) | JP7176861B2 (en) |
| KR (2) | KR102256110B1 (en) |
| CN (2) | CN113691806A (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10681310B2 (en) * | 2018-05-07 | 2020-06-09 | Apple Inc. | Modifying video streams with supplemental content for video conferencing |
| CN109831638B (en) * | 2019-01-23 | 2021-01-08 | 广州视源电子科技股份有限公司 | Video image transmission method and device, interactive intelligent panel and storage medium |
| US11423692B1 (en) * | 2019-10-24 | 2022-08-23 | Meta Platforms Technologies, Llc | Facial image data generation using partial frame data and landmark data |
| JP7017596B2 (en) * | 2020-03-17 | 2022-02-08 | 本田技研工業株式会社 | Information processing equipment, information processing systems, information processing methods and programs |
| WO2023059789A1 (en) * | 2021-10-06 | 2023-04-13 | Lifecast Incorporated | Image processing systems and methods |
| KR20230096690A (en) | 2021-12-23 | 2023-06-30 | 한화시스템 주식회사 | Method for processing image and apparatus for monitoring situation using the same |
| JPWO2024147338A1 (en) | 2023-01-06 | 2024-07-11 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140016860A1 (en) * | 2010-06-07 | 2014-01-16 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
| US20150189318A1 (en) | 2005-03-31 | 2015-07-02 | Euclid Discoveries, Llc | Feature-Based Video Compression |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0714208B2 (en) * | 1989-07-04 | 1995-02-15 | 株式会社テレマティーク国際研究所 | Video transmission system |
| US5420638A (en) * | 1992-04-14 | 1995-05-30 | U.S. Philips Corporation | Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind |
| JPH0832947A (en) * | 1994-07-11 | 1996-02-02 | Hitachi Ltd | Image communication device |
| US6044168A (en) * | 1996-11-25 | 2000-03-28 | Texas Instruments Incorporated | Model based faced coding and decoding using feature detection and eigenface coding |
| US5832115A (en) * | 1997-01-02 | 1998-11-03 | Lucent Technologies Inc. | Ternary image templates for improved semantic compression |
| US7356082B1 (en) * | 1999-11-29 | 2008-04-08 | Sony Corporation | Video/audio signal processing method and video-audio signal processing apparatus |
| JP2001231037A (en) * | 2000-02-17 | 2001-08-24 | Casio Comput Co Ltd | Image processing system, image processing device, and storage medium |
| US20040135788A1 (en) * | 2000-12-22 | 2004-07-15 | Davidson Colin Bruce | Image processing system |
| JP2002325238A (en) * | 2001-04-26 | 2002-11-08 | Seiko Instruments Inc | Simple video transmission / reception system and video transmission / reception method |
| US7671861B1 (en) * | 2001-11-02 | 2010-03-02 | At&T Intellectual Property Ii, L.P. | Apparatus and method of customizing animated entities for use in a multi-media communication application |
| WO2003077204A2 (en) * | 2002-03-07 | 2003-09-18 | Medtronic, Inc. | Algorithm for accurate three-dimensional reconstruction of non-linear implanted medical devices in vivo |
| JP4539494B2 (en) * | 2005-08-23 | 2010-09-08 | コニカミノルタホールディングス株式会社 | Authentication apparatus, authentication method, and program |
| US7567251B2 (en) | 2006-01-10 | 2009-07-28 | Sony Corporation | Techniques for creating facial animation using a face mesh |
| CN102325257A (en) * | 2007-07-20 | 2012-01-18 | 富士胶片株式会社 | Image processing apparatus,image processing method and computer readable medium |
| KR20090097319A (en) * | 2008-03-11 | 2009-09-16 | 삼성전자주식회사 | Method and device for video call of mobile terminal using substitute video |
| JP4707751B2 (en) * | 2009-05-21 | 2011-06-22 | シャープ株式会社 | Image compression method, image compression apparatus, image forming apparatus, computer program, and recording medium |
| KR101139930B1 (en) * | 2010-07-15 | 2012-04-30 | 중앙대학교 산학협력단 | Apparatus and method for object recognition based on part-template matching |
| US9880629B2 (en) * | 2012-02-24 | 2018-01-30 | Thomas J. Moscarillo | Gesture recognition devices and methods with user authentication |
| KR101732613B1 (en) * | 2012-03-14 | 2017-05-04 | 구글 인코포레이티드 | Modifying an appearance of a participant during a video conference |
| US9813666B2 (en) * | 2012-05-29 | 2017-11-07 | Qualcomm Incorporated | Video transmission and reconstruction |
| US9473780B2 (en) * | 2012-07-13 | 2016-10-18 | Apple Inc. | Video transmission using content-based frame search |
| CN103647922A (en) * | 2013-12-20 | 2014-03-19 | 百度在线网络技术（北京）有限公司 | Virtual video call method and terminals |
| US9258525B2 (en) * | 2014-02-25 | 2016-02-09 | Alcatel Lucent | System and method for reducing latency in video delivery |
| KR102349059B1 (en) * | 2014-11-07 | 2022-01-10 | 삼성전자주식회사 | Method and device to determine landmark from region of interest of image |
| US9665804B2 (en) * | 2014-11-12 | 2017-05-30 | Qualcomm Incorporated | Systems and methods for tracking an object |
| US9800641B2 (en) * | 2015-05-04 | 2017-10-24 | Google Inc. | Pre-fetched encoding for application streaming |
| CN105118082B (en) * | 2015-07-30 | 2019-05-28 | 科大讯飞股份有限公司 | Individualized video generation method and system |
| CN105469056A (en) * | 2015-11-26 | 2016-04-06 | 小米科技有限责任公司 | Face image processing method and device |
| CN107465885A (en) * | 2016-06-06 | 2017-12-12 | 中兴通讯股份有限公司 | A kind of method and apparatus for realizing video communication |
| US10284875B2 (en) * | 2016-08-08 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for determining feature point motion |
| CN107330408B (en) * | 2017-06-30 | 2021-04-20 | 北京乐蜜科技有限责任公司 | Video processing method and device, electronic equipment and storage medium |
-
2017
- 2017-05-26 KR KR1020170065217A patent/KR102256110B1/en active Active
-
2018
- 2018-05-17 JP JP2018095446A patent/JP7176861B2/en active Active
- 2018-05-23 CN CN202111003801.XA patent/CN113691806A/en active Pending
- 2018-05-23 CN CN201810502974.8A patent/CN108965889B/en active Active
- 2018-05-25 US US15/989,384 patent/US11039155B2/en active Active
-
2021
- 2021-05-10 US US17/315,746 patent/US11463718B2/en active Active
- 2021-05-18 KR KR1020210064380A patent/KR102343325B1/en active Active
-
2022
- 2022-11-10 JP JP2022180124A patent/JP7441926B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150189318A1 (en) | 2005-03-31 | 2015-07-02 | Euclid Discoveries, Llc | Feature-Based Video Compression |
| US20140016860A1 (en) * | 2010-06-07 | 2014-01-16 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023001324A (en) | 2023-01-04 |
| CN108965889A (en) | 2018-12-07 |
| JP7441926B2 (en) | 2024-03-01 |
| US20210266578A1 (en) | 2021-08-26 |
| JP2018201198A (en) | 2018-12-20 |
| CN108965889B (en) | 2021-09-10 |
| US20180343459A1 (en) | 2018-11-29 |
| KR20210060411A (en) | 2021-05-26 |
| US11039155B2 (en) | 2021-06-15 |
| KR20180129339A (en) | 2018-12-05 |
| CN113691806A (en) | 2021-11-23 |
| KR102343325B1 (en) | 2021-12-27 |
| US11463718B2 (en) | 2022-10-04 |
| JP7176861B2 (en) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102343325B1 (en) | Method for image compression and method for image restoration | |
| CN110662083B (en) | Data processing method and device, electronic equipment and storage medium | |
| US10559062B2 (en) | Method for automatic facial impression transformation, recording medium and device for performing the method | |
| CN100512420C (en) | Method and apparatus for composing images during video communications | |
| US9392248B2 (en) | Dynamic POV composite 3D video system | |
| CN111626183B (en) | Target object display method and device, electronic equipment and storage medium | |
| US11917265B2 (en) | Augmented reality data dissemination method, system and terminal and storage medium | |
| US9148463B2 (en) | Methods and systems for improving error resilience in video delivery | |
| CN109413152B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
| CN112543343A (en) | Live broadcast picture processing method and device based on live broadcast with wheat and electronic equipment | |
| CN109040523A (en) | Artifact eliminating method and device, storage medium and terminal | |
| CN110807769B (en) | Image display control method and device | |
| KR101672691B1 (en) | Method and apparatus for generating emoticon in social network service platform | |
| CN113012052A (en) | Image processing method and device, electronic equipment and storage medium | |
| US10990802B2 (en) | Imaging apparatus providing out focusing and method for controlling the same | |
| KR101189043B1 (en) | Service and method for video call, server and terminal thereof | |
| JP7065708B2 (en) | Recording / playback device and program | |
| CN112106347A (en) | Image generation method, image generation equipment, movable platform and storage medium | |
| US10282633B2 (en) | Cross-asset media analysis and processing | |
| KR20230073869A (en) | Method of providing user interface supporting interaction and elecronic apparatus performing the same | |
| US20220321774A1 (en) | Method for assisting the acquisition of media content at a scene | |
| TW201724013A (en) | Electronic apparatus, computer readable recording medium storing program and facial image displaying method | |
| CN119338846A (en) | Image processing method and device, electronic device and computer readable storage medium | |
| KR20220013235A (en) | Method for performing a video calling, display device for performing the same method, and computer readable medium storing a program for performing the same method | |
| CN117041670A (en) | Image processing method and related equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20170526 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20191028 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20170526 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20201215 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210330 |
|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant | ||
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20210518 Patent event code: PA01071R01D |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210518 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210520 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20240320 Start annual number: 4 End annual number: 4 |