[go: up one dir, main page]

KR102180475B1 - Method for providing service based on face recognition and electronic devices thereof - Google Patents

Method for providing service based on face recognition and electronic devices thereof Download PDF

Info

Publication number
KR102180475B1
KR102180475B1 KR1020130144774A KR20130144774A KR102180475B1 KR 102180475 B1 KR102180475 B1 KR 102180475B1 KR 1020130144774 A KR1020130144774 A KR 1020130144774A KR 20130144774 A KR20130144774 A KR 20130144774A KR 102180475 B1 KR102180475 B1 KR 102180475B1
Authority
KR
South Korea
Prior art keywords
user
face
electronic device
image information
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130144774A
Other languages
Korean (ko)
Other versions
KR20150060396A (en
Inventor
김홍일
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130144774A priority Critical patent/KR102180475B1/en
Publication of KR20150060396A publication Critical patent/KR20150060396A/en
Application granted granted Critical
Publication of KR102180475B1 publication Critical patent/KR102180475B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

사용자로부터 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 수신되는지 여부를 판단하고, 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 수신된다고 판단된 경우, 사용자의 얼굴에 대한 얼굴 영상 정보를 획득하고, 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식하고, 얼굴이 인식된 사용자에게 서비스를 제공하는 방법이 개시된다.It is determined whether an input indicating at least one of a predetermined operation of the user or a predetermined operation on an electronic device is received from the user, and an input indicating at least one of a predetermined operation of the user or a predetermined operation on the electronic device is received When it is determined that the face is determined, a method of acquiring face image information on a user's face, recognizing the user's face using the obtained face image information, and providing a service to a user whose face is recognized is disclosed.

Description

얼굴인식에 기초하여 서비스를 제공하는 방법 및 그에 따른 전자 기기{METHOD FOR PROVIDING SERVICE BASED ON FACE RECOGNITION AND ELECTRONIC DEVICES THEREOF}A method of providing a service based on face recognition, and an electronic device according thereto {METHOD FOR PROVIDING SERVICE BASED ON FACE RECOGNITION AND ELECTRONIC DEVICES THEREOF}

본 발명은 얼굴인식에 기초하여 서비스를 제공하는 방법 및 그에 따른 전자 기기에 관한 것이다.The present invention relates to a method for providing a service based on face recognition and an electronic device according thereto.

종래의 얼굴 인식 기술은 사용자의 얼굴을 나타내는 얼굴 영상 정보를 등록하고, 등록된 얼굴 영상 정보를 입력된 얼굴 영상정보와 비교하여 얼굴의 ID를 분석하여 사용자 ID를 확인하는 과정을 거친다. 따라서 얼굴 인식 기술을 사용하기 위해서 사용자가 직접 사용자의 얼굴을 나타내는 한 장 또는 여러 장의 이미지와 같은 얼굴 영상정보를 등록하여야 하는 번거로움이 존재하였다. In the conventional face recognition technology, face image information representing a user's face is registered, and the registered face image information is compared with the input face image information to analyze the face ID to confirm the user ID. Therefore, in order to use the face recognition technology, there has been an inconvenience in that the user must directly register face image information such as one or several images representing the user's face.

한편, 사용자가 직접 등록한 얼굴 영상정보에 따라서 얼굴 인식의 성능이 크게 달라져, 얼굴 인식 성공률을 높이기 위해서 정면 얼굴과 같이 얼굴을 인식하는데 이상적인 얼굴을 나타내는 얼굴 영상 정보를 등록하여야 한다. 또한 얼굴 인식을 하기 위해 얼굴 영상 정보를 입력 받는 과정에서 사용자는 의식적으로 정면을 바라보거나, 표정, 각도, 조명 등을 신경써야 하는 번거로움이 존재한다. Meanwhile, the performance of face recognition varies greatly according to the face image information directly registered by the user. In order to increase the success rate of face recognition, face image information indicating a face ideal for recognizing a face, such as a front face, must be registered. In addition, in the process of receiving facial image information for face recognition, the user has to consciously look straight ahead or pay attention to facial expressions, angles, and lighting.

또한 종래기술의 경우 얼굴 인식만을 기반으로 사용자 별 시청 성향 정보를 분석하기 때문에 사용 범위가 한정되어 있다는 문제점이 있다. 즉, 얼굴 인식을 통해 사용자가 누구인지를 인식하고, 그 인식된 사용자 별 시청 성향 정보를 분석하고 분석한 시청 성향 정보를 기초로 서비스를 제공할 뿐, 사용자가 특정 사용자의 행동을 취할 때, 사용자의 행동 패턴에 따른 사용자 별 시청 성향 정보를 분석하여 사용자에게 정확하고 유용한 서비스를 제공하지 못하는 문제점이 있다.In addition, in the case of the prior art, there is a problem that the range of use is limited because viewing propensity information for each user is analyzed based only on face recognition. In other words, it recognizes who the user is through facial recognition, analyzes the recognized viewing propensity information for each user, and provides a service based on the analyzed viewing propensity information. When a user takes an action of a specific user, the user There is a problem in that it cannot provide accurate and useful services to users by analyzing viewing propensity information for each user according to the behavior pattern of

또한 복수의 사용자가 하나의 전자 기기를 사용하는 경우, 복수의 사용자에 대한 얼굴 인식률이 떨어질 뿐 아니라, 어떤 사용자를 얼굴 인식하여 서비스를 제공할 것인지 모호한 측면이 있다.In addition, when a plurality of users uses one electronic device, not only the face recognition rate for the plurality of users decreases, but also there is an ambiguity about which users are face-recognized to provide a service.

본 발명은 사용자에게 편의를 제공하고 사용자에게 정확하고 유용한 서비스를 제공하기 얼굴인식에 기초하여 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작에 대응한 사용자 맞춤형 서비스를 제공하는 방법 및 이에 따른 전자 기기의 제공을 목적으로 한다.The present invention provides a method for providing a user-customized service corresponding to a predetermined operation of a user or a predetermined operation on an electronic device based on face recognition in order to provide convenience to the user and provide accurate and useful service to the user, and electronic It is intended to provide equipment.

본 발명의 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법은 사용자로부터 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 수신되는지 여부를 판단하는 단계; 입력이 수신된다고 판단된 경우, 사용자의 얼굴에 대한 얼굴 영상 정보를 획득하는 단계; 및 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식하는 단계를 포함한다.A method of providing a service to a user by recognizing a user's face according to the present invention includes determining whether an input indicating at least one of a predetermined operation of the user or a predetermined operation on an electronic device is received from the user; When it is determined that an input is received, obtaining face image information on a user's face; And recognizing the user's face by using the obtained face image information.

복수의 사용자가 전자 기기를 사용하는 경우, 얼굴 영상 정보를 획득하는 단계는, 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력과 연관된 사용자 중 적어도 하나를 선택하는 단계를 더 포함하고, 선택된 사용자의 얼굴 영상 정보를 획득할 수 있다.When a plurality of users use an electronic device, acquiring face image information includes selecting at least one of a user associated with an input representing at least one of a predetermined operation of the user or a predetermined operation on the electronic device. It may further include, and obtain face image information of the selected user.

사용자의 얼굴이 인식된 경우, 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나에 대응하여 사용자가 이용하는 서비스를 나타내는 서비스 정보를 인식된 사용자의 식별자에 대응하여 저장하는 단계를 더 포함할 수 있다.When the user's face is recognized, the step of storing service information indicating a service used by the user in response to at least one of a user's motion or an electronic device manipulation, corresponding to the recognized user's identifier.

사용자의 얼굴이 인식되지 않은 경우, 사용자의 식별자를 생성하는 단계; 및 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나에 대응하여 사용자가 이용하는 서비스를 나타내는 서비스 정보를 생성된 사용자의 식별자에 대응하여 저장하는 단계를 더 포함할 수 있다. If the user's face is not recognized, generating an identifier of the user; And storing service information indicating a service used by the user in response to at least one of a user's operation or an electronic device operation, corresponding to the generated user's identifier.

저장된 서비스 정보에 기초하여 사용자에게 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나에 대응하는 사용자 맞춤형 서비스를 제공하는 단계를 더 포함할 수 있다.The method may further include providing a customized service corresponding to at least one of a user's operation or an electronic device's operation to the user based on the stored service information.

사용자의 얼굴이 인식된 경우, 얼굴 영상 정보를 얼굴 인식에 사용되는 정보로서 인식된 식별자에 대응하여 업데이트 하는 단계를 더 포함할 수 있다.When the user's face is recognized, the step of updating the face image information corresponding to the recognized identifier as information used for face recognition may be further included.

사용자의 얼굴이 인식되지 않은 경우, 얼굴 영상 정보를 얼굴 인식에 사용되는 정보로서 생성된 식별자에 대응하여 저장하는 단계를 더 포함할 수 있다.When the user's face is not recognized, the step of storing the face image information corresponding to the generated identifier as information used for face recognition may be further included.

얼굴 영상 정보를 업데이트하는 단계는, 얼굴 인식에 사용되는 정보로서 사용자의 동작 또는 전자 기기의 조작에 대응하여 업데이트하고, 얼굴 인식을 수행하는 단계는, 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나에 대응하여 저장된 얼굴 영상 정보를 이용하여 얼굴 인식을 수행할 수 있다.The updating of the face image information is information used for face recognition and is updated in response to a user's motion or manipulation of an electronic device, and the performing of face recognition includes at least one of a user's motion or manipulation of the electronic device. Face recognition may be performed using correspondingly stored face image information.

본 발명의 일 실시예에 따른 전자 기기는 사용자로부터 사용자의 동작 또는 전자 기기에 대한 조작 중 적어도 하나를 나타내는 입력을 수신하는 수신부; 입력이 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력인지 여부를 판단하는 판단부; 입력이 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타낸다고 판단된 경우, 사용자의 얼굴에 대한 얼굴 영상 정보를 획득하는 획득부; 및 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식하는 얼굴 인식부를 포함할 수 있다.An electronic device according to an embodiment of the present invention includes: a receiver configured to receive an input indicating at least one of a user's operation or an operation on the electronic device from a user; A determination unit that determines whether the input represents at least one of a predetermined operation of a user or a predetermined operation on an electronic device; An acquisition unit for acquiring facial image information on the user's face when it is determined that the input represents at least one of a predetermined motion of the user or a predetermined manipulation of the electronic device; And a face recognition unit that recognizes a user's face using the acquired face image information.

획득부는 복수의 사용자가 전자 기기를 사용하는 경우, 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력과 연관된 사용자 중 적어도 하나를 선택하고, 선택된 사용자의 얼굴 영상 정보를 획득할 수 있다.When a plurality of users use an electronic device, the acquisition unit selects at least one of users associated with an input representing at least one of a predetermined operation of the user or a predetermined operation on the electronic device, and acquires face image information of the selected user. can do.

사용자의 얼굴이 인식된 경우, 사용자의 동작 및 전자 기기의 조작에 대응하여 사용자가 이용하는 서비스를 나타내는 서비스 정보를 인식된 사용자의 식별자에 대응하여 저장하도록 제어하는 제어부; 및 서비스 정보를 저장하는 저장부를 더 포함할 수 있다.A control unit configured to store service information indicating a service used by the user in response to a user's motion and manipulation of an electronic device in response to the recognized user's identifier when a user's face is recognized; And a storage unit for storing service information.

사용자의 얼굴이 인식되지 않은 경우, 사용자의 식별자를 생성하고, 사용자의 동작 및 전자 기기의 조작에 대응하여 사용자가 이용하는 서비스를 나타내는 서비스 정보를 생성된 사용자의 식별자에 대응하여 저장하도록 제어하는 제어부; 및 서비스 정보를 저장하는 저장부를 더 포함할 수 있다.A controller configured to generate an identifier of the user when the user's face is not recognized, and control to store service information indicating a service used by the user in response to the user's operation and manipulation of the electronic device in response to the generated user's identifier; And a storage unit for storing service information.

저장된 서비스 정보에 기초하여 사용자에게 사용자의 동작 또는 전자 기기의 조작에 대응하는 사용자 맞춤형 서비스를 제공하는 서비스 제공부를 더 포함할 수 있다.The service provider may further include a service providing unit that provides a user-customized service corresponding to a user's operation or manipulation of an electronic device to a user based on the stored service information.

제어부는 얼굴 영상 정보를 얼굴 인식에 사용되는 정보로서 인식된 식별자에 대응하여 업데이트하도록 제어하고, 저장부는 얼굴 영상 정보를 저장할 수 있다.The controller controls to update the face image information corresponding to the recognized identifier as information used for face recognition, and the storage unit may store the face image information.

제어부는 얼굴 영상 정보를 얼굴 인식에 사용되는 정보로서 생성된 식별자에 대응하여 저장하도록 제어하고, 저장부는 얼굴 영상 정보를 저장할 수 있다.The control unit controls to store the face image information corresponding to the generated identifier as information used for face recognition, and the storage unit may store the face image information.

제어부는 얼굴 영상 정보를 사용자의 동작 또는 전자 기기의 조작에 대응하여 얼굴 인식에 사용되는 정보로서 저장하도록 제어하고, 저장부는 얼굴 영상 정보를 저장하고, 얼굴 인식부는 사용자의 동작 또는 전자 기기의 조작에 대응하여 저장된 얼굴 영상 정보를 이용하여 얼굴 인식을 수행할 수 있다.The controller controls to store face image information as information used for face recognition in response to a user's motion or manipulation of an electronic device, the storage unit stores face image information, and the face recognition unit Face recognition may be performed using correspondingly stored face image information.

본 발명의 다른 실시예에 따른 기록매체는 방법들을 실행하는 컴퓨터 프로그램을 기록하고 있어 컴퓨터로 읽어 들일 수 있다.A recording medium according to another exemplary embodiment of the present invention records a computer program for executing methods and can be read by a computer.

도 1은 종래 기술에 따라 얼굴을 인식하는 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 사용자가 리모컨 조작을 하는 경우, 얼굴을 인식하는 과정을 설명하기 위한 도면이다.
도 3는 본 발명의 일 실시예에 따라 복수의 TV 사용자가 있는 경우, 얼굴을 인식하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 사용자가 특정 모션을 취하는 경우, 얼굴을 인식하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 사용자가 모바일 기기에서 특정 앱을 실행하는 경우, 얼굴을 인식하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 영상 정보에 기초하여 서비스를 제공하는 전자 기기의 구성을 도시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 얼굴 영상 정보에 기초하여 서비스를 제공하는 전자 기기의 구성을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법에 대한 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법에 대한 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법에 대한 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법에 대한 흐름도이다.1 is a diagram illustrating a process of recognizing a face according to the prior art.
2 is a diagram illustrating a process of recognizing a face when a user operates a remote control according to an embodiment of the present invention.
3 is a diagram illustrating a process of recognizing a face when there are a plurality of TV users according to an embodiment of the present invention.
4 is a diagram illustrating a process of recognizing a face when a user performs a specific motion according to an embodiment of the present invention.
5 is a diagram for explaining a process of recognizing a face when a user executes a specific app on a mobile device according to an embodiment of the present invention.
6 is a diagram illustrating a configuration of an electronic device that provides a service based on face image information according to an embodiment of the present invention.
7 is a diagram illustrating a configuration of an electronic device that provides a service based on face image information according to another embodiment of the present invention.
8 is a flowchart illustrating a method of providing a service to a user by recognizing a user's face according to an embodiment of the present invention.
9 is a flowchart illustrating a method of providing a service to a user by recognizing a user's face according to another embodiment of the present invention.
10 is a flowchart illustrating a method of providing a service to a user by recognizing a user's face according to another embodiment of the present invention.
11 is a flowchart illustrating a method of providing a service to a user by recognizing a user's face according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In order to more clearly describe the features of the embodiments, detailed descriptions of matters that are widely known to those of ordinary skill in the art to which the following embodiments belong will be omitted.

도 1은 종래 기술에 따라 얼굴을 인식하는 과정을 설명하기 위한 도면이다.1 is a diagram illustrating a process of recognizing a face according to the prior art.

종래 기술에 따르면 사용자(140)는 얼굴 인식에 기초한 서비스를 제공받기 위해, 전자 기기(100)에 사용자(140)의 얼굴 영상 정보를 미리 등록하는 과정이 요청된다. 따라서 처음 서비스를 이용하는 사용자는 사용자 등록(110)을 통해서 자신의 얼굴 영상 정보를 미리 등록하여야 하였다. 이러한 등록 과정은 사용자를 상당히 번거롭게 한다. 이러한 번거로운 얼굴 영상 정보의 등록 과정이 사용자(140)에 의해 강압적으로 이루어지지 않고, 자연스럽게 전자 기기(100)에 의해 비강압적으로 사용자(140)의 얼굴 영상 정보가 등록되게 하여 사용자에게 편의를 제공할 필요성이 있다.According to the prior art, in order for the user 140 to receive a service based on face recognition, a process of registering face image information of the user 140 in the electronic device 100 in advance is requested. Therefore, a user who uses the service for the first time has to register his/her face image information in advance through the user registration 110. This registration process is very cumbersome to the user. This cumbersome registration process of face image information is not forcedly performed by the user 140, and the electronic device 100 naturally registers the face image information of the user 140 non-forcedly, thereby providing convenience to the user. There is a need.

또한 전자 기기(100)는 카메라(130)를 통하여 획득된 얼굴 영상 정보와 등록된 사용자(140)의 얼굴 영상 정보의 비교를 통해 얼굴 인식을 수행하고, 이를 기반으로 사용자 별 시청 성향 정보를 분석하기 때문에 사용자(140)에게 정확하고, 유용한 서비스를 제공하지 못하는 문제점이 있다. 즉, 얼굴 인식을 수행하여 사용자가 누구인지를 인식하여, 그 이후에 사용자가 이용하는 서비스에 관한 정보를 수집하여 사용자 별 시청 성향 정보를 분석한다. 따라서 사용자(140)가 특정 행동을 취할 때, 그 특정 행동과 관련하여 이용되는 서비스에 관한 정보를 특정 행동과 관련 지어 수집하고 특정 행동 패턴에 따른 시청 성향 정보를 분석하여 사용자에게 사용자의 특정 행동과 관련 있는 서비스를 제공하지 못하는 문제점이 있다.In addition, the electronic device 100 performs face recognition through comparison of the face image information acquired through the camera 130 and the face image information of the registered user 140, and analyzes viewing propensity information for each user based on this. Therefore, there is a problem in that accurate and useful services cannot be provided to the user 140. That is, face recognition is performed to recognize who the user is, and after that, information on services used by the user is collected to analyze viewing propensity information for each user. Therefore, when the user 140 takes a specific action, information on the service used in connection with the specific action is collected in relation to the specific action, and viewing propensity information according to the specific behavior pattern is analyzed to provide the user with a specific action and There is a problem that it cannot provide related services.

또한 전자 기기를 이용하여 얼굴 인식을 하는 경우, 얼굴 영상 정보에 따라 얼굴 인식 성공률이 달라진다는 문제점이 있다. 즉, 등록된 얼굴 영상 정보에 따라서 전자 기기의 얼굴 인식 성공률이 달라지고, 입력되는 얼굴 영상 정보에 따라서 전자 기기의 얼굴 인식 성공률이 크게 달라진다. 따라서 전자 기기에 의해 얼굴 인식이 자연스럽게 이루어지는 것이 아니라, 사용자(140)가 번거롭게 전자 기기에서 사용자 인증(120)하여 사용자의 조작에 의해 얼굴 영상 정보를 입력 받는 과정을 거쳐야 하고, 사용자는 얼굴 인식률이 높은 얼굴 영상 정보를 얻기 위해서, 정면을 바라보거나, 표정, 각도, 조명 등을 신경써야 하는 번거로움이 있다.In addition, when face recognition is performed using an electronic device, there is a problem that the face recognition success rate varies according to the face image information. That is, the face recognition success rate of the electronic device varies according to the registered face image information, and the face recognition success rate of the electronic device varies greatly according to the input face image information. Therefore, face recognition is not performed naturally by an electronic device, but the user 140 has to go through the process of receiving face image information through user manipulation by cumbersome user authentication 120 on the electronic device, and the user has a high face recognition rate. In order to obtain facial image information, there is a hassle of looking straight ahead or paying attention to facial expressions, angles, and lighting.

한편, 다수의 사용자가 동시에 얼굴 인식에 기초하여 서비스를 제공받으려는 경우, 복수의 사용자에 대한 얼굴 인식률이 떨어질 뿐 아니라, 어떤 사용자를 얼굴 인식하여 서비스를 제공할 것인지 모호한 측면이 있다.On the other hand, when a plurality of users attempt to receive a service based on face recognition at the same time, the face recognition rate for the plurality of users decreases, and there is an ambiguity about which users to provide the service by face recognition.

도 2는 본 발명의 일 실시예에 따라 사용자가 리모컨 조작을 하는 경우, 얼굴을 인식하는 과정을 설명하기 위한 도면이다. 2 is a diagram illustrating a process of recognizing a face when a user operates a remote control according to an embodiment of the present invention.

본 실시예에서 사용자(220)가 리모컨(230)을 이용하여 TV(200)를 시청하고 있다고 한다.In this embodiment, it is assumed that the user 220 is watching the TV 200 using the remote control 230.

사용자는 리모컨(230)을 이용하여 TV(200)를 켠다. 이 때, TV(200)는 리모컨(230)을 이용하여 TV전원을 켜는 사용자의 조작을 나타내는 입력을 수신한다. TV(200)는 TV 전원을 켜는 입력이 TV(200)에 대한 조작인지 여부를 판단한다. 이를 판단한 결과, TV 전원을 켜는 입력이 TV(200)에 대한 조작이라고 판단되면, TV(200)는 카메라(210)을 이용하여 사용자(220)의 얼굴 영상 정보를 취득한다. 이후, 다만 사용자가 리모컨(230)을 이용하여 TV(200)를 켜는 조작에 제한되지 않고, 리모컨(230)을 이용하여 TV(200)에 대해 이루어지는 사용자의 다양한 조작을 나타내는 입력을 수신하고, 그러한 입력이 수신되는 경우에 사용자의 얼굴 영상 정보를 취득할 수 있다.The user turns on the TV 200 using the remote control 230. At this time, the TV 200 receives an input indicating a user's manipulation of turning on the TV power using the remote control 230. The TV 200 determines whether an input for turning on the TV is a manipulation to the TV 200. As a result of determining this, if it is determined that the input for turning on the TV is an operation for the TV 200, the TV 200 acquires face image information of the user 220 using the camera 210. Thereafter, however, the user is not limited to the operation of turning on the TV 200 using the remote control 230, and receives inputs representing various operations of the user made on the TV 200 using the remote control 230, and such When an input is received, the user's face image information can be obtained.

TV(200)는 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식한다.The TV 200 recognizes the user's face by using the acquired face image information.

사용자(220)는 TV(200)를 이용하여 사용자(220)의 얼굴을 인식한 이후에 리모컨(230)의 조작을 통해 TV(200)의 다양한 서비스를 이용할 수 있다. 이 때, TV(200)는 얼굴이 인식된 사용자(220)가 이용하는 서비스에 관한 정보를 수집하고, 수집된 서비스를 분석하여 사용자에게 맞는 서비스를 제공할 수 있는데, 종래 기술과 달리 TV(200)는 사용자의 리모컨(230)의 조작과 연관지어 서비스에 관한 정보를 수집하고, 사용자의 리모컨(230)의 조작에 따라 그 사용자의 리모컨(230)의 조작에 연관되는 서비스를 제공할 수 있다. 예를 들어, 사용자가 리모컨(230)을 이용하여 TV(200)를 켜고 바로 이용하는 서비스에 관한 정보를 TV(200)를 켜는 리모컨(230)의 조작에 대응하여 수집된다. 따라서 사용자(220)가 리모컨(230)을 이용하여 켜는 경우, TV(200)는 그 켜는 동작과 함께 사용자(220)가 자주 보았던 코미디 채널로 이동할 수 있다. 이러한 서비스에 관한 정보가 누적되어 저장되면, 추후에 사용자(220)가 TV(200)를 사용하는 경우, 사용자(220)의 특정 조작에 따라 이용하는 서비스를 정확하게 제공할 수 있다. 즉, TV는 사용자(220)의 TV(200)에 대한 특정 조작에 따라 이용하는 서비스 관련 정보를 수집하고, 이러한 서비스 관련 정보에 기초하여 사용자(220)의 TV(200)에 대한 특정 조작에 따른 사용자에 따른 시청 성향을 분석하고, 이후에 사용자(200)가 TV(200)에 대해 특정 조작을 하는 경우, 그 사용자에게 적합한 사용자 맞춤형 서비스를 제공할 수 있다. 본 실시예에 따르면 사용자(220)의 TV(200)에 대한 조작을 고려하여 행동 패턴에 따른 사용자 맞춤형 서비스를 제공하기 때문에 종래 기술보다 사용자가 원하는 정확하고 유용한 서비스를 제공할 수 있다.After recognizing the face of the user 220 using the TV 200, the user 220 may use various services of the TV 200 through manipulation of the remote control 230. At this time, the TV 200 may collect information on a service used by the user 220 whose face is recognized, and analyze the collected service to provide a service suitable for the user. Unlike the conventional technology, the TV 200 May collect information about a service in association with a user's manipulation of the remote control 230, and provide a service related to the manipulation of the user's remote control 230 according to the manipulation of the user's remote control 230. For example, information on a service that a user turns on the TV 200 and uses immediately using the remote control 230 is collected in response to an operation of the remote control 230 that turns on the TV 200. Therefore, when the user 220 turns on using the remote control 230, the TV 200 may move to a comedy channel that the user 220 frequently viewed along with the turning on operation. When information about such a service is accumulated and stored, when the user 220 uses the TV 200 in the future, the service used according to a specific operation of the user 220 can be accurately provided. That is, the TV collects service-related information used according to a specific operation on the TV 200 by the user 220, and based on the service-related information, the user 220 according to a specific operation on the TV 200 When the user 200 performs a specific operation on the TV 200 after analyzing the viewing propensity according to the analysis, a customized service suitable for the user may be provided to the user. According to the present embodiment, since a user-customized service according to a behavior pattern is provided in consideration of the manipulation of the TV 200 by the user 220, it is possible to provide an accurate and useful service desired by the user rather than the prior art.

도 3는 본 발명의 일 실시예에 따라 복수의 TV 사용자가 있는 경우, 얼굴을 인식하는 과정을 설명하기 위한 도면이다. 3 is a diagram illustrating a process of recognizing a face when there are a plurality of TV users according to an embodiment of the present invention.

본 실시예에서 복수의 사용자(320, 330, 340)가 TV(300)를 시청하고 있다고 한다. 종래 기술에 따르면 TV(300)가 카메라(310)를 이용하여 얼굴 인식을 수행하는 경우, TV(300)의 다수의 사용자(320, 330, 340)의 얼굴 인식 성공률이 떨어진다. 또한 동시에 다수의 사용자(320, 330, 340)를 인식하더라도, 어느 사용자를 위해 TV서비스를 제공할 것인지 여부가 불분명한 측면이 있다.In this embodiment, it is assumed that a plurality of users 320, 330, and 340 are watching the TV 300. According to the prior art, when the TV 300 performs face recognition using the camera 310, the success rate of face recognition of the plurality of users 320, 330, and 340 of the TV 300 decreases. In addition, even if a plurality of users 320, 330, and 340 are simultaneously recognized, it is unclear whether a TV service is provided for which users.

하지만 본 발명의 일 실시예에 따라, TV(300)에 장착된 카메라(310)를 이용하여 얼굴 영상 정보를 획득하기 전에, TV(300)는 사용자의 동작 또는 전자 기기의 조작을 나타내는 입력을 수신한다. 예를 들어, TV(300)는 사용자의 손동작을 카메라(310)를 통해서 영상 형태로 수신할 수 있다. 또는 TV(300)는 리모컨과 같은 기기에 의한 TV(300)의 조작을 나타내는 입력, 즉, 전원 버튼을 누름 또는 채널 변경 버튼을 누름을 나타내는 입력 등을 수신할 수 있다. 이 때, 카메라(310)를 이용하여 어떠한 사용자가 리모컨을 조작하는지를 나타내는 영상 정보를 함께 획득하여, 리모컨을 조작하는 사용자가 복수의 사용자 중 누구인지 인식할 수 있다. 한편, 리모컨이 적외선을 이용하여 전원 버튼 또는 채널 변경 버튼의 누름을 나타내는 정보를 전송하는 경우에, TV(200)에 포함된 적외선 센서에서 정보를 획득하고, 전송되는 방향에 기초하여 리모컨을 조작하는 사용자가 복수의 사용자 중 누구인지 인식할 수 있다.However, according to an embodiment of the present invention, before obtaining face image information using the camera 310 mounted on the TV 300, the TV 300 receives an input indicating a user's motion or manipulation of an electronic device. do. For example, the TV 300 may receive a user's hand motion in the form of an image through the camera 310. Alternatively, the TV 300 may receive an input indicating manipulation of the TV 300 by a device such as a remote control, that is, an input indicating pressing a power button or a channel change button. In this case, by using the camera 310 to acquire image information indicating which user operates the remote control, it is possible to recognize who the user operating the remote control is among the plurality of users. On the other hand, when the remote control transmits information indicating the pressing of the power button or the channel change button by using infrared rays, information is obtained from the infrared sensor included in the TV 200, and the remote control is operated based on the transmitted direction. It is possible to recognize who the user is among a plurality of users.

TV(300)는 획득된 입력이 특정 사용자의 동작 또는 특정 사용자의 TV에 대한 조작인지를 판단한다. 예를 들어, TV전원의 켬을 나타내는 입력이 수신되는지를 판단할 수 있다. 또한 TV 채널의 변경을 나타내는 입력이 수신되는지를 판단할 수 있다. 또는 사용자의 8자 모양과 같은 손동작 모션을 나타내는 입력이 수신되는지를 판단할 수 있다. 다만, 이러한 입력에 제한되지 않고 다양한 사용자의 동작 또는 사용자의 TV에 대한 조작을 나타내는 입력이 수신되는지 여부를 판단할 수 있다.The TV 300 determines whether the acquired input is a specific user's operation or a specific user's manipulation of the TV. For example, it may be determined whether an input indicating the TV power is received is received. In addition, it may be determined whether an input indicating a change of a TV channel is received. Alternatively, it may be determined whether an input indicating a hand motion motion such as an eight-shaped shape of the user is received. However, it is not limited to such an input, and it may be determined whether an input indicating various user actions or manipulation of the user's TV is received.

예를 들어, 사용자(320, 340)는 리모컨을 조작하지 않고 있고, 사용자(330)만 리모컨을 조작하여 TV 전원을 켠다고 한다. 이 때, TV(300)는 TV 전원의 켬을 나타내는 입력을 수신하고, TV전원의 켬을 나타내는 입력이 수신되는지 여부를 판단한다.For example, it is assumed that the users 320 and 340 are not operating the remote control, and only the user 330 operates the remote control to turn on the TV. At this time, the TV 300 receives an input indicating that the TV power is turned on, and determines whether an input indicating that the TV power is turned on is received.

TV(300)는TV 전원의 켬을 나타내는 입력이 수신된다고 판단된 경우, 입력과 연관된 사용자를 선택할 수 있다. 본 실시예에서는 사용자(330)만이 리모컨을 켜는 동작을 하였는바, 사용자(330)를 선택할 수 있다. 반면, 사용자(330)는 리모컨을 이용하여 TV전원을 켜는 동작을 하는 동안, 사용자(320)는 원모양의 손동작을 하였다고 하고, 따라서 TV(300)에서 TV 전원의 켬을 나타내는 입력 및 사용자가 원모양의 손동작을 하는 영상 입력을 수신한다고 할 때, TV(300)는 각각 사용자(320) 및 사용자(330)의 입력이 수신된다고 판단할 수 있다. 이 경우에, TV(200)는 특정 사용자의 동작 또는 사용자의 TV에 대한 조작에 대한 우선 순위 정보에 기초하여 사용자를 선택할 수 있다. 이 때, 우선 순위 정보는 TV(300)가 얼굴 영상 정보를 획득할 사용자를 선택할 때, 사용자의 동작 또는 사용자의 TV에 대한 조작에 대한 우선 순위를 포함하는 정보를 의미한다. 예를 들어, 우선 순위 정보는 TV에 대한 리모컨의 조작을 나타내는 입력의 우선 순위가 상대적으로 높고, 사용자의 동작을 나타내는 입력의 우선 순위는 상대적으로 낮음을 나타내는 정보를 포함할 수 있다. 이에 따라, TV(300)는 특정 입력이 수신된다고 판단된 사용자(320,330) 중 우선순위 정보에 따라 우선 순위가 높다고 판단되는 TV에 대한 리모컨의 조작을 나타내는 입력을 수신하고 있는 사용자(320)을 선택할 수 있다. 이 때, TV(300)는 카메라(310)를 이용하여 선택된 사용자(320)의 얼굴을 나타내는 얼굴 영상 정보를 획득한다.When it is determined that an input indicating the power-on of the TV is received, the TV 300 may select a user associated with the input. In this embodiment, since only the user 330 has turned on the remote control, the user 330 can be selected. On the other hand, while the user 330 uses the remote control to turn on the TV power, the user 320 is said to have made a circular hand motion. Therefore, the input indicating the TV power on from the TV 300 and the user In the case of receiving an image input performing a hand gesture in a shape, the TV 300 may determine that inputs from the user 320 and the user 330 are respectively received. In this case, the TV 200 may select a user based on priority information regarding an operation of a specific user or an operation of the user's TV. In this case, the priority information refers to information including a priority of a user's motion or manipulation of the user's TV when the TV 300 selects a user to obtain face image information. For example, the priority information may include information indicating that the priority of the input indicating the operation of the remote control for the TV is relatively high, and the priority of the input indicating the user's operation is relatively low. Accordingly, the TV 300 selects a user 320 receiving an input indicating an operation of the remote control for the TV determined to have a high priority according to the priority information among the users 320 and 330 determined to receive a specific input. I can. In this case, the TV 300 acquires face image information representing the face of the selected user 320 by using the camera 310.

TV(300)는 획득된 사용자(320)의 얼굴 영상 정보와 저장된 얼굴 영상 정보를 비교하여 얼굴 인식을 수행한다. 여기서 저장된 얼굴 영상 정보는 TV(300)가 이전에 얼굴 인식하는 과정에서, 얼굴 인식에 실패한 경우, 즉 얼굴 영상 정보가 등록된 사용자가 아니라고 판단된 경우에, 자동으로 사용자의 얼굴 영상 정보를 등록하는 과정을 통해 저장된 정보일 수 있다. 또는 사용자가 직접 TV(300)에 얼굴 영상 정보를 등록하여 저장된 얼굴 영상 정보일 수 있다.The TV 300 performs face recognition by comparing the acquired face image information of the user 320 with the stored face image information. The stored face image information is automatically registered when face recognition fails, that is, when it is determined that the face image information is not a registered user in the process of face recognition by the TV 300 previously. It may be information stored through a process. Alternatively, it may be face image information stored by directly registering face image information on the TV 300 by the user.

TV(300)는 얼굴 인식을 수행하여, 사용자의 얼굴이 인식된 경우, 그 이후에 사용자가 서비스를 이용하는 동안, 사용자가 이용하는 서비스에 관한 정보를 사용자에 대응시켜 저장한다. 특히 사용자의 동작 또는 TV(300)에 대한 사용자의 조작에 대응시켜 사용자가 이용하는 서비스에 관한 정보를 저장한다. 예를 들어, 사용자(330)가 TV(300)를 켜고 나서, 바로 방송 중 코미디 채널을 자주 보는 경우, TV를 켜는 사용자의 조작에 대응시켜 코미디 채널을 자주 봄을 나타내는 정보가 저장될 수 있다. 따라서 사용자(330)이 TV(300)를 켜는 경우에는, TV(300)는 코미디 채널로 채널을 변경할 수 있다. 또는 사용자(340)이 TV(300)를 켜고 나서, 바로 방송 중 스포츠 채널을 자주 보는 경우, TV를 켜는 사용자(340)의 조작에 대응시켜 스포츠 채널을 자주 봄을 나타내는 정보가 저장될 수 있다. 따라서 사용자(340)이 TV(300)를 켜는 경우에는 TV(300)는 스포츠 채널로 채널을 변경할 수 있다. 또는 예를 들어, 사용자(310)가 리모컨을 이용하여 듀얼 채널 시청 입력 버튼을 누르는 경우, TV(300)는 듀얼 채널 시청을 나타내는 입력을 수신한다. 이 때, 사용자(310)가 TV(300)를 이용하여 듀얼 채널 시청 입력 버튼을 눌러 듀얼 채널로 스포츠 채널과 다큐멘터리 채널을 자주 보는 경우, 듀얼 채널 시청을 나타내는 사용자(310)의 조작에 대응시켜, 스포츠 채널과 다큐멘터리 채널을 자주 봄을 나타내는 정보가 저장될 수 있다. 다라서 사용자(310)가 리모컨을 이용하여 듀얼 채널 시청 입력 버튼을 누르는 경우, TV(300)는 스포츠 채널과 다큐멘터리 채널을 동시에 시청할 수 있게 할 수 있다. When the user's face is recognized by performing face recognition, the TV 300 stores information about the service used by the user in correspondence with the user while the user uses the service thereafter. In particular, information on a service used by the user is stored in response to a user's operation or a user's manipulation of the TV 300. For example, if the user 330 frequently watches a comedy channel during broadcasting immediately after turning on the TV 300, information indicating frequent viewing of the comedy channel may be stored in response to a user's manipulation of turning on the TV. Therefore, when the user 330 turns on the TV 300, the TV 300 may change the channel to a comedy channel. Alternatively, when the user 340 frequently watches a sports channel during broadcasting immediately after turning on the TV 300, information indicating frequent viewing of the sports channel may be stored in response to an operation of the user 340 turning on the TV. Therefore, when the user 340 turns on the TV 300, the TV 300 may change the channel to a sports channel. Or, for example, when the user 310 presses a dual channel viewing input button using a remote control, the TV 300 receives an input indicating dual channel viewing. At this time, when the user 310 frequently views a sports channel and a documentary channel through a dual channel by pressing a dual channel viewing input button using the TV 300, in response to the operation of the user 310 indicating dual channel viewing, Information indicating frequent viewing of sports channels and documentary channels may be stored. Therefore, when the user 310 presses the dual channel viewing input button using a remote control, the TV 300 may enable simultaneous viewing of a sports channel and a documentary channel.

도 4는 본 발명의 일 실시예에 따라 사용자가 특정 모션을 취하는 경우, 얼굴을 인식하는 과정을 설명하기 위한 도면이다. 4 is a diagram illustrating a process of recognizing a face when a user performs a specific motion according to an embodiment of the present invention.

본 실시예에서 사용자(420)는 TV(400)를 시청하고 있다. 사용자(420)는 TV(400)를 시청하다가 원을 그리는 행위(430)를 카메라(410) 앞에서 하였다고 한다. 이 때, 이러한 사용자의 행위(430)를 나타내는 입력은 카메라(410)에 의해서 획득된다. 다만 이에 제한되지 않고, 사용자의 행위(430)를 나타내는 입력은 TV(400)에 포함된 센서를 통해서 획득될 수 있다. In this embodiment, the user 420 is watching the TV 400. The user 420 is said to have performed an act 430 of drawing a circle while watching the TV 400 in front of the camera 410. In this case, an input representing the user's action 430 is obtained by the camera 410. However, the present invention is not limited thereto, and an input indicating the user's action 430 may be obtained through a sensor included in the TV 400.

이 때, TV(400)는 획득된 사용자의 행위(430)를 나타내는 입력을 수신되는지 여부를 판단한다. TV(400)는 사용자의 행위(430)를 나타내는 입력이 수신된다고 판단된 경우, TV(400)는 카메라(410)를 이용하여 사용자(420)의 얼굴 영상 정보를 획득하여 사용자의 얼굴을 인식한다. 사용자의 얼굴이 인식된 경우 사용자에게 서비스를 제공한다. 사용자에게 서비스를 제공하는 내용은 도 2의 내용에 대응되므로 상세한 설명은 생략한다. 다만 원을 그리는 사용자의 행위(430)에 제한되지 않고, TV는 사용자의 다양한 표정 및 사용자가 할 수 있는 다양한 모션을 나타내는 입력을 수신하고, 특정 입력이 수신되는지 여부를 판단할 수 있다. 예를 들어, 사용자가 리모컨을 들고 특정한 모션을 취하는 경우, 리모컨에 달려 있는 센서들을 통해 사용자의 움직임 정도, 방향 등을 나타내는 입력을 수신하고 특정 입력이 수신되는지 여부를 판단할 수 있다.At this time, the TV 400 determines whether or not an input indicating the acquired user's action 430 is received. When the TV 400 determines that an input indicating the user's action 430 is received, the TV 400 acquires face image information of the user 420 using the camera 410 and recognizes the user's face. . When the user's face is recognized, the service is provided to the user. Since the content of providing the service to the user corresponds to the content of FIG. 2, a detailed description will be omitted. However, it is not limited to the user's action 430 drawing a circle, and the TV may receive inputs representing various facial expressions of the user and various motions that the user can perform, and determine whether a specific input is received. For example, when a user holds a remote control and performs a specific motion, an input indicating the degree of movement and a direction of the user may be received through sensors mounted on the remote control, and it may be determined whether a specific input is received.

도 5는 본 발명의 일 실시예에 따라 사용자가 모바일 기기에서 특정 앱을 실행하는 경우, 얼굴을 인식하는 과정을 설명하기 위한 도면이다. 5 is a diagram for explaining a process of recognizing a face when a user executes a specific app on a mobile device according to an embodiment of the present invention.

본 실시예에서 사용자(510)는 모바일 기기(500)를 이용하여 메일 앱(520)을 실행하려고 하고 있다. 사용자(510)가 메일 앱(520)을 실행하면, 모바일 기기(500)는 메일 앱(520)을 실행함을 나타내는 입력을 수신한다. 모바일 기기(500)는 메일 앱(520)을 실행함을 나타내는 입력이 수신되는지 여부를 판단한다. 모바일 기기(500)는 메일 앱(520)을 실행함을 나타내는 입력이 수신된다고 판단된 경우, 모바일 기기(500)는 모바일 기기(500)에 장착된 카메라를 이용하여 사용자(510)의 얼굴을 나타내는 얼굴 영상 정보를 획득할 수 있다. 이 후, 모바일 기기(500)는 사용자의 얼굴을 인식한다. In this embodiment, the user 510 attempts to run the mail app 520 using the mobile device 500. When the user 510 executes the mail app 520, the mobile device 500 receives an input indicating that the mail app 520 is executed. The mobile device 500 determines whether an input indicating execution of the mail app 520 is received. When it is determined that the mobile device 500 receives an input indicating that the mail app 520 is executed, the mobile device 500 uses a camera mounted on the mobile device 500 to represent the face of the user 510. Face image information can be obtained. After that, the mobile device 500 recognizes the user's face.

모바일 기기(500)가 사용자의 얼굴을 인식하고 나서 메일 서비스를 제공한다. 예를 들어 모바일 기기(500)가 사용자의 얼굴을 인식하는 경우, 메일 앱(520)을 클릭한 이후에 사용자가 입력하는 이메일 주소를 자동으로 미리 입력할 수 있다. 또는 메일 앱(520)을 클릭한 이후에 사용자가 입력하는 비밀번호를 자동으로 미리 입력할 수 있다. 또한 메일 서비스에서 자주 이용하는 서비스에 대한 서비스 정보를 메일 앱(520)을 클릭하는 사용자의 행위에 대응시켜 저장하고, 이러한 서비스 정보에 기초하여 사용자에게 서비스를 제공할 수 있다. 예를 들어, 사용자가 메일 앱을 켜서 메일을 특정인에게 자주 보내는 경우에, 사용자가 메일 앱을 켜는 경우, 특정인의 메일을 정렬하여 표시하고, 바로 메일을 특정인에게 보낼 수 있는 서비스를 제공할 수 있다.After the mobile device 500 recognizes the user's face, it provides a mail service. For example, when the mobile device 500 recognizes the user's face, after clicking the mail app 520, an email address input by the user may be automatically entered in advance. Alternatively, after clicking the mail app 520, a password input by the user may be automatically entered in advance. In addition, service information on a service frequently used in the mail service may be stored in correspondence with a user's action of clicking the mail app 520, and a service may be provided to the user based on the service information. For example, when a user turns on the mail app and sends mail frequently to a specific person, when the user turns on the mail app, the mail of a specific person is sorted and displayed, and a service can be provided to directly send mail to a specific person. .

다만 사용자가 모바일 기기(500)의 특정 앱을 실행하는 동작에 제한되지 않고, 모바일 기기(500)는 모바일 기기(500)의 ON/OFF, 사진 촬영, 모바일 기기(500)를 이용한 모션 등과 같은 모바일 기기(500)에서 이루어지는 모든 동작에 따른 입력이 수신되는지 여부를 판단할 수 있다. 또한, 사용자에 의한 모바일 기기(500)의 조작에 제한되지 않고, 모바일 기기(500)의 카메라 또는 센서를 이용하여 사용자의 동작을 나타내는 입력이 수신되는지 여부를 판단할 수 있다.However, the user is not limited to the operation of executing a specific app of the mobile device 500, and the mobile device 500 is a mobile device such as ON/OFF of the mobile device 500, taking pictures, and motion using the mobile device 500. It may be determined whether an input according to all operations performed in the device 500 is received. In addition, it is not limited to manipulation of the mobile device 500 by the user, and it may be determined whether an input representing the user's motion is received using a camera or a sensor of the mobile device 500.

예를 들어, 사용자가 모바일 기기(500)를 이용하여 인터넷 앱을 실행시키고 나서 특정 사이트를 들어가는 경우, 모바일 기기(500)는 이를 인터넷 앱을 실행시키는 행위와 대응시켜 특정 사이트로 접속하는 서비스 관련 정보를 저장하고, 해당 사용자가 인터넷 앱을 실행시키는 경우, 모바일 기기(500)는 특정 사이트로 접속할 수 있게 할 수 있다. For example, when a user enters a specific site after executing an Internet app using the mobile device 500, the mobile device 500 corresponds to the act of executing the Internet app to access the specific site service-related information. Is stored, and the corresponding user executes the Internet app, the mobile device 500 may allow access to a specific site.

예를 들어, 사용자가 모바일 기기(500)를 켜는 경우에 소셜 네트워크 앱을 자주 실행시키는 경우, 모바일 기기(500)를 켜는 사용자의 조작에 대응시켜 소셜 네트워크 앱을 자주 실행시키는 서비스 관련 정보를 저장하고, 그 사용자가 모바일 기기를 켜는 동작을 수행하는 경우, 모바일 기기(500)는 소셜 네트워크 앱을 실행할 수 있다.For example, when a user frequently runs a social network app when turning on the mobile device 500, service-related information for frequently running the social network app is stored in response to a user's operation of turning on the mobile device 500, and , When the user performs an operation of turning on the mobile device, the mobile device 500 may execute a social network app.

예를 들어, 사용자가 모바일 기기(500)를 이용하여 전방 카메라를 자주 사용하는 경우, 카메라 앱을 실행시키는 사용자의 조작에 대응시켜 전방 카메라를 사용하는 정보를 저장할 수 있다. 따라서 모바일 기기(500)는 그 사용자가 카매라 앱을 실행시키는 경우 미리 전방 카메라를 사용하게 할 수 있다.For example, when a user frequently uses the front camera using the mobile device 500, information using the front camera may be stored in response to a user's manipulation of executing a camera app. Therefore, the mobile device 500 may allow the user to use the front camera in advance when executing the camera app.

도 6은 본 발명의 일 실시예에 따른 얼굴 영상 정보에 기초하여 서비스를 제공하는 전자 기기의 구성을 도시한 도면이다. 6 is a diagram illustrating a configuration of an electronic device that provides a service based on face image information according to an embodiment of the present invention.

전자 기기(600)는 수신부(610), 판단부(620), 획득부(630) 및 얼굴 인식부(640)를 포함한다.The electronic device 600 includes a reception unit 610, a determination unit 620, an acquisition unit 630, and a face recognition unit 640.

수신부(610)는 사용자로부터 사용자의 동작 또는 전자 기기에 대한 조작 중 적어도 하나를 나타내는 입력을 수신한다.The receiving unit 610 receives an input indicating at least one of a user's operation or an operation of an electronic device from a user.

판단부(620)는 수신부(610)로부터 입력이 수신된 경우, 수신된 입력이 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력인지 여부를 판단한다.When an input is received from the receiving unit 610, the determination unit 620 determines whether the received input represents at least one of a predetermined operation of a user or a predetermined operation on an electronic device.

획득부(630)는 판단부(620)에서 수신부(610)에서 수신된 입력이 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이라고 판단된 경우, 사용자의 얼굴에 대한 얼굴 영상 정보를 획득할 수 있다.When the determination unit 620 determines that the input received from the receiving unit 610 is an input representing at least one of a predetermined operation of the user or a predetermined operation on the electronic device, the acquisition unit 630 Face image information can be obtained.

얼굴 인식부(640)는 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식한다. 구체적으로, 얼굴 인식부(640)는 획득된 얼굴 영상 정보를 저장된 얼굴 영상 정보와 비교하여 얼굴 영상 정보에서 추출된 특징 벡터 간의 차이를 판단한다. 예를 들어, 특징 벡터 간의 차이를 geometric distance 혹은 statistical distance 등을 계산하여 그 차이 값으로 스코어를 결정하고, 결정된 스코어를 기반으로 동일 인물인지 여부를 판단한다. 동일 인물로 판단되면 저장된 얼굴 영상 정보와 연관된 식별자를 인식하게 된다. 특징을 추출 및 비교 분석하는 방법의 차이에 의해서 얼굴인식의 성능이 달라질 수 있다.The face recognition unit 640 recognizes a user's face using the acquired face image information. Specifically, the face recognition unit 640 compares the acquired face image information with stored face image information to determine a difference between feature vectors extracted from the face image information. For example, geometric distance or statistical distance is calculated for the difference between feature vectors, the score is determined based on the difference value, and whether or not the person is the same person is determined based on the determined score. If it is determined to be the same person, an identifier associated with the stored facial image information is recognized. The performance of face recognition may vary due to differences in features extraction and comparison analysis methods.

도 7은 본 발명의 다른 실시예에 따른 얼굴 영상 정보에 기초하여 서비스를 제공하는 전자 기기의 구성을 도시한 도면이다.7 is a diagram illustrating a configuration of an electronic device that provides a service based on face image information according to another embodiment of the present invention.

전자 기기(700)는 수신부(710), 판단부(720), 획득부(730), 얼굴 인식부(740), 제어부(750), 저장부(760) 및 서비스 제공부(770)를 포함한다.The electronic device 700 includes a reception unit 710, a determination unit 720, an acquisition unit 730, a face recognition unit 740, a control unit 750, a storage unit 760, and a service providing unit 770. .

도 7의 수신부(710), 판단부(720), 획득부(730) 및 얼굴 인식부(740)의 동작은 도 6의 수신부(610), 판단부(620), 획득부(630) 및 얼굴 인식부(640)의 동작을 포함하므로 상세한 설명은 생략한다.The operations of the reception unit 710, the determination unit 720, the acquisition unit 730, and the face recognition unit 740 of FIG. 7 are performed by the reception unit 610, the determination unit 620, the acquisition unit 630, and the face of FIG. Since the operation of the recognition unit 640 is included, a detailed description will be omitted.

획득부(730)는 복수의 사용자가 전자 기기를 사용하는 경우, 사용자의 정보 획득부(610)는 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나를 나타내는 입력을 수신한다. 구체적으로, 사용자 동작을 나타내는 입력은 전자 기기(600)에 포함된 카메라와 같은 센서를 이용하여 획득될 수 있다. 또한 전자 기기의 조작을 나타내는 입력은 전자 기기(600)에 포함된 적외선 센서와 같은 센서 및 통신부를 통해 획득될 수 있다.When a plurality of users use an electronic device, the acquisition unit 730 receives an input indicating at least one of a user's operation or an electronic device operation. Specifically, an input representing a user's motion may be obtained using a sensor such as a camera included in the electronic device 600. In addition, an input indicating manipulation of the electronic device may be obtained through a sensor such as an infrared sensor included in the electronic device 600 and a communication unit.

제어부(750)는 얼굴 인식부(740)에서 사용자의 얼굴이 인식된 경우, 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나에 대응하여 사용자가 이용하는 서비스를 나타내는 서비스 정보를 저장하도록 제어한다. 제어부(750)는 얼굴 인식부(740)에서 사용자의 얼굴이 인식되지 않은 경우, 사용자의 식별자를 생성하도록 제어한다. 또한 제어부(750)는 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나에 대응하여 사용자가 이용하는 서비스를 나타내는 서비스 정보를 생성된 사용자의 식별자에 대응하여 저장하도록 제어할 수 있다. 또한 제어부(850)는 얼굴 영상 정보를 얼굴 인식에 사용되는 정보로서 얼굴 인식부(740)에서 인식된 식별자에 대응하여 업데이트하도록 제어할 수 있다. 제어부(750)는 얼굴 영상 정보를 얼굴 인식에 사용되는 정보로서 얼굴 인식부(740)에서 사용자의 얼굴을 인식하지 못한 경우, 새로운 식별자를 생성하도록 제어하고, 생성된 식별자에 대응하여 얼굴 영상 정보를 저장하도록 제어할 수 있다.When the face recognition unit 740 recognizes the user's face, the controller 750 controls to store service information indicating a service used by the user in response to at least one of a user's motion or an electronic device manipulation. If the face recognition unit 740 does not recognize the user's face, the controller 750 controls to generate the user's identifier. In addition, the controller 750 may control to store service information representing a service used by the user in response to at least one of a user's operation or an electronic device operation, corresponding to the generated user's identifier. In addition, the controller 850 may control to update the face image information as information used for face recognition, corresponding to an identifier recognized by the face recognition unit 740. The controller 750 uses the face image information as information used for face recognition, and when the face recognition unit 740 does not recognize the user's face, the controller 750 controls to generate a new identifier, and transmits the face image information in response to the generated identifier. Can be controlled to save.

저장부(760)는 제어부(750)에 의해 서비스 정보 및 얼굴 영상 정보를 저장한다.The storage unit 760 stores service information and face image information by the control unit 750.

서비스 제공부(770)는 저장부(760)에 저장된 서비스 정보에 기초하여 사용자에게 사용자의 동작 또는 전자 기기의 조작에 대응하는 사용자 맞춤형 서비스를 제공한다.The service providing unit 770 provides a user-customized service corresponding to a user's operation or manipulation of an electronic device to a user based on the service information stored in the storage unit 760.

얼굴 인식부(740)는 사용자의 얼굴을 인식하지 못한 경우, 제어부(750)는 새로운 식별자를 생성하고, 생성된 식별자에 대응하여 서비스 정보를 저장부(760)에 저장되도록 제어한다. 비강압적으로 사용자의 얼굴 영상 정보를 저장하기 때문에, 이후에 얼굴 인식부(740)에서 사용자의 얼굴을 인식할 때, 사용자의 얼굴을 인식할 수 있다. 따라서 사용자의 얼굴이 인식되지 않는 경우라도 사용자가 별도로 얼굴 영상 정보를 등록하지 않고, 획득된 얼굴 영상 정보를 저장하기 때문에 이후에 얼굴을 바로 인식할 수 있게 된다. 한편 얼굴 인식부(740)에서 사용자의 얼굴을 인식한 경우, 제어부(750)는 얼굴 인식부(740)에서 인식된 식별자에 대응하여 획득부(730)에서 획득된 얼굴 영상 정보를 업데이트하도록 제어할 수 있고, 이후에 얼굴 인식부(740)에서 사용자의 얼굴을 인식하는 경우, 업데이트된 얼굴 영상 정보를 얼굴 인식에 사용할 수 있다. 예를 들어, 처음에는 사용자의 얼굴 정면에 관한 얼굴 영상 정보만을 이용하여 얼굴 인식을 수행하지만, 이후에 업데이트된 얼굴 영상 정보는 사용자의 얼굴 측면에 관한 얼굴 영상 정보를 포함할 수 있고, 정면에 관한 얼굴 영상 정보 및 측면에 관한 얼굴 영상 정보를 이용하여 얼굴 인식을 수행한다. 측면에 관한 얼굴 영상 정보도 이용하여 얼굴 인식을 수행하기 때문에 사용자의 얼굴 인식 성공률이 높아질 수 있다 즉, 계속적으로 업데이트 되는 얼굴 영상 정보를 이용하여 얼굴 인식을 수행하기 때문에 사용자의 얼굴 인식 성공률을 높일 수 있다. 예를 들어 조명 등과 같은 주변 환경이 달라짐에 따른 사용자의 얼굴에 대한 얼굴 영상 정보 및 다양한 표정에 따른 얼굴 영상 정보를 업데이트하여 얼굴 인식 성공률을 높일 수 있다. When the face recognition unit 740 does not recognize the user's face, the control unit 750 generates a new identifier and controls the storage unit 760 to store service information corresponding to the generated identifier. Since the user's face image information is non-coerctively stored, when the face recognition unit 740 recognizes the user's face later, the user's face can be recognized. Therefore, even if the user's face is not recognized, the user does not separately register the face image information, but stores the acquired face image information, so that the face can be immediately recognized later. Meanwhile, when the face recognition unit 740 recognizes the user's face, the control unit 750 controls to update the face image information acquired by the acquisition unit 730 in response to the identifier recognized by the face recognition unit 740. Afterwards, when the face recognition unit 740 recognizes the user's face, the updated face image information may be used for face recognition. For example, initially, face recognition is performed using only face image information about the front of the user's face, but the updated face image information may include face image information about the side of the user's face. Face recognition is performed using face image information and face image information about the side. Since face recognition is also performed using face image information about the side, the success rate of the user's face recognition can be increased. That is, the success rate of the user's face recognition can be increased because face recognition is performed using face image information that is continuously updated. have. For example, face recognition success rate may be increased by updating facial image information on a user's face according to changes in surrounding environments such as lighting and facial image information according to various expressions.

한편, 제어부(750)는 사용자의 동작 또는 전자 기기의 조작에 대응하여 얼굴 영상 정보를 저장부에 저장하도록 제어할 수 있다. 얼굴 인식부(740)에는 사용자의 동작 또는 전자 기기의 조작에 대응하여 저장된 얼굴 영상 정보를 이용하여 얼굴 인식을 수행할 수 있다. 예를 들어, 사용자가 TV를 전원을 켜고 시청할 때, 쇼파 측면에 자주 앉아 있는 경우, 얼굴 정면보다는 얼굴 측면에 관한 얼굴 영상 정보를 이용하여 얼굴 인식을 수행하는 것이 얼굴 인식 성공률을 높일 수 있는데, 사용자가 TV의 전원을 켬을 나타내는 입력에 대응하여 얼굴 영상 정보를 업데이트하게 되고, 주로 쇼파의 측면에 자주 앉아 있기 때문에 사용자의 얼굴 측면을 나타내는 얼굴 영상 정보를 업데이트하게 되고, 얼굴 인식부(740)는 TV의 전원을 켤 때, 이에 대응되는 사용자의 얼굴 측면을 나타내는 얼굴 영상 정보를 이용하여 얼굴 인식을 수행할 수 있다.Meanwhile, the controller 750 may control to store face image information in the storage unit in response to a user's operation or an electronic device's manipulation. The face recognition unit 740 may perform face recognition using face image information stored in response to a user's motion or manipulation of an electronic device. For example, when the user turns on the TV and watches the TV and sits on the side of the sofa frequently, performing face recognition using facial image information about the side of the face rather than the front of the face can increase the success rate of face recognition. The face image information is updated in response to an input indicating the power of the TV is turned on, and the face image information indicating the side of the user's face is updated because it is often sitting on the side of the sofa, and the face recognition unit 740 When the TV is turned on, face recognition may be performed using face image information indicating a side of the user's face corresponding thereto.

도 8은 본 발명의 일 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법에 대한 흐름도이다.8 is a flowchart illustrating a method of providing a service to a user by recognizing a user's face according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법은 도 6에 도시된 본 발명의 일 실시예에 따른 전자 기기와 그 기술적 사상이 동일하다. 따라서, 도 8에 도시된 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법의 설명에 있어서, 도 6에서와 중복되는 설명은 생략한다. 또한, 이하에서는 도 6에 도시된 전자 기기(600)를 참조하여 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법을 설명한다.A method of providing a service to a user by recognizing a user's face according to an embodiment of the present invention has the same technical idea as the electronic device according to the embodiment of the present invention shown in FIG. 6. Accordingly, in the description of a method of providing a service to a user by recognizing a user's face shown in FIG. 8, a description overlapping with that in FIG. 6 is omitted. In addition, a method of providing a service to a user by recognizing a user's face will be described below with reference to the electronic device 600 illustrated in FIG. 6.

S800단계에서, 사용자의 동작 또는 전자 기기(600)에 대한 조작 중 적어도 하나를 나타내는 입력을 수신하고, 전자 기기(600)는 수신된 사용자의 동작 또는 전자 기기(600)에 대한 조작 중 적어도 하나를 나타내는 입력이 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력인지 여부를 판단한다. 구체적으로, S800 단계의 동작은 수신부(610) 및 판단부(620)에서 수행될 수 있다.In step S800, an input indicating at least one of a user's operation or an operation on the electronic device 600 is received, and the electronic device 600 performs at least one of the received user's operation or an operation on the electronic device 600 It is determined whether the indicated input is an input indicating at least one of a predetermined operation of the user or a predetermined operation of the electronic device. Specifically, the operation of step S800 may be performed by the receiving unit 610 and the determining unit 620.

S810 단계에서, 전자 기기(600)는 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 수신된다고 판단된 경우, 사용자의 얼굴에 대한 얼굴 영상 정보를 획득한다. 구체적으로, S810 단계의 동작은 획득부(630)에서 수행될 수 있다.In step S810, when it is determined that an input indicating at least one of a predetermined operation of the user or a predetermined manipulation of the electronic device is received, the electronic device 600 acquires face image information on the user's face. Specifically, the operation of step S810 may be performed by the acquisition unit 630.

S820 단계에서, 전자 기기(600)는 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식할 수 있다. 구체적으로, S820 단계의 동작은 얼굴 인식부(640)에서 수행될 수 있다.In step S820, the electronic device 600 may recognize the user's face using the acquired face image information. Specifically, the operation of step S820 may be performed by the face recognition unit 640.

도 9는 본 발명의 다른 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법에 대한 흐름도이다.9 is a flowchart illustrating a method of providing a service to a user by recognizing a user's face according to another embodiment of the present invention.

본 발명의 일 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법은 도 7에 도시된 본 발명의 일 실시예에 따른 전자 기기와 그 기술적 사상이 동일하다. 따라서, 도 9에 도시된 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법의 설명에 있어서, 도 7에서와 중복되는 설명은 생략한다. 또한, 이하에서는 도 7에 도시된 전자 기기(700)를 참조하여 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법을 설명한다.A method of providing a service to a user by recognizing a user's face according to an embodiment of the present invention has the same technical idea as the electronic device according to the embodiment of the present invention shown in FIG. 7. Accordingly, in the description of a method of providing a service to a user by recognizing a user's face shown in FIG. 9, a description that is duplicated with that of FIG. 7 is omitted. In addition, a method of providing a service to a user by recognizing a user's face will be described below with reference to the electronic device 700 illustrated in FIG. 7.

S900단계에서, 전자 기기(700)는 사용자의 동작 또는 전자 기기에 대한 조작 중 적어도 하나를 나타내는 입력을 수신하고, 전자 기기(700)는 수신된 사용자의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 포함하는 입력을 수신하는지 여부를 판단한다. 구체적으로 S900 단계의 동작은 수신부(710) 및 판단부(720)에서 수행될 수 있다.In step S900, the electronic device 700 receives an input representing at least one of a user's operation or an operation on the electronic device, and the electronic device 700 receives at least one of the received user's operation or a predetermined operation on the electronic device. It is determined whether an input representing one receives an input including at least one of a predetermined operation of a user or a predetermined operation of an electronic device. Specifically, the operation of step S900 may be performed by the receiving unit 710 and the determining unit 720.

S910 단계에서, 전자 기기(700)는 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 수신된다고 판단된 경우, 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력과 연관된 사용자 중 적어도 하나를 선택할 수 있다. 구체적으로 S910 단계의 동작은 획득부(730)에서 수행될 수 있다.In step S910, when it is determined that an input indicating at least one of a user's predetermined operation or a predetermined operation on the electronic device is received, the electronic device 700 is performing a predetermined operation of the user or a predetermined operation on the electronic device. At least one of the users associated with the input representing at least one may be selected. Specifically, the operation of step S910 may be performed by the acquirer 730.

S920 단계에서, 전자 기기(700)는 선택된 사용자의 얼굴을 나타내는 얼굴 영상 정보를 획득할 수 있다. 구체적으로 S920 단계의 동작은 획득부(730)에서 수행될 수 있다.In operation S920, the electronic device 700 may acquire face image information indicating the face of the selected user. Specifically, the operation of step S920 may be performed by the acquisition unit 730.

S930 단계에서, 전자 기기(700)는 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식한다. 구체적으로 S930 단계의 동작은 얼굴 인식부(740)에서 수행될 수 있다.In step S930, the electronic device 700 recognizes the user's face by using the acquired face image information. Specifically, the operation of step S930 may be performed by the face recognition unit 740.

도 10은 본 발명의 또 다른 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법에 대한 흐름도이다.10 is a flowchart illustrating a method of providing a service to a user by recognizing a user's face according to another embodiment of the present invention.

S1000단계에서, 전자 기기(700)는 사용자의 동작 또는 전자 기기(700)에 대한 조작 중 적어도 하나를 나타내는 입력을 수신하고, 전자 기기(700)는 수신된 사용자의 동작 또는 전자 기기(700)에 대한 조작 중 적어도 하나를 나타내는 입력이 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력인지 여부를 판단한다. 구체적으로, S1000 단계의 동작은 수신부(710) 및 판단부(720)에서 수행될 수 있다.In step S1000, the electronic device 700 receives an input indicating at least one of a user's operation or an operation on the electronic device 700, and the electronic device 700 receives the received user's operation or the electronic device 700. It is determined whether the input representing at least one of the manipulations to the user is an input representing at least one of a predetermined action of the user or a predetermined manipulation of the electronic device. Specifically, the operation of step S1000 may be performed by the receiving unit 710 and the determining unit 720.

S1010단계에서, 전자 기기(700)는 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 수신된다고 판단된 경우, 사용자의 얼굴에 대한 얼굴 영상 정보를 획득한다. 구체적으로, S1010 단계의 동작은 획득부(730)에서 수행될 수 있다.In step S1010, when it is determined that an input indicating at least one of a predetermined operation of the user or a predetermined manipulation of the electronic device is received, the electronic device 700 acquires face image information on the user's face. Specifically, the operation of step S1010 may be performed by the acquisition unit 730.

S1020 단계에서, 전자 기기(700)는 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식한다. 구체적으로, S1020 단계의 동작은 얼굴 인식부(750)에서 수행될 수 있다.In step S1020, the electronic device 700 recognizes the user's face by using the acquired face image information. Specifically, the operation of step S1020 may be performed by the face recognition unit 750.

S1030 단계에서, 전자 기기(700)는 사용자의 얼굴이 인식된 경우, 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나에 대응하여 사용자가 이용하는 서비스를 나타내는 서비스 정보를 사용자의 식별자에 대응하여 저장한다. 구체적으로, S1030 단계의 동작은 제어부(750) 및 저장부(760)에 의해 수행될 수 있다.In step S1030, when the user's face is recognized, the electronic device 700 stores service information indicating a service used by the user in response to at least one of a user's motion or an operation of the electronic device, corresponding to the user's identifier. Specifically, the operation of step S1030 may be performed by the control unit 750 and the storage unit 760.

한편, 전자 기기(700)는 저장된 서비스 정보에 기초하여 사용자에게 사용자의 동작 또는 전자 기기의 조작에 대응하는 사용자 맞춤형 서비스를 제공할 수 있다. 구체적으로, 이러한 동작은 서비스 제공부(770)에 의해 수행될 수 있다.Meanwhile, the electronic device 700 may provide a user-customized service corresponding to the user's operation or manipulation of the electronic device to the user based on the stored service information. Specifically, this operation may be performed by the service providing unit 770.

전자 기기(700)는 사용자의 얼굴이 인식된 경우, 얼굴 영상 정보를 얼굴 인식에 사용되는 정보로서 생성된 식별자에 대응하여 저장할 수 있다. 즉, 얼굴 영상 정보에 대해 업데이트를 수행할 수 있다. 이러한 동작은 제어부(750) 및 저장부(760)에 의해 수행될 수 있다. 얼굴 인식부(740)는 이후에 얼굴 인식을 수행하는 경우, 업데이트된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식하여 나은 얼굴 인식 성공률을 제공할 수 있다.When the user's face is recognized, the electronic device 700 may store face image information corresponding to an identifier generated as information used for face recognition. That is, it is possible to update the face image information. This operation may be performed by the control unit 750 and the storage unit 760. When face recognition is performed later, the face recognition unit 740 may recognize a user's face using the updated face image information to provide a better face recognition success rate.

전자 기기(700)는 사용자의 얼굴이 인식된 경우, 얼굴 인식에 사용되는 정보로서 사용자의 동작 또는 전자 기기의 조작에 대응하여 얼굴 영상 정보를 저장할 수 있다. 이러한 동작은 제어부(750) 및 저장부(760)에 의해 수행될 수 있다. 한편, 얼굴 인식부(740)는 이후에 얼굴 인식을 수행하는 경우, 사용자의 동작 또는 전자 기기의 조작에 대응하여 저장된 얼굴 영상 정보를 이용하여 얼굴 인식을 수행할 수 있다. 사용자의 동작 또는 전자 기기의 조작에 대응한 얼굴 영상 정보를 이용하기 때문에 그 상황에 적합한 얼굴 영상 정보를 이용하여 얼굴 인식을 수행하여 더욱 높은 얼굴 인식 성공률을 제공할 수 있다.When a user's face is recognized, the electronic device 700 may store face image information in response to a user's motion or manipulation of the electronic device as information used for face recognition. This operation may be performed by the control unit 750 and the storage unit 760. Meanwhile, when face recognition is performed later, the face recognition unit 740 may perform face recognition by using face image information stored in response to a user's motion or manipulation of an electronic device. Since face image information corresponding to a user's motion or manipulation of an electronic device is used, face recognition can be performed using face image information suitable for the situation, thereby providing a higher face recognition success rate.

도 11은 본 발명의 다른 실시예에 따른 사용자의 얼굴을 인식하여 사용자에게 서비스를 제공하는 방법에 대한 흐름도이다.11 is a flowchart illustrating a method of providing a service to a user by recognizing a user's face according to another embodiment of the present invention.

S1100단계에서, 전자 기기(700)는 사용자의 동작 또는 전자 기기(700)에 대한 조작 중 적어도 하나를 나타내는 입력을 수신하고, 전자 기기(700)는 수신된 사용자의 동작 또는 전자 기기(700)에 대한 조작 중 적어도 하나를 나타내는 입력이 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력인지 여부를 판단한다. 구체적으로, S1100 단계의 동작은 수신부(710) 및 판단부(720)에서 수행될 수 있다.In step S1100, the electronic device 700 receives an input indicating at least one of a user's operation or an operation on the electronic device 700, and the electronic device 700 receives the received user's operation or the electronic device 700. It is determined whether the input representing at least one of the manipulations to the user is an input representing at least one of a predetermined action of the user or a predetermined manipulation of the electronic device. Specifically, the operation of step S1100 may be performed by the receiving unit 710 and the determining unit 720.

S1110단계에서, 전자 기기(700)는 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 수신된다고 판단된 경우, 사용자의 얼굴에 대한 얼굴 영상 정보를 획득한다. 구체적으로, S1110 단계의 동작은 획득부(730)에서 수행될 수 있다.In step S1110, when it is determined that an input indicating at least one of a predetermined operation of the user or a predetermined manipulation of the electronic device is received, the electronic device 700 acquires face image information on the user's face. Specifically, the operation of step S1110 may be performed by the acquisition unit 730.

S1120 단계에서, 전자 기기(700)는 획득된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식한다. 구체적으로, S1120 단계의 동작은 얼굴 인식부(750)에서 수행될 수 있다.In step S1120, the electronic device 700 recognizes the user's face by using the acquired face image information. Specifically, the operation of step S1120 may be performed by the face recognition unit 750.

S1130 단계에서, 전자 기기(700)는 사용자의 얼굴이 인식되지 않은 경우, 사용자의 동작 또는 전자 기기의 조작 중 적어도 하나에 대응하여 사용자가 이용하는 서비스 정보를 저장할 수 있다. 구체적으로 S1130단계의 동작은 제어부(750) 및 저장부(760)에 의해 수행될 수 있다.In operation S1130, when the user's face is not recognized, the electronic device 700 may store service information used by the user in response to at least one of a user's motion or an electronic device's manipulation. Specifically, the operation of step S1130 may be performed by the control unit 750 and the storage unit 760.

전자 기기(700)는 사용자의 얼굴이 인식되지 않은 경우, 얼굴 영상 정보를 얼굴 인식에 사용되는 정보로서 생성된 식별자에 대응하여 저장할 수 있다. 이러한 동작은 제어부(750) 및 저장부(760)에 의해 수행될 수 있다. 얼굴 인식부(740)는 이후에 얼굴 인식을 수행하는 경우, 비강압적으로 저장된 얼굴 영상 정보를 이용하여 사용자의 얼굴을 인식하여 사용자가 별도로 얼굴 영상 정보를 등록할 필요 없이 사용자의 얼굴을 인식할 수 있다.When the user's face is not recognized, the electronic device 700 may store face image information corresponding to an identifier generated as information used for face recognition. This operation may be performed by the control unit 750 and the storage unit 760. When performing face recognition later, the face recognition unit 740 recognizes the user's face using the non-coercively stored face image information, so that the user's face can be recognized without the need for the user to separately register the face image information. have.

또한 전자 기기(700)는 사용자의 얼굴이 인식되지 않은 경우, 얼굴 인식에 사용되는 정보로서 생성된 식별자에 대응하고 사용자의 동작 또는 전자 기기의 조작에 대응하여 얼굴 영상 정보를 저장할 수 있다. 이러한 동작은 제어부(750) 및 저장부(760)에 의해 수행될 수 있다. 한편, 얼굴 인식부(740)는 이후에 얼굴 인식을 수행하는 경우, 사용자의 동작 또는 전자 기기의 조작에 대응하여 저장된 얼굴 영상 정보를 이용하여 얼굴 인식을 수행할 수 있다. 따라서 생성된 식별자에 대응하여 저장된 얼굴 영상 정보를 이용하여 얼굴 인식을 수행할 때보다 사용자의 동작 또는 전자 기기의 조작에 대응한 얼굴 영상 정보를 이용하여 그 상황에 적합한 얼굴 영상 정보를 이용하여 얼굴 인식을 수행하여 더욱 높은 얼굴 인식 성공률을 제공할 수 있다.In addition, when the user's face is not recognized, the electronic device 700 may store face image information corresponding to an identifier generated as information used for face recognition and corresponding to a user's motion or manipulation of the electronic device. This operation may be performed by the control unit 750 and the storage unit 760. Meanwhile, when face recognition is performed later, the face recognition unit 740 may perform face recognition by using face image information stored in response to a user's motion or manipulation of an electronic device. Therefore, face recognition using facial image information suitable for the situation by using facial image information corresponding to a user's motion or manipulation of an electronic device rather than performing face recognition using the facial image information stored in response to the generated identifier. Can provide a higher face recognition success rate.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates a program using a computer-readable recording medium.

컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.Computer-readable recording media include magnetic storage media (e.g., ROM, floppy disk, hard disk, etc.), optical reading media (e.g., CD-ROM, DVD, etc.), and carrier waves (e.g., via the Internet). Transfer).

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the above and the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can implement the present invention in other specific forms without changing the technical spirit or essential features. You can understand that there is. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting.

Claims (17)

사용자의 얼굴을 인식하여 상기 사용자에게 서비스를 제공하는 방법에 있어서,
상기 사용자로부터 상기 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력이 수신되는지 여부를 판단하는 단계;
상기 입력이 수신된다고 판단된 경우, 상기 사용자의 얼굴에 대한 얼굴 영상 정보를 획득하는 단계; 및
상기 획득된 얼굴 영상 정보를 이용하여 상기 사용자의 얼굴을 인식하는 단계를 포함하고,
상기 사용자의 얼굴이 인식된 경우, 상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하나와 관련된 사용자 이용 서비스를 나타내는 서비스 정보를 상기 인식된 사용자의 식별자에 대응하여 저장하는 단계를 더 포함하고,
복수의 사용자가 상기 전자 기기를 사용하는 경우,
상기 얼굴 영상 정보를 획득하는 단계는, 상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하나에 대한 우선 순위 정보에 기초하여 상기 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력과 연관된 사용자 중 적어도 하나를 선택하는 단계를 더 포함하고, 상기 선택된 사용자의 얼굴 영상 정보를 획득하는 것을 특징으로 하는 방법.In a method for providing a service to the user by recognizing a user's face,
Determining whether an input indicating at least one of a predetermined operation of the user or a predetermined operation on an electronic device is received from the user;
When it is determined that the input is received, obtaining face image information on the user's face; And
Recognizing the user's face using the acquired face image information,
When the user's face is recognized, storing service information indicating a user use service related to at least one of the user's motion or the manipulation of the electronic device in correspondence with the recognized user's identifier,
When a plurality of users use the electronic device,
The obtaining of the face image information may include indicating at least one of a predetermined motion of the user or a predetermined manipulation of the electronic device based on priority information for at least one of the user's motion or the manipulation of the electronic device. The method further comprising selecting at least one of the users associated with the input, and obtaining face image information of the selected user. 삭제delete 삭제delete 제 1 항에 있어서,
상기 사용자의 얼굴이 인식되지 않은 경우, 상기 사용자의 식별자를 생성하는 단계; 및
상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하나에 대응하여 상기 사용자가 이용하는 서비스를 나타내는 서비스 정보를 상기 생성된 사용자의 식별자에 대응하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.The method of claim 1,
If the user's face is not recognized, generating an identifier of the user; And
And storing service information indicating a service used by the user in response to at least one of the user's operation or the operation of the electronic device in response to the generated user's identifier. 제 1 항에 있어서,
상기 저장된 서비스 정보에 기초하여 상기 사용자에게 상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하나에 대응하는 사용자 맞춤형 서비스를 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.The method of claim 1,
And providing a customized service corresponding to at least one of the user's operation or the electronic device's operation to the user based on the stored service information. 제 1 항에 있어서,
상기 사용자의 얼굴이 인식된 경우, 상기 얼굴 영상 정보를 상기 얼굴 인식에 사용되는 정보로서 상기 인식된 식별자에 대응하여 업데이트 하는 단계를 더 포함하는 것을 특징으로 하는 방법.The method of claim 1,
And when the user's face is recognized, updating the face image information as information used for face recognition, corresponding to the recognized identifier. 제 4 항에 있어서,
상기 사용자의 얼굴이 인식되지 않은 경우,
상기 얼굴 영상 정보를 상기 얼굴 인식에 사용되는 정보로서 상기 생성된 식별자에 대응하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.The method of claim 4,
If the user's face is not recognized,
And storing the face image information as information used for face recognition, corresponding to the generated identifier. 제 6 항에 있어서,
상기 얼굴 영상 정보를 업데이트하는 단계는,
상기 얼굴 인식에 사용되는 정보로서 상기 사용자의 동작 또는 상기 전자 기기의 조작에 대응하여 업데이트하고,
상기 얼굴 인식을 수행하는 단계는, 상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하나에 대응하여 저장된 얼굴 영상 정보를 이용하여 얼굴 인식을 수행하는 것을 특징으로 하는 방법.The method of claim 6,
Updating the face image information,
As information used for the face recognition, updated in response to the user's operation or the operation of the electronic device,
The performing of the face recognition may include performing face recognition using face image information stored in response to at least one of the user's motion or the electronic device's manipulation. 사용자로부터 상기 사용자의 동작 또는 전자 기기에 대한 조작 중 적어도 하나를 나타내는 입력을 수신하는 수신부;
상기 입력이 상기 사용자의 소정의 동작 또는 상기 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력인지 여부를 판단하는 판단부;
상기 입력이 상기 사용자의 소정의 동작 또는 상기 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타낸다고 판단된 경우, 상기 사용자의 얼굴에 대한 얼굴 영상 정보를 획득하는 획득부; 및
상기 획득된 얼굴 영상 정보를 이용하여 상기 사용자의 얼굴을 인식하는 얼굴 인식부를 포함하고,
상기 사용자의 얼굴이 인식된 경우, 상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하나와 관련된 사용자 이용 서비스를 나타내는 서비스 정보를 상기 인식된 사용자의 식별자에 대응하여 저장하도록 제어하는 제어부; 및
상기 서비스 정보를 저장하는 저장부를 더 포함하고,
상기 획득부는 복수의 사용자가 상기 전자 기기를 사용하는 경우, 상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하 나에 대한 우선 순위 정보에 기초하여 상기 사용자의 소정의 동작 또는 전자 기기에 대한 소정의 조작 중 적어도 하나를 나타내는 입력과 연관된 사용자 중 적어도 하나를 선택하고, 상기 선택된 사용자의 얼굴 영상 정보를 획득하는 것을 특징으로 하는 전자 기기.A receiving unit for receiving an input from a user indicating at least one of an operation of the user or an operation on an electronic device;
A determination unit that determines whether the input represents at least one of a predetermined operation of the user or a predetermined operation of the electronic device;
An acquisition unit for acquiring face image information on the user's face when it is determined that the input represents at least one of a predetermined operation of the user or a predetermined manipulation of the electronic device; And
A face recognition unit that recognizes the user's face using the obtained face image information,
A control unit for controlling to store service information indicating a user use service related to at least one of a user's operation or an operation of the electronic device in response to the recognized user's identifier when the user's face is recognized; And
Further comprising a storage unit for storing the service information,
When a plurality of users use the electronic device, the acquisition unit is based on priority information for at least one of the user's operation or the operation of the electronic device, a predetermined operation of the user or a predetermined operation of the electronic device. An electronic device comprising: selecting at least one of users associated with an input representing at least one of manipulations, and obtaining face image information of the selected user. 삭제delete 삭제delete 제 9 항에 있어서,
상기 사용자의 얼굴이 인식되지 않은 경우, 상기 사용자의 식별자를 생성하고, 상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하나에 대응하여 상기 사용자가 이용하는 서비스를 나타내는 서비스 정보를 상기 생성된 사용자의 식별자에 대응하여 저장하도록 제어하는 제어부; 및
상기 서비스 정보를 저장하는 저장부를 더 포함하는 것을 특징으로 전자 기기.The method of claim 9,
When the user's face is not recognized, the user's identifier is generated, and service information indicating the service used by the user is generated in response to at least one of the user's operation or the manipulation of the electronic device. A control unit that controls to store in response to; And
Electronic device, characterized in that it further comprises a storage unit for storing the service information. 제 9 항에 있어서,
상기 저장된 서비스 정보에 기초하여 상기 사용자에게 상기 사용자의 동작 또는 상기 전자 기기의 조작 중 적어도 하나에 대응하는 사용자 맞춤형 서비스를 제공하는 서비스 제공부를 더 포함하는 것을 특징으로 하는 전자 기기.The method of claim 9,
And a service providing unit that provides a user-customized service corresponding to at least one of the user's operation or the operation of the electronic device to the user based on the stored service information. 제 9 항에 있어서,
상기 제어부는 상기 얼굴 영상 정보를 상기 얼굴 인식에 사용되는 정보로서 상기 인식된 식별자에 대응하여 업데이트하도록 제어하고,
상기 저장부는 상기 얼굴 영상 정보를 저장하는 것을 특징으로 하는 전자 기기.The method of claim 9,
The controller controls to update the face image information as information used for face recognition, corresponding to the recognized identifier,
The electronic device, wherein the storage unit stores the face image information. 제 12 항에 있어서,
상기 제어부는 상기 얼굴 영상 정보를 상기 얼굴 인식에 사용되는 정보로서 상기 생성된 식별자에 대응하여 저장하도록 제어하고,
상기 저장부는 상기 얼굴 영상 정보를 저장하는 것을 특징으로 하는 전자 기기.The method of claim 12,
The control unit controls to store the face image information as information used for face recognition, corresponding to the generated identifier,
The electronic device, wherein the storage unit stores the face image information. 제 14 항에 있어서,
상기 제어부는 상기 얼굴 영상 정보를 상기 사용자의 동작 또는 상기 전자 기기의 조작에 대응하여 얼굴 인식에 사용되는 정보로서 저장하도록 제어하고,
상기 저장부는 상기 얼굴 영상 정보를 저장하고,
상기 얼굴 인식부는 상기 사용자의 동작 또는 상기 전자 기기의 조작에 대응하여 저장된 얼굴 영상 정보를 이용하여 얼굴 인식을 수행하는 것을 특징으로 하는 전자 기기.The method of claim 14,
The controller controls to store the face image information as information used for face recognition in response to the user's operation or the manipulation of the electronic device,
The storage unit stores the face image information,
Wherein the face recognition unit performs face recognition using face image information stored in response to the user's motion or the manipulation of the electronic device. 제 1 항, 제 4 항 내지 제 8 항 중 어느 한 항에 의한 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium in which a computer program for executing the method according to claim 1 or 4 to 8 is recorded.
KR1020130144774A 2013-11-26 2013-11-26 Method for providing service based on face recognition and electronic devices thereof Active KR102180475B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130144774A KR102180475B1 (en) 2013-11-26 2013-11-26 Method for providing service based on face recognition and electronic devices thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130144774A KR102180475B1 (en) 2013-11-26 2013-11-26 Method for providing service based on face recognition and electronic devices thereof

Publications (2)

Publication Number Publication Date
KR20150060396A KR20150060396A (en) 2015-06-03
KR102180475B1 true KR102180475B1 (en) 2020-11-18

Family

ID=53505020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130144774A Active KR102180475B1 (en) 2013-11-26 2013-11-26 Method for providing service based on face recognition and electronic devices thereof

Country Status (1)

Country Link
KR (1) KR102180475B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007516503A (en) * 2003-05-27 2007-06-21 ハネウェル・インターナショナル・インコーポレーテッド Face identification authentication using 3D modeling

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120042314A (en) * 2010-10-25 2012-05-03 주식회사 케이티 System and method for providing recommendation-content based on face-image information
KR101189913B1 (en) * 2010-11-18 2012-10-17 삼성에스디에스 주식회사 Method and Apparatus for Managing Customer

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007516503A (en) * 2003-05-27 2007-06-21 ハネウェル・インターナショナル・インコーポレーテッド Face identification authentication using 3D modeling

Also Published As

Publication number Publication date
KR20150060396A (en) 2015-06-03

Similar Documents

Publication Publication Date Title
US8964127B2 (en) User-sensing remote control system and method
CN102469372B (en) Multimedia device, multiple image sensors having different types and method for controlling the same
US9953221B2 (en) Multimedia presentation method and apparatus
EP2051509B1 (en) Program recommendation system, program view terminal, program view program, program view method, program recommendation server, program recommendation program, and program recommendation method
CN106020448B (en) Man-machine interaction method and system based on intelligent terminal
AU2018324282B2 (en) Method and apparatus for recognizing user to provide personalized guide, content and services, and targeted advertisement without intentional user registration
KR101884291B1 (en) Display apparatus and control method thereof
US10528835B2 (en) Image processing apparatus and control method thereof
CN111343512B (en) Information acquisition method, display device and server
CN104202640A (en) Intelligent television interaction control system and method based on image identification
CN103380452A (en) Display control apparatus, program and display control method
WO2018064952A1 (en) Method and device for pushing media file
CN104853223B (en) The inserting method and terminal device of video flowing
CN106990989A (en) The method and device for controlling application program to install
US10503776B2 (en) Image display apparatus and information providing method thereof
KR101903639B1 (en) Electronic device and method for providing information releated to broadcasting viewing
KR102180475B1 (en) Method for providing service based on face recognition and electronic devices thereof
KR102654415B1 (en) Display device and operating method thereof
KR20160004739A (en) Display device and operating method thereof
US10057616B1 (en) Systems and methods for accessing bookmarked content
CN108874172A (en) input method and device
KR20150062647A (en) Image processing apparatus and control method thereof
KR102217228B1 (en) Display device and operating method thereof
CN119767086A (en) Channel recommendation method, device, storage medium and computer program product

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131126

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20181121

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20131126

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200108

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200727

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200108

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20200727

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20200309

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20200922

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20200826

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200727

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20200309

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201112

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201113

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231030

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241106

Start annual number: 5

End annual number: 5