[go: up one dir, main page]

KR102815265B1 - 디스플레이 장치 및 디스플레이 장치의 제어 방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 제어 방법 Download PDF

Info

Publication number
KR102815265B1
KR102815265B1 KR1020160111976A KR20160111976A KR102815265B1 KR 102815265 B1 KR102815265 B1 KR 102815265B1 KR 1020160111976 A KR1020160111976 A KR 1020160111976A KR 20160111976 A KR20160111976 A KR 20160111976A KR 102815265 B1 KR102815265 B1 KR 102815265B1
Authority
KR
South Korea
Prior art keywords
display device
user
voice
unit
voice signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160111976A
Other languages
English (en)
Other versions
KR20180024927A (ko
Inventor
유지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160111976A priority Critical patent/KR102815265B1/ko
Priority to US16/326,489 priority patent/US11330320B2/en
Priority to EP17846820.3A priority patent/EP3480813B1/en
Priority to PCT/KR2017/006819 priority patent/WO2018043895A1/ko
Priority to CN201780051293.8A priority patent/CN109643546B/zh
Publication of KR20180024927A publication Critical patent/KR20180024927A/ko
Application granted granted Critical
Publication of KR102815265B1 publication Critical patent/KR102815265B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치 및 디스플레이 장치의 화면 표시방법이 제공된다. 보다 상세하게는 음성 인식을 통해 디스플레이 장치의 화면을 제어 가능한 디스플레이 장치 및 디스플레이 장치의 화면 표시방법이 개시된다. 개시된 실시예 중 일부는 음성 인식 결과에 대응되는 추천 가이드를 화면에 표시하는 디스플레이 장치 및 디스플레이 장치의 화면 표시방법을 제공한다.

Description

디스플레이 장치 및 디스플레이 장치의 제어 방법{DISPLAY APPARATUS AND METHOD FOR CONTROLLING A DISPLAY APPARATUS}
아래 실시예들은 사용자의 상황 및 디스플레이 장치 사용 패턴에 따라 여러 가지 기능을 한번에 제어할 수 있는 디스플레이 장치 및 디스플레이 장치의 제어 방법에 관한 것이다.
최근 음성 인식 기능을 탑재한 디스플레이 장치가 급증하였다. 사용자는 디스플레이 장치를 음성 인식 모드로 전환하여, 음성으로 디스플레이 장치를 동작 시킬 수 있다. 따라서, 최근의 디스플레이 장치는 장치 자체에 또는 디스플레이 장치를 제어하기 위한 리모컨과 같은 별도의 제어 장치에 음성 인식 모드로 전환하기 위한 사용자 인터페이스를 구비하는 경우가 많다.
최근에는, 사용자가 기 설정된 단어를 발화함으로써, 용이하게 디스플레이 장치의 음성 인식 모드를 실행할 수도 있다. 음성 인식 모드를 실행하기 위한 기 설정된 단어를 트리거 워드(Trigger Word)라 지칭한다. 트리거 워드는 디스플레이 장치에 설정되어 있을 수 있으나, 사용자의 설정에 의해 사용자가 사용하기 용이한 단어를 직접 설정할 수도 있다. 또한 트리거 워드는 음성 인식 서버가 통계적인 방법으로 추론하여 별도의 사용자 입력 없이도 결정할 수 있다. 또한, 음성 인식 기능은 단순히 디스플레이 장치를 음성으로 제어하는 기능뿐만 아니라, 음성을 발화한 사용자(이하 화자로 칭함)를 인식하여, 각 사용자가 설정한 메뉴, 각 사용자가 즐겨 찾는 프로그램 등을 제공할 수도 있다. 구체적으로, 디스플레이 장치는 음성의 주파수 분포의 시계열적 분해의 결과로 얻어지는 그래프인 성문(Voice Print)을 이용하여, 음성을 발화한 사용자를 인식할 수 있다.
한편, 디스플레이 장치의 기능이 복잡해지고((예를 들어, 다양한 어플리케이션 실행, 게임 실행 등)하고, 다양하게 됨에 따라 사용자가 음성으로 디스플레이 장치를 효과적으로 제어할 수 있는 방법의 필요성이 대두되었다.
아래 실시예들은 사용자의 상황 및 디스플레이 장치 사용 패턴에 따라 여러 가지 기능을 한번에 제어할 수 있는 디스플레이 장치 및 디스플레이 장치의 제어 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 디스플레이 장치는, 디스플레이 장치의 동작과 관련된 로그 데이터를 저장하는 저장부; 콘텐트를 표시하는 디스플레이부; 외부기기와 통신을 수행하는 통신부; 음성신호를 수신하는 음성 수신부; 및 상기 저장부, 상기 디스플레이부, 상기 통신부 및 상기 음성 수신부를 제어하는 제어부를 포함하고, 상기 제어부는 상기 로그 데이터를 분석하여 사용자별로 분류하고, 사용자별로 분류된 로그 데이터로부터 패턴을 생성하여, 사용자별 매크로로 저장하고, 상기 음성 수신부를 통해 수신된 음성을 인식하여 화자를 결정하고, 상기 결정된 화자에 대한 매크로를 실행한다.
본 발명의 실시예에 따른 디스플레이 장치의 제어 방법은, 디스플레이 장치의 동작과 관련된 로그 데이터를 저장하는 단계; 상기 로그 데이터를 분석하여 사용자별로 분류하는 단계; 상기 사용자별로 분류된 로그 데이터로부터 패턴을 생성하여 매크로로 저장하는 단계; 음성 수신부를 통해 수신된 음성을 인식하여 화자를 결정하는 단계; 및 상기 결정된 화자에 대한 매크로를 실행하는 단계;를 포함한다.
본 발명의 실시예에 따른 디스플레이 장치는 디스플레이 장치의 동작과 관련된 로그 데이터를 저장하고, 저장된 로그 데이터를 분석하여 사용자 별로 분류하고, 사용자별로 분류된 로그 데이터로부터 패턴을 생성하여 사용자별 매크로로 저장하고, 음성을 발화한 사용자를 식별하여 사용자에 해당하는 매크로를 실행함으로써 디스플레이 장치의 복수의 기능을 일괄적으로 제어할 수 있다. 이에 따라 사용자는 편리하게 디스플레이 장치를 조작할 수 있다.
도 1은 본 발명의 실시예에 따른 디스플레이 장치, 리모컨 및 서버 사이의 동작을 나타내는 개략적인 도면이다.
도 2는 본 발명의 실시예에 따른 디스플레이 장치, 리모컨 및 서버를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 디스플레이 장치의 제어 방법을 나타내는 개략적인 순서도이다.
도 4는 저장부에 저장된 로그 데이터의 예를 도시한다.
도 5는 본 발명의 실시예에 따른 디스플레이 장치의 매크로를 처리하는 소프트웨어 모듈에 대한 블록도를 도시한다.
도 6은 본 발명의 실시예에 따른 디스플레이 장치에서 사용자의 음성 발화에 따라 매크로 기능을 실행하는 예를 도시한다.
도 7은 본 발명의 실시예에 따른 디스플레이 장치에서 사용자의 음성 발화에 따라 매크로 기능을 실행하는 다른 예를 도시한다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예에 따른 디스플레이 장치를 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
“제1”, “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는” 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 발명의 실시예에서, 리모컨(remotely controller, 200, 도1 참조)에 있는 “버튼(또는 키)의 선택”은 버튼(또는 키)의 눌림 또는 버튼(또는 키)의 터치를 의미하는 용어로 사용될 수 있다. 또한, “사용자 입력”은 예를 들어, 사용자의 버튼(또는 키) 선택, 사용자의 버튼(또는 키)의 눌림, 사용자의 버튼 터치, 사용자의 터치 제스처, 사용자의 음성 또는 사용자의 모션을 포함하는 용어로 사용될 수 있다.
본 발명의 실시예에서, “디스플레이 장치의 화면”은 디스플레이 장치의 디스플레이부를 포함하는 의미로 사용될 수 있다.
본 출원서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 디스플레이 장치, 리모컨 및 서버 사이의 동작을 나타내는 개략적인 도면이다.
도 1을 참조하면, 디스플레이 장치(200), 리모컨(100) 및 하나 또는 복수의 서버(300)가 표시된다.
수신된 방송뿐만 아니라 콘텐트를 출력가능한 디스플레이 장치(200)는 내장되거나 또는 연결가능한 마이크(240, 도 2 참조)를 이용하여 사용자의 음성을 수신할 수 있다. 또한, 리모컨(100)은 마이크(163, 도 2 참조)를 이용하여 사용자의 음성을 수신할 수 있다.
리모컨(100)은 적외선(infrared) 또는 근거리 통신(예를 들어, 블루투스(bluetooth) 등)을 통해 제어 명령을 출력(또는, 전송)하여 디스플레이 장치(200)를 제어할 수 있다. 또한, 리모컨(100)은 적외선 또는 근거리 통신(예를 들어, 블루투스 등)을 통해 수신된 음성을 변환하여 디스플레이 장치(200)로 전송할 수 있다.
사용자는 리모컨(100)에 있는 키(버튼을 포함)의 선택 및 사용자의 입력(예를 들어, 터치 패드(touchpad)를 통한 터치(제스처), 마이크(163)를 통한 음성 인식, 또는 센서(164, 도 2 참조)를 통한 모션 인식)을 이용하여 디스플레이 장치(200)를 제어(예를 들어, 전원 온/오프, 부팅(booting), 채널 변경, 음량 조정 또는, 콘텐트 재생 등)할 수 있다.
사용자는 음성을 이용하여 디스플레이 장치(200)를 제어할 수 있다. 리모컨(100)의 마이크(163)는 디스플레이 장치(200)의 제어에 대응되는 사용자 음성을 수신할 수 있다. 리모컨(100)은 수신된 음성을 전기적 신호(예를 들어, 디지털 신호, 디지털 데이터, 또는 패킷)로 변환하여 디스플레이 장치(200)로 전송할 수 있다.
사용자는 디스플레이 장치에 부착된 카메라(245, 도 2 참조)를 통한 모션 인식으로 디스플레이 장치(200)를 제어(예를 들어, 전원 온/오프, 부팅, 채널 변경, 음량 조정 또는, 콘텐트 재생 등)할 수도 있다. 또한, 사용자는 리모컨(200)의 움직임(예를 들어, 리모컨(200)을 파지(grip)하거나 또는 이동)을 이용하여 디스플레이 장치(200)의 화면을 제어할 수 있다.
도 1을 참조하면, 음성 인식 서버(300)는 리모컨(100) 또는 디스플레이 장치(200)에서 입력된 사용자 음성에 대응되는 전기적 신호(또는, 전기적 신호에 대응되는 패킷)를 음성 인식을 통해 생성되는 음성 데이터(예를 들어, 텍스트, 코드 등)로 변환할 수 있다.
대화형 서버(도시되지 아니함)는 변환된 음성 데이터를 디스플레이 장치(200)에서 인식가능한 제어 정보(예를 들어, 디스플레이 장치(100)를 제어하는 제어 명령어)로 변환할 수 있다. 변환된 제어 정보는 디스플레이 장치(200)로 전송될 수 있다.
음성 인식 서버(300)에 대한 상세한 설명은 후술된다.
도 2는 본 발명의 실시예에 따른 디스플레이 장치, 리모컨 및 서버를 나타내는 블록도이다.
도 2를 참조하면, 리모컨(100)에서부터 사용자 음성에 대응되는 전기적 신호를 수신하는 디스플레이 장치(200)는 통신부(230) 또는 입/출력부(260)를 이용하여 외부 장치(예를 들어, 서버(300) )와 유선 또는 무선으로 연결될 수 있다.
리모컨(100)에서부터 사용자 음성에 대응되는 전기적 신호를 수신하는 디스플레이 장치(200)는 통신부(230) 또는 입/출력부(260)를 이용하여 수신된 전기적 신호(또는 전기적 신호에 대응되는 패킷)를 유선 또는 무선으로 연결된 외부 장치(예를 들어, 서버(300 등)로 전송할 수 있다. 또한, 디스플레이 장치(200)는 마이크(240)를 통해 수신된 사용자 음성에 대응되는 전기적 신호(또는 전기적 신호에 대응되는 패킷)를 통신부(230) 또는 입/출력부(260)를 이용하여 유선 또는 무선으로 연결된 외부 장치(예를 들어, 서버(300)로 전송할 수 있다. 외부 장치는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC(도시되지 아니함), 및 PC(도시되지 아니함)를 포함할 수 있다.
디스플레이 장치(200)는 디스플레이부(270)를 포함하고, 추가로 튜너(220), 통신부(230), 및 입/출력부(260) 중 하나를 포함할 수 있다. 디스플레이 장치(200)는 디스플레이부(270)를 포함하고, 추가로 튜너(220), 통신부(230), 및 입/출력부(260)의 조합을 포함할 수 있다. 또한, 디스플레이부(270)를 가지는 디스플레이 장치(200)는 튜너(도시되지 아니함)를 가지는 별도의 디스플레이 장치(도시되지 아니함)와 전기적으로 연결될 수 있다.
디스플레이 장치(200)는 예를 들어 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터, 고정 곡률(curvature)인 화면(또는 디스플레이부)을 가지는 커브드(curved) TV, 고정 곡률인 화면을 가지는 플렉시블(flexible) TV, 고정 곡률인 화면을 가지는 벤디드(bended) TV, 및/또는 수신되는 사용자 입력에 의해 현재 화면의 곡률을 변경가능한 곡률 가변형 TV 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
디스플레이 장치(200)는 튜너(tuner, 220), 통신부(230), 마이크(240), 카메라(245), 광 수신부(250), 입/출력부(260), 디스플레이부(270), 오디오 출력부(275), 저장부(280) 및 전원 공급부(290)를 포함한다. 디스플레이 장치(200)는 디스플레이 장치(200)의 내부 상태, 또는 외부 상태를 검출하는 센서(예를 들어, 조도 센서, 온도 센서 등, 도시되지 아니함)를 포함할 수 있다.
제어부(210)는 프로세서(processor, 211), 디스플레이 장치(200)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리, 212) 및 디스플레이 장치(200)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(200)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리, 213)을 포함할 수 있다.
제어부(210)는 디스플레이 장치(200)의 전반적인 동작 및 디스플레이 장치(200)의 내부 구성요소들(210 내지 290) 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(210)는 전원 공급부(290)에서부터 내부 구성요소들(210 내지 290)에게 공급되는 전원을 제어한다. 또한, 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 제어부(210)는 저장부(280)에 저장된 OS(Operating System) 또는 다양한 어플리케이션을 실행할 수 있다.
프로세서(211)는 화상(image) 또는 비디오(video)에 대응되는 그래픽 처리를 위한 그래픽 프로세서(graphic processing unit, 도시되지 아니함)를 더 포함할 수 있다. 프로세서(211)는 그래픽 프로세서(도시되지 아니함)를 포함하거나 또는 별개로 구현될 수 있다. 프로세서(211)는 코어(core, 도시되지 아니함)와 그래픽 프로세서(도시되지 아니함)를 포함하는 SoC(system on chip)로 구현될 수 있다. 또한, 프로세서(211)는 롬(212) 및 램(213) 중 적어도 하나를 포함하는 SOC로 구현될 수도 있다. 프로세서(211)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
디스플레이 장치(200)의 프로세서(211)는 복수의 프로세서를 포함할 수 있다. 복수의 프로세서는 메인 프로세서(main processor, 도시되지 아니함) 및 디스플레이 장치(200)의 상태 중 하나인 화면 오프(또는 전원 오프) 및/또는 준비 모드에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)를 포함할 수 있다. 또한, 복수의 프로세서는 센서(도시되지 아니함)를 제어하는 센서 프로세서(sensor processor, 도시되지 아니함)를 더 포함할 수 있다.
프로세서(211), 롬(212) 및 램(213)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
제어부(210)는 콘텐트를 표시하는 디스플레이부 및 리모컨 및 음성 인식 서버와 연결되는 통신부를 제어하고, 상기 통신부를 통해 상기 리모컨에서부터 수신되는 사용자 음성에 대응되는 신호를 상기 음성 인식 서버로 전송하고, 상기 음성 인식 서버에서부터 수신되는 음성 인식 결과에 대응하여 상기 디스플레이부에 추천 가이드를 표시하도록 제어한다.
제어부(210)는 상기 사용자 음성에 대응되는 신호의 수신, 수신된 상기 신호의 음성 인식 서버로 전송 및 상기 음성 인식 결과의 수신에 대응하여 각각 다른 사용자 인터페이스(User Interface)를 상기 디스플레이부에 표시하도록 제어할 수 있다.
제어부(210)는 수신된 사용자 음성에 대응되는 신호를 상기 통신부를 통해 상기 음성 인식 서버로 전송하도록 제어할 수 있다.
제어부(210)는 저장부에 저장된 로그 데이터를 분석하여 사용자별로 분류하고 사용자별로 분류된 로그 데이터로부터 패턴을 생성하여 사용자별 매크로로 저장하고 음성 수신부를 통해 수신된 음성을 인식하여 화자를 결정하고 상기 결정된 화자에 대응하는 매크로를 실행할 수 있다.
제어부(210)는 실행중인 매크로에 대한 가이드 정보를 디스플레이부에 표시하도록 제어할 수 있다.
본 발명의 실시예에서 “디스플레이 장치(200)의 제어부”라는 용어는 디스플레이 장치(200)의 프로세서(211), 롬(212) 및 램(213)을 포함하는 의미일 수 있다. 본 발명의 실시예에서 “디스플레이 장치(200)의 제어부”라는 용어는 디스플레이 장치(200)의 프로세서(211)를 의미할 수 있다. 또한, “디스플레이 장치(200)의 제어부”라는 용어는 디스플레이 장치(200)의 메인 프로세서, 서브 프로세서 롬(212) 및 램(213)을 포함하는 의미일 수 있다.
제어부(210)의 구성 및 동작은 실시예에 따라 다양하게 구현될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
튜너(220)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance) 등을 통하여 많은 전파 성분 중에서 디스플레이 장치(200)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 비디오(video), 오디오(audio) 및 부가 데이터(예를 들어, EPG(electronic program guide))를 포함한다.
튜너(220)는 사용자 입력(예를 들어, 음성, 모션, 버튼 입력, 터치 입력 등)에 대응되는 채널 번호(예를 들어, 케이블 방송 채널 506번)에 대응되는 주파수 대역에서 비디오, 오디오 및 데이터를 수신할 수 있다.
튜너(220)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다.
튜너(220)는 디스플레이 장치(200)와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 장치(200)와 전기적으로 연결되는 튜너(도시되지 아니함), 또는 튜너(도시되지 아니함)를 가지는 별개의 디스플레이 장치(예를 들어, 셋탑 박스(set-top box), 또는, 원 커넥트(one connect), 도시되지 아니함))로 구현될 수 있다.
통신부(230)는 제어부(210)의 제어에 의해 디스플레이 장치(200)를 리모컨(200), 또는, 외부 장치(300)와 연결할 수 있다. 통신부(230)는 제어부(210)의 제어에 의해 사용자 음성에 대응되는 전기적 신호(또는 전기적 신호에 대응되는 패킷)를 제1 서버(300)로 전송하거나 또는 제1 서버(300)에서부터 전기적 신호(또는 전기적 신호에 대응되는 패킷)에 대응되는 음성 데이터를 수신할 수 있다. 또한, 통신부(230)는 제어부(210)의 제어에 의해 수신된 음성 데이터를 제2 서버 로 전송하거나 또는 제2 서버에서부터 음성 데이터에 대응되는 제어 정보를 수신할 수 있다.
통신부(230)는 음성 수신부의 역할을 수행할 수 있으며. 외부장치로부터 음성 신호를 수신할 수 있다.
통신부(230)는 제어부(210)의 제어에 의해 외부에서부터 어플리케이션을 다운로드 하거나 또는 웹 브라우징을 할 수 있다.
통신부(230)는 디스플레이 장치(200)의 성능 및 구조에 대응하여 유선 이더넷(Ethernet, 231), 무선랜 통신부(232) 및 근거리 통신부(233) 중 하나를 포함할 수 있다. 또한, 통신부(230)는 이더넷(232), 무선랜 통신부(232) 및 근거리 통신부(233)의 조합을 포함할 수 있다.
무선랜 통신부(232)는 제어부(210)의 제어에 의해 AP가 설치된 장소에서 무선을 이용하여 AP와 연결될 수 있다. 무선랜 통신부(232)는 예를 들어, 와이파이(Wi-Fi)를 포함할 수 있다. 무선랜 통신부(232)는 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 또한, 근거리 통신부(233)는 제어부(210)의 제어에 의해 AP 없이 무선으로 리모컨(100)과 외부 장치 사이에 근거리 통신을 할 수 있다. 근거리 통신은 예를 들어, 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), UWB(Ultra Wideband), 또는, NFC(Near Field Communication) 등을 포함할 수 있다.
본 발명의 실시예에 따른 통신부(230)는 리모컨(100)에서부터 전송되는 제어 신호를 수신할 수 있다. 또한, 근거리 통신부(233)는 제어부(210)의 제어에 의해 리모컨(200)에서부터 전송되는 제어 신호를 수신할 수 있다.
마이크(240)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(240)는 수신된 음성을 전기적 신호로 변환하여 제어부(210)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(200)의 사용자 가이드, 메뉴 또는 기능의 제어에 대응되는 음성일 수 있다. 마이크(240)의 인식 범위는 사용자 목소리의 크기와 주변 환경(예를 들어, 스피커 소리, 주변 소음)에 대응하여 달라질 수 있다. 즉, 마이크(240)는 음성 신호를 수신할 수 있으며, 음성 수신부의 역할을 수행할 수 있다.
마이크(240)는 디스플레이 장치(200)와 일체형으로 구현되거나 또는 분리될 수 있다. 분리된 마이크(240)는 통신부(230) 또는 입/출력부(260)를 통해 디스플레이 장치(200)와 전기적으로 연결될 수 있다.
카메라(245)는 카메라 인식 범위에서 사용자의 모션에 대응되는 비디오(예를 들어, 연속되는 프레임)를 촬영한다. 사용자 모션은 예를 들어, 사용자의 출현(presence, 예를 들어, 사용자가 카메라 인식 범위 내 나타남), 사용자의 얼굴, 표정, 손, 주먹, 손가락과 같은 사용자의 신체 일부분 또는 사용자 신체 일부분의 모션 등을 포함할 수 있다. 카메라(245)는 렌즈(도시되지 아니함) 및 이미지센서(도시되지 아니함)로 구성될 수 있다.
카메라(245)는 디스플레이 장치(200)의 상단, 하단, 좌측 및 우측 중 하나에 위치할 수 있다.
카메라(245)는 제어부(210) 의 제어에 의해 촬영된 연속적인 프레임을 변환하여 제어부(210)로 출력할 수 있다. 제어부(210)는 촬영된 연속적인 프레임을 분석하여, 사용자의 모션을 인식할 수 있다. 제어부(210)는 모션 인식 결과를 이용하여 디스플레이 장치(200)에 가이드를 표시, 메뉴를 표시하거나 모션 인식 결과에 대응되는 제어(예를 들어, 채널 조정, 또는, 음량 조정 등)를 할 수 있다.
카메라(245)가 복수 개인 경우, 3차원 정지 이미지 또는 3차원 모션 (영상 또는 이미지)을 수신할 수 있다.
카메라(245)는 디스플레이 장치(200)와 일체형으로 구현되거나 또는 분리될 수 있다. 분리된 카메라(도시되지 아니함)를 포함하는 디스플레이 장치(도시되지 아니함)는 통신부(230) 또는 입/출력부(260)를 통해 디스플레이 장치(200)와 전기적으로 연결될 수 있다.
광 수신부(250)는 리모컨(100)에서부터 출력되는 광 신호(제어 신호를 포함)를 광창(도시되지 아니함)을 통해 수신한다.
광 수신부(250)는 리모컨(200)에서부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호에서 제어 신호를 추출될 수 있다. 수신된 광 신호 및/또는 추출된 제어 신호는 제어부(210)로 전송될 수 있다.
입/출력부(260)는 제어부(210)의 제어에 의해 디스플레이 장치(200)의 외부에서부터 콘텐트를 수신한다. 콘텐트는 예를 들어, 비디오, 이미지, 텍스트 또는 웹 문서를 포함할 수 있다.
입/출력부(260)는 콘텐트 수신에 대응되는 HDMI 입력 포트(high-definition multimedia interface port, 261), 컴포넌트 입력 잭(jack, 262), PC 입력 포트(port, 263), 및 USB 입력 잭(jack, 264) 중 하나를 포함할 수 있다. 입/출력부(260)는 HDMI 입력 포트(262), 컴포넌트 입력 잭(262), PC 입력 포트(263), 및 USB 입력 잭(264)의 조합을 포함할 수 있다. 입/출력부(260)는 디스플레이 장치(200)의 성능 및 구조에 따라 추가, 삭제 및/또는 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가지는 자에게 용이하게 이해될 것이다
디스플레이부(270)는 제어부(210)의 제어에 의해 튜너(220)를 통해 수신되는 방송 신호에 포함된 비디오를 표시한다. 디스플레이부(270)는 통신부(230) 또는 입/출력부(260)을 통해 입력되는 콘텐트(예를 들어, 비디오)를 표시할 수 있다. 디스플레이부(270)는 제어부(210)의 제어에 의해 저장부(280)에 저장된 콘텐트를 출력할 수 있다. 또한, 디스플레이부(270)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 사용자 인터페이스(user interface) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 사용자 인터페이스를 표시할 수 있다. 예를 들어, 사용자 인터페이스는 음성 명령어 가이드(예를 들어, 추천 음성 데이터 또는 추천 가이드) 및 모션 명령어 가이드를 포함할 수 있다.
본 발명의 실시예에 따른 디스플레이 장치(200)의 화면은 디스플레이 장치(200)의 디스플레이부(270)를 포함하는 의미로 사용될 수 있다.
본 발명의 실시 예에 따른 디스플레이부(270)는 제어부(210)의 제어에 의해 추천 가이드의 표시에 대응되는 시각 피드백을 표시할 수 있다.
본 발명의 다른 실시예에 따른 디스플레이부(270)는 디스플레이 장치(200)와 분리될 수 있다. 디스플레이 장치(200)의 입/출력부(260)를 통해 디스플레이부(270)는 디스플레이 장치(200)와 전기적으로 연결될 수도 있다.
오디오 출력부(275)는 제어부(110)의 제어에 의해 튜너(220)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(275)는 통신부(230) 또는 입/출력부(260)를 통해 입력되는 오디오(예를 들어, 음성 또는 사운드에 대응되는 오디오)를 출력할 수 있다. 또한, 오디오 출력부(275)는 제어부(110)의 제어에 의해 저장부(280)에 저장된 오디오 파일을 출력할 수 있다.
또한, 오디오 출력부(275)는 실행중인 매크로에 대한 가이드 정보를 제어부의 제어에 의해 출력할 수 있다.
오디오 출력부(275)는 스피커(276), 헤드폰 출력 단자(277) 또는 S/PDIF 출력 단자(278) 중 하나를 포함할 수 있다. 또한, 오디오 출력부(275)는 스피커(276), 헤드폰 출력 단자(277) 및 S/PDIF 출력 단자(278)의 조합을 포함할 수 있다.
본 발명의 실시예에 따른 오디오 출력부(275)는 디스플레이 장치(200)의 제어부(210)의 제어에 의해 추천 가이드의 표시에 대응되는 청각 피드백을 출력할 수 있다.
저장부(280)는 제어부(210)의 제어에 의해 디스플레이 장치(200)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(280)는 튜너(220), 통신부(230), 마이크(240), 카메라(245), 광 수신부(250), 입/출력부(260), 디스플레이부(270), 오디오 출력부(275) 및 전원 공급부(290)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다.
저장부(280)는 디스플레이 장치(200) 및 제어부(210)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface, 이하에서는 “GUI’라고 칭한다), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 음성 데이터 베이스. 모션 데이터 베이스 또는 관련 데이터들을 저장할 수 있다.
저장부(280)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 음량 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)을 포함할 수 있다.
저장부(280)에 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(200)에서 방송 수신의 제어 기능, 채널 제어 기능, 음량 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 또는 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 제어부(210)는 저장부(280)에 저장된 상기 소프트웨어를 이용하여 디스플레이 장치(200)의 동작 및/또는 기능을 수행할 수 있다.
저장부(280)는 음성 인식 서버(300)에서부터 수신된 음성 데이터를 저장할 수 있다. 저장부(280)는 음성 인식 서버(300)에서부터 수신된 제어 정보를 저장할 수 있다. 저장부(280)는 대화형 서버(도시되지 아니함)에서부터 수신된 제어 정보를 저장할 수도 있다.
저장부(280)는 사용자 음성에 대응되는 음소에 대응되는 데이터 베이스를 저장할 수 있다. 또한, 저장부(280)는 음성 데이터에 대응되는 제어 정보 데이터 베이스를 저장할 수 있다.
저장부(280)는 시각 피드백에 대응되는 동영상, 이미지 또는 텍스트를 저장할 수 있다.
저장부(280)는 청각 피드백에 대응되는 사운드를 저장할 수 있다.
저장부(280)는 사용자에게 제공되는 피드백의 피드백 제공 시간(예를 들어, 300 ㎳)을 저장할 수 있다.
저장부(280)는 로그 데이터를 저장할 수 있다.
본 발명의 실시예에서 “저장부”라는 용어는 저장부(280), 제어부(210)의 롬(212), 램(213), SoC(도시되지 아니함)로 구현되는 저장부(도시되지 아니함), 디스플레이 장치(200)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함), 또한 입/출력부(260)의 USB 포트(264)에 연결가능한 외부 저장부(예를 들어, USB 메모리 등, 도시되지 아니함)를 포함하는 용어로 사용될 수 있다. 또한, 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(290)는 제어부(210)의 제어에 의해 디스플레이 장치(200) 내부의 구성 요소들(210 내지 290)에게 외부 전원 소스에서부터 입력되는 전원을 공급한다. 전원 공급부(290)는 제어부(210)의 제어에 의해 디스플레이 장치(200) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 입력되는 전원을 내부의 구성 요소들(210 내지 290)에게 공급할 수 있다.
전원 공급부(290)는 전원 오프(단, 전원 플러그가 전원 콘센트에 연결)된 디스플레이 장치(200)의 카메라(245)에 전원을 공급하는 배터리(도시되지 아니함)를 포함할 수 있다.
도 1 및 도 2의 디스플레이 장치(200)에 도시된 구성 요소들(예를 들어, 210 내지 290)은 디스플레이 장치(200)의 성능 및/또는 종류에 대응하여 적어도 하나의 구성 요소의 추가, 변경되거나 삭제(예를 들어, 점선으로 도시된 박스 중 적어도 하나)될 수 있다. 또한, 구성 요소들의 위치(예를 들어, 210 내지 290)는 디스플레이 장치(200)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
이하에서는 디스플레이 장치의 화면을 제어하는 경우에 대하여 예를 들어 구체적으로 설명한다.
도 2를 참조하면, 디스플레이 장치(200)를 원격으로 제어하는 리모컨(100)은 제어부(110), 통신부(130), 입력부(160), 광 출력부(150), 디스플레이부(170), 저장부(180) 및 전원 공급부(190)를 포함한다. 리모컨(100)은 통신부(130) 및 광 출력부(150) 중 하나를 포함할 수 있다. 또한, 리모컨(100)은 통신부(130) 및 광 출력부(150) 중 모두 포함할 수 있다.
리모컨(100)은 디스플레이 장치(200)를 원격에서 제어 가능한 디스플레이 장치를 지칭하는 용어로 사용될 수 있다. 또한, 리모컨(100)은 디스플레이 장치(200)의 제어를 위한 어플리케이션(도시되지 아니함)을 설치 가능한(또한, 외부에서 다운로드 가능한) 디스플레이 장치를 포함할 수 있다.
디스플레이 장치(200)의 제어를 위한 어플리케이션(도시되지 아니함)을 설치된 디스플레이 장치는 디스플레이부(예를 들어, 터치 스크린 또는 터치 패널 없이 디스플레이 패널만 있는)를 가질 수 있다. 예를 들어, 디스플레이부를 가지는 디스플레이 장치는 휴대폰(도시되지 아니함), 스마트 폰(도시되지 아니함), 태블릿 PC(도시되지 아니함), 노트 PC(도시되지 아니함), 다른 디스플레이 장치(도시되지 아니함) 또는 가전 장치(예를 들어, 냉장고, 세탁기 또는 청소기 등)를 포함할 수 있다.
사용자는 실행되는 어플리케이션에서 제공되는 그래픽 유저 인터페이스(GUI, 도시되지 아니함)에서 기능 버튼(예를 들어, 채널 변경 버튼, 도시되지 아니함)를 이용하여 디스플레이 장치(200)을 제어할 수 있다.
제어부(110)는 프로세서(Processor, 111), 리모컨(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비휘발성 메모리, 112) 및 리모컨(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 리모컨(100)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리, 113)을 포함할 수 있다.
제어부(110)는 리모컨(100)의 전반적인 동작 및 내부 구성 요소들(110 내지 190) 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 전원부(190)를 이용하여 내부 구성 요소들(110 내지 190)에게 전원 공급을 제어한다.
본 발명의 실시예에서 “제어부(110)”라는 용어는 리모컨(100)의 프로세서(111), 롬(112) 및 램(113)을 포함할 수 있다.
통신부(130)는 제어부(110)의 제어에 의해 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 제어 신호(예를 들어, 전원 온에 대응되는 제어 신호, 또는, 음량 조정에 대응되는 제어 신호 등)를 제어 대상인 디스플레이 장치(200)로 전송할 수 있다.
통신부(130)는 제어부(110)의 제어에 의해 디스플레이 장치(200)와 무선으로 연결될 수 있다. 통신부(130)는 무선랜 통신부(131)와 근거리 통신부(132) 중 적어도 하나(예를 들어, 무선랜 통신부(131) 및 근거리 통신부(132) 중 하나, 또는 무선랜 통신부(131)과 근거리 통신부(132) 모두)를 포함할 수 있다.
리모컨(100)의 통신부(130)는 디스플레이 장치(200)의 통신부(230)와 실질적으로 유사하므로 중복되는 설명을 생략한다.
입출력부(120)는 디스플레이 장치(200)의 제어를 위한 사용자의 입력(예를 들어, 터치 또는 눌림)이 수신하는 버튼(161) 또는 터치 패드(162)를 포함할 수 있다. 입출력부(120)는 발화된 사용자 음성을 수신하는 마이크(163), 리모컨(100)의 움직임(motion)을 검출하는 센서(164) 또는 햅틱 피드백을 제공하는 진동 모터(도시되지 아니함)를 포함할 수 있다.
입출력부(120)는 수신된 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 전기적인 신호(예를 들어, 아날로그 신호 또는 디지털 신호)를 제어부(110)로 출력할 수 있다.
터치 패드(162)는 사용자의 터치 또는 사용자의 터치 제스처를 수신할 수 있다. 터치 패드(162)는 방향 키 및 엔터 키로 구현될 수 있다. 또한, 터치 패드(162)는 리모컨(100)의 전면에 위치할 수도 있다.
마이크(163)는 사용자의 발화된 음성을 수신한다. 마이크(163)는 수신된 음성을 변환하여 제어부(110)로 출력할 수 있다 제어부(210)는 사용자 음성에 대응되는 제어 신호(또는, 전기적 신호)를 생성하여 통신부(130)를 통해 디스플레이 장치(200)로 전송할 수 있다.
센서(164)는 리모컨(100)의 내부 상태 및/또는 외부 상태를 검출할 수 있다. 예를 들어, 센서(164)는 모션 센서(도시되지 아니함), 자이로 센서(도시되지 아니함), 가속도 센서(도시되지 아니함), 또는 중력 센서(도시되지 아니함)를 포함할 수 있다. 센서(164)는 리모컨(100)의 운동 가속도 또는 중력 가속도를 각각 측정할 수 있다.
진동 모터(도시되지 아니함)는 제어부(210)의 제어에 따라 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모터(도시되지 아니함)는 리니어 진동 모터, 바 타입 진동 모터, 코인 타입 진동 모터 또는 압전 소자 진동 모터를 포함할 수 있다. 진동모터(도시되지 아니함)는 리모컨(200) 내부에 하나 또는 복수로 위치할 수 있다.
광 출력부(150)는 제어부(110)의 제어에 의해 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호(예를 들어, 제어 신호를 포함)를 출력한다. 출력된 광 신호는 디스플레이 장치(200)의 광 수신부(250)에서 수신될 수 있다. 리모컨(100)에서 사용되는 리모컨 코드 포맷은 제조사 전용인 리모컨 코드 포맷 및 상용 리모컨 코드 포맷 중 하나를 사용할 수 있다. 리모컨 코드 포맷은 리더 코드(leader code) 및 데이터 영역(data word)을 포함할 수 있다. 출력되는 광 신호는 반송파(carrier wave)에 변조되어 출력될 수 있다. 제어 신호는 저장부(280)에 저장되어 있거나 또는 제어부(110)에 의해 생성될 수도 있다. 리모컨(100)은 IR-LED(infrared-laser emitting diode)를 포함할 수 있다.
리모컨(100)은 디스플레이 장치(200)로 제어 신호를 전송 가능한 통신부(130) 및 광 출력부(150) 중 하나 또는 모두를 포함할 수 있다.
제어부(110)는 사용자 음성에 대응되는 제어 신호를 통신부(130) 및 광 출력부(150 ) 중 적어도 하나를 통해 디스플레이 장치(200)로 출력할 수 있다. 제어부(110) 는 사용자 음성에 대응되는 제어 신호를 통신부(130) 및 광 출력부(150) 중 하나(예를 들어, 통신부(130))를 통해 우선(prior)적으로 디스플레이 장치(200)로 전송할 수 있다.
저장부(180)는 제어부(110)의 제어에 의해 리모컨(100)을 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(180)는 통신부(130), 광 출력부(150), 및 전원 공급부(190)의 구동에 대응되는 입력, 또는 출력되는 신호 또는 데이터를 저장할 수 있다.
저장부(180)는 제어부(110)의 제어에 의해 수신된 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 제어 정보 및/또는 리모컨(100)의 움직임에 대응되는 제어 정보를 저장할 수 있다.
저장부(180)는 리모컨(100)에 대응되는 리모컨 정보를 저장할 수 있다. 리모컨 정보는 모델명, 고유의 장치 ID(device ID), 메모리 잔량, 객체데이터 유무, 블루투스 버전 또는 블루투스 프로파일을 포함할 수 있다.
전원 공급부(190)는 제어부(110)의 제어에 의해 리모컨(100)의 구성 요소(110 내지 190)에 전원을 공급한다. 전원 공급부(190)는 리모컨(100)에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 전원을 구성 요소(110 내지 190)에게 공급할 수 있다. 배터리는 리모컨(200)의 표면(예를 들어, 버튼(161) 또는 터치 패드(2162)가 있는)과 후면(도시되지 아니함) 사이의 내부에 위치할 수 있다.
도 1 및 도 2의 리모컨(100)에 도시된 구성 요소들은 리모컨(100)의 성능에 대응하여 적어도 하나의 구성 요소가 추가되거나 삭제(예를 들어, 점선으로 도시된 박스 중 적어도 하나)될 수 있다. 또한, 구성 요소들의 위치는 리모컨(100)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
음성 인식 서버(300)는 리모컨(100) 또는 디스플레이 장치(200)에서 입력된 사용자 음성에 대응되는 패킷을 통신부(도시되지 아니함)를 통해 수신한다. 음성 인식 서버(300)의 제어부(도시되지 아니함)는 음성 인식부(도시되지 아니함) 및 음성 인식 알고리즘을 이용하여 수신된 패킷을 분석하여 음성 인식을 수행한다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 음성 인식 알고리즘을 이용하여 수신된 전기적 신호(또는 전기적 신호에 대응되는 패킷)를 단어 또는 문장 형태의 텍스트를 포함하는 음성 인식 데이터로 변환할 수 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 음성 데이터를 통신부(도시되지 아니함)를 통해 디스플레이 장치(200)로 전송할 수 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 음성 데이터를 이용하여 제어 정보(예를 들어, 제어 명령어)로 변환할 수 있다. 제어 정보는 디스플레이 장치(200)의 동작(또는 기능)을 제어할 수 있다.
음성 인식 서버(300)는 제어 정보 데이터 베이스를 포함할 수 있다. 음성 인식 서버(300)의 제어부(도시되지 아니함)는 저장된 제어 정보 데이터 베이스를 이용하여 변환된 음성 데이터에 대응되는 제어 정보를 결정할 수 있다.
음성 인식 서버(300)는 변환된 음성 데이터를 제어 정보 데이터 베이스를 이용하여 디스플레이 장치(200)를 제어하는 제어 정보(예를 들어, 디스플레이 장치(200)의 제어부(210)가 파싱(parsing)하는)로 변환할 수도 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 통신부(도시되지 아니함)를 통해 제어 정보를 디스플레이 장치(200)로 전송할 수 있다.
본 발명의 실시예에서, 음성 인식 서버(300)는 디스플레이 장치(200)와 일체형(200’)일 수 있다. 음성 인식 서버(300)는 디스플레이 장치(200)의 구성 요소(210 내지 290)와 별개인 구성 요소로 디스플레이 장치(200)에 포함(200’)될 수 있다. 음성 인식 서버(300)는 디스플레이 장치(200)의 저장부(280)에 내장(embedded)되거나 또는 별도의 저장부(도시되지 아니함)에 구현될 수도 있다.
본 발명의 실시예에서, 음성 인식 서버(300)와 별개로 대화형 서버(도시되지 아니함)가 구현될 수 있다. 대화형 서버(도시되지 아니함)는 음성 인식 서버(300)에서 변환된 음성 데이터를 제어 정보로 변환할 수 있다. 대화형 서버(도시되지 아니함)는 음성 인식 서버(300) 및 디스플레이 장치(200) 중 하나에서부터 수신되는 음성 데이터를 제어 정보로 변환할 수 있다. 대화형 서버(도시되지 아니함)는 변환된 제어 정보를 디스플레이 장치(200)로 전송할 수 있다.
도 1 및 도 2의 음성 인식 서버(300)에 도시된 구성 요소들은 음성 인식 서버(300)의 성능에 대응하여 적어도 하나의 구성 요소가 추가되거나 삭제될 수 있다.
도 3은 본 발명의 실시예에 따른 디스플레이 장치의 제어 방법을 나타내는 개략적인 순서도이다.
도 3의 단계 S301에서, 디스플레이 장치는 디스플레이 장치의 동작과 관련된 로그 데이터를 저장한다. 로그 데이터는 저장부에 저장될 수 있다. 로그 데이터는 디스플레이 장치의 동작과 관련된 데이터일 수 있다. 즉 로그 데이터는 디스플레이 장치가 사용자 또는 이벤트에 의해 동작하면서 생성되는 데이터일 수 있다. 예를 들면 로그 데이터는 디스플레이 장치의 동작 시간, 날짜, 채널 정보, 화면 밝기, 소리 크기, 재생중인 콘텐트 정보 및 디스플레이 장치를 조작하는 사용자의 음성 패턴을 포함할 수 있다.
사용자가 음성 명령으로 디스플레이 장치를 동작시키는 경우, 사용자의 음성 패턴이 로그 데이터로 저장부에 저장될 수 있다.
디스플레이 장치의 전원이 온 되는 경우, 현재 시간 및 날짜가 로그 데이터로 저장부에 저장될 수 있다.
사용자가 TV를 시청하는 경우, 현재 시청중인 채널 정보 및 콘텐트 정보가 로그 데이터로 저장될 수 있다. 또한, 사용자가 시청중인 콘텐트의 화면 밝기, 음량 정보 등이 로그 데이터로 저장될 수 있다. 또한, 사용자가 시청중인 콘텐트 종류(예컨대 스포츠, 영화, 드라마, 예능 등)가 로그 데이터로 저장될 수 있다. 여기서 콘텐트는 공중파 방송, 케이블 방송, 인터넷 방송을 통해 수신될 수 있다.
단계 S303에서 디스플레이 장치는 저장부에 저장된 로그 데이터를 분석하여 사용자 별로 분류한다. 사용자의 음성 패턴과 함께 저장된 로그 데이터는 사용자의 음성 패턴에 기초하여 로그 데이터를 사용자 별로 분류할 수 있다.
도 4는 저장부에 저장된 로그 데이터의 예를 도시한다.
도 4를 참조하면 로그 데이터(400)는 사용자 음성 패턴(401), 채널 정보(403), 날짜(405), 시간(407), 콘텐트 종류(409), 화면 밝기(411) 및 음량(413) 정보를 포함할 수 있다.
로그 데이터(400)는 사용자의 음성 패턴 및 키워드를 기준으로 분류되어 저장될 수 있다. 여기서 키워드는 예컨대 콘텐트 종류(409)일 수 있다. 키워드는 디스플레이 장치 또는 서버에서 미리 결정되거나 또는 학습 알고리즘을 통해 결정될 수 있다.
즉, 로그 데이터(400)는 사용자 음성 패턴(401) 및 키워드에 기초하여 사용자 별로 분류되어 저장될 수 있다.
다시 도 3을 참조하면 디스플레이 장치는 단계 S305에서 사용자별로 분류된 로그 데이터로부터 패턴을 생성하여 매크로로 저장할 수 있다. 여기서 패턴은 콘텐트 종류(409)가 될 수 있다. 디스플레이 장치는 사용자 음성 패턴 별로 분류된 로그 데이터에서 패턴을 생성할 수 있다. 예를 들면 디스플레이 장치는 로그 데이터(400)를 사용자 별로 분류하기 위해 저장된 로그 데이터를 사용자 음성 패턴별로 그룹핑 할 수 있다. 이에 따라 로그 데이터(400)는 그룹 A(421, 427). 그룹 B(423, 429) 및 그룹 C(425, 431)로 그룹핑 될 수 있다.
여기서 그룹 A(421, 427)는 사용자 음성 패턴이 ‘A’ 인 것으로 그룹핑 된 것이다. 그룹 B(423, 429)는 사용자 음성 패턴 ‘B’로 그룹핑 된 것이다. 그룹 C(425, 431)는 사용자 음성 패턴 ‘C’로 그룹핑 된 것이다.
디스플레이 장치는 다시 그룹 A(421, 427)에서 패턴을 생성한다. 여기서 패턴은 ‘스포츠’, ‘음악’, ‘영화’ 일 수 있다. 즉 디스플레이 장치는 로그 데이터(400) 에서 미리 결정된 키워드가 있는지를 분석할 수 있다. 키워드는 사용자에 의해 설정되거나 또는 서버로부터 제공될 수 있다. 또는 디스플레이 장치가 로그 데이터를 분석하여 반복되는 패턴으로 ‘스포츠’, ‘음악’, 영화’를 검색하고 이를 패턴으로 생성할 수 있다.
디스플레이 장치는 사용자 별로 그룹핑된 로그 데이터를 다시 패턴별로 분류하여 매크로(421, 423, 425, 427, 429, 431)를 생성할 수 있다. 디스플레이 장치는 생성된 매크로(421, 423, 425, 427, 429, 431)를 저장부에 저장할 수 있다. 디스플레이 장치는 저장부에 저장된 매크로(421, 423, 425, 427, 429, 431)를 사용자 음성 패턴(401)에 기초하여 검색할 수 있다.
디스플레이 장치는 단계 S307에서 음성 수신부를 통해 수신된 음성 정보를 인식하여 화자를 결정할 수 있다. 음성 정보는 음성 신호 또는 음성 데이터를 포함할 수 있다. 음성 수신부는 예컨대 디스플레이 장치 본체에 내장된 마이크를 통해 입력된 음성을 전기신호로 변환하고 이것을 다시 음성 데이터로 변환하는 회로이거나 또는 통신부를 통해 원격 조정장치와 같은 외부장치로부터 수신된 음성 신호를 음성 데이터로 변환하는 회로일 수 있다.
디스플레이 장치는 음성 데이터를 음성 인식 서버(300)로 전송하여 음성 인식을 수행하여 음성을 발화한 화자를 결정할 수 있다. 이 때 디스플레이 장치는 음성 데이터를 패킷(packet)화 하여 음성 인식 서버(300)로 전송할 수 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 수신된 패킷에 대해 음성 인식 알고리즘을 이용하여 음성 인식을 수행한다. 음성 인식 알고리즘은 패킷을 일정한 길이를 가지는 구간으로 구분하고, 각각의 구간을 음향 분석하여 주파수 스펙트럼 및 음성 파워 등을 포함하는 파라미터(parameter)를 추출할 수 있다. 음성 인식 알고리즘은 패킷을 음소(phonemes) 단위로 분할하고, 분할된 음소 단위의 파라미터를 기초로 하여 음소를 인식할 수 있다.
음성 인식 서버(300)의 저장부(도시되지 아니함)는 특정 음소에 대응되는 음소 데이터 베이스를 저장(업데이트도 가능)할 수 있다. 음성 인식 서버(300)의 제어부(도시되지 아니함)는 인식된 음소 및 기 저장된 데이터 베이스를 이용하여 음성 데이터를 생성할 수 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 단어 또는 문장 형태인 음성 인식 데이터를 생성할 수 있다. 상술된 음성 인식 알고리즘은 예를 들어, 히든 마코프 모델(hidden markov model 등을 포함할 수 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 수신된 패킷의 파형을 음성 인식하여 음성 데이터를 생성할 수 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 음성 데이터를 이용하여 사용자 음성 패턴을 결정하여 음성을 발화한 사용자(화자)를 결정할 수 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 결정된 화자에 대한 정보를 디스플레이 장치로 전송하고, 디스플레이 장치는 음성 인식 서버(300)로부터 전송된 화자에 대한 정보에 기초하여 저장부(280)에 저장된 매크로(421 내지 431)를 검색할 수 있다.
실시 형태에 따라 음성 인식 서버(300)의 제어부(도시되지 아니함)는 음성 인식된 음성 데이터로부터 사용자 음성 패턴을 추출하고, 추출된 음성 패턴을 디스플레이 장치로 전송하고, 음성 인식 서버(300)로부터 전송된 음성 패턴에 기초하여 저장부(280)에 저장된 매크로를 검색할 수 있다.
한편, 음성 인식 서버(300)의 제어부(도시되지 아니함)는 인식된 음성 데이터를 저장부(도시되지 아니함)에 저장할 수 있다. 음성 인식 서버(300)의 제어부(도시되지 아니함)는 인식된 음성 데이터를 이용하여 제어 정보(예를 들어, 제어 명령어)로 변환할 수 있다. 제어 정보는 디스플레이 장치(200)의 동작(또는 기능)을 제어할 수 있다.
또한, 음성 인식 서버(300)의 제어부(도시되지 아니함)는 인식된 음성 데이터를 이용하여 매크로 기능을 실행시키는 트리거 워드를 결정할 수 있다. 트리거 워드는 시스템에서 사전에 결정된 단어일 수 있다. 예를 들면 사용자가 발화한 ‘모드’ 등과 같은 사전에 결정된 단어일 수 있다. 또한 트리거 워드는 별도의 사용자 입력이 없더라도 음성 인식 서버가 통계적 방법을 통해 추론하여 결정할 수도 있다.
음성 인식 서버(300)의 제어부(도시되지 아니함)는 음성 인식된 음성 데이터가 매크로 기능을 실행시키는 트리거 워드로 결정되면 트리거 워드에 대한 정보를 디스플레이 장치로 전송하고, 디스플레이 장치는, 단계 S309에서 결정된 화자에 대응하는 매크로를 실행할 수 있다. 디스플레이 장치는 음성 인식 서버(300)의 제어부(도시되지 아니함)가 전송한 트리거 워드에 대한 정보를 수신하여 대응하는 매크로를 실행시킬 수 있다.
예를 들면 사용자 A가 ‘스포츠 모드’ 라고 발화한 경우, 디스플레이 장치는 매크로(421)를 실행할 수 있다. 디스플레이 장치는 재생중인 콘텐트의 화면 밝기를 ‘70’으로 설정하고 음량을 ‘12’로 설정할 수 있다.
사용자 B가 ‘음악 모드’라고 발화한 경우, 디스플레이 장치는 매크로(423)를 실행할 수 있다. 디스플레이 장치는 재생중인 콘텐트의 화면 밝기를 ‘55’로 설정하고, 음량을 ‘15’로 설정할 수 있다.
사용자 C가 ‘영화 모드’라고 발화한 경우, 디스플레이 장치는 매크로(425)를 실행할 수 있다. 디스플레이 장치는 재생중인 콘텐트의 화면 밝기를 ‘90’으로 설정하고, 음량을 ‘17’로 설정할 수 있다.
사용자 A가 ‘음악 모드’라고 발화한 경우, 디스플레이 장치는 매크로(423)를 실행할 수 있다. 디스플레이 장치는 재생중인 콘텐트의 화면 밝기를 ‘50’로 설정하고, 음량을 ‘10’로 설정할 수 있다.
사용자 B가 ‘영화 모드’라고 발화한 경우, 디스플레이 장치는 매크로(429)를 실행할 수 있다. 디스플레이 장치는 재생중인 콘텐트의 화면 밝기를 ‘45’로 설정하고, 음량을 ‘15’로 설정할 수 있다.
사용자 C가 ‘스포츠 모드’라고 발화한 경우, 디스플레이 장치는 매크로(431)를 실행할 수 있다. 디스플레이 장치는 재생중인 콘텐트의 화면 밝기를 ‘60’로 설정하고, 음량을 ‘13’으로 설정할 수 있다.
디스플레이 장치는 단계 S311에서 실행중인 매크로에 대한 가이드 정보를 디스플레이부에 표시할 수 있다. 구체적으로 디스플레이 장치는 매크로를 실행하면서 현재 재생중인 콘텐트의 밝기 및 음량에 대한 정보를 화면에 표시할 수 있다.
또는 디스플레이 장치는 단계 S311에서 실행중인 매크로에 대한 가이드 정보를 음성으로 출력할 수 있다. 구체적으로 디스플레이 장치는 매크로를 실행하면서 현재 실행중인 매크로에 대한 정보를 음성안내로 출력할 수 있다.
도 5는 본 발명의 실시예에 따른 디스플레이 장치의 매크로를 처리하는 소프트웨어 모듈에 대한 블록도를 도시한다.
매크로 처리 블록(500)은 프로그램을 구성하는 명령어 형태 또는 데이터의 형태로 저장부에 저장될 수 있다.
매크로 처리 블록(500)은 음성 패턴 저장부(501), 화자 판별부(503), 도메인 판별부(505), 매크로 기능 제공부(507), 음성 가이드 생성부(509), 사용자별 패턴 저장부(511), 패턴 분석부(513) 및 매크로 저장부(515)를 포함할 수 있다.
음성 패턴 저장부(501)는 사용자별로 음성 패턴이 저장되어 있으며, 저장부에 마련된 공간일 수 있다. 사용자가 음성을 발화하는 경우 디스플레이 장치는 사용자의 음성 패턴을 저장부에 저장할 수 있다. 디스플레이 장치는 사용자의 음성 데이터에서 사용자의 특징점을 추출하고 음성 패턴으로 저장할 수 있다. 음성 패턴은 데이터베이스로 저장부에 저장되어 용이하게 검색될 수 있다.
화자 판별부(503)는 사용자가 발화한 음성 데이터를 음성 패턴 저장부(501)에 저장되어 있는 음성 패턴과 비교하여 화자를 결정할 수 있다. 예를 들면 사용자 A가 발화를 하면 디스플레이 장치는 발화된 사용자의 음성 데이터로부터 음성 패턴을 추출하여 음성 패턴 저장부(501)에 저장된 음성 패턴과 비교하고, 동일한 음성 패턴이 검색되는 경우 검색된 음성 패턴으로부터 화자를 판별할 수 있다. 만일 동일한 음성 패턴이 검색되지 않는 경우, 디스플레이 장치는 사용자 A의 음성 패턴을 신규 음성 패턴으로 음성 패턴 저장부(501)에 저장할 수 있다.
도메인 판별부(505)는 사용자가 발화한 음성 데이터로부터 도메인에 해당하는 단어가 있는지 여부를 결정할 수 있다. 도메인은 콘텐트의 종류를 식별할 수 있는 단어 일수 있다. 예를 들면 ‘스포츠’, ‘영화’, ‘음악’ 등과 같이 콘텐트의 종류를 나타낼 수 있다.
디스플레이 장치는 도메인이 결정되면 도메인에 해당하는 단어에 기초하여 매크로 저장부(515)를 검색할 수 있다.
한편, 디스플레이 장치는 사용자가 음성 명령을 이용하여 디스플레이 장치를 동작하면, 음성을 발화한 사용자를 식별하고 식별된 사용자에 대한 로그 데이터를 사용자별 패턴 저장부(511)에 저장할 수 있다. 이에 대한 구체적인 설명은 도 3 및 도 4를 이용하여 상술한 바와 동일하므로 여기서는 상세한 설명은 생략한다.
패턴 분석부(513)는 사용자별 패턴 저장부(511)에 저장된 로그 데이터에서 키워드 또는 도메인에 대응하는 단어가 있는지 여부를 결정한다. 예를 들면 사용자의 로그 데이터에 ‘영화’, ‘음악’ 및/또는 ‘스포츠’ 등과 같은 단어를 검색하고 패턴으로 인식할 수 있다.
매크로 저장부(515)는 패턴 분석부(513)에서 분석한 결과에 따라 로그 데이터에 저장된 설정값(예컨대 화면 밝기, 음량 정보 등) 및 사용자가 디스플레이 장치를 동작시킨 정보 등을 매크로로 저장할 수 있다.
매크로 기능 제공부(507)는 도메인 정보를 이용하여 해당하는 매크로를 매크로 저장부(515)에서 검색하여 매크로 기능을 실행한다.
음성 가이드 생성부(509)는 매크로가 실행되면 해당하는 매크로에 대한 음성 안내 정보를 생성하여 음성 신호로 출력한다.
도 6은 본 발명의 실시예에 따른 디스플레이 장치에서 사용자의 음성 발화에 따라 매크로 기능을 실행하는 예를 도시한다.
도 6을 참조하면 사용자가 음성을 발화(605)하여 디스플레이 장치(200)를 스포츠 모드로 동작시키는 예가 도시되어 있다.
사용자가 리모컨(100)에 내장된 마이크를 통해 음성을 발화(605)하면 디스플레이 장치(200)는 통신부를 통해 사용자의 음성 신호를 수신할 수 있다.
즉, 리모컨(100)에 내장된 마이크는 사용자의 음성을 전기적인 신호로 변환하여 디스플레이 장치(200)로 전송한다. 디스플레이 장치(200)의 통신부는 음성 신호를 수신하여 음성 수신부로 보내고 음성 수신부는 음성 신호를 수신하여 제어부가 처리할 수 있는 음성 데이터로 변환할 수 있다. 제어부는 음성 데이터를 처리하여 화자를 식별 및 사용자가 발화한 단어를 인식한다.
음성 인식 과정은 서버(300)를 통해 수행될 수 있다. 디스플레이 장치(200)는 화자가 식별되면 화자에 대응하는 매크로를 검색하고, 사용자가 발화한 단어에 대응하는 매크로 기능을 실행할 수 있다.
한편, 디스플레이 장치(200)는 사용자가 발화한 음성을 인식하여 매크로 기능을 수행하기 위한 트리거 워드를 식별할 수 있다. 예를 들면 사용자가 ‘스포츠 모드’ 라고 발화하는 경우 디스플레이 장치(200)는 ‘모드’를 매크로 기능을 수행하기 위한 트리거 워드로 인식할 수 있다. 매크로 기능 수행을 위한 트리거 워드는 기 설정된 단어 일 수 있으며, 사용자에 의해 지정되거나 또는 디스플레이 장치 제조자에 의해 기 설정될 수 있다. 또한 트리거 워드는 별도의 사용자 입력이 없더라도 음성 인식 서버가 통계적 방법을 통해 추론하여 결정할 수도 있다.
디스플레이 장치(200)는 실행시킬 매크로를 검색하기 위해 트리거 워드 앞에 있는 단어 ‘스포츠’를 인식하고, ‘스포츠’에 대응하는 매크로를 검색하여 매크로 기능을 수행할 수 있다. 이 때 디스플레이 장치(200)는 수행되는 매크로 기능에 대한 가이드를 생성하고, 가이드를 음성으로 출력(601)하거나 또는 화면에 표시(603)할 수 있다.
실시 형태에 따라 디스플레이 장치(200)는 내장된 마이크를 통해 사용자가 발화한 음성을 수신할 수 있다.
도 7은 본 발명의 실시예에 따른 디스플레이 장치에서 사용자의 음성 발화에 따라 매크로 기능을 실행하는 다른 예를 도시한다.
사용자가 리모컨(100)에 내장된 마이크를 통해 음성을 발화(705)하면 디스플레이 장치(200)는 사용자가 발화한 음성을 인식하여 매크로 기능을 수행하기 위한 트리거 워드를 식별할 수 있다. 예를 들면 사용자가 ‘영화 모드(705)’ 라고 발화하는 경우 디스플레이 장치(200)는 사용자가 발화한 단어로부터 화자를 식별하고, 매크로 기능 실행을 위한 트리거 워드가 포함되어 있는지 여부를 결정한다.
즉, 디스플레이 장치는 ‘영화 모드’라고 발화한 사용자의 음성을 인식하여 ‘모드’ 라는 트리거 워드 및 ‘영화’라는 도메인을 식별하고 이에 대응하는 사용자의 매크로를 검색하고, 매크로 기능을 실행할 수 있다.
이 때 디스플레이 장치는 수행되는 매크로 기능에 대한 가이드를 생성하고, 가이드를 음성으로 출력(701)하거나 또는 화면에 표시(703)할 수 있다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 리모컨 110: 리모컨의 제어부
130: 통신부 150: 광 출력부
161b: 음성 버튼 163: 마이크
200: 디스플레이 장치 210: 디스플레이 장치의 제어부
230: 통신부 270: 디스플레이부
300: 음성 인식 서버

Claims (20)

  1. 저장부;
    디스플레이부;
    음성 수신부; 및
    제어부를 포함하고,
    상기 제어부는,
    상기 음성 수신부를 통해 수신되는 제1 사용자 음성 신호에 기초하여, 상기 제1 사용자 음성 신호에 대응하는 기능을 수행하고,
    상기 제1 사용자 음성 신호, 상기 디스플레이부에 표시되는 콘텐트 정보 및 디스플레이 장치의 설정값에 대응하는 로그 데이터를 상기 저장부에 저장하고,
    복수의 매크로에 포함된 각 매크로로서 상기 제1 사용자 음성 신호의 음성 패턴과 상기 콘텐트 종류에 의해 상기 로그 데이터를 식별하고,
    상기 음성 수신부를 통해 수신되는 상기 콘텐트의 종류에 대응되는 기 설정된 키워드를 포함하는 제2 사용자 음성 신호에 기초하여, 복수의 매크로 중에서 제2 사용자 음성 신호의 음성 패턴 및 상기 콘텐트의 종류에 대응하는 매크로를 식별하고,
    상기 식별된 매크로에 기초하여 디스플레이 장치의 설정값을 제어하는, 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 식별된 매크로에 대한 가이드(guide) 정보를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 디스플레이 장치는,
    오디오 출력부를 더 포함하며,
    상기 제어부는,
    상기 식별된 매크로에 대한 가이드 정보를 출력하도록 상기 오디오 출력부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 음성 수신부는,
    마이크를 포함하며,
    상기 마이크를 통해 상기 제1 사용자 음성 신호 또는 상기 제2 사용자 음성 신호를 수신하는 것을 특징으로 하는 디스플레이 장치.
  5. 제 1 항에 있어서,
    상기 음성 수신부는,
    통신부를 포함하며,
    상기 통신부를 통해 외부장치로부터 상기 제1 사용자 음성 신호 또는 상기 제2 사용자 음성 신호를 수신하는 것을 특징으로 하는 디스플레이 장치.
  6. 제 1 항에 있어서,
    상기 로그 데이터는,
    상기 디스플레이 장치의 동작 시간, 날짜, 채널 정보, 화면 밝기, 소리 크기, 콘텐트 정보 및 상기 디스플레이 장치를 조작하는 사용자의 음성 패턴 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  7. 제 1 항에 있어서,
    상기 제어부는,
    상기 복수의 매크로에 포함된 각 매크로로서, 상기 제1 사용자 음성 신호의 음성 패턴 및 상기 콘텐트 종류에 기초하여 복수의 사용자 중 각 사용자에 대한 상기 로그 데이터를 식별하는 것을 특징으로 하는 디스플레이 장치.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 제어부는,
    상기 수신된 제2 사용자 음성 신호에 매크로 기능을 수행하기 위한 트리거 단어가 포함되어 있는지 식별하는 것을 특징으로 하는 디스플레이 장치.
  10. 제 9 항에 있어서,
    상기 제어부는,
    상기 콘텐트의 종류에 대응하는 키워드와 상기 음성 수신부를 통해 수신되는 트리거 단어를 포함하는 제2 사용자 음성 신호에 기초하여 상기 제2 사용자 음성 신호의 음성 패턴 및 상기 콘텐트의 종류에 대응하는 상기 매크로를 식별하는 것을 특징으로 하는 디스플레이 장치.
  11. 디스플레이 장치의 동작과 관련된 로그 데이터를 저장하는 단계;
    음성 수신부를 통해 수신되는 제1 사용자 음성 신호에 기초하여, 상기 제1 사용자 음성 신호에 대응하는 기능을 수행하는 단계;
    상기 제1 사용자 음성 신호에 대응하는 로그 데이터, 상기 디스플레이 장치에 표시되는 콘텐트에 대응되는 정보 및 상기 디스플레이 장치의 설정값을 저장하는 단계;
    복수의 매크로에 포함된 각 매크로로서 상기 제1 사용자 음성 신호의 음성 패턴과 상기 콘텐트 종류에 의해 상기 로그 데이터를 식별하는 단계;
    상기 음성 수신부를 통해 수신되는 상기 콘텐트의 종류에 대응되는 기 설정된 키워드를 포함하는 제2 사용자 음성 신호에 기초하여, 복수의 매크로 중에서 제2 사용자 음성 신호의 음성 패턴 및 상기 콘텐트의 종류에 대응하는 매크로를 식별하는 단계; 및
    상기 식별된 매크로에 기초하여 상기 디스플레이 장치의 설정값을 제어하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  12. 제 11 항에 있어서,
    상기 방법은,
    상기 식별된 매크로에 대한 가이드 정보를 디스플레이부에 표시하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  13. 제 11 항에 있어서,
    상기 방법은,
    상기 식별된 매크로에 대한 가이드 정보를 디스플레이 장치의 스피커를 통해 출력하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  14. 제 11 항에 있어서,
    상기 음성 수신부는,
    마이크를 포함하며,
    상기 마이크를 통해 상기 제1 사용자 음성 신호 또는 상기 제2 사용자 음성 신호를 수신하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  15. 제 11 항에 있어서,
    상기 음성 수신부는,
    통신부를 포함하며,
    상기 통신부를 통해 외부장치로부터 상기 제1 사용자 음성 신호 또는 제2 사용자 음성 신호를 수신하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  16. 제 11 항에 있어서,
    상기 로그 데이터는,
    상기 디스플레이 장치의 동작 시간, 날짜, 채널 정보, 화면 밝기, 소리 크기, 콘텐트 정보 및 상기 디스플레이 장치를 조작하는 사용자의 음성 패턴 중 적어도 하나를 포함하는 것을 특징으로 하는 하는 디스플레이 장치의 제어 방법.
  17. 제 11 항에 있어서,
    상기 로그 데이터를 식별하는 단계는,
    상기 복수의 매크로에 포함된 각 매크로로서 상기 제1 사용자 음성 신호의 음성 패턴 및 상기 콘텐트 종류에 기초하여 복수의 사용자 중 각 사용자에 대한 상기 로그 데이터를 식별하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  18. 삭제
  19. 제 11 항에 있어서,
    상기 수신된 제2 사용자 음성 신호에 매크로 기능을 수행하기 위한 트리거 단어가 포함되어 있는지 식별하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  20. 제 19 항에 있어서,
    상기 매크로를 식별하는 단계는,
    상기 콘텐트의 종류에 대응하는 키워드와 상기 음성 수신부를 통해 수신되는 트리거 단어를 포함하는 제2 사용자 음성 신호에 기초하여 상기 제2 사용자 음성 신호의 음성 패턴 및 상기 콘텐트의 종류에 대응하는 상기 매크로를 식별하는 것을 특징으로 하는, 디스플레이 장치의 제어 방법.

KR1020160111976A 2016-08-31 2016-08-31 디스플레이 장치 및 디스플레이 장치의 제어 방법 Active KR102815265B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160111976A KR102815265B1 (ko) 2016-08-31 2016-08-31 디스플레이 장치 및 디스플레이 장치의 제어 방법
US16/326,489 US11330320B2 (en) 2016-08-31 2017-06-28 Display device and method for controlling display device
EP17846820.3A EP3480813B1 (en) 2016-08-31 2017-06-28 Display device and method for controlling display device
PCT/KR2017/006819 WO2018043895A1 (ko) 2016-08-31 2017-06-28 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN201780051293.8A CN109643546B (zh) 2016-08-31 2017-06-28 显示设备和用于控制显示设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160111976A KR102815265B1 (ko) 2016-08-31 2016-08-31 디스플레이 장치 및 디스플레이 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20180024927A KR20180024927A (ko) 2018-03-08
KR102815265B1 true KR102815265B1 (ko) 2025-05-29

Family

ID=61301870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160111976A Active KR102815265B1 (ko) 2016-08-31 2016-08-31 디스플레이 장치 및 디스플레이 장치의 제어 방법

Country Status (5)

Country Link
US (1) US11330320B2 (ko)
EP (1) EP3480813B1 (ko)
KR (1) KR102815265B1 (ko)
CN (1) CN109643546B (ko)
WO (1) WO2018043895A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10847176B2 (en) 2018-03-12 2020-11-24 Amazon Technologies, Inc. Detection of TV state using sub-audible signal
US10560737B2 (en) 2018-03-12 2020-02-11 Amazon Technologies, Inc. Voice-controlled multimedia device
WO2019177949A1 (en) * 2018-03-12 2019-09-19 Amazon Technologies, Inc. Voice-controlled multimedia device
KR102773717B1 (ko) * 2018-11-15 2025-02-27 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2022028094A (ja) * 2018-12-21 2022-02-15 ソニーグループ株式会社 情報処理装置、制御方法、情報処理端末、情報処理方法
US11210911B2 (en) * 2019-03-04 2021-12-28 Timothy T. Murphy Visual feedback system
WO2020222322A1 (ko) * 2019-04-30 2020-11-05 엘지전자 주식회사 음성 인식 서비스를 제공하기 위한 디스플레이 장치
CN110300447B (zh) * 2019-06-28 2021-07-16 联想(北京)有限公司 一种控制方法和设备
CN112786032A (zh) * 2019-11-01 2021-05-11 富泰华工业（深圳）有限公司 显示内容控制方法、装置、计算机装置及可读存储介质
CN112786036B (zh) * 2019-11-04 2023-08-08 海信视像科技股份有限公司 显示设备与内容显示方法
TWI734329B (zh) * 2019-12-31 2021-07-21 技嘉科技股份有限公司 電子裝置及利用外部輸入信號的按鍵巨集之觸發方法
CN113905110B (zh) * 2020-06-18 2022-11-18 Oppo广东移动通信有限公司 显示屏控制方法、装置、计算机设备以及存储介质
CN114679614B (zh) * 2020-12-25 2024-02-06 深圳Tcl新技术有限公司 一种语音查询方法、智能电视及计算机可读存储介质
US20240319958A1 (en) * 2021-08-02 2024-09-26 Lg Electronics Inc. Display apparatus and operating method therefor
FR3130439B1 (fr) * 2021-12-13 2025-02-14 Sagemcom Broadband Sas Détection de l’état d’un téléviseur
US12223334B2 (en) 2022-03-02 2025-02-11 Samsung Electronics Co., Ltd. Electronic device and method of setting operation mode thereof
KR20230129857A (ko) * 2022-03-02 2023-09-11 삼성전자주식회사 전자 장치의 동작 모드를 설정하는 방법 및 이를 위한 전자 장치
US11895368B2 (en) * 2022-03-04 2024-02-06 Humane, Inc. Generating, storing, and presenting content based on a memory metric

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100672518B1 (ko) * 2005-02-15 2007-01-24 엘지전자 주식회사 음성인식 기능을 갖는 티브이
KR101048321B1 (ko) * 2009-10-08 2011-07-12 가톨릭대학교 산학협력단 음성인식 통합 리모컨 및 그 동작 방법
US20140046660A1 (en) 2012-08-10 2014-02-13 Yahoo! Inc Method and system for voice based mood analysis
US20140350933A1 (en) 2013-05-24 2014-11-27 Samsung Electronics Co., Ltd. Voice recognition apparatus and control method thereof

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7096185B2 (en) * 2000-03-31 2006-08-22 United Video Properties, Inc. User speech interfaces for interactive media guidance applications
KR100474252B1 (ko) * 2002-10-11 2005-03-10 한국전자통신연구원 전자 프로그램 가이드 제공 시스템 및 그 방법
US9449091B1 (en) * 2003-08-20 2016-09-20 Ip Holdings, Inc. Professional and employee social networks and social media systems
JP4978927B2 (ja) 2007-03-15 2012-07-18 京セラドキュメントソリューションズ株式会社 画像形成装置
JP4915665B2 (ja) 2007-04-18 2012-04-11 パナソニック株式会社 音声認識機能付き操作器
KR20120031548A (ko) * 2010-09-27 2012-04-04 주식회사 씨에스 다수 화자 음성에 대하여 자동적으로 적응화하는 음성 인식 방법
US10341711B2 (en) 2010-11-10 2019-07-02 Saturn Licensing Llc Remote controller device with electronic programming guide and video display
JP5771002B2 (ja) 2010-12-22 2015-08-26 株式会社東芝 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機
KR20120116323A (ko) 2011-04-12 2012-10-22 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20130134545A (ko) * 2012-05-31 2013-12-10 주식회사 다음커뮤니케이션 리모컨을 이용한 디지털ｔｖ 음성 검색 시스템 및 방법
KR101700616B1 (ko) * 2012-06-27 2017-01-31 한국전자통신연구원 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법
US9152529B2 (en) * 2012-09-24 2015-10-06 Adobe Systems Incorporated Systems and methods for dynamically altering a user interface based on user interface actions
US20160005150A1 (en) 2012-09-25 2016-01-07 Benjamin Firooz Ghassabian Systems to enhance data entry in mobile and fixed environment
KR101990037B1 (ko) * 2012-11-13 2019-06-18 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20140089862A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR20140129547A (ko) 2013-04-30 2014-11-07 숭실대학교산학협력단 사용자 컨텍스트를 이용한 셋탑박스 기반 서비스 선택 방법 및 그 시스템
US10956433B2 (en) * 2013-07-15 2021-03-23 Microsoft Technology Licensing, Llc Performing an operation relative to tabular data based upon voice input
KR102144554B1 (ko) 2013-08-07 2020-08-13 한성대학교 산학협력단 사용자 맞춤형 서비스 장치 및 사용자 맞춤형 생활서비스를 제공하는 시스템
KR102233602B1 (ko) 2013-09-05 2021-03-30 삼성전자 주식회사 사용자 컨텍스트를 이용한 디바이스 동작의 설정 및 추천 방법 및 장치
WO2015034295A1 (en) 2013-09-05 2015-03-12 Samsung Electronics Co., Ltd. Method and apparatus for configuring and recommending device action using user context
KR102092164B1 (ko) * 2013-12-27 2020-03-23 삼성전자주식회사 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
KR20160047151A (ko) * 2014-10-22 2016-05-02 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR20160087649A (ko) * 2015-01-14 2016-07-22 삼성전자주식회사 사용자 단말 장치, 시스템 및 그 제어 방법
JP2017123564A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 制御装置、表示装置、方法及びプログラム
CN105813227B (zh) * 2016-04-29 2020-04-28 江苏惠通集团有限责任公司 Ble语音数据传输方法及蓝牙设备
US20190129727A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. User pattern prediction using a neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100672518B1 (ko) * 2005-02-15 2007-01-24 엘지전자 주식회사 음성인식 기능을 갖는 티브이
KR101048321B1 (ko) * 2009-10-08 2011-07-12 가톨릭대학교 산학협력단 음성인식 통합 리모컨 및 그 동작 방법
US20140046660A1 (en) 2012-08-10 2014-02-13 Yahoo! Inc Method and system for voice based mood analysis
US20140350933A1 (en) 2013-05-24 2014-11-27 Samsung Electronics Co., Ltd. Voice recognition apparatus and control method thereof

Also Published As

Publication number Publication date
KR20180024927A (ko) 2018-03-08
EP3480813B1 (en) 2022-12-07
WO2018043895A1 (ko) 2018-03-08
US11330320B2 (en) 2022-05-10
EP3480813A4 (en) 2019-05-08
CN109643546A (zh) 2019-04-16
US20210306694A1 (en) 2021-09-30
EP3480813A1 (en) 2019-05-08
CN109643546B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
KR102815265B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US11869500B2 (en) Apparatus, system, and method for generating voice recognition guide by transmitting voice signal data to a voice recognition server which contains voice recognition guide information to send back to the voice recognition apparatus
CN109243463B (zh) 遥控器及其用于接收用户语音的方法
JP6824316B2 (ja) 映像処理装置及びその制御方法、並びに映像処理システム
KR102540001B1 (ko) 디스플레이 장치 및 디스플레이 장치의 화면 표시방법
EP2960882B1 (en) Display device and operating method thereof
CN103187054B (zh) 电子装置和控制电子装置的方法
EP3334172B1 (en) Display apparatus and method for acquiring channel information of a display apparatus
KR102662558B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN106973323A (zh) 电子设备和在电子设备中扫描频道的方法
EP3291538B1 (en) Display apparatus and method for controlling of display apparatus
KR20190100630A (ko) 디스플레이 장치 및 그의 동작 방법
KR20130080380A (ko) 전자 장치 및 그의 제어 방법
CN111316226B (zh) 电子装置及其控制方法
KR20230024712A (ko) 발화 의도를 고려하여 검색하는 디스플레이 장치 및 방법
KR20150066156A (ko) 디스플레이 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160831

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210804

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160831

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240417

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250225

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250526

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250527

End annual number: 3

Start annual number: 1

PG1601 Publication of registration