CN104837049A - 用户终端设备、显示设备及其控制方法 - Google Patents
用户终端设备、显示设备及其控制方法 Download PDFInfo
- Publication number
- CN104837049A CN104837049A CN201510055811.6A CN201510055811A CN104837049A CN 104837049 A CN104837049 A CN 104837049A CN 201510055811 A CN201510055811 A CN 201510055811A CN 104837049 A CN104837049 A CN 104837049A
- Authority
- CN
- China
- Prior art keywords
- display device
- information
- subscriber terminal
- terminal equipment
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
Abstract
公开了一种用户终端设备、显示设备及其控制方法。所述显示设备包括:通信器,被配置为与外部用户终端设备进行通信;视线跟踪器,被配置为跟踪用户视线;控制器,被配置为基于由视线跟踪器获取的第一视线跟踪信息和从用户终端设备接收到的第二视线跟踪信息来确定用户视线的位置。控制器还被配置为基于确定结果,向用户终端设备请求关于在用户终端设备中已发生的事件的信息。
Description
本申请要求于2014年2月6日提交到韩国知识产权局的第10-2014-0013751号韩国专利申请的权益,其中,所述专利申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的设备和方法涉及一种用户终端设备、显示设备及其控制方法,更具体地,涉及一种能够提供内容镜像(content mirroring)功能的用户终端设备、显示设备及其控制方法。
背景技术
由于电子技术的发展,各种类型的电子装置已被开发和普及。具体地,近年来,显示设备(诸如作为最常使用的家用电器之一的电视机(TV))的技术发展迅速。
最近,已对内容镜像功能进行了开发,其中,通过内容镜像功能,显示在用户终端设备(诸如,智能电话)的屏幕上的同一内容例如以单播形式被发送并显示在显示设备(诸如,TV)上。
然而,私有内容可能会由于疏忽在共享装置上被镜像,从而引起不便,或者多个装置可再现内容,从而打扰用户观看内容。
发明内容
一个或更多个示例性实施例可克服以上缺点和以上未描述的其它缺点。此外,在此描述的示例性实施例不需要克服以上描述的缺点。
一个或更多个示例性实施例提供一种能够根据用户视线控制内容镜像功能的用户终端设备、显示设备及其控制方法。
根据示例性实施例的一方面,一种用户终端设备包括:通信器,被配置为与外部显示设备进行通信;视线跟踪器,被配置为跟踪用户视线以获取关于用户视线的信息;控制器,被配置为将关于由视线跟踪器获取的用户视线的信息发送到外部显示设备,当对关于在用户终端设备中发生的事件的信息的请求从外部显示设备被接收到时,将所请求的信息发送到外部显示设备。
当对用户终端设备正显示的内容的请求从外部显示设备被接收到时,控制器可将所请求的内容发送到外部显示设备。
当对用户终端设备已接收到的信息的请求从外部显示设备被接收到时,控制器可将所请求的信息发送到外部显示设备。
当对用户终端设备的输出状态的控制请求从外部显示设备被接收到时,控制器可基于接收到的控制请求来控制用户终端设备的输出状态。
用户终端设备的输出状态可包括用户终端设备的屏幕输出状态和用户终端设备的音频输出状态中的至少一个。
根据另一示例性实施例的一方面,一种显示设备包括:通信器,被配置为与用户终端设备进行通信;视线跟踪器,被配置为跟踪用户视线以获取第一视线跟踪信息;控制器,被配置为基于由视线跟踪器获取的第一视线跟踪信息和从用户终端设备接收到的第二视线跟踪信息来确定用户视线的位置,并基于确定结果,向用户终端设备请求关于在用户终端设备中发生的事件的信息。
显示设备还可包括:显示器,其中,控制器可控制显示器显示响应于发送到用户终端设备的请求而从用户终端设备接收到的内容。
控制器可基于确定结果来控制显示设备的输出状态。
显示设备的输出状态可包括显示设备的屏幕输出状态和显示设备的音频输出状态中的至少一个。
根据另一示例性实施例的一方面,一种显示系统包括用户终端设备和显示设备,其中,用户终端设备被配置为将关于跟踪到的用户视线的信息发送到显示设备,并且当从显示设备接收到对关于在用户终端设备中发生的事件的信息的请求时,用户终端设备被配置为将所请求的信息发送到显示设备。显示设备被配置为基于从用户终端设备接收到的视线跟踪信息和由显示设备获取的视线跟踪信息来确定用户视线的位置,并被配置为基于确定结果,向用户终端设备请求关于在用户终端设备中发生的事件的信息。
根据另一示例性实施例的一方面,一种用户终端设备的控制方法,包括:跟踪用户视线;将关于跟踪到的用户视线的信息发送到外部显示设备;当从外部显示设备接收到对关于在用户终端设备中发生的事件的信息的请求时,将所请求的信息发送到外部显示设备。
当从外部显示设备接收到对在用户终端设备上显示的内容的请求时,可将所请求的内容发送到外部显示设备。
当从外部显示设备接收到对用户终端设备接收到的信息的请求时,可将所请求的信息发送到外部显示设备。
所述方法还可包括:当从外部显示设备接收到对用户终端设备的输出状态的控制请求时,基于接收到的控制请求来控制用户终端设备的输出状态。
用户终端设备的输出状态可包括用户终端设备的屏幕输出状态和用户终端设备的音频输出状态中的至少一个。
根据另一示例性实施例的一方面,一种显示设备的控制方法包括:通过跟踪用户视线来获取第一视线跟踪信息;基于第一视线跟踪信息和从用户终端设备接收到的第二视线跟踪信息来确定用户视线的位置;基于确定结果,向用户终端设备请求关于在用户终端设备中已发生的事件的信息。
所述方法还可包括:显示响应于发送到用户终端设备中的请求而从用户终端设备接收到的内容。
所述方法还可包括:基于确定结果来控制显示设备的输出状态。
显示设备的输出状态可包括显示设备的屏幕输出状态和显示设备的音频输出状态中的至少一个。
根据另一示例性实施例的一方面,一种包括用户终端设备和显示设备的显示系统的控制方法,包括:由用户终端设备将关于跟踪到的用户视线的信息发送到显示设备,当从显示设备接收到对关于在用户终端设备中已发生的事件的信息的请求时,由用户终端设备将所请求的信息发送到显示设备,由显示设备基于从用户终端设备接收到的视线跟踪信息和由显示设备获取的视线跟踪信息来确定用户视线的位置,并由显示设备基于确定结果,向用户终端设备请求关于在用户终端设备中已发生的事件的信息。
根据一个或更多个示例性实施例,可提供符合用户意图的内容镜像功能。此外,当使用内容镜像功能观看内容时,可提供最佳观看环境。
另外和/或其它方面和优点将在随后的描述中部分地被阐述,部分通过描述将是清楚的,或可通过实践而获知。
附图说明
通过参照附图,对特定示例性实施例进行描述,以上和/或其它示例性方面和优点将更清楚,其中:
图1示出根据示例性实施例的内容传输系统的示例;
图2示出在图1中示出的内容传输系统的操作;
图3是根据示例性实施例的用户终端设备的配置的框图;
图4是根据示例性实施例的显示设备的配置的框图;
图5示出根据示例性实施例的用于获取视线信息的方法;
图6A至图6C示出根据示例性实施例的内容镜像方法;
图7A至图7C示出根据另一示例性实施例的内容镜像方法;
图8A至图8C示出根据示例性实施例的输出状态控制方法;
图9A至图9C示出根据另一示例性实施例的输出状态控制方法;
图10是根据示例性实施例的用户终端设备的控制方法的流程图;
图11是根据示例性实施例的显示设备的控制方法的流程图。
具体实施方式
现在将参照附图更详细地对特定示例性实施例进行描述。
在以下的描述中,即使在不同附图中,相同的附图标号也被用于相同的元件。提供在描述中限定的事宜(诸如,详细的结构和元件)以帮助全面理解本发明。因此,清楚的是,可以在没有这此特别限定的事宜的情况下实施示例性实施例。此外,由于公知的功能或结构会用不必要的细节模糊描述,所以将不对它们进行详细地描述。
图1示出根据示例性实施例的内容传输系统的示例。参照图1,内容传输系统可包括用户终端设备100和显示设备200。
用户终端设备100可通过网络10将内容发送到显示设备200。因此,用户终端设备100可作用源装置,显示设备200可用作目标装置或客户端装置。例如,用户终端设备100可被实现为无线终端(诸如,移动电话(比如,智能电话)、平板计算机、个人数字助理(PDA)等),并可以以流传输形式来将存储的内容发送到显示设备200。
具体地,用户终端设备100可跟踪用户视线,将关于跟踪的视线的信息发送到显示设备200,并基于发送到显示设备200的视线跟踪信息,从显示设备200接收内容传输请求。
显示设备200可通过网络10连接到用户终端设备100,可从用户终端设备100接收内容,并可再现接收到的内容。具体地,显示设备200可以以流传输形式来接收内容,并实时再现内容。例如,显示设备200可以是可与其它用户共享的电子装置(诸如,数字TV、个人计算机(PC)、笔记本计算机等),但不限于此。
用户终端设备100和显示设备200可以通过许多通信方法(诸如,蓝牙、无线保真(Wi-Fi)、个域网(PAN)、局域网(LAN)、广域网(WAN)、有线I/O、通用串行总线(USB)等)中的任意通信方法相互连接。例如,当用于发送内容的用户命令被输入到用户终端设备100时,用户终端设备100使用数字生活网络联盟(DLNA)技术来搜索邻近装置。当在找到的装置之中选择了与用户终端设备100链接的装置时,用户终端设备100与链接的装置执行配对和无线通信。用户终端设备100可使用其它通信方法(诸如,BT和Wi-Fi)来执行配对,但将省略关于它的详细描述。
图2示出在图1中示出的内容传输系统的操作。
参照图2,用户终端设备100根据用户命令与外部显示设备200执行通信链接(S210)。更具体地,用户终端设备100可搜索能够进行无线通信的邻近外部装置,并通过配对处理与找到的外部装置执行无线通信链接。用户命令可以是内容传输命令,但是不限于此。基于不同的用户命令,用户终端设备100也可与显示设备200执行通信链接。
用户终端设备100跟踪用户视线(S220),并将关于跟踪到的用户视线的信息发送到显示设备200(S230)。将被发送到显示设备200的关于跟踪到的用户视线的信息可以是关于用户眼睛和/或用户脸部的大小、姿态、颜色、位置等的信息。
显示设备200基于从用户终端设备100接收到的关于用户视线的信息,确定用户视线的位置(S240)。可由显示设备200跟踪关于用户视线的其它信息。更具体地,显示设备200可确定用户注视的装置。
当确定用户注视显示设备200时,显示设备200向用户终端设备100请求关于在用户终端设备100中发生的事件的信息(S250)。
用户终端设备100将关于事件的信息发送到显示设备200(S260)。关于事件的信息可以是显示的内容、接收到的信息(例如,消息、邮件等)等。
随后,显示设备200向用户提供接收到的信息(S270)。例如,显示设备200可显示由用户终端设备100流传输的内容。
用户终端设备100可把将被发送的内容转换为与显示设备200的显示格式匹配的格式,并将转换后的内容发送到显示设备200,或者显示设备200可将从用户终端设备100接收到的内容转换为与显示设备200的格式匹配的格式。例如,当用户终端设备100对将被发送的内容的格式进行转换时,用户终端设备100可接收关于显示设备200的显示格式的信息,并基于该信息,对内容的格式进行转换。另举一例,用户终端设备100可预存关于每个外部装置的初始显示信息。换言之,用户终端设备100可显示或存储外部装置的列表,并获取与从列表选择的外部装置匹配的显示信息。
在以上的示例性实施例中,用户终端设备100将关于通过拍照而跟踪到的用户视线的信息发送到显示设备200,但这仅为示例性实施例。根据情况,用户终端设备100可将拍到的图像发送到显示设备200,使得显示设备200可分析接收到的图像,并获取关于用户视线的信息。
图3是根据示例性实施例的用户终端设备100的配置的框图。
参照图3,用户终端设备100可包括通信器110、视线跟踪器120和控制器130。
通信器110与图1中示出的外部显示设备200进行通信。也就是说,通信器110可使用各种不同的通信方法与各种不同的外部装置进行通信。
为此,通信器110可包括不同类型的通信模块(诸如,短距离无线通信模块(未示出)和无线通信模块(未示出))中的任意通信模块。短距离无线通信模块是在短距离内使用本地无线通信方法(诸如,蓝牙、Zigbee等)与显示设备200进行通信的模块。此外,无线通信模块可以是使用无线通信协议(诸如,Wi-Fi、电器与电子工程师协会(IEEE)等)连接到外部网络并与显示设备200进行通信的模块。无线通信模块还可包括使用不同的移动通信标准(诸如,第三代(3G)、第三代合作伙伴项目(3GPP)、长期演进(LTE)等)中的任意移动通信标准来访问移动通信网络并与外部装置200进行通信的移动通信模块。
此外,通信器110可通过与显示设备200进行通信来将信息发送到显示设备200,或者从显示设备200接收信息。
更具体地,通信器110可将关于由视线跟踪器120跟踪到的用户视线的信息发送到显示设备200,或可从显示设备200接收关于由显示设备200跟踪到的用户视线的信息。
此外,通信器110可接收关于显示设备200的再现处理能力的信息。关于再现处理能力的信息可包括以下项中的至少一项:可由显示设备200处理的内容的分辨率以及安装在显示设备200中的解码器的性能和编解码器类型。
此外,通信器110可把将被镜像的内容发送到显示器200。
可使用相同的通信方法或根据不同的方法发送关于跟踪到的用户视线的信息和将被镜像的内容。
视线跟踪器120跟踪用户视线的位置。为此,视线跟踪器120可包括拍摄单元(未示出),或者视线跟踪器120可被连接到拍摄单元(未示出)并接收由拍摄单元捕捉的图像。为了便于描述,假设:视线跟踪器120被连接到拍摄单元(未示出),并接收由拍摄单元捕捉的图像。
拍摄单元对用户进行拍照。拍摄单元可包括镜头模块和图像传感器,其中,镜头模块包括镜头。通过镜头输入的图像作为光信号被输入到用作胶片的图像传感器。图像传感器将输入的光信号转换为电信号,并将电信号发送到视线跟踪器120。例如,拍摄单元可被实现为立体相机、红外相机、深度相机等。
拍摄单元可被设置在用户终端设备100的外部区域。例如,拍摄单元可被设置在用户终端设备100的上边缘、左边缘或右边缘的中心边框区域,但不限于此。
视线跟踪器120可从用户的拍摄图像检测用户的脸部区域,并基于检测到的脸部区域检测用户视线的位置,其中,用户的拍摄图像是从拍摄单元接收到的。
为了检测脸部区域,可使用现有的不同方法中的任意方法。更具体地,可使用直接识别方法或利用统计的方法。在直接识别方法中,使用物理特征(诸如,在屏幕上示出的脸部图像的轮廓的肤色、脸部的成分的大小)来制定规则,并根据这些规则来进行比较、检查和测量。在使用统计的方法中,根据预先学习算法来检测脸部区域。
换言之,使用统计的方法是这样的方法:将输入的脸部的独特特征数字化,将该独特特征与大量准备好的数据(其它对象的脸部和形状)进行比较,并对该独特特征进行分析。具体地,根据预先学习算法,可检测到脸部区域,并且可使用多层感知器(MLP)、支持向量机(SVM)等。在此省略对它们的详细描述。
更具体地,视线跟踪器120分析用户的脸部区域,获取关于用户视线的信息(诸如,用户眼睛和/或用户脸部的大小、姿态、角度、颜色、位置和亮度)。
前述方法仅为示例性的。可使用多种方法中的任意方法来检测用户视线的位置。
控制器130控制用户终端设备100的全部操作。更具体地,控制器130控制通信器110搜索能够进行无线通信的邻近外部装置,并控制通信器110与由用户选择的外部装置进行通信。
具体地,控制器130可将由视线跟踪器120获取的关于用户视线的信息发送到外部显示设备200,并且当外部显示设备200请求关于在用户终端设备100中已发生的事件的信息时,控制器130可将所请求的信息发送到外部显示设备200。
更具体地,当外部显示设备200请求在用户终端设备100中显示或存储的内容时,控制器130可将所请求的内容发送到外部显示设备200。例如,当用户终端设备100接收到文本消息并且显示设备200请求接收到的信息时,控制器130可将文本消息发送到显示设备200。
此外,当控制器130从外部显示设备200接收到对于用户终端设备100的输出状态的控制请求时,控制器130可基于接收到的控制请求来控制用户终端设备100的输出状态。用户终端设备100的输出状态可以是用户终端设备100的屏幕输出状态和音频输出状态中的至少一个。
存储器(未示出)是存储对用户终端设备100进行操作所需的各种不同程序的存储介质。存储器可以被实现为存储器、硬盘驱动器(HDD)等。例如,存储器可包括只读存储器(ROM)和随机存取存储器(RAM),其中,ROM存储用于对控制器130进行操作的程序,RAM根据控制器130的操作暂时地存储数据。此外,存储器还可包括用于存储各种不同的参考数据的电可擦除可编程ROM(EEROM)。
具体地,存储器可存储各种不同的数据,其中,这些数据用于从由拍摄单元(未示出)捕捉的图像产生关于用户视线的信息以将该信息发送到显示设备200。例如,存储器可存储用于从捕捉的图像获取关于用户视线的信息(诸如,用户眼睛和/或用户脸部的大小、姿态、颜色、位置等)的算法。
图4是根据示例性实施例的显示设备200的配置的框图。
参照图4,显示设备200可包括通信器210、视线跟踪器220、输出器230和控制器240。
通信器210与图1中示出的外部用户终端设备100进行通信。也就是说,通信器210可使用各种不同的通信方法中的任意通信方法来与各种不同的外部装置中的任意外部装置进行通信。由于通信器210的构成与在图3中示出的用户终端设备100中的通信器110的构成相同,所以不重复详细描述。
此外,通信器210可将不同信息发送到用户终端设备100,从用户终端设备100接收不同信息。
更具体地,通信器210可从用户终端设备100接收由用户终端设备100获取的关于用户视线的信息,可将关于由视线跟踪器120跟踪到的用户视线的信息发送到用户终端设备100。
此外,通信器210可将关于显示设备200的再现处理能力的信息发送到用户终端设备100。
视线跟踪器220跟踪用户视线的位置。为此,视线跟踪器220可包括拍摄单元(未示出),或者视线跟踪器220可被连接到拍摄单元(未示出),并可接收由拍摄单元捕捉的图像。由于视线跟踪器220的构成与图3中示出的用户终端设备100的视线跟踪器120的构成相同,所以不重复详细描述。
显示器(未示出)显示屏幕。屏幕可包括应用执行屏幕和图形用户界面(GUI)屏幕等,其中,所述应用执行屏幕包括诸如图像、视频、文本和音乐的不同内容。
显示器可被实现为液晶显示器(LCD)面板、有机发光二极管(OLED)等,但不限于此。具体地,显示器可被设置为与触摸板分层的触摸屏。
音频输出器(未示出)处理并输出音频数据。
音频输出器对音频数据执行不同的处理(诸如,解码、放大、噪声过滤),并输出处理后的音频。
控制器240控制显示设备200的全部操作。
具体地,控制器240可基于从用户终端设备100接收到的第一视线跟踪信息和由视线跟踪器220跟踪到的第二视线跟踪信息来确定用户视线的位置。
此外,控制器240可基于关于用户视线的位置的确定结果,向用户终端设备100请求关于在用户终端设备100中已发生的事件的信息。例如,当确定用户注视显示设备200时,控制器240可向用户终端设备100请求关于在用户终端设备100中已发生的事件的信息。
此外,控制器240可控制输出器230输出响应于发送到用户终端设备100的请求而从用户终端设备100接收到的内容。例如,控制器240可接收并显示文本消息接收通知信息或显示的内容。
此外,控制器240可基于关于用户视线的确定结果,控制显示设备200的输出状态。显示设备200的输出状态可包括屏幕输出状态和音频输出状态中的至少一个。例如,当确定用户注视用户终端设备100达预定时间段时,控制器240可使显示设备200的音频输出状态为静音。
此外,控制器240可基于关于用户视线的确定结果来运行或结束内容镜像功能,或者在显示设备200的输出状态改变时,控制器240可显示向用户通知显示设备200的改变后的状态的消息。
例如,当执行内容镜像功能时,控制器240显示向用户通知内容镜像功能被执行的消息。当音频输出状态变为静音时,控制器240显示向用户通知静音后的状态的消息。
图5示出根据示例性实施例的用于获取视线信息的方法。
可通过分析用户的脸部区域的拍摄图像来检测用户视线。更具体地,通过使用图像处理方法分析该拍摄图像来检测用户的瞳孔区域,随后通过跟踪瞳孔区域的位置的改变来检测用户视线。然而,用于检测用户视线的方法不限于此。为了跟踪用户视线,可使用各种信息(诸如,用户眼睛和/或用户脸部的大小、姿态、颜色、位置和亮度)。
图6A至图6C示出根据示例性实施例的内容镜像方法。
在图6A至图6C中,假设用户终端设备100和第一显示设备200(和/或第二显示设备300)通过通信发送或接收关于用户(30)视线的信息。例如,用户终端设备100和第一显示设备200运行基于视线跟踪来提供内容镜像功能的应用。
参照图6A,当确定用户30注视第一显示设备200时,可将关于在用户终端设备200中发生的事件的信息发送到第一显示设备200,并可由第一显示设备200提供所述信息。
例如,可将关于已使用用户终端设备100的相机20跟踪到的用户(30)视线的信息发送到第一显示设备200。第一显示设备200可基于接收到的信息以及关于使用第一显示设备200的相机10跟踪到的用户(30)视线的信息,确定用户(30)视线的位置。当确定用户30注视第一显示设备200时,第一显示设备200可向用户终端设备100请求由用户终端设备100接收到的信息,并可显示向用户通知用户终端设备100接收到的文本消息的信息。随后,根据用户命令,文本消息的内容可被第一显示设备200镜像和提供。
因此,用户30可通过第一显示设备200、公用装置与其它用户共享由用户终端设备100、私用装置接收到的内容。
随后,如图6B中所示,当确定用户30注视第二显示设备300时,关于在用户终端设备100中已发生的事件的信息不被发送到第一显示设备200而是被发送到第二显示设备300,使得第二显示设备300可向用户30提供该信息。也就是说,用户30可使用由用户30在多个外部装置200和300之间选择的装置来查看该信息。
随后,如图6C中所示,当确定用户30注视用户终端设备100而非第一显示设备200和第二显示设备300时,关于在用户终端设备100中已发生的事件的信息不被第一显示设备200或第二显示设备300镜像,而仅被显示在用户终端设备100上。
在图6A至图6C中,相应装置通过按时间顺序跟踪用户(30)视线来提供信息,但这仅为示例。可以单独执行在图6A至图6C中示出的示例性实施例。
图7A至图7C示出根据另一示例性实施例的内容镜像方法。
如图7A中所示,当确定用户30起初注视用户终端设备100,随后将其视线转向显示设备200时,将由用户终端设备100提供的内容发送到显示设备200,使得显示设备200可向用户提供内容。
例如,当通过用户终端设备100注视图像的用户30将其视线转向显示设备200时,用户30可通过显示设备200与另一用户50共享图像。
随后,如图7B中所示,当确定注视显示设备200的用户30将其视线转向用户终端设备100时,可停止显示设备200的内容镜像功能。
例如,当通过显示设备200与另一用户50共享图像的用户30将其视线转向用户终端设备100时,可停止显示设备200的内容镜像功能,并且可仅由用户终端设备100提供图像。
随后,如图7C中所示,当确定用户30将其视线转回至显示设备200时,可执行显示设备200的内容镜像功能。
因此,用户30可通过显示设备200与另一用户50仅共享用户终端设备100的内容之中的用户30想要共享的内容。
图8A至图8C示出根据示例性实施例的输出状态控制方法。
如图8A中所示,当确定用户30注视用户终端设备100时,可控制显示设备200的音频输出状态。
例如,如图8A中所示,当确定用户30注视用户终端设备100时,显示设备200的音频输出状态可变为静音,使得不会打扰用户30通过用户终端设备100观看内容。
随后,如图8B中所示,当确定用户30将其视线转向显示设备200时,用户终端设备100的音频输出状态可变为静音,使得不会打扰用户30通过显示设备200观看内容。
随后,如图8C中所示,当确定用户30将其视线转回至用户终端设备100时,显示设备200的音频输出状态可变为静音。
因此,用户可通过简单地移动其视线而被提供其想要观看的装置的最佳观看环境。
图9A至图9C示出根据另一示例性实施例的输出状态控制方法。
如图9A中所示,当确定用户30注视用户终端设备100时,可控制显示设备200的屏幕输出状态。
例如,如图9A中所示,当确定用户30注视用户终端设备100时,可控制显示设备200的屏幕输出状态具有低亮度,使得显示设备200可避免不必要的功耗。
随后,如图9B中所示,当确定用户30将其视线转向显示设备200时,可控制用户终端设备100的屏幕输出状态具有低亮度,使得用户终端设备100可避免不必要的功耗。在这种情况下,显示设备200的屏幕输出状态可返回至初始状态。
随后,如图9C中所示,当确定用户30将其视线转回至用户终端设备100时,可控制显示设备200的屏幕输出状态具有低亮度,而用户终端设备100的屏幕输出状态可返回至初始状态。
因此,可通过简单地移动用户视线来避免不必要的功耗。
图10是根据示例性实施例的用户终端设备100的控制方法的流程图。
根据如图10中所示的用户终端设备100的控制方法,用户终端设备100首先跟踪用户视线(S1010)。
随后,用户终端设备100将关于跟踪到的用户视线的信息发送到外部显示设备200(S1020)。
当从外部显示设备200接收到对关于在用户终端设备100中已发生的事件的信息的请求(S1040)时,用户终端设备100将所请求的信息发送到外部显示设备200(S1040)。
在操作S1040,当从外部显示设备200接收到对显示在用户终端设备100上的内容的请求时,用户终端设备100可将所请求的内容发送到外部显示设备200。
此外,在操作S1040,当从外部显示设备200接收到对用户终端设备100接收到的信息的请求时,用户终端设备100可将所请求的信息发送到外部显示设备200。
此外,当从外部显示设备200接收到对用户终端设备100的输出状态的控制请求时,用户终端设备100可基于接收到的控制请求,控制用户终端设备100的输出状态。
用户终端设备100的输出状态可包括用户终端设备100的屏幕输出状态和音频输出状态中的至少一个。
图11是根据示例性实施例的显示设备200的控制方法的流程图。
根据如图11中所示的显示设备200的控制方法,显示设备200通过跟踪用户视线来获取第一视线跟踪信息(S1110)。
随后,显示设备200基于第一视线跟踪信息以及从用户终端设备100接收到的第二视线跟踪信息来确定用户视线的位置(S1120)。
随后,显示设备200基于操作S1120的确定结果,向用户终端设备100请求关于在用户终端设备100中已发生的事件的信息。
所述方法还可包括:显示响应于发送到用户终端设备100的请求而从用户终端设备100接收到的内容。
此外,所述方法还可包括:基于确定结果,控制显示设备200的输出状态。显示设备200的输出状态可包括显示设备200的屏幕输出状态和音频输出状态中的至少一个。
根据一个或更多个示例性实施例,可提供符合用户意图的内容镜像功能。此外,当使用内容镜像功能观看内容时,可提供最佳观看环境。
根据在此描述的一个或更多个示例性实施例的显示设备的控制方法可被实现为程序,并被提供到用户终端设备和显示设备。
例如,存储用于执行以下操作的程序的非暂时性计算机可读介质可被提供到显示设备:通过跟踪用户视线获取第一视线跟踪信息;基于第一视线跟踪信息以及从用户终端设备接收到的第二视线跟踪信息来确定用户视线的位置;基于确定结果,向用户终端设备请求关于在用户终端设备中已发生的事件的信息。
非暂时性计算机可读记录介质可以是不临时存储数据(诸如寄存器、高速缓存和内存)而是半永久性地存储数据并可由装置读取的介质。更具体地,前述应用或程序可存储在非暂时性的计算机可读介质(诸如,压缩盘(CD)、数字视频光盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡和只读存储器(ROM))中。
前述示例性实施例和优点仅是示例性的,并且不应理解为限制性的。本教导可容易地适用于其它类型的设备。此外,对示例性实施例的描述意图是说明性的,并非限制权利要求的范围,并且很多可选方案、修改和变化对于本领域的技术人员而言将是清楚的。
Claims (15)
1.一种用户终端设备,包括:
通信器,被配置为与外部显示设备进行通信;
视线跟踪器,被配置为跟踪用户视线以获取关于用户视线的信息;
控制器,被配置为控制通信器将由视线跟踪器获取的关于用户视线的信息发送到外部显示设备,并且在对关于在用户终端设备中已发生的事件的信息的请求从外部显示设备被接收到时,控制通信器将所请求的信息发送到外部显示设备。
2.如权利要求1所述的用户终端设备,其中,当对用户终端设备正显示的内容的请求从外部显示设备被接收到时,控制器控制通信器将所请求的内容发送到外部显示设备。
3.如权利要求1所述的用户终端设备,其中,当用户终端设备从外部显示设备接收到对用户终端设备已接收到的信息的请求时,控制器控制通信器将所请求的信息发送到外部显示设备。
4.如权利要求1所述的用户终端设备,其中,当对用户终端设备的输出状态的控制请求从外部显示设备被接收到时,控制器基于接收到的控制请求来控制用户终端设备的输出状态。
5.如权利要求4所述的用户终端设备,其中,用户终端设备的输出状态包括用户终端设备的屏幕输出状态和用户终端设备的音频输出状态中的至少一个。
6.一种显示设备,包括:
通信器,被配置为与用户终端设备进行通信;
视线跟踪器,被配置为跟踪用户视线以获取第一视线跟踪信息;
控制器,被配置为基于由视线跟踪器获取的第一视线跟踪信息和从用户终端设备接收到的第二视线跟踪信息来确定用户视线的位置,并基于确定结果,向用户终端设备请求关于在用户终端设备中已发生的事件的信息。
7.如权利要求6所述的显示设备,还包括:
显示器,
其中,控制器控制显示器显示从用户终端设备接收到的内容。
8.如权利要求6所述的显示设备,其中,控制器基于确定结果来控制显示设备的输出状态。
9.如权利要求8所述的显示设备,其中,显示设备的输出状态包括显示设备的屏幕输出状态和显示设备的音频输出状态中的至少一个。
10.一种包括用户终端设备和显示设备的显示系统,其中:
用户终端设备被配置为将关于跟踪到的用户视线的信息发送到显示设备,并且当从显示设备接收到对关于在用户终端设备中已发生的事件的信息的请求时,用户终端设备被配置为将所请求的信息发送到显示设备,
显示设备被配置为基于从用户终端设备接收到的视线跟踪信息和由显示设备获取的视线跟踪信息来确定用户视线的位置,并被配置为基于确定结果,向用户终端设备请求关于在用户终端设备中已发生的事件的信息。
11.一种用户终端设备的控制方法,所述方法包括:
跟踪用户视线;
将关于跟踪到的用户视线的信息发送到外部显示设备;
当从外部显示设备接收到对关于在用户终端设备中已发生的事件的信息的请求时,将所请求的信息发送到外部显示设备。
12.如权利要求11所述的方法,还包括:当从外部显示设备接收到对在用户终端设备上显示的内容的请求时,将所请求的内容发送到外部显示设备。
13.如权利要求11所述的方法,还包括:当从外部显示设备接收到对用户终端设备已接收到的信息的请求时,将所请求的信息发送到外部显示设备。
14.如权利要求11所述的方法,还包括:
当从外部显示设备接收到对用户终端设备的输出状态的控制请求时,基于接收到的控制请求来控制用户终端设备的输出状态。
15.一种显示设备的控制方法,所述方法包括:
跟踪用户视线,从而获取第一视线跟踪信息;
基于第一视线跟踪信息和从用户终端设备接收到的第二视线跟踪信息来确定用户视线的位置;
基于确定结果,向用户终端设备请求关于在用户终端设备中已发生的事件的信息。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140013751A KR20150093013A (ko) | 2014-02-06 | 2014-02-06 | 사용자 단말 장치, 디스플레이 장치 및 그 제어 방법 |
| KR10-2014-0013751 | 2014-02-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104837049A true CN104837049A (zh) | 2015-08-12 |
Family
ID=53754867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510055811.6A Pending CN104837049A (zh) | 2014-02-06 | 2015-02-03 | 用户终端设备、显示设备及其控制方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150220295A1 (zh) |
| KR (1) | KR20150093013A (zh) |
| CN (1) | CN104837049A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110476180A (zh) * | 2017-12-07 | 2019-11-19 | 视信有限责任公司 | 用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9958947B2 (en) * | 2014-06-25 | 2018-05-01 | Comcast Cable Communications, Llc | Ocular focus sharing for digital content |
| US11269403B2 (en) * | 2015-05-04 | 2022-03-08 | Disney Enterprises, Inc. | Adaptive multi-window configuration based upon gaze tracking |
| KR102327842B1 (ko) | 2015-08-17 | 2021-11-18 | 삼성전자주식회사 | 촬영 장치 및 그 제어 방법 |
| US10031577B2 (en) * | 2015-10-05 | 2018-07-24 | International Business Machines Corporation | Gaze-aware control of multi-screen experience |
| KR102369826B1 (ko) * | 2016-07-19 | 2022-03-04 | 삼성전자주식회사 | 디스플레이 장치, 이의 제어 방법 및 디스플레이 시스템 |
| WO2018020368A1 (en) * | 2016-07-29 | 2018-02-01 | Semiconductor Energy Laboratory Co., Ltd. | Display method, display device, electronic device, non-temporary memory medium, and program |
| CN109960412B (zh) * | 2019-03-22 | 2022-06-07 | 北京七鑫易维信息技术有限公司 | 一种基于触控调整注视区域的方法以及终端设备 |
| EP3859491A1 (en) * | 2020-01-29 | 2021-08-04 | Irisbond Crowdbonding, S.L. | Eye-tracker, system comprising eye-tracker and computer device and method for connection between eye-tracker and computer device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102176191A (zh) * | 2011-03-23 | 2011-09-07 | 山东大学 | 一种基于视线跟踪的电视机操控方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| CN103135762A (zh) * | 2011-11-29 | 2013-06-05 | 三星电子株式会社 | 用于基于眼睛跟踪操作用户功能的方法及其移动装置 |
| US20130198392A1 (en) * | 2012-01-26 | 2013-08-01 | Research In Motion Limited | Methods and devices to determine a preferred electronic device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101933637B1 (ko) * | 2012-12-20 | 2018-12-28 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
-
2014
- 2014-02-06 KR KR1020140013751A patent/KR20150093013A/ko not_active Ceased
- 2014-07-23 US US14/338,818 patent/US20150220295A1/en not_active Abandoned
-
2015
- 2015-02-03 CN CN201510055811.6A patent/CN104837049A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102176191A (zh) * | 2011-03-23 | 2011-09-07 | 山东大学 | 一种基于视线跟踪的电视机操控方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| CN103135762A (zh) * | 2011-11-29 | 2013-06-05 | 三星电子株式会社 | 用于基于眼睛跟踪操作用户功能的方法及其移动装置 |
| US20130198392A1 (en) * | 2012-01-26 | 2013-08-01 | Research In Motion Limited | Methods and devices to determine a preferred electronic device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110476180A (zh) * | 2017-12-07 | 2019-11-19 | 视信有限责任公司 | 用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150220295A1 (en) | 2015-08-06 |
| KR20150093013A (ko) | 2015-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6379103B2 (ja) | ジェスチャを介したマルチデバイスのペアリングおよび共有 | |
| CN104837049A (zh) | 用户终端设备、显示设备及其控制方法 | |
| US9344758B2 (en) | Video stream processing apparatus, method for displaying mirror video, and display device | |
| CN106464976B (zh) | 显示设备、用户终端设备、服务器及其控制方法 | |
| KR101276846B1 (ko) | 미디어 데이터의 스트리밍 제어방법 및 제어장치 | |
| US9654942B2 (en) | System for and method of transmitting communication information | |
| JP6228676B2 (ja) | 接続状態プロンプティング方法および装置 | |
| US10608988B2 (en) | Method and apparatus for bluetooth-based identity recognition | |
| US9894275B2 (en) | Photographing method of an electronic device and the electronic device thereof | |
| JP6259158B2 (ja) | スマートデバイス検出方法、装置、プログラム及び記録媒体 | |
| JP6177444B2 (ja) | 画像を送信する方法および装置 | |
| CN113874828A (zh) | 用于通过外部电子装置提供屏幕共享服务的电子装置、方法和计算机可读介质 | |
| US9535559B2 (en) | Stream-based media management | |
| US20160205427A1 (en) | User terminal apparatus, system, and control method thereof | |
| US20160323542A1 (en) | User terminal device and method for providing interaction service therefor | |
| US10601763B2 (en) | Method and apparatus for generating and sending a two-dimensional code in a message | |
| US9832342B2 (en) | Method and device for transmitting image | |
| US9979492B2 (en) | Method of sharing and receiving information based on sound signal and apparatus using the same | |
| KR101979914B1 (ko) | 사용자 단말 장치 및 그의 인터랙션 서비스 제공 방법 | |
| US20160124523A1 (en) | Electronic device, display device, and method for controlling the same | |
| US11470234B2 (en) | Wireless camera and method of video streaming | |
| CN119496775A (zh) | 信息处理方法及装置、电子设备、存储介质 | |
| JP2022546081A (ja) | パーソナルデバイスによって支援されるtvストリーミング及びレンダリングコンテンツの中心窩最適化 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150812 |