CN103218037A - 信息终端、消费电子设备、信息处理方法以及信息处理程序 - Google Patents
信息终端、消费电子设备、信息处理方法以及信息处理程序 Download PDFInfo
- Publication number
- CN103218037A CN103218037A CN2012104572015A CN201210457201A CN103218037A CN 103218037 A CN103218037 A CN 103218037A CN 2012104572015 A CN2012104572015 A CN 2012104572015A CN 201210457201 A CN201210457201 A CN 201210457201A CN 103218037 A CN103218037 A CN 103218037A
- Authority
- CN
- China
- Prior art keywords
- information terminal
- state
- user
- information
- target device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42208—Display device provided on the remote control
- H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42224—Touch pad or touch panel provided on the remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Selective Calling Equipment (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
根据一种信息终端,所述信息终端有线地或无线地可连接到目标设备,其具有显示屏,并且包括判定单元和控制单元,其中,判定单元判定用户是否持握信息终端;当从持握状态改变到不持握状态时,所述控制单元向所述目标设备输出控制信号以指示接受从用户给出的操作,当从不持握状态改变到持握状态时,所述控制单元执行以下动作中的至少一个动作:在所述信息终端的显示屏上显示用于操作所述目标设备的遥控器,或从所述目标设备获取与所述目标设备的状态有关的信息以在所述显示屏上显示信息。
Description
技术领域
本文描述的实施例总体上涉及一种信息终端、消费电子设备、信息处理方法以及信息处理程序,具体地讲,涉及一种能够操作至少一个或多个消费电子设备的信息终端。
背景技术
许多家庭设备带有这些设备专用的遥控器,在很多情况下,在一个房间中存在多个遥控器。在此情况下,当操作这些设备时,以用手持握设备的遥控器的方式执行期望操作。然而,经常发生找不到遥控器的情况。这种情况的主要原因是在一个房间中存在多个遥控器。作为为消除这个问题而设计的遥控器中的一个,给出了一个多功能遥控器,其是一个单独的遥控器,能够操作多个设备。
另一方面,为了在一个遥控器中注册多个设备的操作,需要逐个注册由专用的遥控器发出的红外射线信号。然而,存在一种系统,该系统使得没有经验的人也能够通过一种用于易于注册各种类型消费电子设备的机制来很容易地实现注册。
然而,即使当将多个遥控器集成在一个遥控器中时,为了操作消费电子设备,仍然需要一直不停地使用该集成遥控器。
附图说明
图1是示出根据实施例的信息终端和消费电子设备的构造的框图。
图2是示出上述信息终端和消费电子设备的示例的示意图。
图3是通过消费电子设备的一个示例的方式来示意性地示出电视机的外观的示意图。
图4是示出信息终端的硬件构造的一个示例的示意图。
图5是示出消费电子设备的硬件构造的一个示例的示意图。
图6是示出本实施例中的信息终端100的处理操作的流程的流程图。
图7是示出本实施例中的消费电子设备200的处理操作的流程的流程图。
图8是示出本实施例中的显示与设备200(TV接收器)配套的控制屏的示例的示意图。
图9是示出显示在本实施例中的信息终端100上的TV接收器200一侧的传感单元的操作指令的示例的示意图。
图10是示出显示在本实施例中的信息终端100上的关于TV接收器200的信息的示例的示意图。
图11是示出显示在本实施例中的信息终端100上的关于TV接收器200的上述信息的示例的示意图。
图12是示出显示在本实施例中的信息终端100上的关于消费电子设备200(空调和照明器)的信息的示例的示意图。
图13是示出在本实施例中,当状态改变为不再持握信息终端100的状态时,消费电子设备200(空调和照明器)的发光的示例的示意图。
图14是示出显示本实施例中的由消费电子设备200(TV接收器)执行的语音识别命令的示例的列表的图。
图15是示出输入的节目搜索关键词、语音识别结果的一个示例(左侧),以及节目搜索结果的一个示例(右侧)的图。
图16是示出我的列表的一个示例的图。
图17是延续图16的图。
具体实施方式
根据一种信息终端,所述信息终端有线地或无线地可连接到目标设备,其具有显示屏,并且包括判定单元和控制单元。
判定单元判定用户是否持握信息终端。
当从持握状态改变到不持握状态时,所述控制单元向所述目标设备输出控制信号从而指示接受从用户给出的操作。
当从不持握状态改变到持握状态时,所述控制单元执行以下动作中的至少一个动作:在所述信息终端的显示屏上显示用于操作所述目标设备的遥控器,或从所述目标设备获取与所述目标设备的状态有关的信息以在所述显示屏上显示信息。
在下文中将参考附图详细说明这些实施例。
图1是示出本实施例中的信息终端100和消费电子设备200的构造的框图。信息终端100包括显示屏101,传感单元102,判定单元103,控制单元104,通信单元105和信号水平比较单元106。消费电子设备200包括传感单元201,识别单元202,控制单元203,接收单元204以及发射单元205,其中这些组件都指定有消费电子设备200固有的一些消费电子功能(例如,如果是TV接收器,则具有TV广播接收功能和显示功能;此外,如果是空调,则具有空气调节功能)。信息终端100被设置有识别单元,其功能与识别单元202的功能一样。
图2是示出信息终端100和消费电子设备200的有形示例的示意图。被设定为信息终端100的是诸如平板电脑或智能手机等的信息终端(如附图的下侧所示)。由电视机(如附图的右侧所示)和空调(如附图的左侧所示)来示例消费电子设备200。假设消费电子设备200安装有接收单元204和发射单元205,这两者用于执行与信息终端之间的通信。
信息终端100的显示屏101是包括液晶显示屏的普通类型的显示仪器。在如图2所示的平板电脑的情况下,假设这种类型的电脑还安装有触摸屏功能。
信息终端100的传感单元102包括至少一个或多个用于测量信息终端100的移动的传感器,诸如加速度传感器、陀螺仪传感器以及地磁传感器,这些传感器来测量基于信息终端100的位移、角度和姿态而变化的物理量。传感单元102也可以包括用于输入图像和语音(声音)的摄像头传感器(图像传感器、语音传感器等)、麦克风等。
通信单元105假定为通过诸如Wi-Fi(无线保真;注册商标)、Bluetooth(注册商标)、Zigbee(注册商标)和红外射线通信等的普通类型的无线通信方法来执行与至少一个或多个消费电子设备200之间的通信,使用有线通信也不会造成任何的不方便。
消费电子设备侧的传感单元201安装有用于捕捉远处的用户的语音或动作的至少一个或多个摄像头传感器(图像传感器、语音传感器等)、麦克风等。图3示出了在消费电子设备200是TV接收器的情况下的外部设备的示例。该示例是将传感单元201配置为包括在壳体213中的两个麦克风211以及一个摄像头212的示例,显示单元214被设置为TV接收器的基本功能。使用一个麦克风211不会造成任何的不方便,但是,如果安装两个或以上麦克风,可以执行基于麦克风阵列处理技术的直接控制。
假定接收单元204和发射单元205通过诸如Wi-Fi(无线保真;注册商标)、Bluetooth(注册商标)、Zigbee(注册商标)和红外射线通信等的普通类型的无线通信方法来执行与信息终端侧的通信单元105之间的通信,然而,使用有线通信也不会造成任何的不方便。
信息终端100和消费电子设备200在硬件方面配置为利用如图4和图5所示的普通计算机的硬件,其中这些硬件包括:诸如CPU(中央处理单元)等的用于控制整个设备的控制单元104(203)、存储各种数据和各类型程序的诸如ROM(只读存储器)和RAM(随机访问存储器)等的存储器111(221)、存储各种数据和各类型程序的诸如HDD(硬盘驱动)和CD(光盘)等的外部存储器112(222)、接受用户指令的输入的操作单元113(223)、控制与外部设备之间的通信的通信单元105(通信单元204配置为包括接收单元204和发射单元205)、建立上述各组件之间的连接的总线115(225)。此外,传感单元102(201)也被连接到总线115(225)上。在此文中,能够通过多个硬件组件来组建信息终端100和消费电子设备200中的任一个。
在诸如上述的硬件构造中,控制单元104(203)执行用于判定单元103、识别单元202等的存储在诸如ROM等的存储器111(221)和外部存储器112(222)中的各类型程序。因此,可以实现如下的功能。
以下将说明根据本实施例的如上构造的信息终端100和如上构造的消费电子设备200的操作。图6是示出本实施例中的信息终端100的处理操作的流程的一个示例的流程图。下文将对图6的流程图中的各个步骤进行更加深入的说明。
在此文中,以加速度传感器为例来说明信息终端100的传感单元102。下面给出示例的进一步描述,其中消费电子设备200为TV接收器,并且传感单元102配置为包括麦克风211和摄像头212。当然,用作传感单元102、201的传感器不限于这些传感器。此外,认为用户可以事先或者自动地注册各个信息终端100如何与至少设定为操作对象的消费电子设备200链接的关系。可能存在多个信息终端100。在此情况下,针对每个信息终端100都要注册该信息终端100与各个操作对象消费电子设备200之间的链接关系。在此文中,传感单元102装配有摄像头,以图像的形式注册操作对象消费电子设备200,在此情况下,如图8的上侧所示,通过面对着操作对象消费电子设备200持握着信息终端100,如图8的下侧所示,在显示屏101上就会显示出合适的控制器屏幕。
首先,(步骤S101)信息终端100的传感单元102测量加速度传感器的加速度,同时判定单元103判定信息终端100的初始状态。希望加速度传感器是三维传感器,并且加速度传感器通过监测重力加速度基于信息终端100的位置(姿态)来判定状态(判定用户是否持握平板电脑)或者基于单位时间(例如,一秒)内的改变等的统计量来判定状态。在监测重力加速度的情况下,如果当放置信息终端100时沿着轴线的重力加速度在与轴线方向相同的方向上大致稳定为预约范围内的一个值,这将导致判定结果为用户没有持握信息终端100。例如,预约范围内的值可以是1[G]附近的值(例如,在0.8[G]到1.2[G]之间)。在基于统计量来状态判定的情况下,以方差为例,将阈值设定为0.0001[G2],如果超过这个阈值,可以判定用户持握信息终端100,然而,如果等于或小于这个阈值,可以判定用户没有持握信息终端100。当然,阈值不限于上述给定的值。同时,作为标准给出的重力加速度或者统计量也不限于上述给出的值。
(步骤S102)当判定单元103判定出用户没有持握信息终端100时,通信单元105向消费电子设备200发出第一信号,其中该信号表示消费电子设备200上的操作对象仍属于消费电子设备200的指令。此外,(步骤S102)当判定出用户持握信息终端100时,通信单元105向消费电子设备200发出第二信号,其中该信号表示消费电子设备200上的操作对象属于信息终端100的指令。可以用信息终端100和消费电子设备200之间预设的计算机可翻译格式确定信号的内容。如果用户没有持握信息终端100,则关闭信息终端100的屏幕可以节省电能消耗。然而,如果用户持握信息终端100并且如果存在例如如图8所示的已经建立链接的消费电子设备200,那么将显示适宜操作消费电子设备200的控制器屏幕,但是如果链接还没有建立,则屏幕显示没有特别地发生改变,或者显示提示用户建立链接的信息。
判定单元103持续基于不断地从传感单元102给出的加速度数据来判定状态,因此监测状态的改变(步骤S103)。判定单元103的状态判定方法可以与步骤S101中的相同也可以与之不同。(步骤S104)如果状态发生改变并且当判定结果为用户持握信息终端100的状态已经改变为不再持握的状态时,通信单元105向传感单元102发出用于通知用户持握信息终端100的状态已经改变为用户不再持握的状态的第一信号(表示接受来自用户的操作的指令的控制信号,例如,表示启动识别用户发出的内容(语言)或用户的行为的功能的指令的控制信号)。在此情况下,(步骤S108,S109)保持信息终端100和消费电子设备200之间的链接关系,并且根据需要在信息终端100的显示屏101上可以显示操作对象消费电子设备的状态信息(更具体地,消费电子功能的状态信息),从而作为操作对象消费电子设备200的次级显示。假定以如图9所示的在不使用信息终端100时如何操作消费电子设备200的操作方法指南为例以及以如图10所示的(在TV接收器的情况下)与消费电子设备200中正在观看的内容相关的信息为例来说明相关的多项信息。在此情况下,(步骤S109)消费电子设备200从发射单元205发送出现在的状态(正在观看的节目的名字等),同时信息终端100通过通信单元105接收现在的状态,并且在显示屏101上显示Internet上的关于此节目的搜索结果,EPG(电子节目指南)的细节以及电子节目指南中描述的网址。
(步骤S104)当判定出信息终端100没有被持握的状态刚刚改变为被持握的状态时,通信单元105向消费电子设备200发出用于通知信息终端100没有被持握的状态刚刚改变为被持握的状态的第二信号。在此情况下,(步骤S106、S107)如图11和12所示,显示单元101可以显示用于操作对象消费电子设备200的遥控器(用于TV的遥控器示例如图11的上侧所示,用于空调的遥控器的示例如图12的上侧所示,用于照明灯的遥控器的示例如图12的下侧所示)以及正在观看的内容的信息(如图11的下侧所示)。在此情况下,(步骤S107)消费电子设备200从发射单元205发送现在的状态(如果消费电子设备200是TV接收器,则发送正在观看的节目的名字等;如果消费电子设备200是空调,则发送现在的温度、湿度和设定的温度),同时信息终端100通过通信单元105接收现在的状态,并且在显示屏101上显示状态信息。同时,(步骤S107)关于现在状态的显示,在显示屏101上也可以显示Internet上的上述电视节目的搜索结果、EPG(电子节目指南)的细节以及电子节目指南中描述的网址。
(步骤S105)在发射信息终端100的持握(第一信号或第二信号)的状态之后,在等待预约的判定间隔之后,继续对状态改变的连续检测。
图7是本实施例中的消费电子设备200的处理操作的流程的流程图。在下文中,将对图7的流程图的各个步骤进行进一步的说明。
首先,(步骤S201)控制单元203等待着经由接收单元204接收来自信息终端100的通信单元105的状态信息。(步骤S202)在接收到信息之后,根据接收到的信号是用于通知操作对象被设定到消费电子设备200的第一信号还是用于通知操作对象被设定到信息终端100的第二信号来切换操作。
在第一信号的情况下,也即,在用户不再持握信息终端100的情况下,(步骤S203)启动传感单元201的摄像头。在此情况下,消费电子设备200配置为通知用户传感单元201被激活,从而使得如图13所示设备的周边的灯启动或者壳体中的诸如LED等的发光元件开始发光。
对从图像识别用户的操作以及从语音识别用户的操作都仅仅是假定的示例,而不限定于这些识别处理。
启动识别单元202的行为识别功能,并且识别单元202接收来自摄像头的图像作为输入(步骤S204)并且基于图像检测是否(相对屏幕)举起手掌。无论采用何种检测方法,只要对于手掌进行检测均可,诸如使用事先学习多个手掌的数据的识别器的检测方法。
(步骤S206)在检测到手的基础上,操作被切换到跟踪手掌的动作的处理。无论采用何种跟踪方法均可,诸如抓取手的颜色以及动作的处理。
(步骤S207)从跟踪手的区域的轨迹可以识别用户的行为,该行为具体可以是竖直和横向地移动手的手势或者bye-bye的手势。如果消费电子设备200是TV接收器,那么横向(前后方向)可以设定为切换频道,而竖直方向(上下方向)可以设定为音量的增减操作。然而,上述的设定没有必要被限定为此文中所给定的设定。(步骤S210)在发出指令以改变消费电子设备200的上述状态的情况下,消费电子设备200生成将设备切换到期望的状态的控制信号,因此将设备切换到该状态。
另一方面,如果bye-bye手势设定为启动语音识别输入,那么当识别单元202识别到bye-bye手势时,开始输入语音(步骤S211)。也就是,启动识别单元202的语音识别功能。图14示出了基于语音识别的TV接收器的操作指令列表的示例。
(步骤S212)识别单元202在检测到由用户发出的语音的基础上,(步骤S213)开始语音识别处理并且检测(说话)结束时刻,该检测利用无声来进行检测(步骤S214),因此获得语音识别的结果,并且生成与结果相对应的控制信号(步骤S215)。
在已经完成了上述操作的情况下,如果没有明确地确定想要观看的频道时,基于移动手的手势来进行频道切换,然而,如果明确地确定了想要观看的频道,通过直接输入频道的名字的语音就可以切换到该频道。因此,可通过与用户的情况相对应的合适的方法来切换频道。
此外,当在正常观看节目时启动语音识别的情况下,存在一个激活的本地类型的语音识别引擎,其支持具有少量的单词的基本操作指令,该引擎用作消费电子设备200的识别单元202。在搜索节目的情景下启动语音识别的情况下,存在一个激活的服务器类型的语音识别引擎,其支持具有与节目名字以及人物名字相对应的大量单词的指令。因此,能够使用与各种情形相对应的语音识别。本地类型的语音识别引擎适用于基本操作的情况,因为能够快速响应很重要(即使当单词数量有限时),然而,服务器类型的语音识别引擎适用于诸如搜索节目的情景,因为需要具有大量单词的高性能的语音识别(即使响应可能需要花费较长的时间段)。图15的左侧示出了当搜索节目时语音识别输入的示例和识别结果的示例。通过在上下方向上移动手的手势来移动光标,从而来选择菜单,并且通过握紧的手势来进行确认。基于图15的左侧确定的键,图15的右侧示出了搜索结果的候选节目列表的示例。
在这一点上,在此文中,当通过上下移动手的手势来选择目标节目并且通过握紧的手势来进行确认时,如图16所示,因此可以实现参考所选节目的细节信息。此外,在此情况下,在屏幕的左侧设置了用户专用的列表区域(在下文中将称为我的列表),其中,如图17所示,通过对着详细信息参考屏来执行向左移动手的手势将所选择的节目添加到的我的列表中,因此能够基于屏幕上的位置关系实现直观操作。在此文中,将我的列表定义为基于时间来批量管理用户选择的节目(用户感兴趣的)的功能,并且我的列表表示用户专用的节目指南。在我的列表中,排列有过去记录的节目和按照计划从现在开始将要播放的预约的节目。该功能使得用户能够很容易地访问之前已经加入到我的列表中的感兴趣的节目。需要注意,如果随着时间的经过,记录已经完成了,那么现在预约的用于记录的项目是已经记录的项目。可以显示要点信息,或者可以通过显示一个缩略窗口等将此要点信息设定为用户可识别。
(步骤S216)在摄像头和麦克风的激活期间,也可以继续接收来自信息终端100的状态,并且,当接收到状态改变信号时,将再次执行与上述处理相同的处理。
此外,在上述的说明中,当操作对象位于消费电子设备200时,消费电子设备200侧的传感单元201被全部使用。然而,在信息终端100侧的传感单元102包含相同类型的传感器时,信息终端100可以实现如下的功能:信号水平比较单元106比较信息终端100自身的传感器的信号的输入水平和消费电子设备200的传感器的信号的输入水平,并且使用状态表现良好的信号(例如,比较高的S/N比)。例如,如果将信息终端100水平地放在靠近用户的桌子上,其麦克风(语音传感器)比消费电子设备200的麦克风更加靠近用户,因此可以想到从信息终端100的麦克风可以执行较好的语音识别输入。在此情况下,在由信息终端100获得的输入语音经由通信单元发射到消费电子设备200,并且消费电子设备200的识别单元202识别在信息终端100侧获取的输入语音。需要注意,当水平地放置信息终端100时,在很多情况下,不适宜于用户的手移动识别,因为摄像头是竖直地放置的。然而,如果合适,使用信息终端100的摄像头也不会引起任何不便。
此外,可以采用如下的构造的另一个示例:如果操作对象位于消费电子设备200自身中,消费电子设备200激活信息终端100的语音传感器,测量该语音传感器的输入语音的S/N比(信噪比),并且如果S/N比等于或大于阈值时,经由通信单元将由信息终端100的语音传感器获得的输入语音发送到消费电子设备200,然后消费电子设备200的识别单元202可以识别到在信息终端100侧获取的输入语音。在此情况下,由识别单元识别的由用户讲出的内容被发送到消费电子设备200,消费电子设备200基于表示从信息终端100中接收到的讲话内容的信息来指定操作内容,并且控制消费电子设备200自身的消费电子功能。
在上述的实施例中,当消费电子设备200接收到用于通知信息终端100被持握的状态已经改变为不再被持握的状态的第一信号时,消费电子设备200激活识别单元(语音识别功能或行为识别功能),因此能够接受用户给出的操作。然而,也可以以其他的方法实现对用户给出的操作的接受。例如,消费电子设备200被装配有触摸板功能,当接收到第一信号时,激活触摸板功能,因此来自用户的操作是可接受的。此外,当接收到第二信号时,终止触摸板功能,并且操作对象也被转换到信息终端100。
如上所述,根据本实施例,根据信息终端的持握状态,能够自动地在信息终端的操作和消费电子设备侧的传感器的操作之间进行适当地切换。在操作切换的情况下,即使没有用手持握信息终端或信息终端位于较远的地方时,也能够通过同步的方法来操作消费电子设备。例如,当持握信息终端时,在信息终端侧操作消费电子设备,然而,如果没有持握信息终端,通过激活目标消费电子设备侧的传感器,用户能通过手势、语音等直接向目标消费电子设备发出指令。此外,通过用手持握信息终端能够很容易地访问消费电子设备的状态信息。
虽然这里说明了特定的一些实施例,但是这些实施例仅仅是以实例的形式展现,并不是为了限定本发明的范围。真正地,在此说明的新的实施例能够以多种其他的形式来体现;此外,在不脱离本发明的精神的情况下可以对在此说明的实施例的形式进行多种省略、替代和改变。所附的权利要求和其同等的要求旨在涵盖落入本发明的精神和范围之内的这些形式或变形。
Claims (9)
1.一种能够连接到目标设备的信息终端,所述信息终端包括:
判定单元,其配置成判定用户是否持握所述信息终端;以及
控制单元,其配置成
当从持握状态改变到不持握状态时,所述控制单元向所述目标设备输出控制信号以指示接受从用户给出的操作,以及
当从不持握状态改变到持握状态时,所述控制单元执行以下动作中的至少一个动作:在所述信息终端的显示屏上显示用于操作所述目标设备的遥控器;或者,从所述目标设备获取与所述目标设备的状态有关的信息以在所述显示屏上显示信息。
2.根据权利要求1所述的信息终端,其中,所述控制信号是指示激活识别功能以识别用户讲话内容或用户行为的控制信号。
3.根据权利要求1所述的信息终端,其中,当从持握状态改变到不持握状态时,所述控制单元从所述目标设备获取与所述目标设备的状态有关的信息并且在所述显示屏上显示信息。
4.根据权利要求1所述的信息终端,还包括:
传感单元,其被配置成测量所述信息终端的运动,其中,
所述判定单元基于由所述传感单元测量的运动来判定所述信息终端是否被持握。
5.根据权利要求1所述的信息终端,还包括:
语音传感器,其被配置成检测语音信号,
其中,当从持握状态改变到不持握状态时,所述控制单元判定由所述语音传感器检测到的所述语音信号的S/N比是否等于或大于阈值,并且如果所述S/N比等于或大于阈值,则将所述语音信号输出到所述目标设备。
6.根据权利要求1所述的信息终端,还包括:
语音传感器,其被配置成检测语音信号;以及
识别单元,其被配置成基于所述语音信号执行语音识别,以获得表示用户讲话内容的信息,
其中,当从持握状态改变到不持握状态时,所述控制单元判定由所述语音传感器检测到的所述语音信号的S/N比是否等于或大于阈值,并且如果所述S/N比等于或大于阈值,则启动所述识别单元,并且将由所述识别单元获取的表示用户讲话内容的信息输出到所述目标设备。
7.一种能够连接到至少一个信息终端并且具有预定消费电子功能的消费电子设备,所述消费电子设备包括:
传感单元,其配置成测量与用户的语音或运动相关的信息;
接收单元,其配置成从所述信息终端接收第一信号或第二信号,其中所述第一信号用于通知用户持握的所述信息终端的状态已经被改变到不被持握的状态,所述第二信号用于通知不被用户持握的所述信息终端的状态已经被改变到被持握的状态;
识别单元,其被配置成基于所述传感单元测量的信息执行识别处理,并且获取表示用户讲话内容或用户行为的信息;以及
控制单元,其被配置成,
当所述接收单元接收到所述第一信号时,启动所述识别单元,并且基于由所述识别单元获取的用户讲话内容或用户行为来控制所述预定消费电子功能,以及
当所述接收单元接收到所述第二信号时,终止所述识别单元,并且将与所述预定消费电子功能的状态有关的信息发送到所述信息终端。
8.一种用于能够连接到目标设备的信息终端的信息处理方法,所述方法包括:
判定用户是否持握所述信息终端;以及
当从持握状态改变到不持握状态时,向所述目标设备输出控制信号以指示接受从用户给出的操作,以及
当从不持握状态改变到持握状态时,执行以下动作中的至少一个动作:在所述信息终端的显示屏上显示用于操作所述目标设备的遥控器;或者,从所述目标设备获取与所述目标设备的状态有关的信息以在所述显示屏上显示信息。
9.一种其中存储有指令的非暂时计算机可读介质,当通过处理器执行这些指令时,所述指令使得所述处理器执行如下的步骤,所述步骤包括:
判定用户是否持握信息终端,其中所述信息终端能够连接到目标设备,包括:
当从持握状态改变到不持握状态时,向所述目标设备输出控制信号以指示接受从用户给出的操作,以及
当从不持握状态改变到持握状态时,执行以下动作中的至少一个动作:在所述信息终端的显示屏上显示用于操作所述目标设备的遥控器,或从所述目标设备获取与所述目标设备的状态有关的信息以在所述显示屏上显示信息。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-250959 | 2011-11-16 | ||
| JP2011250959A JP2013106315A (ja) | 2011-11-16 | 2011-11-16 | 情報端末、家電機器、情報処理方法および情報処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103218037A true CN103218037A (zh) | 2013-07-24 |
Family
ID=48281471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012104572015A Pending CN103218037A (zh) | 2011-11-16 | 2012-11-14 | 信息终端、消费电子设备、信息处理方法以及信息处理程序 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20130124210A1 (zh) |
| JP (1) | JP2013106315A (zh) |
| CN (1) | CN103218037A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104898923A (zh) * | 2015-05-14 | 2015-09-09 | 深圳市万普拉斯科技有限公司 | 移动终端中通知内容预览控制方法和装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014153663A (ja) * | 2013-02-13 | 2014-08-25 | Sony Corp | 音声認識装置、および音声認識方法、並びにプログラム |
| JP6458341B2 (ja) * | 2014-01-31 | 2019-01-30 | シャープ株式会社 | 電気機器、通知方法、携帯装置および通知システム |
| WO2015117919A1 (en) * | 2014-02-04 | 2015-08-13 | Tp Vision Holding B.V. | Handheld device with microphone |
| JP7192348B2 (ja) * | 2018-09-25 | 2022-12-20 | 富士フイルムビジネスイノベーション株式会社 | 制御装置、制御システム及びプログラム |
| DE112022006988T5 (de) * | 2022-06-09 | 2025-01-16 | Mitsubishi Electric Corporation | Gerätbedienungseinrichtung und gerätbedienungsverfahren |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1274483A (zh) * | 1998-08-04 | 2000-11-22 | 皇家菲利浦电子有限公司 | 用动画式图形用户接口进行的遥控 |
| CN1928942A (zh) * | 2006-09-28 | 2007-03-14 | 中山大学 | 一种多功能遥控器装置 |
| CN101331442A (zh) * | 2005-11-28 | 2008-12-24 | 伊诺家有限公司 | 遥控系统 |
| CN201294037Y (zh) * | 2008-10-30 | 2009-08-19 | 深圳市同洲电子股份有限公司 | 一种被控设备、控制终端及遥控系统 |
| CN201328227Y (zh) * | 2008-09-26 | 2009-10-14 | Tcl集团股份有限公司 | 一种带切换画面触摸屏的遥控器 |
| CN101866533A (zh) * | 2009-10-20 | 2010-10-20 | 香港应用科技研究院有限公司 | 遥控装置和方法 |
| CN101981534A (zh) * | 2008-03-27 | 2011-02-23 | 艾科星科技公司 | 减少遥控电子装置中的电力消耗 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07274264A (ja) * | 1994-03-31 | 1995-10-20 | Sanyo Electric Co Ltd | 電気機器 |
| JPH10304480A (ja) * | 1997-05-02 | 1998-11-13 | Sanwa Denshi Kiki Kk | リモコン送信機 |
| GB9722766D0 (en) * | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
| JP3551774B2 (ja) * | 1998-07-16 | 2004-08-11 | 三菱電機株式会社 | 省電力システム |
| JP2000267695A (ja) * | 1999-01-14 | 2000-09-29 | Nissan Motor Co Ltd | 車載機器のリモートコントロール装置 |
| JP2000295674A (ja) * | 1999-04-07 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 遠隔制御装置、被遠隔制御装置および遠隔制御システム |
| ES2273870T3 (es) * | 2000-07-28 | 2007-05-16 | Koninklijke Philips Electronics N.V. | Sistema para controlar una aparato con instrucciones de voz. |
| US7023498B2 (en) * | 2001-11-19 | 2006-04-04 | Matsushita Electric Industrial Co. Ltd. | Remote-controlled apparatus, a remote control system, and a remote-controlled image-processing apparatus |
| JP2004356819A (ja) * | 2003-05-28 | 2004-12-16 | Sharp Corp | リモート操作装置 |
| JP4427486B2 (ja) * | 2005-05-16 | 2010-03-10 | 株式会社東芝 | 機器操作装置 |
| US7379078B1 (en) * | 2005-10-26 | 2008-05-27 | Hewlett-Packard Development Company, L.P. | Controlling text symbol display size on a display using a remote control device |
| JP4516042B2 (ja) * | 2006-03-27 | 2010-08-04 | 株式会社東芝 | 機器操作装置および機器操作方法 |
| JP4940887B2 (ja) * | 2006-10-20 | 2012-05-30 | 富士通株式会社 | 音声入力支援プログラム、音声入力支援装置、音声入力支援方法 |
| US8089455B1 (en) * | 2006-11-28 | 2012-01-03 | Wieder James W | Remote control with a single control button |
| US8339304B2 (en) * | 2007-04-13 | 2012-12-25 | Seiko Epson Corporation | Remote control signal generation device and remote control system |
| US20090002218A1 (en) * | 2007-06-28 | 2009-01-01 | Matsushita Electric Industrial Co., Ltd. | Direction and holding-style invariant, symmetric design, touch and button based remote user interaction device |
| WO2011019155A2 (en) * | 2009-08-14 | 2011-02-17 | Lg Electronics Inc. | Remote control device and remote control method using the same |
| KR101373285B1 (ko) * | 2009-12-08 | 2014-03-11 | 한국전자통신연구원 | 제스쳐 인식 기능을 갖는 휴대 단말기 및 이를 이용한 인터페이스 시스템 |
| US8886541B2 (en) * | 2010-02-04 | 2014-11-11 | Sony Corporation | Remote controller with position actuatated voice transmission |
| DE102010011473A1 (de) * | 2010-03-15 | 2011-09-15 | Institut für Rundfunktechnik GmbH | Verfahren zur Fernsteuerung von Endgeräten |
| US8938753B2 (en) * | 2010-05-12 | 2015-01-20 | Litl Llc | Configurable computer system |
| US9786159B2 (en) * | 2010-07-23 | 2017-10-10 | Tivo Solutions Inc. | Multi-function remote control device |
| KR101772385B1 (ko) * | 2010-08-27 | 2017-09-12 | 인텔 코포레이션 | 터치 감지 장치 및 방법 |
| US9207782B2 (en) * | 2010-12-16 | 2015-12-08 | Lg Electronics Inc. | Remote controller, remote controlling method and display system having the same |
| US8849628B2 (en) * | 2011-04-15 | 2014-09-30 | Andrew Nelthropp Lauder | Software application for ranking language translations and methods of use thereof |
| EP2626771B1 (en) * | 2012-02-09 | 2018-01-10 | Samsung Electronics Co., Ltd | Display apparatus and method for controlling a camera mounted on a display apparatus |
-
2011
- 2011-11-16 JP JP2011250959A patent/JP2013106315A/ja not_active Abandoned
-
2012
- 2012-11-13 US US13/675,313 patent/US20130124210A1/en not_active Abandoned
- 2012-11-14 CN CN2012104572015A patent/CN103218037A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1274483A (zh) * | 1998-08-04 | 2000-11-22 | 皇家菲利浦电子有限公司 | 用动画式图形用户接口进行的遥控 |
| CN101331442A (zh) * | 2005-11-28 | 2008-12-24 | 伊诺家有限公司 | 遥控系统 |
| CN1928942A (zh) * | 2006-09-28 | 2007-03-14 | 中山大学 | 一种多功能遥控器装置 |
| CN101981534A (zh) * | 2008-03-27 | 2011-02-23 | 艾科星科技公司 | 减少遥控电子装置中的电力消耗 |
| CN201328227Y (zh) * | 2008-09-26 | 2009-10-14 | Tcl集团股份有限公司 | 一种带切换画面触摸屏的遥控器 |
| CN201294037Y (zh) * | 2008-10-30 | 2009-08-19 | 深圳市同洲电子股份有限公司 | 一种被控设备、控制终端及遥控系统 |
| CN101866533A (zh) * | 2009-10-20 | 2010-10-20 | 香港应用科技研究院有限公司 | 遥控装置和方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104898923A (zh) * | 2015-05-14 | 2015-09-09 | 深圳市万普拉斯科技有限公司 | 移动终端中通知内容预览控制方法和装置 |
| WO2016180050A1 (zh) * | 2015-05-14 | 2016-11-17 | 深圳市万普拉斯科技有限公司 | 移动终端中通知内容预览控制方法、装置及存储介质 |
| US10404845B2 (en) | 2015-05-14 | 2019-09-03 | Oneplus Technology (Shenzhen) Co., Ltd. | Method and device for controlling notification content preview on mobile terminal, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130124210A1 (en) | 2013-05-16 |
| JP2013106315A (ja) | 2013-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10362259B2 (en) | Portable device, display apparatus, display system, and method for controlling power of display apparatus thereof | |
| KR102147346B1 (ko) | 디스플레이 장치 및 그의 동작 방법 | |
| KR102669114B1 (ko) | Em 신호를 발생시킨 외부 전자 장치에 따라 오디오 신호의 경로를 변경하는 전자 장치 및 방법 | |
| US20190019513A1 (en) | Information processing device, information processing method, and program | |
| US20160005404A1 (en) | Device control method and electric device | |
| CN103218037A (zh) | 信息终端、消费电子设备、信息处理方法以及信息处理程序 | |
| EP3419020B1 (en) | Information processing device, information processing method and program | |
| CN109243463B (zh) | 遥控器及其用于接收用户语音的方法 | |
| JPWO2016157662A1 (ja) | 情報処理装置、制御方法、およびプログラム | |
| KR20200034376A (ko) | 복수의 전자 장치들을 연동하여 알림을 제공하는 방법 및 장치 | |
| KR102395013B1 (ko) | 인공지능 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법 | |
| CN105049897B (zh) | 遥控系统以及遥控器 | |
| KR20210045280A (ko) | IoT 기기를 제어하는 방법 및 이를 위한 전자 장치 | |
| US10310676B2 (en) | Image projection apparatus and operation method thereof | |
| US20230117342A1 (en) | Movable electronic apparatus and method of controlling the same | |
| JP2019061334A (ja) | 機器制御装置、機器制御方法及び機器制御システム | |
| TW201027415A (en) | Function configuration method and related device for a remote control device | |
| US20230394951A1 (en) | Mobile terminal and display device for searching for location of remote control device by using bluetooth pairing | |
| CN105049901B (zh) | 遥控系统以及遥控器 | |
| KR20170139397A (ko) | 이동 단말기 및 그 제어방법 | |
| JP2010011379A (ja) | 機器操作装置および機器操作方法 | |
| EP4518330A1 (en) | Display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130724 |