CN111045344A - 一种家居设备的控制方法及电子设备 - Google Patents

Abstract

本发明实施例提供一种家居设备的控制方法及电子设备，涉及通信技术领域，以解决通过电子设备控制家居设备的过程繁琐且复杂的问题。该方案包括：接收用户在拍摄预览界面上的第一输入；响应于第一输入，显示目标AR控件，目标AR控件为基于第一输入的输入轨迹生成的AR控件；接收用户对目标AR控件的第二输入；响应于第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作；其中，拍摄预览界面包括目标家居设备。该方法应用于通过电子设备控制家居设备的场景中。

Description

一种家居设备的控制方法及电子设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种家居设备的控制方法及电子设备。

背景技术

随着通信技术的发展，电子设备的功能越来越丰富，例如，电子设备可以与家居设备建立连接，从而使得用户可以通过电子设备控制家居设备。

通常，当用户需求通过电子设备控制某个家居设备时，用户可以先触发电子设备下载该家居设备的厂家提供的专用应用程序，然后用户可以触发电子设备安装该专用应用程序。在电子设备成功安装该专用应用程序之后，用户可以通过该专用应用程序控制该家居设备，例如，用户可以通过对该专用应用程序输入控制家居设备开启或关闭。

然而，按照上述方法，由于用户需要触发电子设备下载并安装专用应用程序才能控制相应的家居设备，因此当用户需求控制的家居设备较多时，电子设备可能要安装多个专用应用程序，如此导致通过电子设备控制家居设备的过程繁琐且复杂。

发明内容

本发明实施例提供一种家居设备的控制方法及电子设备，以解决通过电子设备控制家居设备的过程繁琐且复杂的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种家居设备的控制方法，该方法可以应用于电子设备，该方法包括，接收用户在拍摄预览界面上的第一输入；且响应于第一输入，显示目标增强现实(augmented reality，AR)AR控件，且接收用户对目标AR控件的第二输入；并响应于第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作；其中，目标AR控件为基于第一输入的输入轨迹生成的AR控件；拍摄预览界面包括目标家居设备。

第二方面，本发明实施例提供了一种电子设备，该电子设备包括：接收模块、显示模块和处理模块。接收模块，用于接收用户在拍摄预览界面上的第一输入；显示模块，用于响应于接收模块接收的第一输入，显示目标AR控件，目标AR控件基于第一输入的输入轨迹生成；接收模块，还用于接收用户对显示模块显示的目标AR控件的第二输入；处理模块，用于响应于接收模块接收的第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作；其中，拍摄预览界面为采集的目标区域的图像，目标区域中包括目标家居设备。

第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述第一方面的家居设备的控制方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述第一方面的家居设备的控制方法的步骤。

在本发明实施例中，电子设备可以接收用户在拍摄预览界面(包括目标家居设备)上的第一输入；且响应于第一输入，显示目标AR控件(为基于第一输入的输入轨迹生成的AR控件)；并接收用户对目标AR控件的第二输入；以及响应于第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作。通过该方案，由于电子设备可以根据用户在拍摄预览界面上输入的输入轨迹，生成并显示用于控制目标家居设备执行与目标AR控件对应的目标控制操作的AR控件，从而用户可以直接通过对目标AR控件的输入，触发电子设备控制目标家居设备执行目标控制操作，因此无需用户通过安装在电子设备上的特定应用程序触发电子设备控制家居设备。如此，由于无需用户对特定的应用程序输入即可触发电子设备控制家居设备，因此可以提高通过电子设备控制家居设备的灵活性和便捷性。

进一步的，本发明实施例中，由于用户在电子设备的显示屏上看到的家居设备如同用户在真实场景中看到的家居设备一样，且用户通过对拍摄预览界面上的输入如同用户直接对环境中的家居设备操作一样，从而实现了用户所见即所得，用户所见即所控，因此可以在简化通过电子设备控制家居设备的过程的基础上，进一步提高通过电子设备控制家居设备的灵活性和便捷性，如此，可以提高人机交互性能。

附图说明

图1为本发明实施例提供的一种可能的操作系统的架构示意图；

图2为本发明实施例提供的家居设备的控制方法的流程示意图之一；

图3为本发明实施例提供的家居设备的控制方法应用的界面示意图之一；

图4为本发明实施例提供的家居设备的控制方法应用的界面示意图之二；

图5为本发明实施例提供的家居设备的控制方法应用的界面示意图之三；

图6为本发明实施例提供的家居设备的控制方法的流程示意图之二；

图7为本发明实施例提供的家居设备的控制方法应用的界面示意图之四；

图8为本发明实施例提供的家居设备的控制方法应用的界面示意图之五；

图9为本发明实施例提供的家居设备的控制方法应用的界面示意图之六；

图10为本发明实施例提供的家居设备的控制方法应用的界面示意图之七；

图11为本发明实施例提供的家居设备的控制方法应用的界面示意图之八；

图12为本发明实施例提供的电子设备的结构示意图；

图13为本发明实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。

本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一输入和第二输入等是用于区别不同的输入，而不是用于描述输入的特定顺序。

在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或者两个以上，例如，多个元件是指两个或者两个以上的元件等。

下面首先对本发明的权利要求书和说明书中涉及的一些名词或者术语进行解释说明。

摄像头的采集范围：是指摄像头能够采集到对象(例如人、或者物)的图像的范围。例如，假设摄像头的采集范围为范围A，则摄像头可以采集处于该范围A内的对象的图像，而无法采集处在该范围A之外的对象的图像。

本发明实施例提供一种家居设备的控制方法及电子设备，该电子设备可以接收用户在拍摄预览界面(包括目标家居设备)上的第一输入；且响应于第一输入，显示目标AR控件(为基于第一输入的输入轨迹生成的AR控件)；并接收用户对目标AR控件的第二输入；以及响应于第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作。通过该方案，由于电子设备可以根据用户在拍摄预览界面上的输入的输入轨迹，生成并显示用于控制目标家居设备执行与目标AR控件对应的目标控制操作的目标AR控件，从而用户可以直接通过对目标AR控件的输入，触发电子设备控制目标家居设备执行目标控制操作，因此，无需用户通过安装在电子设备上的特定应用程序触发电子设备控制家居设备。如此，由于无需用户对特定的应用程序输入即可触发电子设备控制家居设备，因此可以提高通过电子设备控制家居设备的灵活性和便捷性，从而可以提高人机交互性能。

进一步的，本发明实施例中，由于用户在电子设备的显示屏上看到的家居设备如同用户在真实场景中看到的家居设备一样，且用户通过对拍摄预览界面上的输入如同用户直接对环境中的家居设备操作一样，从而实现了用户所见即所得，用户所见即所控，因此可以在简化通过电子设备控制家居设备的过程的基础上，进一步提高通过电子设备控制家居设备的灵活性和便捷性，如此，可以提高人机交互性能。

本发明实施例中的电子设备可以为具有操作系统的电子设备。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。

下面以一种可能的操作系统为例，介绍本发明实施例提供的家居设备的控制方法所应用的软件环境。

如图1所示，为本发明实施例提供的一种可能的操作系统的架构示意图。在图1中，操作系统的架构包括4层，分别为：应用程序层、应用程序框架层、系统运行库层和内核层(具体可以为Linux内核层)。

其中，应用程序层包括操作系统中的各个应用程序(包括系统应用程序和第三方应用程序)。示例性的，应用程序层可以包括本发明实施例中显示拍摄预览界面的应用程序，如相机应用程序。

应用程序框架层是应用程序的框架，开发人员可以在遵守应用程序的框架的开发原则的情况下，基于应用程序框架层开发一些应用程序。例如，可以基于应用程序框架层开发本发明实施例中显示拍摄预览界面的应用程序。

一般，本发明实施例中的应用程序可以包括两部分，以相机应用程序为例，一部分是指运行在电子设备后台的相机服务(service)，用于检测用户触发的输入，确定图像显示区域(例如本发明实施例中的目标AR控件的显示区域)等；另一部分是指显示在电子设备显示屏上的内容，例如电子设备显示屏上显示的目标AR控件。

系统运行库层包括库(也称为系统库)和操作系统运行环境。库主要为操作系统提供其所需的各类资源。操作系统运行环境用于为操作系统提供软件环境。

内核层是操作系统的操作系统层，属于操作系统软件层次的最底层。内核层基于Linux内核为操作系统提供核心系统服务和与硬件相关的驱动程序。

本发明实施例中，开发人员可以基于上述如图1所示的操作系统的系统架构，开发实现本发明实施例提供的家居设备的控制方法的软件程序，从而使得该家居设备的控制方法可以基于如图1所示的操作系统运行。即处理器或者电子设备可以通过在操作系统中运行该软件程序实现本发明实施例提供的家居设备的控制方法。

本发明实施例中的电子设备可以为移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。

本发明实施例提供的家居设备的控制方法的执行主体可以为上述的电子设备，也可以为该电子设备中能够实现该家居设备的控制方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本发明实施例不作限定。下面以电子设备为例，对本发明实施例提供的家居设备的控制方法进行示例性的说明。

本发明实施例中，当用户需求通过电子设备控制家居设备执行某个操作时，用户可以先触发电子设备采集该家居设备所在区域的预览图像，并在电子设备的拍摄预览界面上显示该预览图像，从而用户可以在该拍摄预览图像上输入，触发电子设备显示基于用户输入的输入轨迹生成的AR控件，然后从而用户可以通过对该AR控件的输入，触发电子设备控制目标家居设备执行与目标AR控件对应的目标控制操作。如此，由于无需用户对特定的应用程序输入即可触发电子设备控制家居设备，因此可以提高通过电子设备控制家居设备的灵活性和便捷性。

进一步的，本发明实施例中，由于用户在电子设备的显示屏上看到的家居设备如同用户在真实场景中看到的家居设备一样，且用户通过对拍摄预览界面上的输入如同用户直接对环境中的家居设备操作一样，从而实现了用户所见即所得，用户所见即所控，因此可以在简化通过电子设备控制家居设备的过程的基础上，进一步提高通过电子设备控制家居设备的灵活性和便捷性，如此，可以提高人机交互性能。

下面具体结合各个附图对本发明实施例提供的家居设备的控制方法进行示例性的描述。

如图2所示，本发明实施例提供一种家居设备的控制方法，该方法可以包括下述的步骤201-步骤204。

步骤201、电子设备接收用户在拍摄预览界面上的第一输入。

本发明实施例中，上述拍摄预览界面可以为电子设备中的相机应用程序中的界面。拍摄预览界面中可以包括通过电子设备的摄像头采集的目标区域的预览图像。目标区域中可以包括至少一个家居设备。为了便于描述，下述实施例中将拍摄预览界面中包括至少一个家居设备的图像，简称为目标拍摄预览界面中包括至少一个家居设备，即界面或图像中包括设备是指界面或图像中包括该设备的图像。

可选的，本发明实施例中，上述第一输入可以为用户在电子设备的摄像头的采集范围内执行的手势输入(一种可能的实现方式)，或者可以为用户在电子设备的显示屏上的触控手势输入(另一种可能的实现方式)，具体可以根据实际使用需求确定，本发明实施例不作限定。

对于摄像头的采集范围的描述，具体可以参见上述名词解释部分的相关描述，此处不再赘述。

本发明实施例中，除特别说明外，下述实施例中的环境均指摄像头的采集范围内的空间环境，两者意思相同，有时可以互换。例如，在环境中的输入是指在摄像头的采集范围内的输入，两者意思相同，有时可以互换。

可选的，本发明实施例中，用户执行第一输入之后，电子设备可以获取第一输入的输入轨迹，并根据该输入轨迹生成一个AR控件(例如下述目标AR控件)。

可选的，本发明实施例中，AR控件是指采用AR技术显示的控件。

可选的，本发明实施例中，第一输入的输入轨迹可以包括第一输入的轨迹形状和第一输入的轨迹方向中的至少一项。即第一输入的输入轨迹可以为第一输入的轨迹形状，第一输入的轨迹方向，或者第一输入的轨迹形状和第一输入的轨迹方向。

可选的，本发明实施例中，第一输入的轨迹形状可以为可以为数字“2”的形状，文字“开”的形状，三角形“△”的形状，五角星“☆”的形状，对号“√”的形状，箭头“→”的形状，音量喇叭的形状以及错号“×”的形状等任意可能的形状。第一输入的轨迹方向可以为相对于电子设备的显示屏向上的方向、相对于电子设备的显示屏向下的方向、相对于电子设备的显示屏向左的方向、相对于电子设备的显示屏向右的方向、逆时针方向，或顺时针方向等任意可能的方向。

需要说明的是，上述向上的方向、向下的方向、向左的方向、向右的方向、逆时针方向，和顺时针方向均是以电子设备的显示屏朝向用户时，相对于电子设备的显示屏为例进行示意的。

可选的，本发明实施例中，当输入的输入轨迹包括轨迹形状和轨迹方向时，若用户依次执行的两个输入的轨迹形状相同，轨迹方向不同，则电子设备可以确定该两个输入为两个不同的输入；或者，若用户依次执行的两个输入的的轨迹形状不同，轨迹方向相同，则电子设备也可以确定该两个输入为两个不同的输入。

示例性的，假设轨迹形状均为箭头形状的两个手势输入，若一个手势输入的轨迹方向为向右的方向，另一个手势输入的轨迹方向为向左的方向，则这两个手势输入为两个不同的手势输入。

又示例性的，假设轨迹方向均为向左的方向的两个手势输入，若一个手势输入为从右向左(轨迹方向)画直线(轨迹形状)，另一个手势输入为画指向左侧的箭头，则这两个手势输入也为不同的手势输入。

可选的，本发明实施例中，在一种可能的实现方式中，即第一输入为用户在电子设备的摄像头的采集范围内执行的手势输入。

可选的，本发明实施例中，在一种可能的实现方式中，电子设备可以通过电子设备的摄像头依次采集包括用户手势的多帧图像，并获取每一帧图像中的用户手势，以获取用户执行的完整手势，即获取第一输入的输入轨迹。

步骤202、电子设备响应于第一输入，显示目标AR控件。

其中，上述目标AR控件可以为电子设备基于第一输入的输入轨迹生成的AR控件。

可选的，本发明实施例中，上述目标AR控件可以为用户自定义的AR控件。例如，可以在电子设备的相机应用程序或设置应用程序中设置一个用于触发自定义AR控件的标识。从而，用户可以通过对该标识输入，触发电子设备显示AR控件自定义界面，当电子设备显示AR控件自定义界面时，若用户执行一个输入(例如画一个圆)，则电子设备可以生成一个形状与该输入轨迹对应的AR控件，并将该AR控件保存在数据库中，如此即可以实现目标AR控件的自定义。

本发明实施例中，由于用户可以自定义目标AR控件，即用户可以根据其实际使用需求，将目标AR控件设置为任意可能的形状，从而可以保证目标AR控件的显示效果更加符合用户需求。

可选的，本发明实施例中，上述目标AR控件的形状与第一输入的轨迹形状可以相同，也可以不同。具体可以根据实际使用需求确定，本发明实施例不作限定。

为了便于描述，下述实施例中均以目标AR控件的形状与第一输入的轨迹形状相同为例进行示例性说明。

需要说明的是，本发明实施例中，电子设备中可以预先保存输入(例如，第一输入)的输入轨迹和目标控制操作的对应关系，从而当电子设备基于用户的输入轨迹(即第一输入的输入轨迹)生成目标AR控件，并显示目标AR控件时，电子设备还可以获取第一输入的输入轨迹对应的目标控制操作；然后当用户对目标AR控件执行第二输入时，电子设备可以控制目标家居设备执行目标控制操作(即控制目标家居设备执行与目标AR控件对应的目标控制操作)。

本发明实施例中，电子设备可以通过下述方式A和方式B两种方式将第一输入的输入轨迹与目标控制操作对应。

可选的，本发明实施例中，方式A、电子设备中仅预先保存第一输入的输入轨迹与目标控制操作的对应关系；这种情况下，对于相同的第一输入，无论目标家居设备是否相同，第一输入的输入轨迹对应的目标控制操作均相同。或者，方式B、电子设备中可以预先保存目标信息与目标控制操作的对应关系，目标信息包括第一输入的输入轨迹和目标家居设备；这种情况下，对于相同的第一输入，若目标家居设备不同，则第一输入的输入轨迹对应的目标控制操作可能相同，也可能不同。

下面分别对上述方式A和上述方式B进行示例性说明。

为了便于描述，在下述示例1和示例2中，均以第一输入的输入轨迹为第一输入的轨迹形状为例进行示意。

示例1，在上述方式A中，假设第一输入的轨迹形状为“√”，且轨迹形状“√”对应开启操作。那么，当用户执行轨迹为“√”的手势输入时，电子设备可以在拍摄预览界面显示“√”形状的目标AR控件，且目标AR控件对应开启操作；此时，当用户对目标AR控件执行第二输入时，若目标家居设备为电视机，则电子设备可以控制电视机执行开启操作(目标控制操作)；若目标家居设备为智能空调时，则电子设备可以控制智能空调也执行开启操作。

示例2、在上述方式B中，假设第一输入的轨迹形状为“→”，且当目标家居设备为电视机，即目标信息为“→”和电视机时，“→”可以对应调换为下一个电视台的操作；当目标家居设备为智能灯，即目标信息为“→”和智能灯时，“→”可以对应降低亮度操作。那么，当用户执行轨迹为“→”的手势输入时，电子设备可以在拍摄预览界面显示“→”形状的目标AR控件，此时，若目标家居设备为电视机，则当用户执行第二输入之后，电子设备可以控制电视机执行调为下一个电视台的操作；若目标家居设备为智能灯，则当用户执行第二输入之后，电子设备可以控制智能灯执行降低亮度的操作。

可选的，本发明实施例中，电子设备可以在拍摄预览界面上显示上述目标AR控件。

可选的，本发明实施例中，在第一输入的输入轨迹对应目标控制操作的情况下，目标AR控件可以包括第一目标子AR控件和第二目标子AR控件，第一目标子AR控件可以为基于第一输入的输入轨迹生成的AR控件，第二目标子AR控件可以为基于第一目标子AR控件的控件类型生成的AR控件。

可选的，本发明实施例中，上述步骤202具体可以通过下述的步骤202a-步骤202c实现。

步骤202a、电子设备显示第一目标子AR控件。

步骤202b、电子设备确定第一目标子AR控件的控件类型。

步骤202c、电子设备基于第一目标子AR控件的控件类型，生成第二目标子AR控件，并在第一目标子AR控件上显示第二目标子AR控件。下述第二输入可以为用户对第二目标子AR控件的输入。

本发明实施例中，电子设备可以根据第一输入的输入轨迹对应的控制操作，确定第一目标子AR控件的类型。例如，假设第一输入的输入轨迹与电视机的亮度调节功能关联，且如图3中的(a)所示，拍摄预览界面30包括电视机的图像，若用户在拍摄界面上画竖线，即电子设备接收到上述第一输入，则电子设备可以生成一个竖线形AR控件31(即第一目标子AR控件)，并在拍摄预览界面30上显示竖线形AR控件31，以及确定该竖线性AR控件31的类型为音量调节尺类，从而如图3中的(b)所示，电子设备可以根据该竖线形AR控件31的类型，生成一个AR音量调节块32(即第二目标子AR控件)，且将该AR音量调节块32显示在该竖线形AR控件31上。如此，用户可以通过对该AR音量调节块32的输入(例如下述第二输入)，触发电子设备控制电视机将电视机的音量调节为该AR音量调节块32指示的音量。

本发明实施例中，由于电子设备可以根据第一目标子AR控件的类型，自动生成与该第一目标子AR控件的控件类型对应的第二目标子AR控件，用户可以只绘制目标AR控件的部分，可以简化用户绘制目标AR控件的过程，提高人机交互性能。

进一步地，由于电子设备可以根据用户自定义的目标AR控件中的一部分AR控件(例如上述第一目标子AR控件)，自动匹配目标AR控件中的另一部分AR控件(例如上述第二目标子AR控件)，因此可以简化触发电子设备显示目标AR控件的过程。

步骤203、电子设备接收用户对目标AR控件的第二输入。

可选的，本发明实施例中，上述第二输入可以用于确定用户已执行完第一输入，第二输入可以用于指示用户已完成AR控件(例如上述目标AR控件)的绘制。

可选的，本发明实施例中，上述第二输入可以为用户在电子设备的摄像头的采集范围内执行的手势输入，或者可以为用户在电子设备的显示屏上的触控手势输入，具体可以根据实际使用需求确定，本发明实施例不作限定。

本发明实施例中，由于电子设备的显示屏上的每个区域均可以与电子设备的摄像头的采集范围内的一个空间区域对应，因此电子设备根据该手势图像确定第二输入的输入区域在电子设备的显示屏上的映射区域(以下称为第一映射区域)。

可选的，本发明实施例中，当第二输入为用户在电子设备的摄像头的采集范围内执行的手势输入时，若第二输入的输入区域在电子设备的显示屏上的映射区域位于目标AR控件的显示区域，则电子设备可以执行下述步骤204。

步骤204、电子设备响应于第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作。

其中，上述拍摄预览界面可以包括目标家居设备。目标家居设备为上述至少一个家居设备中的家居设备。

可选的，本发明实施例中，上述目标家居设备的数量可以为一个，也可以为多个，具体可以根据实际使用需求确定。

需要说明的是，本发明实施例中，除特别说明外，均不限定目标家居设备的数量。

可选的，本发明实施例中，电子设备可以向目标家居设备发送控制消息，以控制目标家居设备执行与目标AR控件对应的目标控制操作，从而目标家居设备在接收到该控制消息之后，可以执行与该控制消息对应的操作。

实际实现中，本发明实施例提供的家居设备的控制方法还可以通过其它任意可能的方式，实现电子设备控制目标家居设备执行与目标AR控件对应的目标控制操作，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述控制消息可以为控制指令信息，或者可以为指示消息，具体可以根据实际使用需求确定，本发明实施例不作限定。

示例性的，当上述控制消息为控制指令信息时，在用户对目标AR控件执行第二输入之后，电子设备可以向目标家居设备发送与目标AR控件对应的控制指令信息，从而目标家居设备在接收到该控制指令信息之后，可以执行该控制指令信息对应的操作。当上述控制消息为指示消息时，在用户对目标AR控件执行第二输入之后，电子设备可以向目标家居设备发送与目标AR控件对应的指示消息，从而目标家居设备在接收到该指示消息之后，可以根据该指示信息，生成一个控制指令信息，并执行该一个控制指令信息对应的操作。

可选的，本发明实施例中，上述目标家居设备可以为智能家居设备(即支持网络信号控制的家居设备，例如智能电冰箱、电视机)。或者，上述目标家居设备可以为支持红外信号控制的非智能家居设备(例如电视机)。具体可以根据实际使用需求确定，本发明实施例不作限定。

具体的，当上述目标家居设备为智能家居设备时，上述控制消息可以为网络控制信号；当上述目标家居设备为非智能家居设备时，上述控制消息可以为红外控制信号。

可选的，本发明实施例中，不同的AR控件，例如不同的目标AR控件(基于用户输入的输入轨迹生成)可以对应不同的控制操作。例如，“√”形状的AR控件可以对应开启家居设备(例如上述目标家居设备)的控制操作，“×”形状的AR控件可以对应关闭家居设备的控制操作。如此，由于不同的AR控件对应不同的控制操作，因此用户可以通过不同的手势输入，触发电子设备生成不同的AR控件，以控制家居设备执行不同的控制操作。

可选的，本发明实施例中，当目标家居设备为电视机时，电子设备接收用户在拍摄预览界面上的第一输入之后，可以检测第一输入的输入轨迹对应的控制操作是否与拍摄预览界面关联。若第一输入的输入轨迹关联拍摄预览界面，则电子设备响应于第二输入，向目标家居设备发送目标控制消息；若第一输入的输入轨迹未关联拍摄预览界面，则电子设备可以显示第二信息。

其中，上述目标控制消息为与目标控制操作对应的控制消息，目标控制消息可以用于指示目标家居设备显示第一信息，第一信息为目标家居设备执行目标控制操作之后，显示的信息，例如，可以为电视机播放的某个节目的界面。上述第二信息可以包括至少一个备选操作选项，该至少一个备选操作选项为与设备图像对应的家居设备关联的控制操作的信息(例如，可以为设备图像对应的家居设备的操作菜单)。

本发明实施例中，第一输入的输入轨迹关联拍摄预览界面可以理解为，第一输入的输入轨迹对应的控制操作关联拍摄预览界面中的设备图像对应的家居设备；也即拍摄预览界面中的设备图像对应的家居设备可以成功执行第一输入的输入轨迹对应的控制操作。相应的，第一输入的输入轨迹未关联拍摄预览界面可以理解为，第一输入的输入轨迹对应的控制操作未关联拍摄预览界面中的设备图像对应的家居设备；也即拍摄预览界面中的设备图像对应的家居设备无法成功执行第一输入的输入轨迹对应的控制操作。

示例性的，以拍摄预览界面中的家居设备为电视机为例。如图4中的(a)所示，电子设备的拍摄预览界面30中包括电视机35(具体为电视机35的图像)，用户在环境中写“无”，即第一输入的输入轨迹为“无”，且目标AR控件为“无”字形AR控件，若该输入轨迹“无”关联电视机35中的五台，那么电子设备可以向电视机35发送目标控制消息，且电视机35在接收到该目标控制消息之后，如图4中的(b)所示，电视机35可以调至五台(即目标控制消息用于指示目标家居设备显示第一信息)。若该输入轨迹“无”未关联电视机35中的任何功能，即电视机35无法执行与输入轨迹为“无”关联的控制操作，那么，如图4中的(c)所示，电子设备可以在拍摄预览界面30上显示电视机35的操作菜单(即电子设备显示第二信息)，从而用户可以通过对该操作菜单输入，触发控制电视机执行对应的操作。如此，可以提高通过电子设备控制家居设备的灵活性。

本发明实施例中，一方面，由于电子设备可以在目标区域中的家居设备无法成功执行第一输入的输入轨迹对应的控制操作的情况下，显示该家居设备的至少一个备选操作选项，因此即使用户执行的第一输入不正确，用户还可以通过对至少一个备选操作选项的输入，触发电子设备控制目标区域中的家居设备；另一方面，由于电子设备可以在目标区域中的家居设备可以执行第一输入的输入轨迹对应的控制操作的情况下，直接控制家居设备执行该控制操作；如此，可以提高通过电子设备控制家居设备的灵活性。

下面结合附图5对本发明实施例提供的家居设备的控制方法进行示例性的说明。

示例性的，本发明实施例提供的家居设备的控制方法可以应用于用户通过电子设备控制智能空调的场景中。具体的，假设目标家居设备为拍摄预览界面中的智能空调的图像对应的智能空调，且智能空调处于关闭状态；那么，如图5中的(a)所示，电子设备的拍摄预览界面40包括智能空调的图像41，用户可以在电子设备的摄像头的采集范围内画“√”，即电子设备接收到接收用户在拍摄预览界面40上的第一输入，然后电子设备响应于第一输入，可以在拍摄预览界面40上显示“√”形状的AR控件42(即目标AR控件)，然后，如图5中的(b)所示，用户在电子设备的摄像头的采集范围内执行点击手势输入，相当于用户对AR控件42点击，即电子设备接收到用户对目标AR控件的第二输入，从而电子设备可以响应于第二输入，控制智能空调开启，即电子设备控制目标家居设备执行与目标AR控件对应的目标控制操作。如此，由于无需用户对特定的应用程序输入即可触发电子设备控制智能空调，因此可以提高通过电子设备控制智能空调的灵活性和便捷性。

本发明实施例提供的家居设备的控制方法中，由于电子设备可以根据用户在拍摄预览界面上的输入的输入轨迹，生成并显示用于控制目标家居设备执行与目标AR控件对应的目标控制操作的目标AR控件，从而用户可以直接通过对目标AR控件的输入，触发电子设备控制目标家居设备执行目标控制操作，因此，无需用户通过安装在电子设备上的特定应用程序触发电子设备控制家居设备。如此，由于无需用户对特定的应用程序输入即可触发电子设备控制家居设备，因此可以提高通过电子设备控制家居设备的灵活性和便捷性。

进一步的，本发明实施例中，由于用户在电子设备的显示屏上看到的家居设备如同用户在真实场景中看到的家居设备一样，且用户通过对拍摄预览界面上的输入如同用户直接对环境中的家居设备操作一样，从而实现了用户所见即所得，用户所见即所控，因此可以在简化通过电子设备控制家居设备的过程的基础上，进一步提高通过电子设备控制家居设备的灵活性和便捷性，如此，可以提高人机交互性能。

可选的，本发明实施例中，当用户需求通过电子设备同时控制某一区域(例如目标区域)中的一个或多个家居设备执行某项操作时，用户可以先触发电子设备采集目标区域的预览图像，并在拍摄预览界面中显示该图像(通常为电子设备通过摄像头实时采集的目标区域的图像)，然后电子设备可以识别该拍摄预览界面中的预览图像，以识别出目标区域中的设备。

可选的，本发明实施例中，在电子设备识别出目标区域中的设备之后，电子设备可以在拍摄预览界面显示用于指示目标区域中的设备的标识(例如下述至少一个标识)。

示例性的，本发明实施例中，结合上述图2，如图6所示，在上述步骤201之前，本发明实施例提供的家居设备的控制方法还可以包括下述的步骤205和步骤206。

步骤205、电子设备对拍摄预览界面进行设备识别，识别出至少一个家居设备。

其中，上述至少一个家居设备可以包括上述目标家居设备。

需要说明的是，本发明实施例中，上述至少一个家居设备为目标区域中的家居设备，从而拍摄预览界面中包括该至少一个家居设备的图像，如此，电子设备可以对拍摄预览界面进行设备识别，识别出该至少一个家居设备。

下面分别以两种不同场景对电子设备对拍摄预览界面进行设备识别的方式进行示例性的说明。

第一种场景中：目标区域中的至少一个家居设备为不同的家居设备。这种情况下，数据库中可以预先保存该至少一个家居设备中的各个家居设备的图像，以下称为各个第一预设图像。电子设备可以将拍摄预览界面中，通过电子设备的摄像头采集到的预览图像与各个第一预设图像比对，以识别出预览图像中的至少一个家居设备的图像。

具体的，以电子设备将预览图像与一个第一预览图像比对为例，电子设备可以从预览图像中获取各个家居设备的第一目标特征信息，并将该第一目标特征信息与第一预设图像中的家居设备的特征信息(以下称为第一预设特征信息)比对，若第一目标特征信息符合(即两者相同，或者两者的匹配度大于第一预设阈值)第一预设特征信息，则电子设备可以确定拍摄预览界面中包括第一预览图像指示的家居设备的图像，从而电子设备可以识别出该家居设备。可以理解，本发明实施例中，电子设备识别出该家居设备之后，电子设备可以获取该第一预设图像对应的设备信息，且可以根据该设备信息与该设备信息指示的家居设备建立连接，并可以显示用于指示该家居设备的标识(为下述至少一个标识中的标识)。

第二种场景中，目标区域中的至少一个家居设备中包括相同(例如，同一个型号的灯)的家居设备。这种情况下，数据库中可以预先保存目标区域的三维图像。然后电子设备可以利用计算机视觉中的投影成像原理，将该三维图像映射在电子设备的显示屏上。具体的，电子设备可以将三维图像中的至少一个家居设备的三维坐标信息映射在电子设备的显示屏上，假设该三维坐标信息映射在电子设备的显示屏上的坐标信息为映射坐标信息，那么，电子设备可以将拍摄预览界面中的至少一个家居设备的图像在电子设备显示屏上的坐标信息(以下称为目标坐标信息)与映射坐标信息比对，若目标坐标信息符合(两者相同，或者两者的匹配度大于第二预设阈值)映射坐标信息，则电子设备可以确定拍摄预览界面中包括该映射坐标信息对应的家居设备的图像，从而电子设备可以识别出该家居设备。可以理解，本发明实施例中，电子设备识别出该家居设备之后，电子设备可以获取该第一预设图像对应的设备信息，且可以根据该设备信息与该设备信息指示的家居设备建立连接，并可以显示用于指示该家居设备的标识(为下述至少一个标识中的标识)。

可选的，本发明实施例中，上述数据库可以为电子设备中的数据库，也可以为服务器中的数据库，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述数据库中预先保存的至少一个家居设备的图像和目标区域的三维图像可以为用户手动触发导入(例如，可以在设置界面中触发导入)数据库中的，或者可以为用户通过电子设备的摄像头自动录入的，具体可以根据实际使用需求确定，本发明实施例不作限定。

可以理解，在电子设备识别出至少一个家居设备之后，电子设备可以在拍摄预览界面上显示用于指示该至少一个家居设备的至少一个标识。从而用户可以对该至少一个标识输入，触发电子设备确定目标家居设备。

步骤206、电子设备在拍摄预览界面上显示至少一个标识。

其中，上述至少一个标识中的每个标识可以用于指示拍摄预览界面中的一个家居设备。需要说明的是，每个标识具体可以用于指示拍摄预览界面中的家居设备图像对应的家居设备。

需要说明的是，上述至少一个标识中的每个标识指示的家居设备均为电子设备识别出的上述至少一个家居设备中的家居设备。

可选的，本发明实施例中，上述至少一个标识指示的家居设备中的每个家居设备可以为与电子设备建立连接的家居设备。即用户可以通过电子设备控制该至少一个标识指示的家居设备。

可选的，本发明实施例中，电子设备可以在拍摄预览界面的任意区域显示上述至少一个标识。例如，如图7中的(a)所示，电子设备可以在拍摄预览界面70中的至少一个家居设备的图像所在区域，显示2标识73(即至少一个标识)。或者，如图7中的(b)所示，电子设备可以在拍摄预览界面70中的至少一个家居设备的图像所在区域之外的其它区域显示2标识73(即少一个标识)。具体可以根据实际使用需求确定，本发明实施例不作限定。

需要说明的是，图7中的虚线框或虚线框及虚线框内的文字(例如图7中的(b)中所示的“智能空调”和“电视机”)仅用于对至少一个标识进行示例性说明，实际实现中，至少一个标识还可以为其他任意可能的标识。

本发明实施例中，由于电子设备可以通过识别拍摄预览界面，识别出至少一个家居设备，从而电子设备在识别成功之后，可以显示用于指示该至少一个家居设备的至少一个标识，以提示用户电子设备的图像采集范围内的哪些家居设备是可以通过电子设备操作的，因此可以提高用户通过电子设备操作家居设备的，提高人机交互性能。

可选的，本发明实施例中，电子设备在拍摄预览界面中显示上述至少一个标识之后，用户可以通过对该至少一个标识中的标识(例如下述目标标识)输入，触发电子设备确定目标家居设备。

示例性的，本发明实施例中，在上述步骤206之后，本发明实施例提供的家居设备的控制方法还可以包括下述的步骤207和步骤208。

步骤207、电子设备接收用户的第三输入。

可选的，本发明实施例中，上述第三输入可以为用户对上述至少一个标识中的第二标识的输入，第三输入可以用于取消至少一个标识中，除第二标识之外的标识(例如下述第一标识)的显示。第二标识指示的家居设备可以为上述目标家居设备。

可选的，本发明实施例中，上述第三输入可以为用户在电子设备的摄像头的采集范围内执行的手势输入，或者可以为用户在电子设备的显示屏上的触控手势输入，具体可以根据实际使用需求确定，本发明实施例不作限定。

对于第三输入的输入形式的描述，具体可以参见上述实施例中对第一输入的输入形式的相关描述，为了避免重复，此处不再赘述。

步骤208、电子设备响应于第三输入，取消第一标识的显示。

其中，上述第一标识为上述至少一个标识中除第二标识之外的标识，第二标识可以用于指示目标家居设备。

下面分别结合图7具体实例对上述步骤205-步骤208进行示例性说明。

示例性的，本发明实施例提供的家居设备的控制方法可以应用于用户通过在环境中的手势输入，触发电子设备确定目标家居设备的场景中。具体的，如图7中的(a)和如图7中的(b)所示，电子设备的拍摄预览界面70中包括智能空调的图像71和电视机的图像72，且拍摄预览界面70上显示2个标识73(即上述至少一个标识)，且该2个标识73分别用于指示智能空调和电视机；假设第三输入为用户在环境中的手势输入，那么如图7中的(a)所示，用户的手可以在环境中指向目标区域中的电视机(此时，电子设备的摄像头可以采集到用户的手势)，即电子设备接收到用户的第三输入；或者第三输入为用户在显示屏上的触控手势输入，那么如图7中的(b)所示，用户可以在用于指示电视机的标识73上点击，即电子设备接收到用户的第三输入；然后，电子设备响应于第三输入，如图7中的(c)所示，电子设备可以取消用于指示智能空调71的标识的显示，并保持用于指示电视机的72的标识73的显示，即电子设备取消第一标识的显示。如此，用户可以通过电子设备灵活确定用户需求操作的家居设备，从而可以提高通过电子设备控制家居设备的灵活性和便捷性。

可选的，本发明实施例中，上述第二标识指示的家居设备可以为目标区域中，用户需求通过电子设备控制的家居设备。上述第一标识指示的家居设备可以为目标区域中，用户无需通过电子设备控制的家居设备。

本发明实施例中，由于用户可以通过对第二标识的输入，触发电子设备取消第一标识的显示，即用户可以通过电子设备灵活确定用户需求操作的家居设备，从而可以提高通过电子设备控制家居设备的灵活性和便捷性。

可选的，本发明实施例中，假设电子设备对拍摄预览界面进行设备识别，且识别出至少一个家居设备，那么用户可以直接对拍摄预览界面中的家居设备的图像输入，以触发电子设备将与用户输入对应的居设备(例如下述M个家居设备)确定为目标家居设备。其中，N和M为正整数，且M小于N。

示例性的，本发明实施例中，在上述步骤201之前，本发明实施例提供的家居设备的控制方法还可以包括下述的步骤209和步骤210。

步骤209、电子设备接收用户对拍摄预览界面中的M个家居设备的第四输入。

步骤210、电子设备响应于第四输入，将M个家居设备确定为目标家居设备。

可选的，本发明实施例中，上述M个家居设备为电子设备识别出的家居设备。

可选的，本发明实施例中，上述第四输入可以为在环境中或在显示屏上执行的沿第二预设轨迹的手势输入。对于第四输入的输入形式的描述具体可以参见上述实施例中对第一输入的输入形式的相关描述，为了避免重复此处不再赘述。

可选的，本发明实施例中，电子设备可以将拍摄预览界面中，位于第四输入的输入轨迹内的M个家居设备确定为目标家居设备。其中，该M个家居设备中的每个家居设备的图像，可以全部位于第四输入的输入轨迹内，或者部分位于第四输入的输入轨迹内，具体可以根据实际使用需求确定，本发明实施例不作限定。

示例性的，本发明实施例提供的家居设备的控制方法可以应用于用户通过对拍摄预览界面中的多个家居设备输入，触发电子设备将该多个家居设备确定为目标家居设备的场景中。具体的，假设第二预设轨迹为一个圈，如图8中的(a)所示，那么若电子设备的拍摄预览界面80包括智能灯的图像81、电视机的图像82和智能空调的图像83，则用户可以在拍摄预览界80上画圈(即第二预设轨迹)，即电子设备接收用户对拍摄预览界面中的M个家居设备的第四输入，然后电子设备可以响应于第四输入，将智能灯和电视机确定为目标家居设备，即电子设备将M个家居设备确定为目标家居设备。如此，由于电子设备可以通过一个输入触发电子设备将智能灯和电视机确定为目标家居设备，因此可以提高电子设备确定智能灯和电视机的效率，提高人机交互性能。

需要说明的是，电子设备将智能灯和电视机确定为目标家居设备之后，如图8中的(b)所示，用户可以在拍摄预览界面80上画“√”(即上述第一输入)，触发电子设备显示“√”形状的AR控件，然后用户可以对该“√”形状的AR控件点击(即上述第二输入)，以触发电子设备控制智能灯和电视机开启。

本发明实施例中，由于用户可以通过在拍摄预览界面上的输入，触发电子设备将拍摄预览界面中的多个家居设备确定为目标家居设备，即用户可以通过一个输入触发电子设备将多个家居设备确定为目标家居设备，因此可以提高电子设备确定目标家居设备的效率，提高人机交互性能。

可选的，本发明实施例中，在电子设备显示目标AR控件之后，电子设备还可以获取目标设备当前所处环境的环境信息，并根据该环境信息更新目标AR控件对应的目标控制操作，从而当用户执行第二输入之后，电子设备可以控制目标设备执行更新后的目标控制操作。

示例性的，本发明实施例中，在上述步骤202之后，本发明实施例提供的家居设备的控制方法还可以包括下述的步骤211至213。

步骤211、电子设备获取第一输入的输入轨迹。

步骤212、电子设备在第一输入的输入轨迹为第一预设轨迹的情况下，获取目标环境信息。

步骤213、电子设备根据目标环境信息，更新目标AR控件对应的目标控制操作。

其中，上述目标环境信息可以用于指示目标家居设备当前所处环境的环境状态。

可选的，本发明实施例中，电子设备根据目标环境信息更新目标AR控件对应的目标控制操作可以理解为，电子设备进行场景绘画，以使家居设备的工作状态基于场景变化而变化。

示例性的，本发明实施例提供的家居设备的控制方法可以应用于用户需求电子设备基于环境状态控制目标家居设备的工作状态的场景中。例如，假设第一预设轨迹为床的图案，若用户画张床(即第一输入的输入轨迹为第一预设轨迹)，则表示用户需求睡觉，那么电子设备可以结合当前时间和当前亮度判断目标家居设备当前所处环境的环境状态，为用户调节最适合的睡眠情景。若当前时间为白天，则电子设备可以控制窗帘全部拉起，若当前时间为夜晚，则电子设备可以关闭所有发声的家居设备(例如电视机、智能音响等)。又例如，假设第一预设轨迹为月亮的图案，若用户画个月亮，则电子设备可以关闭目标家居设备中除灯和必须开启的家居设备(例如电冰箱)之外的其它家居设备。如此，可以提高通过电子设备控制目标家居设备的灵活性。

本发明实施例中，由于电子设备可以根据目标家居设备当前所处的环境的环境状态，更新目标AR控件对应的目标控制操作，因此当用户执行第二输入之后，电子设备可以控制目标设备执行更新后的目标控制操作。如此可以提高通过电子设备控制目标家居设备的灵活性。

可选的，本发明实施例中，在电子设备显示目标AR控件，即执行上述步骤202之后，在电子设备退出拍摄预览界面(例如，电子设备关闭相机应用程序，或在电子设备的后台运行相机应用程序)的情况下，电子设备可以在电子设备的显示屏上，保持显示目标AR控件。如此，用户可以在除拍摄预览界面之外的其它界面上对目标AR控件输入，触发电子设备控制目标家居设备执行与目标AR控件对应的目标控制操作。

本发明实施例中，由于电子设备可以在电子设备退出拍摄预览界面之后，可以保持目标AR控件的显示，使得用户可以直接对已生成的目标AR控件输入，以触发电子设备控制目标家居设备执行与该目标AR控件对应的目标控制操作，而无需再触发生成目标AR控件之后才能触发电子设备控制目标家居设备执行控制操作，因此可以进一步提高控制家居设备的操作便捷性和灵活性。

可选的，本发明实施例中，在电子设备显示目标AR控件，即执行上述步骤202之后，电子设备可以根据用户触发电子设备执行的上述目标控制操作，生成第一控件，并在电子设备的显示屏上显示该第一控件，从而用户可以通过对第一控件的输入，触发电子设备执行目标控制操作，如此，可以进一步提高控制家居设备的便捷性。

可以理解，由于一个目标控制操作可以对应一个第一控件，因此，当用户触发执行的目标控制操作为多个时，第一控件的数量也为多个，即电子设备的显示屏上可以显示多个第一控件。

可选的，本发明实施例中，每个第一控件中可以包括其对应的家居设备的名称和上述第一输入的输入轨迹对应的目标控制操作。例如，若第一控件用于触发电子设备控制智能空调将温度调节至25℃，则第一控件上可以显示：“智能空调：25℃”的文字。

示例性的，当电子设备的显示屏上显示的第一控件的数量可以为P个，P为正整数时，该M个第一控件可以为电子设备根据用户最近触发的P次目标控制操作生成的。例如，假设用户历史触发目标控制操作的次数为5次，且该5次目标控制操作按照时间的先后顺序依次为：开启电视机、关闭电视机、启动智能洗衣机、关闭智能灯和调节智能空调的温度为25℃，若电子设备的显示屏上显示的M个目标控制操作为根据用户最近3(即M＝3)次触发的目标控制操作生成的；那么，电子设备的显示屏上显示的3个第一控件分别为：用于触发启动智能洗衣机的控件、用于触发关闭智能灯的控件和用于触发调节智能空调的温度为25℃的控件。

可选的，本发明实施例中，电子设备可以通过下述的方式A和方式B在电子设备的显示屏上显示第一控件。

方式A：电子设备直接将一个或多个第一控件显示在电子设备的显示屏上。

方式B：电子设备可以以隐示的方式在电子设备的显示屏上显示一个或多个第一控件。具体的，电子设备可以将一个或多个第一控件显示在另一个控件(以下称为第二控件)中，并在电子设备的显示屏上显示第二控件。如此，用户可以通过对第二控件的输入，触发电子设备显示一个或多个第一控件。

示例性的，如图9中的(a)所示，电子设备可以在电子设备的桌面90上以预设透明度，悬浮显示第二控件91，从而用户可以在第二控件91上点击，以触发电子设备显示第一控件，然后如图9中的(b)所示，电子设备可以显示用于指示电视机开启的第一控件92和用于指示智能空调调节温度至25℃的第一控件93。

可选的，本发明实施例中，电子设备显示第一控件之后，第二控件可以保持显示或取消显示(图9中的(b)中是以保持显示第二控件91为例进行示意的)，具体可以根据实际使用需求确定，本发明实施例不作限定。

进一步地，在电子设备显示第一控件之后，当第二控件保持显示时，用户可以通过在第二控件上点击或在当前显示的界面的空白处点击，以取消第一控件的显示；第二控件取消显示时，用户可以在当前显示的界面的空白处点击，以取消第一控件的显示。

本发明实施例中，由于电子设备可以根据目标控制操作，生成并显示第一控件，因此用户可以在电子设备显示任意界面的情况下，通过对第一控件的输入，触发电子设备控制第一控件指示的家居设备执行与第一输入对应的目标控制操作。如此，可以进一步提高控制家居设备的操作便捷性。

可选的，本发明实施例中，在电子设备确定目标AR设备，即电子设备执行上述步骤208之后，或用户执行上述步骤210之后，电子设备还可以显示目标家居设备的功能菜单。如此，用户可以直接对目标家居设备的功能菜单输入，即可触发电子设备控制目标家居设备执行与用户输入对应的操作，如此，无需用户再触发生成目标AR控件。

可选的，本发明实施例中，上述功能菜单中可以包括该功能菜单对应的目标家居设备的信息，例如可以为目标家居设备的名称，以便于用户可以快速准确地区分各个目标家居设备的功能菜单。

例如，假设目标家居设备为智能压力锅和智能灯，那么，在电子设备确定目标家居设备之后，如图10所示，电子设备可以在拍摄预览界面94中的各个目标家居设备的图像上显示智能压力锅的功能菜单95和智能灯的功能菜单96。

可选的，本发明实施例中，上述目标家居设备的功能菜单中可以包括至少一个菜单项，该至少一个菜单项对应目标家居设备中的至少一个功能。例如，如图10所示，假设目标家居设备为智能灯95，则该智能灯的功能菜单中的菜单项“电源”可以对应该电视机的遥控器中的电源按键，即用户可以通过对该菜单项“电源”的输入，触发电子设备控制该智能灯开启或关闭。

可选的，本发明实施例中，上述功能菜单相当于目标家居设备的虚拟控制器，即用户可以通过对该虚拟控制器操作，以操作目标家居设备。

可选的，本发明实施例中，上述至少一个菜单项可以为目标家居设备的全部功能的菜单项；或者，上述至少一个菜单项可以为目标家居设备的部分功能的菜单项。具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，上述功能菜单可以为预先保存在数据库中的(例如电视机的功能菜单)，或者，可以为电子设备从预设图像中识别出的，具体可以根据实际使用需求确定，本发明实施例不作限定。

可选的，本发明实施例中，电子设备可以以AR形式显示上述功能菜单。

本发明实施例中，由于电子设备可以显示目标家居设备的功能菜单，因此用户无需再像手势输入的方式一样，需要用户记住相应目标控制操作的对应的手势，才可以触发电子设备准确控制目标家居设备，因此可以在准确控制家居设备的基础上，进一步简化操作控制过程。

为了更清楚地描述本发明实施例提供的家居设备的控制方法，下面给出对用户触发电子设备录入家居设备的设备信息的方式进行示例性的说明。

可选的，本发明实施例中，用户可以通过手动输入的方式实现设备信息的录入(第一种方式)，或者可以通过图像识别的方式实现设备信息的录入(第二种方式)。

第一种方式

本发明实施例中，用户可以在电子设备的设备管理界面，完成家居设备的设备信息的录入。

具体的，电子设备的拍摄预览界面中可以包括一设备管理界面的入口标识，用户可以通过该入口标识的输入，触发进入设备管理界面，如图11中的(a)所示，设备管理界面120可以包括AR控制的启动标识121，已录入设备的设备标识122、设备添加标识和全局手势标识中的至少一项。

其中，启动标识121可以用于触发开启或关闭电子设备控制家居设备的功能；已录入设备的设备标识122可以用于触发进入该设备的设备详情界面(如图11中的(b)所示的123)；设备添加标识可以用于录入家居设备；全局手势标识可以用于触发设置全局手势(全局手势可以对已录入的所有家居设备生效)。

可选的，本发明实施例中，如图11中的(b)所示，上述设备详情界面123中可以包括某一已录入的家居设备的虚拟控制器124(即功能菜单)标识和自定义命令标识。用户与点击该虚拟控制器标识，可以查看该虚拟控制器对应的家居设备的功能说明；用户可以通过自定义命令标识完成第一输入的输入轨迹与目标控制操作的录入(具体可以根据实际使用需求确定)。

第二种方式

本发明实施例中，用户可以触发电子设备采集用户需求录入的家居设备的图像，如此，电子设备可以对电子设备采集的设备图像与预设图像比对，在采集的设备图像符合预设图像的情况下，电子设备可以获取预设图像对应的设备信息，从而实现设备信息的自动录入。

需要说明的是，本发明实施例中，在上述第一种方式和第二种方式中，当电子设备获取一个设备的设备信息之后，电子设备可以与该设备信息指示的家居设备进行匹配，在电子设备与该家居设备匹配成功之后，电子设备可以在设备管理界面显示该家居设备的设备标识。如此，用户即可以通过电子设备控制该家居设备。

可选的，本发明实施例中，在电子设备成功录入一个家居设备之后，电子设备可以从数据库(服务器中的或者电子设备中的)中获取该家居设备的控制菜单；或者用户也可以自定义用户输入的输入轨迹与目标控制操作的对应关系，具体可以根据实际使用需求确定，本发明实施例不作限定。

需要说明的是，本发明实施例中，上述各个方法附图所示的家居设备的控制方法均是以结合本发明实施例中的一个附图为例示例性的说明的。具体实现时，上述各个方法附图所示的家居设备的控制方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。

如图12所示，本发明实施例提供一种电子设备，该电子设备可以包括：接收模块131、显示模块132和处理模块133。接收模块131，可以用于接收用户在拍摄预览界面上的第一输入；显示模块132，用于响应于接收模块131接收的第一输入，显示目标AR控件，目标AR控件可以为基于第一输入的输入轨迹生成的AR控件；接收模块131，还可以用于接收用户对显示模块132显示的目标AR控件的第二输入；处理模块133，可以用于响应于接收模块131接收的第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作；其中，该拍摄预览界面可以为采集的目标区域的图像，目标区域中可以包括目标家居设备。

本发明实施例中，由于电子设备可以根据用户在拍摄预览界面上输入的输入轨迹，生成并显示用于控制目标家居设备执行与目标AR控件对应的目标控制操作的目标AR控件，从而用户可以直接通过对目标AR控件的输入，触发电子设备控制目标家居设备执行目标控制操作，因此，无需用户通过安装在电子设备上的特定应用程序触发电子设备控制家居设备。如此，由于无需用户对特定的应用程序输入即可触发电子设备控制家居设备，因此可以提高通过电子设备控制家居设备的灵活性和便捷性。

可选的，本发明实施例中，上述电子设备还可以包括识别模块。上述接收模块131，还可以用于在接收模块131接收第一输入之前，对拍摄预览界面进行设备识别，识别出至少一个家居设备，该至少一个家居设备包括目标家居设备；显示模块，还可以用于在拍摄预览界面上显示至少一个标识，每个标识可以用于指示拍摄预览界面中的一个家居设备。

本发明实施例中，由于电子设备可以通过识别拍摄预览界面，识别出至少一个家居设备，从而电子设备在识别成功之后，可以显示用于指示该至少一个家居设备的至少一个标识，以提示用户电子设备的图像采集范围内的哪些家居设备是可以通过电子设备操作的，因此可以提高用户通过电子设备操作家居设备的，提高人机交互性能。

可选的，本发明实施例中，接收模块131，还可以用于在显示模块在拍摄预览界面上显示至少一个标识之后，接收用户的第三输入；显示模块，还可以用于响应于接收模块131接收的第三输入，取消第一标识的显示，第一标识可以为上述至少一个标识中除第二标识之外的标识，第二标识可以用于指示目标家居设备。

本发明实施例中，由于用户可以通过对第二标识的输入，触发电子设备取消第一标识的显示，即用户可以通过电子设备灵活确定用户需求操作的家居设备，从而可以提高通过电子设备控制家居设备的灵活性和便捷性。

可选的，本发明实施例中，上述电子设备还可以包括确定模块。拍摄预览界面中可以包括N个家居设备。上述接收模块131，还可以用于接收用户在拍摄预览界面上的第一输入之前，接收用户对拍摄预览界面中的M个家居设备的第四输入；确定模块，可以用于响应于接收模块131接收的第四输入，将该M个家居设备确定为目标家居设备。

本发明实施例中，由于用户可以通过在拍摄预览界面上的输入，触发电子设备将拍摄预览界面中的多个家居设备确定为目标家居设备，即用户可以通过一个输入触发电子设备将多个家居设备确定为目标家居设备，因此可以提高电子设备确定目标家居设备的效率，提高人机交互性能。

可选的，本发明实施例中，上述目标家居设备可以为电视，电子设备可以还可以包括获取模块和发送模块。发送模块，可以用于在接收模块131接收用户在拍摄预览界面上的第一输入之后，在获取第一输入的输入轨迹；发送模块，可以用于在第一输入的输入轨迹关联拍摄预览界面的情况下，向目标家居设备发送目标控制消息，目标控制消息可以用于指示目标家居设备显示第一信息；显示模块132，还可以用于在接收模块131接收第一输入之后，在第一输入的输入轨迹未关联拍摄预览界面的情况下，显示第二信息，第二信息可以包括至少一个备选操作选项。

本发明实施例中，一方面，由于电子设备可以在目标区域中的家居设备无法成功执行第一输入的输入轨迹对应的控制操作的情况下，显示该家居设备的至少一个备选操作选项，因此即使用户执行的第一输入不正确，用户还可以通过对至少一个备选操作选项的输入，触发电子设备控制目标区域中的家居设备；另一方面，由于电子设备可以在目标区域中的家居设备可以执行第一输入的输入轨迹对应的控制操作的情况下，直接控制家居设备执行该控制操作；如此，可以提高通过电子设备控制家居设备的灵活性。

可选的，本发明实施例中，上述电子设备还可以包括获取模块、更新模块和获取模块。获取模块，可以用于在显示模块显示目标AR控件之后，在第一输入的输入轨迹为第一预设轨迹的情况下，获取目标环境信息，目标环境信息可以用于指示目标家居设备当前所处环境的环境状态；更新模块，可以用于根据获取模块获取的目标环境信息，更新目标AR控件对应的目标控制操作。

本发明实施例中，由于电子设备可以根据目标家居设备当前所处的环境的环境状态，更新目标AR控件对应的目标控制操作，因此当用户执行第二输入之后，电子设备可以控制目标设备执行更新后的目标控制操作。如此可以提高通过电子设备控制目标家居设备的灵活性。

可选的，本发明实施例中，上述目标AR控件可以包括第一目标子AR控件和第二目标子AR控件；第一目标子AR控件可以为基于第一输入的输入轨迹生成的AR控件。上述显示模块可以包括显示子模块、确定子模块和生成子模块；显示子模块，可以用于显示显示第一目标子AR控件；确定子模块，可以用于在显示子模块显示第一目标子AR控件之后，确定第一目标子AR控件的控件类型；生成模块，可以基于确定子模块确定的第一目标子AR控件的控件类型，生成第二目标子AR控件；显示子模块，还可以用于将在第一目标子AR控件上显示生成子模块生成的第二目标子AR控件；其中，第二输入可以为对第二目标子AR控件的输入。

本发明实施例中，由于电子设备可以根据第一目标子AR控件的类型，自动生成与该第一目标子AR控件的控件类型对应的第二目标子AR控件，因此可以简化电子设备生成目标AR控件的过程，提高人机交互性能。

可选的，本发明实施例中，上述显示模块，还可以用于在显示目标AR控件之后，在已退出拍摄预览界面的情况下，在电子设备的显示屏上，保持显示目标AR控件。

本发明实施例中，由于电子设备可以在电子设备退出拍摄预览界面之后，可以保持目标AR控件的显示，使得用户可以直接对已生成的目标AR控件输入，以触发电子设备控制目标家居设备执行与该目标AR控件对应的目标控制操作，而无需再触发生成目标AR控件之后才能触发电子设备控制目标家居设备执行控制操作，因此可以进一步提高控制家居设备的操作便捷性和灵活性。

本发明实施例提供的电子设备130能够实现上述方法实施例所示的电子设备实现的各个过程，为避免重复，这里不再赘述。

本发明实施例提供一种电子设备，该电子设备可以接收用户在拍摄预览界面(包括目标家居设备)上的第一输入；且响应于第一输入，显示目标AR控件(为基于第一输入的输入轨迹生成的AR控件)；并接收用户对目标AR控件的第二输入；以及响应于第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作。通过该方案，由于电子设备可以根据用户在拍摄预览界面上输入的输入轨迹，生成并显示用于控制目标家居设备执行与目标AR控件对应的目标控制操作的目标AR控件，从而用户可以直接通过对目标AR控件的输入，触发电子设备控制目标家居设备执行目标控制操作，因此，无需用户通过安装在电子设备上的特定应用程序触发电子设备控制家居设备。如此，由于无需用户对特定的应用程序输入即可触发电子设备控制家居设备，因此可以提高通过电子设备控制家居设备的灵活性和便捷性。

进一步的，本发明实施例中，由于用户在电子设备的显示屏上看到的家居设备如同用户在真实场景中看到的家居设备一样，且用户通过对拍摄预览界面上的输入如同用户直接对环境中的家居设备操作一样，从而实现了用户所见即所得，用户所见即所控，因此可以在简化通过电子设备控制家居设备的过程的基础上，进一步提高通过电子设备控制家居设备的灵活性和便捷性，如此，可以提高人机交互性能。

图13为实现本发明各个实施例的一种电子设备的硬件结构示意图。如图13所示，该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以、电源111，以及图像捕获装置112等部件。本领域技术人员可以理解，图13中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、以及计步器等。

其中，用户输入单元107，用于接收用户在拍摄预览界面上的第一输入；显示单元106，用于响应于用户输入单元107接收的第一输入，显示目标AR控件，目标AR控件为基于第一输入的输入轨迹生成的AR控件；用户输入单元107，还用于接收用户对显示单元106显示的目标AR控件的第二输入；处理器110，用于响应于用户输入单元107接收的第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作；其中，拍摄预览界面包括目标家居设备。

可以理解，本发明实施例中，上述电子设备的结构示意图(例如图12)中的接收模块131，可以通过上述用户输入单元107实现。上述电子设备的结构示意图(例如图12)中的显示模块132可以通过上述显示单元106实现。上述电子设备的结构示意图(例如图12)中的处理模块133可以通过上述处理器110实现。

本发明实施例提供一种电子设备，该电子设备可以接收用户在拍摄预览界面(包括目标家居设备)上的第一输入；且响应于第一输入，显示目标AR控件(为基于第一输入的输入轨迹生成的AR控件)；并接收用户对目标AR控件的第二输入；以及响应于第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作。通过该方案，由于电子设备可以根据用户在拍摄预览界面上输入的输入轨迹，生成并显示用于控制目标家居设备执行与目标AR控件对应的目标控制操作的目标AR控件，从而用户可以直接通过对目标AR控件的输入，触发电子设备控制目标家居设备执行目标控制操作，因此，无需用户通过安装在电子设备上的特定应用程序触发电子设备控制家居设备。如此，由于无需用户对特定的应用程序输入即可触发电子设备控制家居设备，因此可以提高通过电子设备控制家居设备的灵活性和便捷性。

进一步的，本发明实施例中，由于用户在电子设备的显示屏上看到的家居设备如同用户在真实场景中看到的家居设备一样，且用户通过对拍摄预览界面上的输入如同用户直接对环境中的家居设备操作一样，从而实现了用户所见即所得，用户所见即所控，因此可以在简化通过电子设备控制家居设备的过程的基础上，进一步提高通过电子设备控制家居设备的灵活性和便捷性，如此，可以提高人机交互性能。

应理解的是，本发明实施例中，射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块102为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与电子设备100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。

输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(graphics processing unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。

电子设备100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在电子设备100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板1071可覆盖在显示面板1061上，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图13中，触控面板1071与显示面板1061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元108为外部装置与电子设备100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器110可包括一个或多个处理单元；可选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

电子设备100还可以包括给各个部件供电的电源111(比如电池)，可选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备100包括一些未示出的功能模块，在此不再赘述。

可选的，本发明实施例还提供一种电子设备，包括如图13所示的处理器110，存储器109，存储在存储器109上并可在处理器110上运行的计算机程序，该计算机程序被处理器110执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

可选的，本发明实施例中，上述实施例中的电子设备可以为AR设备。具体的，当上述实施例中的电子设备(例如上述如图13所示的电子设备)为AR设备时，该AR设备可以包括上述电子设备中的全部或部分功能模块。当然，该AR设备还可以包括上述电子设备中未包括的功能模块。

可以理解，本发明实施例中，当上述实施例中的电子设备为AR设备时，该电子设备可以为集成有AR技术的电子设备。其中，AR技术是指实现现实场景和虚拟场景结合的一种技术。采用AR技术可以复原人类的视觉功能，从而使得人类可以通过AR技术体验现实场景和虚拟场景结合的感觉，进而使得人类更好地体验身临其境的感受。

上述AR设备中可以包括摄像头，从而AR设备可以在摄像头拍摄的画面的基础上结合虚拟画面进行展示和互动。例如，本发明实施例中，AR设备可以接收用户在拍摄预览界面(包括目标家居设备)上的第一输入；且响应于第一输入，显示目标AR控件(为基于第一输入的输入轨迹生成的AR控件)；并接收用户对目标AR控件的第二输入；以及响应于第二输入，控制目标家居设备执行与目标AR控件对应的目标控制操作。通过该方案，由于AR设备可以根据用户在拍摄预览界面上输入的输入轨迹，生成并显示用于控制目标家居设备执行与目标AR控件对应的目标控制操作的AR控件，从而用户可以直接通过对目标AR控件的输入，触发电子设备控制目标家居设备执行目标控制操作，因此无需用户通过安装在AR设备上的特定应用程序触发AR设备控制家居设备。如此，由于无需用户对特定的应用程序输入即可触发AR设备控制家居设备，因此可以提高通过AR设备控制家居设备的灵活性和便捷性。

进一步的，本发明实施例中，由于用户在AR设备的显示屏上看到的家居设备如同用户在真实场景中看到的家居设备一样，且用户通过对拍摄预览界面上的输入如同用户直接对环境中的家居设备操作一样，从而实现了用户所见即所得，用户所见即所控，因此可以在简化通过AR设备控制家居设备的过程的基础上，进一步提高通过AR设备控制家居设备的灵活性和便捷性，如此，可以提高人机交互性能。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，该计算机可读存储介质可以包括只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (11)

1.一种家居设备的控制方法，应用于电子设备，其特征在于，所述方法包括：

接收用户在拍摄预览界面上的第一输入；

响应于所述第一输入，显示目标AR控件，所述目标AR控件为基于所述第一输入的输入轨迹生成的AR控件；

接收用户对所述目标AR控件的第二输入；

响应于所述第二输入，控制目标家居设备执行与所述目标AR控件对应的目标控制操作；

其中，所述拍摄预览界面包括所述目标家居设备。

2.根据权利要求1所述的方法，其特征在于，在接收用户在拍摄预览界面上的第一输入之前，所述方法还包括：

对所述拍摄预览界面进行设备识别，识别出至少一个家居设备，所述至少一个家居设备包括所述目标家居设备；

在所述拍摄预览界面上显示至少一个标识，每个标识用于指示所述拍摄预览界面中的一个家居设备。

3.根据权利要求2所述的方法，其特征在于，所述在所述拍摄预览界面上显示至少一个标识之后，所述方法还包括：

接收用户的第三输入；

响应于所述第三输入，取消第一标识的显示，所述第一标识为所述至少一个标识中除第二标识之外的标识，所述第二标识用于指示所述目标家居设备。

4.根据权利要求1所述的方法，其特征在于，所述拍摄预览界面中包括N个家居设备；

所述接收用户在拍摄预览界面上的第一输入之前，所述方法还包括：

接收用户对所述拍摄预览界面中的M个家居设备的第四输入；

响应于所述第四输入，将所述M个家居设备确定为所述目标家居设备。

5.根据权利要求1所述的方法，其特征在于，所述目标家居设备为电视机，所述接收用户在拍摄预览界面上的第一输入之后，所述方法还包括：

获取所述第一输入的输入轨迹；

在所述第一输入的输入轨迹关联所述拍摄预览界面的情况下，向所述目标家居设备发送目标控制消息，所述目标控制消息用于指示所述目标家居设备显示第一信息；

在所述第一输入的输入轨迹未关联所述拍摄预览界面的情况下，显示第二信息，所述第二信息包括至少一个备选操作选项。

6.根据权利要求1所述的方法，其特征在于，所述显示所述目标AR控件之后，所述方法还包括：

在所述第一输入的输入轨迹为第一预设轨迹的情况下，获取目标环境信息，所述目标环境信息用于指示所述目标家居设备当前所处环境的环境状态；

根据所述目标环境信息，更新所述目标AR控件对应的所述目标控制操作。

7.根据权利要求1所述的方法，其特征在于，所述目标AR控件包括第一目标子AR控件和第二目标子AR控件；所述第一目标子AR控件为基于所述第一输入的输入轨迹生成的AR控件；

所述显示目标AR控件包括：

显示所述第一目标子AR控件；

确定所述第一目标子AR控件的控件类型；

基于所述第一目标子AR控件的控件类型，生成第二目标子AR控件，并在所述第一目标子AR控件上显示所述第二目标子AR控件；

其中，所述第二输入为对所述第二目标子AR控件的输入。

8.根据权利要求1所述的方法，其特征在于，所述响应于所述第一输入，显示目标AR控件之后，所述方法还包括：

在已退出拍摄预览界面的情况下，在所述电子设备的显示屏上，保持显示所述目标AR控件。

9.一种电子设备，其特征在于，所述电子设备包括：接收模块、显示模块和处理模块；

所述接收模块，用于接收用户在拍摄预览界面上的第一输入；

所述显示模块，用于响应于所述接收模块接收的所述第一输入，显示目标AR控件，所述目标AR控件基于所述第一输入的输入轨迹生成；

所述接收模块，还用于接收用户对所述目标AR控件的第二输入；

所述处理模块，用于响应于所述接收模块接收的所述第二输入，控制目标家居设备执行与所述目标AR控件对应的目标控制操作；

其中，所述拍摄预览界面包括所述目标家居设备。

10.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的家居设备的控制方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的家居设备的控制方法的步骤。

Images