[go: up one dir, main page]

CN111163906B - 能够移动的电子设备及其操作方法 - Google Patents

能够移动的电子设备及其操作方法 Download PDF

Info

Publication number
CN111163906B
CN111163906B CN201880062061.7A CN201880062061A CN111163906B CN 111163906 B CN111163906 B CN 111163906B CN 201880062061 A CN201880062061 A CN 201880062061A CN 111163906 B CN111163906 B CN 111163906B
Authority
CN
China
Prior art keywords
electronic device
user
task
confirm
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880062061.7A
Other languages
English (en)
Other versions
CN111163906A (zh
Inventor
金振元
鞠中甲
韩承泛
张栋植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111163906A publication Critical patent/CN111163906A/zh
Application granted granted Critical
Publication of CN111163906B publication Critical patent/CN111163906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40233Portable robot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40298Manipulator on vehicle, wheels, mobile
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40411Robot assists human in non-industrial environment like home or office
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40414Man robot interface, exchange of information between operator and robot
    • G06Q10/40

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

提供了一种电子设备。该电子设备包括至少一个处理器和存储器。该存储器存储有指令,该指令在被执行时使至少一个处理器确认与由该电子设备的输入设备获取的任务执行指令相对应的任务;确认与该任务相对应的用户信息,基于该任务和该用户信息,参考与所确认的用户信息相对应的用户的位置,确认该电子设备执行该任务的目标地点,以及控制该电子设备的驱动电路将该电子设备移动到所确认的目标地点。

Description

能够移动的电子设备及其操作方法
技术领域
本公开总体上涉及一种电子设备,并且更具体地涉及一种能够移动的电子设备及其操作方法。
背景技术
已经积极地引入了能够移动的各种电子设备(例如,机器人)。电子设备包括各种移动部件(例如,滑轮、两条腿、用于飞行的螺旋桨等),使得电子设备可以从一个地点移动到另一个地点。当检测到特定事件的发生时,电子设备可以移动到与检测到的事件相对应的地点。例如,当接收到要传递给特定用户的消息时,电子设备可以在特定用户附近移动并且将消息的内容视觉地或听觉地提供给特定用户。
发明内容
技术问题
当向用户提供特定服务时,他们对电子设备提供特定服务的位置可能有彼此不同的偏好。例如,当电子设备提供拍摄服务时,第一用户可能更喜欢从左侧拍摄照片,而第二用户可能更喜欢从右侧拍摄照片。当执行任务时,现有的电子设备不考虑用户的偏好位置。因此,用户对任务执行结果的满意度较低。另外,可能需要一种基于用户的状态(例如,用户是否正在观看特定地点)来确定任务执行位置或移动路线的电子设备。
问题的解决方案
当已经进行了本公开以至少解决上述缺点,并且至少提供以下优点。
本公开的各方面提供了一种电子设备及其操作方法,该电子设备基于用户确认结果和用户的状态中的至少一个来确定用于执行任务的位置和移动路线中的至少一个。
根据本公开的一方面,提供了一种电子设备。该电子设备包括至少一个处理器和存储器。该指令在被执行时使所述至少一个处理器:确认与由该电子设备的输入设备获取的任务执行指令相对应的任务;确认与所述任务相对应的用户信息;基于所述任务和所述用户信息,参考与所确认的用户信息相对应的用户的位置,确认该电子设备执行所述任务的目标地点,以及控制该电子设备的驱动电路将该电子设备移动到所确认的目标地点。
根据本公开的一方面,提供了一种电子设备。该电子设备包括至少一个处理器和存储器。所述存储器存储有指令,所述指令在被执行时使所述至少一个处理器:确认与由该电子设备的输入设备获取的任务执行指令相对应的任务;基于所述任务和所述用户的状态,参考所述用户的位置,确认该电子设备执行所述任务的目标地点;以及将该电子设备移动到所确认的目标地点。
根据本公开的一方面,提供了一种电子设备。该电子设备包括至少一个处理器和存储器。所述存储器存储有指令,所述指令在被执行时使所述至少一个处理器:确认与由该电子设备的输入设备获取的任务执行指令相对应的任务;确认与所述任务相对应的用户信息;当将所述用户信息确认为第一用户时,将该电子设备的目标地点确认为第一位置,或者当将所述用户信息确认为与所述第一用户不同的第二用户时,将该电子设备的目标地点确认为与所述第一位置不同的第二位置;控制该电子设备的驱动电路来将该电子设备移动到所确认的目标地点;以及在所述目标地点执行所述任务。
根据本公开的一方面,提供了一种电子设备。该电子设备包括至少一个处理器和存储器。所述存储器存储有指令,所述指令在被执行时使所述至少一个处理器:确认与由该电子设备的输入设备获取的任务执行指令相对应的任务;确认与所述任务相对应的用户信息;当所述用户被确认为处于第一位置的第一状态时将该电子设备的目标地点确认为第二位置或当所述用户被确认为处于第一状态的第二状态时将该电子设备的目标地点确认为与所述第二位置不同的第三位置;控制该电子设备的驱动电路来将该电子设备移动到所确认的目标地点;以及在所述目标地点执行所述任务。
根据本公开的一方面,提供了一种操作电子设备的方法。所述方法包括:确认与获取到的任务执行指令相对应的任务;确认与所述任务相对应的用户信息;参考与所确认的用户信息相对应的用户的位置,至少基于所述任务和所述用户信息,确认该电子设备执行所述任务的目标地点,以及移动到所确认的目标地点。
根据本公开的一方面,提供了一种操作电子设备的方法。所述方法包括:确认与获取到的任务执行指令相对应的任务;确认与所述任务相对应的用户的状态;参考所述用户的位置,至少基于所述任务和所述用户的状态,确认该电子设备执行所述任务的目标地点。
根据本公开的一方面,提供了一种操作电子设备的方法。所述方法包括:确认与获取到的任务执行指令相对应的任务;确认与所述任务相对应的用户信息;当所述用户信息被确认为第一用户时,将该电子设备的目标地点确认为第一位置或响应于所述用户信息被确认为包括与所述第一用户不同的第二用户时,将该电子设备的目标地点确认为与所述第一位置不同的第二位置,以及在所述目标地点执行所述任务。
根据本公开的一方面,提供了一种操作电子设备的方法。所述方法包括:确认与获取到的任务执行指令相对应的任务;确认与所述任务相对应的用户的状态;响应于所述用户被确认为处于第一位置的第一状态而将该电子设备的目标地点确认为第二位置或响应于所述用户被确认为处于第一位置的第二状态而将该电子设备的目标地点确认为与所述第二位置不同的第三位置;移动到所确认的目标地点;以及运行所述任务。
附图说明
从以下结合附图的详细描述中,本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显,其中:
图1A是根据实施例的电子设备的框图;
图1B是根据实施例的电子设备的图;
图1C是根据实施例的电子设备的旋转装置的图;
图1D是根据实施例的多个麦克风的布置的图;
图2是根据实施例的电子设备的操作的流程图;
图3A和图3B是根据实施例的电子设备的移动的图;
图3C和图3D是根据实施例的用于任务执行的电子设备的旋转的图;
图4A是根据实施例的电子设备的操作的流程图;
图4B是根据实施例的电子设备的操作的流程图;
图5A是根据实施例的在至少一个任务执行条件下的任务执行的图;
图5B是根据实施例的任务执行结果的数据库的图;
图5C是根据实施例的用户进行的任务的任务执行条件的图;
图6是根据实施例的电子设备的操作的流程图;
图7是根据实施例的电子设备在室内环境中的移动的图;
图8A是根据实施例的电子设备的操作的流程图;
图8B是根据实施例的电子设备的操作的流程图;
图9A和图9B是根据实施例的电子设备的操作的流程图;
图10A和图10B是根据实施例的用于多个用户执行任务的电子设备的移动的图;
图10C是根据实施例的电子设备的旋转或拍摄方向改变的图;
图11是根据实施例的电子设备的操作的流程图;
图12是根据实施例的电子设备的移动的图;
图13是根据实施例的电子设备的操作的流程图;
图14A是根据实施例的电子设备的操作的流程图;
图14B是根据实施例的电子设备的操作的流程图;
图15A和图15B是根据实施例的电子设备的依据用户状态的移动过程的图;
图16A是根据实施例的电子设备的操作的流程图;
图16B是根据实施例的电子设备的移动路线的图;
图17是根据实施例的电子设备的操作的流程图;
图18是根据实施例的电子设备的操作的流程图;
图19A、图19B和图19C是根据实施例的电子设备的移动的图;
图20是根据实施例的用于执行用户认证的电子设备的操作的流程图;以及
图21A和图21B是根据实施例的通过动作进行认证的过程的图。
具体实施方式
在下文中将参考附图描述本公开的实施例。然而,本公开的实施例不限于特定实施例,并且应被解释为包括本公开的所有修改、改变、等效设备和方法和/或替代实施例。在附图的描述中,相似的附图标记用于相似的元件。
如本文所使用的术语“具有”、“可以具有”、“包括”和“可以包括”表示存在相应的特征(例如,诸如数值、功能、操作或部件之类的元件),并且不排除其他功能的存在。
如本文所使用的术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”包括与它们列举的项的所有可能的组合。例如,“A或B”、“A和B中的至少一个”或“A或B中的至少一个”指的是:(1)包括至少一个A;(2)包括至少一个B;或(3)包括至少一个A和至少一个B。
这里使用的诸如“第一”和“第二”之类的术语可以使用相应的组件而与重要性或顺序无关,并且用于在不限制组件的情况下将一个组件与另一个组件区分开。这些术语可以用于将一个元件与另一个元件区分开的目的。例如,第一用户设备和第二用户设备指示的是不同的用户设备,而与顺序或重要性无关。例如,在不脱离本公开的范围的情况下,第一元件可以被称为第二元件,并且类似地,第二元件也可以被称为第一元件。
将理解的是,当元件(例如,第一元件)与另一元件(例如,第二元件)“(可操作地或通信地)联接”或“联接到”另一元件(例如,第二元件)时,该元件可以是直接与另一元件联接/联接到另一元件,并且在该元件与另一元件之间可以存在中间元件(例如,第三元件)。相反,将理解的是,当元件(例如,第一元件)与另一元件(例如,第二元件)“直接联接/联接到”或“直接连接到”另一元件(例如,第二元件)时,在该元件与另一元件之间可以存在中间元件(例如,第三元件)。
根据上下文,如本文所使用的表达“被配置为(或设置为)”可以与“适合于”、“具有…的能力”、“被设计为”、“适于”、“用作”或“能够”互换使用。术语“被配置为(设置为)”不一定意味着在硬件级别上“专门设计为”。相反,表述“被配置为…的装置”可能意味着该装置在特定上下文中与其他设备或部件一起“能够…”。例如,“被配置为(设置为)执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器(例如,嵌入式处理器),或者能够通过执行存储在存储设备中的一个或更多个软件程序来执行相应操作的通用处理器(例如,中央处理单元(CPU)或应用处理器(AP))。
在描述本公开的各种实施例中使用的术语是出于描述特定实施例的目的,并且不旨在限制本公开。如本文所使用的,单数形式也意图包括复数形式,除非上下文另外明确指出。除非另外定义,否则本文中使用的所有术语,包括技术术语或科学术语,均具有与相关领域普通技术人员通常理解的含义相同的含义。在通用字典中定义的术语应解释为具有与相关技术的上下文含义相同或相似的含义,并且除非在本文中明确指出,否则不应解释为具有理想或夸大的含义。根据情况,即使在本公开中定义的术语也不应被解释为排除本公开的实施例。
如本文所使用的术语“模块”可以例如是指包括硬件、软件和固件之一或它们中的两个或更多个的组合的单元。“模块”可以与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成组成元件或其一部分的最小单元。“模块”可以是用于执行一个或更多个功能或其一部分的最小单元。“模块”可以以机械或电子方式实现。例如,根据本公开的“模块”可以包括已知的或将在下文开发的用于执行已经完成的操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)以及可编程逻辑器件中的至少一个。
根据本公开的电子设备可以包括以下项中的至少一个:例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、笔记本电脑、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频第3层(MP3)播放器、移动医疗设备、相机、以及可穿戴设备。可穿戴设备可以包括配饰类型(例如,手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或服装一体型(例如,电子服装)、身体安装型(例如,皮肤垫或纹身)以及生物可植入型(例如,可植入电路)中的至少一种。
电子设备可以是家用电器。家用电器可以包括例如电视、数字视频盘(DVD)播放器、音频、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如Samsung HomeSyncTM、Apple电视TM或Google电视TM)、游戏机(例如XboxTM和PlayStationTM)、电子词典、电子钥匙、便携式摄像机和电子相框中的至少一种。
电子设备可以包括以下项中的至少一个:各种医疗设备(例如,各种便携式医疗测量设备(血糖监测设备、心率监测设备、血压监测设备、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)机器和超声波机器)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、用于船舶的电子设备(例如,用于船舶的导航设备和陀螺罗盘)、航空电子设备、安全设备、汽车音响本体、家用或工业用机器人、银行中的自动柜员机(ATM)、商店中的销售点(POS)设备或物联网(IoT)设备(例如,灯泡、各种传感器、电表或煤气表、洒水器设备、火警、恒温器、路灯、烤面包机、体育用品、热水箱、加热器、锅炉等)。
电子设备可以包括家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如,水表、电表、煤气表和无线电波表)。该电子设备可以是前述各种设备中的一个或更多个的组合。电子设备也可以是柔性设备。此外,电子设备不限于上述设备,并且可以包括根据新技术的发展的电子设备。
在下文中,将参考附图描述电子设备。在本公开中,术语“用户”表示使用电子设备的人或使用电子设备的设备(例如,人工智能电子设备)。
图1A是根据实施例的电子设备的图。
参照图1A,电子设备101可以包括处理器120、存储器130、驱动电路160、输出设备170、传感器模块176、相机模块180和通信模块190。
处理器120可以驱动软件以控制电子设备101的连接到处理器120的至少一个不同的元件(例如,硬件或软件元件),并进行各种数据处理和计算。处理器120可以将从不同元件(例如,传感器模块176或通信模块190)接收的指令或数据加载到易失性存储器(例如,RAM)中,处理指令或数据,并将结果数据存储在非易失性存储器(例如,NAND)中。处理器120可以包括主处理器(例如,CPU或AP)以及附加地或通常地,辅助处理器(例如,图形处理单元、图像信号处理器、传感器集线器处理器或通信处理器(CP)),其独立于主处理器而工作,并且比主处理器消耗更低的功率或者专用于指定功能。辅助处理器可以与主处理器分开运行,也可以嵌入到主处理器中。电子设备101中可以包含能够进行计算的多个芯片或电路。
辅助处理器可以控制与电子设备101的至少一个元件相关的功能的至少一部分或状态,以在主进程的非活动状态(例如,睡眠状态)期间替代主处理器或在主进程的活动状态(例如,用于执行应用的状态)期间与主处理器一起运行。辅助处理器(例如,图像信号处理器或通信处理器)可以被实现为功能上相关的不同元件的一部分。存储器130可以存储由电子设备101的至少一个元件使用的各种数据,例如用于软件的输入或输出数据或与其相关的指令。存储器130可以包括易失性存储器或非易失性存储器。存储器130可以存储关于与各种任务相对应的任务执行条件的信息。电子设备101可以存储具有与用户确认信息相对应的任务执行条件的信息。存储器130可以存储能够确认用户和已经获取到的至少一个用户确认信息的算法或程序。处理器120可以通过将用于进行确认的算法或程序应用于来自传感器模块176或相机180中的至少一个的数据来确认用户。处理器120可以依据与用户确认信息相对应的任务执行条件进行操作。电子设备101可以存储具有与用户状态相对应的任务执行条件的信息。存储器130可以存储能够确认用户状态和已经获取到的至少一个用户状态的算法或程序。处理器120可以通过将用于确认的算法或程序应用于来自传感器模块176或相机180中的至少一个的数据来确认用户状态。处理器120可以依据与用户状态相对应的任务执行条件进行操作。用户确认信息与任务执行条件之间的相关性信息可以是基于根据至少与相对应的用户确认信息有关的各种任务执行条件的任务执行结果以及基于与该结果相对应的反馈信息而生成的。用户确认信息和任务执行条件之间的相关性信息可以是通过诸如数据库集群之类的处理而生成的,并且可以根据各种学习算法的应用结果而产生或更新。用户确认信息和任务执行条件之间的相关性信息可以通过处理现有执行结果和反馈信息的数据库而生成。下面,将给出相关性信息的生成过程的详细描述。存储器130可以在其中存储用于各种运动的程序,该程序包括以下将描述的用于移动或旋转的程序、用于图像分析的程序、用于识别用户姿势的程序等。用于操作电子设备101的程序的至少一部分可以被存储在外部设备(例如,服务器)中。电子设备101可以将查询发送到外部设备,然后外部设备可以使用查询中包含的数据来生成响应,并且可以将该响应发送到电子设备101。
驱动电路160可以允许电子设备101的至少一部分移动。驱动电路160可以允许电子设备101从第一位置移动到第二位置。电子设备101可以进一步包括滑轮,驱动电路160可以包括连接到滑轮的电机或致动器。处理器120可以控制驱动控制电路160旋转或制动滑轮,以使电子设备101从第一位置移动到第二位置。驱动电路160可以被控制为在从第一位置开始时以第一角速度旋转滑轮,并且在电子设备接近第二位置时降低滑轮的角速度。当检测到电子设备101到达第二位置时,可以控制驱动电路160以使滑轮停止。电子设备101可以包括多个支脚,并且驱动电路160可以连接到多个支脚的每一个支脚,并且可以包括能够控制多个支脚的运动的电机或致动器。电子设备101可以包用于飞行的括至少一个螺旋桨,并且驱动电路160可以包括用于使至少一个螺旋桨旋转的电机或致动器。
输出单元170可以包括各种设备,诸如显示设备、声音输出设备、振动输出设备等。显示设备是用于在视觉上为电子设备101的用户提供信息的设备,并且可以包括显示器、全息图设备或投影仪以及用于控制相应设备的控制电路。该显示设备可以包括能够感测用户的触摸输入的触摸电路,或者能够测量由用户的触摸施加的压力的强度的压力传感器。电子设备101可以在显示设备上呈现应用执行屏幕、弹出窗口、指示器和用于用户交互的各种用户界面(UI),或者可以调整显示器的亮度,但是对呈现在显示设备上的图形对象没有限制。声音输出设备是用于向电子设备101的外部输出声音信号的设备,并且可以包括诸如多媒体播放器或记录播放器之类的通用扬声器,以及电话接收专用的接收器。接收器可以与扬声器一体形成或与扬声器分开形成。电子设备101可以使用各种文本语音转换(TTS)程序输出用于与用户交互的语音。电子设备101可以响应于来自用户的任务执行指令来输出提示音。电子设备101可以响应于任务执行指令来调整语音输出的音量或节奏。振动输出设备可以将电信号转换成用户可以通过触摸的感觉或其移动来识别的机械刺激(例如,振动或移动)或电刺激。振动输出设备可以包括电机、压电元件或电刺激器。
传感器模块176可以生成与内部操作状态(例如,功率或温度)或外部环境状态相对应的电信号或数据值。传感器模块176可以包括姿势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物传感器、温度传感器、湿度传感器、超声波传感器或照度传感器。处理器120可以根据通过传感器模块176接收到的各种信息来执行用户确认、用户姿势识别、障碍物检测等。
相机模块180可以拍摄静止图片或运动图片。相机模块180可以包括至少一个镜头、图像传感器、图像信号处理器或闪光灯。相机模块180可以包括三维相机,其可以被实现为立体相机。处理器120可以分析通过相机获取的图像,以确认各种信息,其包括用户位置信息、多个用户之间的相对位置、位于外部环境中的实体的位置、用户确认信息、用户状态、与用户反馈有关的信息等。
通信模块190可以支持在电子设备101与外部电子设备(例如,不同的电子设备或服务器)之间建立有线或无线通信信道,并且通过所建立的通信信道进行通信。通信模块190可以包括独立于处理器120(例如,AP)操作并支持有线或无线通信的至少一个通信处理器。通信模块190可以包括无线通信模块(例如,蜂窝通信模块,近场通信模块或有线通信模块(例如,局域网(LAN)通信模块或电力线通信模块))并且使用相应的通信模块,以经由第一网络(例如,蓝牙、WiFi直连或红外数据协会(IrDA)等近场通信网络)或第二网络(例如,蜂窝网络、因特网或计算机网络(例如,LAN或广域网(WAN))等电信网络)与外部电子设备进行通信。上述各种通信模块190可以在单个芯片中或在各个芯片中实现。无线通信模块可以利用存储在转录确认模块中的用户信息来确认和认证通信网络内的电子设备。
一些元件可以通过外围设备(例如,总线、通用输入/输出(GPIO)、串行外围接口(SPI)或移动工业处理器接口(MIPI))之间的通信模式相互连接以相互交换信号(例如指令或数据)。
可以经由连接到第二网络的服务器在电子设备101与外部电子设备之间传送指令或数据。在电子设备101中执行的部分或全部操作可以在不同的一个或多个外部电子设备中执行。当需要自动地或者响应于请求而执行功能或服务时,电子设备101可以自行执行该功能或服务,或者可以可选地要求外部电子设备执行与之相关联的功能的至少一部分。接收到请求的外部电子设备可以执行所请求的功能或附加功能,并且可以将结果通知给电子设备101。电子设备101可以按原样处理接收到的结果,或者附加地提供所请求的功能或服务。可以使用云计算、分布式计算或客户端服务器计算技术。
图1B是根据实施例的电子设备的图。
参照图1B,电子设备101可以是能够随着滑轮的旋转而移动的机器人的形式。电子设备101可以包括第一壳体102和第二壳体103。第一壳体102可以具有与机器人头部相对应的形状,第二壳体103可以具有与机器人身体相对应的形状,但是对壳体102和103的形状没有限制。相机模块180可以位于第一壳体102中,并且可以为了接收用于生成图像的光而通过第一壳体102的至少一部分暴露。电子设备101可以包括可以构成立体相机的多个相机180。电子设备101可以确认所拍摄的图像上的对象的深度信息和对象的3D位置信息。麦克风150可以位于第一壳体102中并且可以通过第一壳体102的至少一部分暴露。电子设备101可以包括多个麦克风150,并且可以检测当多个麦克风150中的每一个麦克风都接收语音时的时间点的差异。基于检测到的时间差,电子设备101可以确认关于生成语音的地点的信息。扬声器172可以位于第二壳体103中,并且可以通过第二壳体103的至少一部分暴露。电子设备101可以包括多个扬声器172。显示器171可以位于第二壳体103中并且可以通过第二壳体103的至少不同部分暴露。电子设备101可以通过显示器171向用户呈现各种视觉项目。距离传感器177可以位于第二壳体103内部或上方。距离传感器177可以包括能够确认相对于电子设备101障碍物是否位于特定方向上的接近传感器。接近传感器可以被实现为光传感器,并且电子设备101可以依据入射在光传感器上的光的强度来确认障碍物是否存在。距离传感器177可以包括具有超声波生成电路和超声波接收电路的传感器。距离传感器177可以生成超声波并且接收从障碍物反射的反射波。电子设备101可以分析反射波的特性并基于分析结果来确认障碍物的位置。距离传感器177可以包括诸如激光或紫外线辐射的光源以及光传感器。距离传感器177可以生成激光或紫外线辐射,并通过使用光传感器来接收由障碍物反射的光。电子设备101可以通过使用光的飞行时间(TOF)来确认距障碍物的距离。除了前述内容之外,电子设备101还可以包括各种距离传感器,并且本领域技术人员应当容易理解,对距离传感器的类型没有限制。电子设备101可以通过距离传感器177检测在其前方的障碍物,并且可以沿着除预定路线之外的障碍物附近的迂回路线绕行,以避免在移动期间与障碍物碰撞。第二壳体103可以连接至第一臂104的一端和第二臂106的一端。第一臂104可以在其另一端连接至第一手105,并且第二臂106可以在其另一端连接至第二手107。旋转装置164(例如,电机或致动器)可以位于第二臂106与第二手107之间,并且第二手107可以随着旋转装置164的旋转而旋转。旋转装置可以包括在第一臂104和第一手105之间。第一手105或第二手107可以包括至少一个手指。电子设备101可以包括用于折叠或展开每个手指旋转装置。电子设备101可以包括用于允许第一壳体102相对于电子设备101的第二壳体103旋转的至少一个旋转装置,并且本领域技术人员应当理解,对电子设备101的动作以及与该动作相对应的旋转装置的类型和位置没有限制。
图1C是根据实施例的电子设备的旋转装置的图。
参照图1C,电机161可以位于第一壳体102内,并且第一壳体102可以随着电机161的旋转而旋转。如图1C所描述的,第一壳体102可以包括如图1B中所提到的至少一个相机模块180,并且电子设备101可以依据电机161的旋转来改变拍摄的方向。为了改变拍摄的方向,电子设备101可以响应于拍摄的方向的改变的程度而控制电机161的旋转角度或数量,由此,相机模块180可以面对期望的拍摄方向。电机161的数量可以是多个。第一壳体102可以依据多个电机的旋转而沿左右方向或上下方向旋转。当在第一壳体102中包括三个电机时,电子设备101可以在翻滚、俯仰和偏航三个方向上旋转第一壳体102。对电机的数量没有限制。在第二壳体103中,可以包括多个电机162、163和165。电子设备101可以旋转电机162以传导第二壳体103的动作。电子设备101可以旋转电机163和165以分别传导第一臂104和第二臂106的动作。电子设备101可以旋转电机164以传导手的动作。电子设备101可以旋转电机166以传导滑轮108和109的旋转。同时,第二壳体103可以在其中包括处理器120和存储器130。尽管如图1C所示,处理器120和存储器130被示出为包括在第二壳体103中,但是处理器120和存储器130也可以根据设计被包括在第一壳体102中。
图1D是根据实施例的多个麦克风的布置的图。
参照图1D,麦克风151、152、153和154可以位于第一外壳102的多个位置。第一位置115可以是距麦克风151第一距离116,距麦克风152第二距离117,距麦克风153第三距离118,距麦克风154第四距离119。由于距离彼此不同,所以麦克风151、152、153和154可以分别在不同的时间点接收到在第一位置115处生成的语音。电子设备101可以使用麦克风151、152、153和154接收到语音的时间点(例如,t1、t2、t3和t4)来确定语音生成位置(例如,第一位置115)相对于该电子设备101的相对方向。电子设备101可以通过使用时间差信息t1-t2、t1-t3、t1-t4、t2-t3、t2-t4和t3-t4来确定语音生成位置的相对方向。电子设备101可以通过使用存储在存储器中的用于确定方向的程序或算法来确定已经生成语音的位置的相对方向。或者,电子设备101可以通过使用存储在存储器130中的查找表并考虑麦克风的语音接收的时间点的差异与语音产生位置的方向之间的关系来确定语音生成位置的相对方向。电子设备101可以以包括到达时间差(TDOA)和到达频率差(FDOA)在内的各种方式来确定语音生成位置的相对方向,并且不限制用于该确定的程序或算法的类型。
图2是根据实施例的电子设备的操作的流程图。图3A和图3B是根据实施例的电子设备的移动的图。
参照图2、图3A和图3B,在步骤201,电子设备101可以确认要执行的任务。执行特定操作的电子设备101可以包括电子设备101中包括的处理器120,该处理器120执行特定操作,控制其他硬件执行特定操作,或当执行存储在包括在电子设备101中的存储器130中的至少一个指令时执行该特定操作或控制其他硬件执行该特定操作。电子设备101可以确认与获取到的语音或用户的动作的动作识别结果相对应的任务。
电子设备101可以包括麦克风,该麦克风将外部语音转换为电信号,并且可以将在其周围生成的语音转换为电信号。电子设备101可以通过各种过滤从电信号中去除噪声,或者可以放大电信号。电子设备101可以分析与语音相对应的电信号,并且可以至少基于分析结果来确认与语音相对应的任务。电子设备101可以将自动语音识别(ASR)应用于从麦克风接收的电信号,以获取与电信号相对应的文本。电子设备101可以将自然语言理解(NLU)应用于所获取的文本以获得文本的理解结果,并且可以至少基于理解结果来确认与语音相对应的任务。电子设备101可以将ASR和NLU应用于与语音“为我拍照”相对应的电信号,以确认与语音相对应的任务是“拍照”。电子设备101可以预处理从麦克风获取的电信号,或者可以通过通信模块190将包括电信号或预处理后的电信号发送到外部服务器(未示出)。外部服务器可以将ASR和NLU应用于从电子设备101接收并且对应于语音的电信号,并且可以至少基于应用结果来确认要由电子设备101执行的任务。外部服务器可以将与所确认的任务有关的信息发送到可能随后基于接收到的信息来确认任务的电子设备101。外部服务器可以向电子设备101发送NLU处理结果或者关于要由电子设备101按照顺序执行的至少一个子任务的顺序执行过程的信息。电子设备101可以根据NLU处理结果进行操作或者可以根据顺序执行过程来执行子任务。或者,电子设备101可以将ASR应用于电信号以获取文本,并且可以将关于文本的信息发送到外部服务器。外部服务器可以将NLU应用于所接收的与文本相关的信息,并且可以基于应用结果来确认电子设备101将要执行的任务。外部服务器可以将关于所确认的任务的信息发送到然后可以确认关于所接收的信息的任务的电子设备101。
电子设备101可以以语音识别以外的方式确认任务。电子设备101可以基于至少一个硬件按钮的操作来确认任务或者响应于在至少一个触摸屏上显示的图形对象的用户触摸来确认任务,以进行至少一个操作。电子设备101可以识别用户的动作,并且可以基于动作识别来确认任务。电子设备101可以包括能够检测用户的动作的各种传感器(例如,图像传感器或超声波传感器),并且可以基于至少通过传感器获取的数据来检测用户的动作。电子设备101可以基于随时间拍摄的用户的多个图像的分析结果来确认用户的动作。电子设备101可以基于骨骼数据根据诸如人体姿势识别(HPR)之类的各种协议来检测用户的动作。电子设备101可以预先存储用户的动作与任务之间的相关性信息。用户握紧他或她的右拳并打开他或她的拳头的动作可以与图像拍摄任务相关联地预先存储在电子设备101中。此后,当检测到用户握紧而后张开他或她的右拳的动作时,电子设备101可以被确认为执行拍摄图像的任务。可以在电子设备101中预设用户动作与任务之间的相关性信息。用户可以根据电子设备101提供的手册来执行用于任务执行的命令。用户动作与任务之间的相关性信息可以由用户设置。用户动作与任务之间的相关性信息可能由于用户的不同而不同。电子设备101可以通过用户确认信息来管理用户动作与任务之间的相关性信息。用户动作与任务之间的相关性信息可以被更新。电子设备101可以依据来自用户的反馈结果来更新用户动作与任务之间的相关性信息。对于检测用户动作的传感器或动作识别算法没有任何限制。
电子设备101可以从不同的电子设备接收通信信号,该通信信号包括直接表达任务的信息或关于电子设备101的操作的至少一条信息。用户可以通过不同的电子设备(例如,智能电话或可穿戴电子设备)接收请求拍照的用户输入。不同的电子设备可以向电子设备101发送通信信号,该通信信号包括与用户输入有关的信息或基于用户输入确认的任务的信息。不同的电子设备可以直接地或通过外部服务器执行ASR和NLU中的至少一个。不同的电子设备可以将与所确认的任务有关的信息发送到电子设备101。或者,用户可以操纵简单的电子设备,例如遥控器。电子设备101可以将从遥控器接收的红外信号应用于电子设备101的当前状态以确认要执行的任务。处于音量调节状态的电子设备101可以在接收到与遥控器上的向上方向键相对应的IR信号时执行增大音量的任务。处于模式选择状态的电子设备101可以在指示器朝着拍照模式的方向期间在接收到与遥控器上的回车键相对应的IR信号时,确认“拍照”任务。如上所述,电子设备101可以基于语音识别,通过外部输入或者通过从外部接收通信信号来确认任务,并且本领域技术人员应当理解,对电子设备101确认任务的方式不进行限制。可以通过其获取任务执行指令的相机、麦克风或各种传感器可以称为输入设备。
电子设备101可以通过输出单元170视觉地或听觉地向用户提供指示“消息正在被确认”的消息或用于任务确认结果的消息。当从用户接收到校正指令时,电子设备101可以再次执行任务确认。当用户产生语音“向我展示江南的图片”时,电子设备101可以接收语音并将ASR应用于语音以获取文本“向我展示广南的图片”。电子设备101可以将任务确认为“显示广南的图片”,并且可以表示任务确认结果。用户可以确认该任务确认结果与他或她的意图之间的差异,并且可以产生用于校正任务确认结果的语音。用户可以产生“不是广南,而是江南”的指令语音。电子设备101可以对语音进行ASR以获取文本“不是广南,而是江南”。电子设备101可以将NLU应用于所获取的文本“不是广南,而是江南”,以确认对应文本的意思是用不同的词(例如,江南)来改变先前确认的任务确认结果(例如,广南)的至少一部分。根据NLU应用结果,电子设备101可以确认任务为“向我展示江南的照片”,这是通过用“江南”改变“向我展示广南的照片”的“广南”而修改的。电子设备101可以再次显示修改后的任务,并且可以响应于从用户接收到认证指令来执行修改后的任务。
当未能确认任务时,电子设备101可以在用户周围移动并且可以输出请求用户再次产生语音的消息。当确认了与语音相对应的多个任务时,电子设备101可以输出多个候选,并且可以进一步基于用于选择候选中的至少一个候选的用户输入来确定任务。电子设备101可以以对话格式输出重新排序多个候选或语音的消息。
在步骤203,电子设备101可以确认用户的位置。电子设备101可以确认产生语音和/或检测产生用户的语音的方向的用户的位置。电子设备101可以包括多个麦克风150,并且基于至少有多个麦克风接收语音的时间点的差异来确认产生语音的方向。电子设备101可以控制其面对的方向,以将相机180指向产生语音的位置。电子设备101可以获取由相机拍摄的图像并且可以至少基于图像分析结果来确认用户的位置。电子设备101可以通过使用相机180在所有方向上执行扫描,并且可以至少基于扫描结果来确认用户的位置。电子设备101可以旋转或移动以拍摄多个室内场所并且可以至少基于多个室内场所的拍摄图像来确认用户的位置。电子设备101可以从所拍摄的图像识别用户的形状,即人的形状,并且可以基于参考电子设备101的至少一个识别出的对象的位置和尺寸或在室内空间的绝对坐标系中的至少一个来确认用户的位置。电子设备101可以参考电子设备101的当前位置来确认朝向用户所在的方向或距离中的至少一个。电子设备101可以使用图像分析结果或基于来自至少一个传感器176的数据来确认距离。电子设备101可以确认参考该空间内的一个点提出的绝对坐标系中的用户坐标。电子设备101可以使用电子设备101所存在的空间的地图数据以及来自图像的识别结果来确认用户的位置。可以将地图数据实现为各种信息,例如表示障碍物的位置的地图数据、表示噪声水平的地图数据、表示亮度信息的地图数据等。电子设备101可以从不同的电子设备接收地图数据,或者可以在空间内移动多个点的同时自行产生地图数据。当接收到通信信号时,电子设备101可以基于所接收的通信信号内的信息(例如,关于通信信号的发送强度的信息、关于感测到通信信号的时间点的信息)、通信信号的接收强度、通信信号的接收相位以及接收通信信号的时间点,确认用户的位置。电子设备101可以周期性地或非周期性地确认和管理室内环境中的用户的位置,并且可以利用在任务执行的时间点之前已经被管理的位置。电子设备101可以确认用户的位置以响应任务执行指令的接收。
在步骤205,电子设备101可以确认与任务相对应的用户。电子设备101可以确认已经产生语音的用户。电子设备101可以确认已经请求任务执行指令的用户。电子设备101可以分析用户的照片图像并且可以基于分析结果来确认用户。电子设备101可以将各种识别算法应用于照片图像以确认用户。电子设备101可以至少基于从图像获得的各种信息来确认用户,例如面部识别、用户移动模式的识别、各种生物信息的识别等,并且本领域技术人员应当理解,对使用图像来辨别用户的方法没有限制。电子设备101可以将拍摄的图像发送到外部服务器,并且可以接收由外部服务器确认的辨别结果。电子设备101可以以除了针对用户的图像分析之外的各种方式执行用户辨别。电子设备101可以分析所收集的语音以获取声纹并且可以基于所获取的声纹来执行用户辨别。电子设备101可以预先存储关于可能位于室内环境中的用户候选者的信息,并且可以通过将关于用户候选者的信息与从图像提取的信息进行比较来确认用户。当接收到通信信号时,电子设备101可以基于通信信号内的辨别信息来确认用户。电子设备101可以使用通过传感器模块176获得的各种生物信息(例如,指纹识别信息、虹膜识别信息等)来确认用户。电子设备101可以确认与任务执行有关的用户,但是不能确认产生语音或被操纵以发送通信信号的用户。当第一用户产生语音“拍摄第二用户的照片”时,电子设备101可以不搜索产生语音的第一用户,但是可以确认与任务有关的第二用户的位置。电子设备101可以确定确认目标,并且随后在图像内搜索与该确认目标匹配的对象。通过使用搜索结果,电子设备101可以确认第二用户的位置。
在步骤207,电子设备101可以至少基于任务和所确认的用户的信息并参考与用户信息相对应的用户的位置来确认其目标地点。在步骤209,电子设备101可以移动到所确认的目标地点。电子设备101可以使用关于用户的任务执行的偏好位置的信息,以参考用户的位置来确认电子设备101的目标地点。电子设备101可以预先存储如表1所示的信息。
【表1】
电子设备101执行表1中的任务的用户偏好位置可以由用户提出或者由电子设备101或外部电子设备产生。将给出表1中产生信息的过程的详细描述。如图3A所示,第一用户301产生语音“为我照相”。电子设备101可以位于第一地点310,并且可以将第一用户301确认为“汤姆”。电子设备101可以将第一用户301的位置确认为第二地点302。电子设备101可以确认第一用户301的面部所面对的方向以及第一用户301的地点。电子设备101可以确认将要执行任务的第一用户301“汤姆”的偏好位置是相对于用户的位置的具有“方向(θ1,)和距离d1”的地点。电子设备101与第一用户301所在的第二地点302相隔第一距离d1,并且电子设备101可以相对于第一用户301的面部所面对的方向在(θ1,)方向上移动(311)到第三地点312。另外,电子设备101可以在第三地点312处旋转,使得电子设备101朝向相对于第一用户301的面部所面对的方向的方向(θ1,)。电子设备101可以执行移动和旋转中的至少一个,以使得电子设备101的相机朝向相对于第一用户301的面部所面对的方向的方向(θ1,)。如图3B所示,电子设备101可以确认第二用户321产生的语音“为我拍照”。电子设备101可以站在第一地点310,并且可以将第二用户321识别为“泰迪”。电子设备101可以将第二用户321的位置确认为第二地点302。电子设备101可以确认第二用户321的面部所面对的方向。电子设备101可以确认将要执行任务的第二用户321的“泰迪”的偏好位置是相对于用户的位置具有“方向(θ2,)和距离d2”的地点。电子设备101与第二用户321所处的第二地点321之间相隔第二距离d2,并且可以相对于电子设备101沿(θ2,)方向移动(313)至第四地点314。第二用户321的面部所面对的方向。另外,电子设备101可以在第四地点314处旋转,使得电子设备101朝向相对于第二用户303的面部所面对的方向的方向(θ2,)。
因此,当站在相同位置、面对相同方向的不同用户请求相同任务时,如上所述,电子设备101可以移动到针对用户而言不同的任务执行地点。因此,提供了一种能够在分别针对用户优化的位置处执行任务的电子设备101及其操作方法。电子设备101包括可以生成和存储如表1中所示的信息的处理器120。或者,外部电子设备(例如,服务器)可以生成和存储如表1中所示的信息。电子设备101可以向外部电子设备发送拍摄结果或用户确认信息。电子设备101或外部电子设备可以在各种条件下多次为特定用户执行特定任务。电子设备101可以通过来自用户的直接反馈或指示用户偏好的因素(例如,图像的删除、社交网络服务(SNS)上传等)来确认对应的任务执行条件的分数。电子设备101可以一致地监测用户的活动,并且可以基于监测结果来确认分数或更新分数。电子设备101可以响应于用户的活动,例如SNS上传拍摄的图像、将图像传输到其他电子设备、图像消除等来确认或更新分数。当再现音乐时,电子设备101可以确认用户对音乐的专注程度并可以基于确认结果来确认或更新分数。当用户的动作小于用拍摄的图像分析出的阈值时,电子设备101可以确认用户的相对较高的专注程度。电子设备101可以基于音乐的再现而不跳过音乐的时间段来确认用户的专注程度。电子设备101可以根据用户确认信息来确认分数。电子设备101可以在进行分数确认时为被确认为电子设备101的所有者的用户提供相对较高的权重,而在进行分数确认时为除所有者之外的其他用户提供相对较低的权重。
电子设备101可以基于针对各种任务执行条件中的每一个任务执行条件的反馈来生成如表1中的相关性信息。下面将更详细地描述电子设备101生成表1中的相关性信息的过程。
外部电子设备可以通过分析接收到的拍摄结果来确认用户,或者可以响应于接收到的辨别信息来确认最佳任务执行位置和方向中的至少一个。当外部电子设备发送由电子设备101确认的任务执行位置和方向中的至少一个时,电子设备101可以基于接收到的信息执行运动和旋转中的至少一个。
在步骤205,电子设备101可能无法确认用户。例如,电子设备101可以确认未预先注册从拍摄的图像或语音信息分析出的面部识别信息。电子设备101可以根据预设的初始条件或随机条件来执行任务。电子设备101可以根据针对具有类似于所分析的识别信息的属性(例如,面部识别的相似度或语音信息的相似度)的用户提出的任务执行条件进行操作。将参照图8A和图8B更详细地描述在上述用户确认失败时电子设备101的操作。
图3C和图3D是根据实施例的用于任务执行的电子设备的旋转的图。
参照图3C和图3D,电子设备101可以移动到如图3B中的第四地点314。当移动到第四地点314时,电子设备101可以面对第二方向332。第二方向(x2,y2,z2)可以表示为绝对坐标系中的向量,但是本领域技术人员将理解的是对方向的表达类型没有限制。电子设备101可以确认第二用户321面对第一方向331(例如,向量(x1,y1,z1)的方向)。电子设备101可以分析第二用户321的照片图像以识别第二用户321的面部以及面部内的对象(例如,左眼、右眼、鼻子以及嘴唇)。基于对象的形态和相对位置关系中的至少一个,电子设备101可以确认第二用户321面对第一方向331。电子设备101可以基于骨架数据并根据诸如HPR的各种协议来确认第二用户321所面对的第一方向331。
如上所述,电子设备101可以确认与第二用户321相对应的任务执行条件。电子设备101可以确认与第二用户321相对应的拍摄角度具有表1中给出的方向(θ2,)。电子设备101可以确认通过应用参考了第一方向331的方向(θ2,)而得到的第三方向331,并且第三方向可以在绝对坐标系中表示为矢量(x3,y3,z3)。电子设备101可以参考第二用户321的面部上的至少一个点来确认矢量(x3,y3,z3)的绝对坐标。电子设备101可以使其壳体的至少一部分旋转,如图3D所示,使得电子设备101从图3C中所示的第二方向332转向第四方向334。第四方向334可以与图3C中所示的第三方向333相同或相反。电子设备101可以控制旋转,使得电子设备101的相机面对参考第二用户321面对的方向的指定的拍摄方向。电子设备101可以至少基于指定的信息来主要执行移动和旋转中的至少一个。在执行移动和旋转中的至少一个之后,电子设备101可以在拍摄用户的同时进一步执行移动和旋转中的至少一个,直到检测到对象的预定图像或对象之间的相关性为止。电子设备101可以基于预定的模式另外执行移动和旋转中的至少一个。电子设备101可以分析图像上的对象的形状或对象之间的相对位置,以确认为了获取图像上的对象的预先指定的形状或对象之间的预先指定的相对位置而应当进行的移动程度和旋转程度中的至少一个,并且可以基于确认结果进一步执行移动和旋转中的至少之一。
当检测到任务执行指令时,电子设备101可以首先朝向与任务执行指令相对应的用户移动,然后可以确认正确的地点。最初可以将电子设备101布置在难以正确确认用户的朝向的位置。当位于用户后面时,因为电子设备101无法拍摄用户面部,所以电子设备101无法确认用户的朝向。电子设备101可能难以参考用户的朝向来确认目标地点。电子设备101可以主要移动到可以获得确认任务执行条件所需的信息的地点。当电子设备101必须确认用户的朝向时,电子设备101可以首先移动到允许拍摄用户面部的地点。电子设备101可以将拍摄的图像分析为来自后面的外观,并且可以移动到用户前面的位置。在主要移动之后,电子设备101可以获取确定任务执行条件所需的信息(例如,用户的面部图像),并且可以基于获取的信息来确认目标地点。电子设备101可以移动到所确认的目标地点并且可以根据任务执行条件执行旋转。电子设备101可以在移动完成之前拍摄用户,并且可以在移动期间确认目标地点。电子设备101可以将其行进的路线改变为到目标地点的路线,并且可以沿着改变后的路线移动。
图4A是根据实施例的电子设备的操作的流程图。图5A是根据实施例的在至少一个任务执行条件下的任务执行的图。图5B是根据实施例的任务执行结果的数据库的图。图5C是根据实施例的用户进行任务的任务执行条件的图。
参照图4A、图5A、图5B以及图5C,在步骤401,电子设备101可以在至少一个任务执行条件下为第一用户执行第一任务。在步骤403,电子设备101可以存储与第一用户和第一任务相对应的至少一个任务执行条件。在步骤405,电子设备101可以获取关于第一任务的执行结果的反馈信息。如图5A所示,电子设备101可以通过在第二地点502处沿第一拍摄方向511拍摄位于第一地点501处的第一用户301来获取第一图像。如图5B所示,电子设备101可以存储与第一图像531相对应的第一信息541。如图5B所示,拍摄任务执行结果的数据库可以包括任务执行信息530,例如,参考用于拍摄的物体(用户的面部)正面面对的方向存在电子设备101的方向、电子设备101与物体间隔的距离、相机参考物体的正面所面对的方向所面对的拍摄方向等以及与每个任务执行结果相对应的反馈信息540。本领域技术人员应该理解图5B所示的关于方向、距离、以及拍摄方向的任务执行信息是说明性的,并且还可以包含其他任务执行信息,例如拍摄时间、周围环境的亮度、是否使用闪光灯、用户的年龄和性别等,并且可以不包括图5B的一些任务执行信息。电子设备101可以将关于存在电子设备101的方向(θ1,)的信息、电子设备101与用户间隔的距离X1、拍摄方向(θ5,)以及与其对应的“删除”的反馈信息存储为与第一图像131相对应的第一信息541。如图5A中所示,电子设备101可以以各种拍摄角度512、513和514在各个地点502、503和504中的每一个地点拍摄照片,以获取各种图像532、533和534。电子设备101可以存储第二信息542、第三信息543和第四信息544,该信息包括各种任务执行条件以及图像532、533和534的反馈信息。
反馈信息540可以包括允许确认图像的偏好的各种信息,例如图像删除、SNS上传、正面反馈接收、SNS反馈接收等。尽管未示出,各种信息包括“允许确认偏好的用户外观”、“允许确认偏好的用户语音”、“允许确认偏好的用户输入”、“直接校正指令”、“用户使用感兴趣任务的频率”等可以用作反馈信息。术语“直接校正指令”可以指的是用于直接校正特定任务执行条件的用户命令。当电子设备101在特定位置拍照时,用户可以产生指令以“不,再稍微向左”为目的直接校正任务执行条件。电子设备101可以确认特定拍摄位置(在该特定拍摄位置将拍摄图片)的任务执行条件具有负面反馈。另外,电子设备101可以接收用户直接输入的任务执行条件,并且可以给任务执行条件赋予相对较高的分数。反馈信息540可以表示为好/坏的二进制分数。在此,分数可以被称为效用分数,其可以表示指示用户的效用的索引。“SNS上传”或“接收正面反馈”可以对应于“好”的分数,而“图像消除”可以对应于“坏”的分数。至于“SNS反馈”,当从不同的SNS账户接收到的“喜欢”的数量超过阈值时,可以将其确认为“正面的”;当“喜欢”的数量等于或小于阈值时,可以将其确认为“负面的”。反馈信息540可以包括如图5B所示的各种事件的内容(例如,图像消除、SNS上传、接收正面反馈或接收SNS反馈)。电子设备101可以将感兴趣的事件确认为具有各种数值的分数。电子设备101可以向“SNS上传”的反馈赋予相对较高的数字分数,并且向“图像消除”的反馈赋予相对较低的数字分数。电子设备101可以预先存储各种反馈信息和分数之间的相关性信息,并且可以利用所存储的相关性信息来确认反馈信息的分数。
在步骤407,电子设备101可以基于任务执行条件和分别与之对应的反馈信息中的至少一个,通过任务执行条件来确认和存储效用分数。在步骤409,电子设备101可以从第一用户接收用于执行第一任务的请求。在步骤411,电子设备101可以至少基于通过任务执行条件存储的效用分数来确定第一用户的最佳任务执行条件。电子设备101可以针对诸如图5B中的那些的各种询问执行条件和反馈信息(例如,分数)执行聚类,因此,相似的任务执行条件可以聚类。电子设备101可以将任务执行条件的集群中分数相对较高的集群的任务执行条件确定为第一用户的最佳任务执行条件。电子设备101可以在任务执行条件的范围内设置优化的任务执行条件或将优化的任务执行条件设置为聚类的代表值(例如,平均值、中位数等)。电子设备101可以至少基于各种学习模型对任务执行条件进行分类,并且可以基于与至少分类后的任务执行条件相对应的分数来确认用户的最佳执行条件。
对于成年用户,电子设备101可以执行在预先设置的与其相距第一距离的位置处以语音输出存储的故事的任务。对于儿童用户,电子设备101可以在相距比第一距离短的第二距离的位置处执行任务,并且可以进行附加操作,例如保持与其的目光接触。
电子设备101可以存储用户(例如,第一用户561和第二用户571)针对第一任务560的任务执行条件,如图5C所示。对于第一用户561,电子设备101可以存储具有第一优先级的第一条件562、具有第二优先级的第二条件563、具有第三优先级的第三条件564以及具有第四优先级的第四条件565。当第一任务560是“拍摄”时,第一条件562至第四条件565中的每一个条件可以包括在执行至少一个任务的过程中所确认的条件(例如,电子设备101到物体的距离、电子设备101相对于物体而在的角度、电子设备101的拍摄角度等)。该条件可能因任务类型而变化。另外,第一条件562至第四条件565中的每一个条件可以被表示为单个值或指定范围。电子设备101可以按照优先级等级的顺序来确认任务执行条件。当不能实现具有第一优先级的第一条件562时,电子设备101可以确定具有下一优先级的任务执行条件。电子设备101可以为第二用户571存储具有第一优先级的第五条件572、具有第二优先级的第六条件573以及具有第三优先级的第七条件574。第一条件562可以不同于第五条件572。
电子设备101可以在拍摄时利用诸如位置、方向、拍摄方向等的物理因素之外的拍摄图像的分析结果作为任务执行条件。电子设备101可以至少基于包括在图像分析结果中的各种对象(例如,注视、鼻子、嘴唇、脸以及脖子)中的每一个的形状或对象的相对位置来对图像进行分类。电子设备101可以利用各种图像分类学习模型来对图像进行分类。电子设备101可以基于用于分类后的图像的反馈信息来确认最佳对象相关信息(例如,对象的形状和相对位置)。电子设备101可以根据所确认的用户执行移动或旋转中的至少一个,以便检测最佳对象相关信息。电子设备101可以在执行移动、旋转和拍摄方向转向中的至少一个的同时拍摄所确认的用户的预览图像。电子设备101可以执行移动、旋转和拍摄方向转向中的至少一个,直到从预览图像中检测到所确认的最佳对象相关信息为止。当通过预览图像检测到与存储的最佳对象相关信息具有高于阈值的相似度时,电子设备101可以非暂时存储相应的预览图像。当确定通过预览图像获得的图像分析结果满足存储条件时,电子设备101可以存储对应图像。电子设备101可以在相应的任务执行条件下拍摄另外的图像,并且可以为另外的拍摄提供倒计时,以提供用户可以摆姿势的时间。电子设备101可以存储用户的最佳对象相关信息(例如,对象的形状和相对位置)。电子设备101可以存储作为第一用户的最佳对象相关信息的关于在第一用户的左上侧拍摄时出现的对象的形状或相对位置的信息以及作为第二用户的最佳对象相关信息的关于在第二用户的右下侧拍摄时出现的对象的形状或相对位置的信息。响应于第一用户的拍摄请求,电子设备101可以执行移动和旋转中的至少一个,直到在指定的对象形状或对象之间的相对位置相关性与通过预览图像获得的对象相关信息之间确认了等于或高于阈值的相似度为止。当检测到等于或高于阈值的相似性的对象相关信息时,电子设备101可以非暂时性地存储图像。电子设备101可以利用图5C中的所有信息和对象相关信息。电子设备101可以基于对象相关信息,利用图5C中的信息来执行移动和旋转中的至少一个,并且随后执行附加移动和旋转中的至少一个。
图4B是根据实施例的电子设备的操作的流程图。
参照图4B,在步骤421,电子设备101可以存储针对第一任务和第一用户的至少一个任务执行条件的效用分数。在步骤423,电子设备101可以基于针对至少一个存储的任务执行条件的效用分数来进行操作。在步骤425,电子设备101可以基于执行结果、感测执行期间获得的数据以及反馈信息中的至少一个来更新针对第一任务和第一用户的至少一个任务执行条件的效用分数。电子设备101可以根据先前存储的最佳任务执行条件来执行任务,然后可以接收其负面反馈。电子设备101可以基于负面反馈将具有随后的优先级的任务执行条件确定为要执行的任务执行条件,或者可以对包括负面反馈的数据库进行重新分类以更新效用分数。因此,信息可以如图5C所示被更新。随着数据库容量的扩展,图5C中的信息可以收敛于反映用户意图的任务执行条件。
图6是根据实施例的电子设备的操作的流程图。图7是根据实施例的电子设备在室内环境中的移动的图。
参照图6和图7,在步骤601,电子设备101可以确认要执行的任务。在步骤603,电子设备101可以确认用户的位置。在步骤605,电子设备101可以确认与任务有关的用户。在步骤607,电子设备101可以至少基于任务和所确认的用户信息,参考用户的位置来确认其目标地点。也就是说,用户的位置可以是用于确认电子设备101的相对位置的参考位置。电子设备101可以在其与用户信息相对应的用户的位置用作参考的同时,确认其目标地点。电子设备101可以基于诸如图5C中的预设任务执行条件,以用户的位置作为参考来确认任务执行地点。如图7所示,电子设备101可以将用户701确认为第一用户561。电子设备101可以在与第一用户561相对应的多个存储的任务执行条件中选择以第一优先级指定的第一条件562。电子设备101可以参考用户701的当前位置,通过应用第一条件562来确认其目标地点。
在步骤609,电子设备101可以确认是否所确认的地点落在了允许任务执行的范围内。电子设备101可以依据电子设备101是否可以移动到该地点来确认该地点是否在任务可执行范围内。由于电子设备101不能移动到存在对象702的区域,因此电子设备101将对象702所占据的区域确认为不可能移动的区域,并且将该区域排除在任务可执行范围之外。电子设备101可以在请求任务执行指令时扫描周围环境以预先获取并存储对象702的位置,或者可以确认对象是否存在。电子设备101可以预先存储用于在室内环境700中预先布置的对象(例如,对象702)的位置的地图数据,并且可以使用地图数据来确认任务可执行范围。
电子设备101可以确认根据任务的类型提出的任务可执行范围。对于显示特定屏幕的任务,可以请求用户存在于距电子设备的距离之内或存在于相对于电子设备101的可视角度之内以观看屏幕。可以将显示屏幕的任务的可执行的范围指定为特定距离或更短并且特定视角或更小。对于输出特定音频信息的任务,可以请求用户存在于距电子设备101的距离之内以允许进行收听。可以将输出音频信息的任务的可执行的范围指定为距电子设备101的特定距离或更短。电子设备101可以按照任务类型预先存储或识别可以执行各种任务的范围,例如,与提供物理信息的任务(例如,触觉)相对应的范围、与从用户接收输入的任务相对应的范围等。不仅可以按照任务类型确定上述在其内可以执行各种任务的范围,还可以按照以下包括的各种因素确定上述范围:例如,按照用户的位置(例如,用户在绝对坐标系中的位置、作为参考的用户相对于电子设备101的位置等)、用户所面对的方向(例如,用户的脸部、身体,耳朵的方向等)、用户的状态(用户在哪里观看特定地点、用户的活动、用户的互动等)、外部环境的条件(例如,噪音水平、是否存在障碍物、湿度、温度、亮度等)。另外,可以基于电子设备101的状态(例如,电子设备101中正在处理的进程的大小、剩余功率等)来确定任务可执行范围。
电子设备101可以基于用户的状态来确认任务可执行范围。电子设备101可以确认用户正在观看特定对象。电子设备101可以在拍摄用户时分析用户的注视。当分析的结果是检测到用户的注视没有以等于或高于阈值的频率移动时,电子设备101可以确认用户正在观看特定对象。电子设备101可以从任务可执行范围中排除与用户的注视相对应的范围。当用户与另一用户进行交互时,电子设备101可以从任务可执行范围中相应地排除干扰交互的范围。电子设备101可以基于学习来推断用户的交互范围或用户的专注程度,或者可以基于规则来确定。可以结合使用这两种方法来确认该范围或程度。电子设备101可以分析用户的照片图像或其周围环境以确认场景上下文,或者可以根据对象级别对图像进行分割以确认用户与分割后的对象之间的交互的类型、范围和方向。电子设备101可以使用预先存在的执行结果的数据库并根据用户确认信息或用户状态来确认任务可执行范围。因此,可以建立根据用户确认信息或用户状态的任务可执行范围。
在步骤611,电子设备101可以确认是否所确认的目标地点在所确认的范围内。在步骤613,除非在所确认的范围内存在确认的目标地点,否则电子设备101可以再次确认目标地点。在步骤615,当确认了在所确认的范围内存在确认的目标地点时,电子设备101移动到确认的目标地点以执行任务。如图7所示,电子设备101可以确认最初确认的目标地点属于由于对象702的布置的原因而从任务可执行范围中排除的范围。电子设备101可以次要地再次确认目标地点。电子设备101可以基于被认为至少具有下一优先级的任务执行条件来再次确认目标地点。当发现再次确认的目标地点在任务可执行范围内时,电子设备101可以移动(703)到所确认的地点。电子设备101可以直接从用户接收任务执行条件。电子设备101可以根据直接任务执行条件进行操作。
图8A是根据实施例的电子设备的操作的流程图。
参照图8A,在步骤801,电子设备101可以确认要执行的任务。在步骤803,电子设备101可以确认用户的位置。在步骤805,电子设备101可以确认与任务有关的用户。在步骤807,电子设备101可以确认是否预先存储了与任务有关的用户的任务执行条件。电子设备101可以使用如图5C中的信息来确认是否存储了关于与所确认的任务有关的所确认的用户的信息。在步骤809,当确认了与任务有关的所确认的用户的任务执行条件被预先存储时,电子设备101可以根据所存储的任务执行条件进行操作。在步骤811,当确认了与任务有关的所确认的用户的任务执行条件时,电子设备101可以根据预设的初始条件或随机条件进行操作。当没有特别为用户存储的任务执行条件时,电子设备101可以为每个任务确认预设的初始条件,并且可以根据该初始条件执行任务。电子设备101可以根据随机条件执行任务。在步骤811,当步骤805的用户确认失败时,电子设备101可以根据预设的初始条件或随机条件进行操作。在步骤813,电子设备101可以存储任务执行条件或任务执行条件和与任务有关的新用户的效用分数。电子设备101可以获取对根据预设的初始条件或随机条件执行的任务的反馈,并且可以使用该反馈来存储新用户的任务执行条件和效用分数。
图8B是根据实施例的电子设备的操作的流程图。
参照图8B,在步骤821,当确认了与任务有关的所确认的用户的任务执行条件没有被预先存储时,电子设备101可以在存储的用户中选择具有与所确认的用户的属性相似的属性的用户。电子设备101可以分析用户的拍摄图像以确认图像中的属性,例如用户的年龄、性别等。电子设备101可以在存储的用户中选择具有与所分析的属性相似的属性的用户。在步骤821,当在步骤805未能确认用户时,电子设备101可以在存储的用户中选择具有与在步骤805确认的那些属性相似的属性的用户。在步骤823,电子设备101可以根据与所选用户相对应的任务执行条件进行操作。在步骤825,电子设备101可以存储任务执行条件,或存储任务执行条件和与任务有关的新用户的效用分数。即使对于第一次使用电子设备101的用户来说,电子设备101也可能不根据指定条件或随机条件执行任务,而是基于新用户可能会偏好的任务执行条件来执行任务。
图9A和图9B是根据实施例的电子设备的操作的流程图。图10A和图10B是根据实施例的用于为多个用户执行任务的电子设备的移动的图。图10C是根据实施例的电子设备的旋转或拍摄方向改变的图。
参照图9A、图9B、图10A、图10B和图10C,在步骤901,电子设备101可以接收与多个用户有关的任务执行指令。电子设备101可以获取并分析语音“给我们拍照”。电子设备101可以至少基于ASR和NLU来确认该语音的含义是用于拍摄包括产生语音的用户及其周围的用户的图像的任务执行指令。电子设备101可以经由通信信号或通过包括在其中的输入设备来获取与多个用户有关的任务执行指令。
在步骤903,电子设备101可以确认包括了产生语音的用户的多个用户的相应位置。电子设备101可以通过使用针对电子设备101的方向和距离,设置多个用户的各个位置。电子设备101可以根据上述各种方法来确认产生语音的用户的位置,并且可以拍摄包括产生语音的用户的场景。电子设备101可以分析拍摄的图像以确认产生语音的用户周围其他用户的位置。电子设备101可以将位于与产生语音的用户相距阈值距离或更小距离内的用户识别为拍摄目标,并且可以确认用户的各个位置。电子设备101可以立即将位于从沿被确认为要产生语音的方向的多个用户确认为拍摄目标,并且可以确认多个用户的各个位置。电子设备101可以被布置在不允许立即拍摄产生语音的用户的位置。电子设备101可以首先向产生语音的地点移动,并且可以在移动期间拍摄产生语音的用户和其他相邻用户。当接收到通信信号时,电子设备101可以基于各种技术(例如,TDOA或FDOA)来确认接收到通信信号的方向。电子设备101可以在朝发送通信信号的地点移动的同时执行拍摄任务,并且可以拍摄产生语音的用户和周围的其他用户。
在步骤905,电子设备101可以确认多个用户的相应的任务可执行范围。在步骤901,电子设备101获取拍摄多个用户的任务执行指令,并且如图10A所示,多个用户的相应位置是1011、1012和1013。电子设备101可以确认多个用户1011、1012和1013面对的各个方向。电子设备101可以首先移动到电子设备101可以拍摄多个用户1011、1012和1013的面部的至少一部分的地点,如图10A所示。电子设备101可以避开布置在室内环境1000中的桌子1001和1002,并且移动到允许电子设备101拍摄这些面部的一部分的地点。电子设备101可以在确认允许拍摄这些面部的一部分的地点之后移动,或者可以在拍摄时移动并且可以执行至少一个移动和旋转,直到拍摄到这些面部的一部分。电子设备101可以分析具有这些面部的至少一部分的图像,以确认多个用户1011、1012和1013面对的各个方向。电子设备101可以基于多个用户1011、1012和1013的各个位置或面对的方向中的至少一个来确认多个用户1011、1012和1013中的每一个用户的任务可执行范围。对于图像拍摄的任务,可能要求用户具有指定的相对于电子设备101的角度。电子设备101可以基于用户的位置和方向来确认任务可执行范围1031、1032和1033。
在步骤907,电子设备101可以基于所确认的范围来确认其目标地点。电子设备101可以将与分别对应于多个用户1011、1012和1013的任务可执行范围1031、1032和1033所共有的区域1034确认为目标地点。电子设备101可以移动(1040)到所确认的目标地点,并且可以在目标地点拍摄多个用户1011、1012和1013。电子设备101可以执行旋转以便拍摄多个用户1011、1012和1013的面部。在已经移动(1040)到所确认的地点之后,电子设备101可以对多个用户1011、1012和1013执行连续拍摄。当旋转或改变拍摄角度时,电子设备101可以确认与拍摄图像中的多个用户1011、1012和1013相对应的对象满足指定条件。如图10C所示,电子设备101可以在移动之后执行拍摄1035。电子设备101可以确认由于拍摄1035而获取的图像上的对象(例如,用户面部)不满足指定条件。作为拍摄1031的结果,可以省略多个用户1011、1012和1013的面部的一部分,或者可以不包括一些用户的面部。电子设备101可以沿左/右方向(1020)或沿上/下方向(1021)旋转第一壳体102,并且可以在旋转期间对图像执行连续拍摄(1036)。电子设备101可以确认由于拍摄而获取的图像上的对象满足指定条件,并且可以将其中对象满足指定条件的图像存储为照片图像。电子设备101可以提供倒计时以提供用户可以摆姿势的时间。在倒计时完成之后,电子设备101可以拍摄图像并且可以将获取的图像存储为照片图像。电子设备101可以通过显示器显示照片图像,或者将照片图像发送到与多个用户1011、1012和1013相对应的指定的电子设备。电子设备101可以习得拍摄位置或方向与多个对象的照片图像之间的相关性,并且可以存储多个对象的拍摄位置或方向作为习得结果。电子设备101可以确认多个对象的拍摄位置和方向中的至少一个。电子设备101可以计算周围的照明信息,可以确认针对拍摄的对象的距离,并且可以基于对应的信息来确认拍摄位置或拍摄方向中的至少一个。电子设备101可以提供倒计时并且可以在倒计时完成后执行拍摄。在提供倒计时的同时,电子设备101可以从多个用户中的至少一个中接收语音,该语音请求改变拍摄位置或拍摄方向中的至少一个。在倒计时期间,一个用户可能会产生语音“我讨厌我的脸看起来太大”。电子设备101可以确认产生语音的用户,并且可以再次移动到与其他用户相距较远距离的地点。电子设备101可以移动或旋转壳体的至少一部分,直到检测到与感兴趣的用户的面部相对应的对象的面积小于图像内另一用户的对象的面积。电子设备101可以执行旋转和移动两者。当在图像内检测到与感兴趣的用户的面部相对应的对象的区域小于另一用户的对象的区域时,电子设备101可以非暂时地存储感兴趣的图像或者可以再次提供倒计时,然后可以在倒计结束后暂时存储拍摄的图像。
图11是根据实施例的电子设备的操作的流程图。图12是根据实施例的电子设备的移动的图。
参照图11和图12,在步骤1111,电子设备101可以接收与多个用户有关的任务执行指令。电子设备101可以基于语音分析结果、通信信号以及直接输入等来接收与多个用户有关的任务执行指令。在步骤1113,电子设备101可以确认多个用户的相应位置。电子设备101可以拍摄包括多个用户的场景,并且可以分析拍摄的图像以确认多个用户的各个位置。电子设备101可以确认多个用户面对的各个方向。电子设备101可以至少基于图像内的用户的面部或身体的形状来确认多个用户面对的各个方向。在步骤1115,电子设备101可以单独地确认多个用户。电子设备101可以在图像内执行面部识别以单独地确认图像中包括的对象。
在步骤1117,电子设备101可以基于针对多个用户提出的优先级等级来确认任务执行条件。在步骤1119,电子设备101可以根据所确认的任务执行条件进行操作。电子设备101可以存储用户针对特定任务的任务执行条件。每个任务执行条件可以具有分数或等级。如图12所示,电子设备101可以位于室内环境1200中。在室内环境1200中,可以存在多个用户1201、1202和1203。电子设备101可以确认多个用户1201、1202和1203的各个位置。电子设备101可以识别确认多个用户1201、1202和1203面对的各个方向。电子设备101可以确认针对多个用户1201、1202和1203提出的各个最佳执行条件。电子设备101可以基于多个用户1201、1202和1203中的每个用户的位置或方向中的至少一个来确认分别与多个用户1201、1202和1203相对应的最佳任务执行范围1211、1212和1213中的每一个。电子设备101可以基于多个用户1201、1202和1203中的至少一个优先级来确认任务执行条件。电子设备101可以确认第二用户1202具有比其他用户1201和1203更高的优先级。优先级是可以预先指定的。电子设备101可以为产生语音的用户分配优先级。电子设备101可以将与第二用户1202相对应的任务执行范围1212确认为最佳任务执行位置,并且可以移动到(1220)所确认的最佳任务执行位置。电子设备101可以以时分方式为具有相同优先级的用户执行任务。当存在执行任务的请求,该任务是通过与两个用户的眼神交流输出故事,并且为这两个用户设置了相同的优先级,则电子设备101可以在第一时间段内为第一用户执行任务并且在第二时间段内为第二用户执行任务。电子设备101可以以交替的方式为多个用户执行任务。
图13是根据实施例的电子设备的操作的流程图。
参照图13,在步骤1301,电子设备101可以接收与多个用户有关的任务执行指令。在步骤1303,电子设备101可以确认多个用户的各个位置。电子设备101可以单独地确认多个用户。在步骤1305,电子设备101可以为分别与多个用户相关的任务执行条件中的每一个任务执行条件确认效用分数。在步骤1307,电子设备101可以确认多个用户的效用分数之和最大的任务执行条件。在步骤1309,电子设备101可以根据所确认的任务执行条件来执行任务。关于第一用户的拍摄任务,电子设备101可以将效用分数确认为左拍摄100、前拍摄50、右拍摄50。关于第二用户的拍摄任务,电子设备101可以将效用分数确认为左拍摄为70、前拍摄为20、右拍摄为100。当从左侧拍摄第一用户和第二用户时,电子设备101可以识别出最大效用分数为170。因此,电子设备101可以从左侧拍摄多个用户。电子设备101可以在计算效用分数之和的过程中由用户施加权重,因此可以计算效用分数的加权和。当确认了第二用户产生语音时,电子设备101可以为第二用户分配权重“1”,为剩余的第一用户分配权重“0.5”。电子设备101可以在从左侧拍摄时确认效用分数的加权和100*0.5+70=120,而从右侧拍摄时识别出50*0.5+100=125。因此,电子设备101可以从右侧拍摄多个用户,其中可以获得效用分数的最大加权和。电子设备101可以至少基于与用户有关的各种信息来分配权重。电子设备101可以响应于检测到第二用户比第一用户更频繁地拍摄照片并将更多图像上传到SNS的事实而为第二用户分配较高的权重。电子设备101可以至少基于预设的优先级为用户分配权重。可以根据包括多个用户的组来改变优先级。当确认了两个用户汤姆和泰迪时,电子设备101可以分别为汤姆和泰迪分配权重1和0.8。当确认了汤姆、泰迪和简时,电子设备101可以分别为汤姆和泰迪分配权重0.3和0.4,而为简分配权重为1。电子设备101可以依据其所有权的存在或不存在来确定权重。当确认了汤姆是电子设备101的所有者的信息时,电子设备101可以为汤姆分配比非所有者的泰迪和简更高的权重。电子设备101可以通过诸如加权和、简单相加、复杂函数等的各种计算方法来确认多个用户的任务执行条件。
图14A是根据实施例的电子设备的操作的流程图。
参照图14A,在步骤1401,电子设备101可以确认要执行的任务。在步骤1403,电子设备101可以确认与任务相关联的用户的位置。在步骤1405,电子设备101可以确认与任务相关联的用户的状态。用户的状态可以包括各种因素,诸如用户的注视、用户与对象或不同用户之间的交互的类型和方向、用户的交互范围等。在步骤1407,电子设备101可以至少基于任务和用户的状态,使用用户的位置作为参考,来确认目标地点。在步骤1409,电子设备101可以自我控制以移动到所确认的目标地点。当从用户接收到执行第一任务的指令时,电子设备101可以根据用户的状态来确认不同的目标地点。这将在下面更详细地描述。
图14B是根据实施例的电子设备的操作的流程图。图15A和图15B是根据实施例的基于用户状态的电子设备的移动过程的示图。
参照图14B、图15A和图15B,在步骤1411中,电子设备101可以确认要执行的任务。在步骤1413,电子设备101可以确认用户的位置。如图15A所示,电子设备101可以确认用户1501的位置。在步骤1415,电子设备101可以确认与任务相关的用户是否观看了不同的主题。电子设备101可以分析用户的拍摄图像以确认用户的注视。当在参考时间段内将用户的注视的动作调制为阈值频率或更低频率时,电子设备101可以确定用户正在观看不同的对象。电子设备101可以通过使用来自不同电子设备(例如,如图15A所示的布置在室内环境1500中的电视1502)的通信信号来确认用户的观看。电子设备101可以从电视1502接收通信信号(例如,近场通信信号),并且因此可以确认电视1502被打开了。当在电视1502被打开的情况下确认用户未以阈值频率或更高频率移动注视达阈值时间或更长时间时,电子设备101可以确认用户正在观看电视1502。电子设备101可以通过对由对用户1501和电视1502拍摄而获取的图像的场景分析来确认用户正在观看电视1502。电子设备101可以通过分析从电视1502输出的声音来确认电视1502处于开启状态。
在步骤1417,当确认了用户正在观看不同的主题时,电子设备101可以移动不在观看路线上的地点,然后可以执行任务。在步骤1419,当确认了用户没有观看不同的主题时,电子设备101可以移动到至少基于预先存储的信息确定的地点,然后执行任务。如图15A所示,当用户1501被确认为未观看电视1502时,电子设备101可以移动到用户1501和电视1502之间的位置,以执行特定任务(例如,显示)。电子设备101可以分析语音“这是什么?”以确认执行任务的地点,然后可以移动到该地点。如图15B所示,当确认了用户1501正在观看(1503)电视1502时,电子设备101可以从其任务可执行区域中排除用户1501和电视1502之间的区域。电子设备101可以移动(1511)用户1501和电视1502之间的区域之外的地点,该用户1501和电视1502之间的区域被从任务可执行区域中排除以便执行特定任务。响应于语音“这是什么?”,电子设备101可以在可以提供内容的地点中将用户可以最佳观看所显示的内容的地点确认为目标地点。电子设备101可以考虑允许用户观看内容的距离或视角来确认目标地点,或者可以使用周围环境的亮度信息来确认目标地点。在高亮度的地点,用户难以观看显示的内容。电子设备101可以拍摄周围环境的图像以产生用于强度的阈值图像,并且可以使用该图像来识别周围环境的亮度信息。阈值图像可以是通过将具有超过阈值的强度的像素分类到第一区域中并且将具有等于阈值或低于阈值的强度的像素分类到第二区域中而产生的图像。电子设备101还可以将强度等于阈值或低于阈值的地点确认为内容显示器的任务可执行范围。电子设备101可以将阈值图像的第二区域确认为任务可执行范围。用于生成阈值图像的阈值可以被设置为用于执行特定任务的强度值,并且每一个任务的阈值可以被设置为彼此不同。电子设备101可以考虑从电视1502生成的噪声来确认目标地点。如上所述,即使接收到来自同一用户的同一类型的任务执行指令,电子设备101也可以根据用户的当前状态移动到不同地点。电子设备101可以从用户接收语音“啊”作为反馈信息,并且可以将语音确认为正面信息从而为相应任务执行条件升级效用分数。电子设备101可以确认用户皱起了他或她的眉毛并且可以响应于该动作而移动到更靠近用户的地点。电子设备101可以移动到离用户更远的位置或者从当前位置进一步向左或向右移动。电子设备101可以降低相应任务执行条件的效用分数。电子设备101可以确认用户没有正在观看电子设备101的显示器,而是用户改变了身体的方向以继续观看电视1502。电子设备101可以将该动作确认为负面反馈,因此可能会降低该相应任务执行条件的效用分数。
电子设备101可以基于用户的交互或活动的类型、范围和方向中的至少一种来确认任务执行条件。电子设备101可以分析用户的至少一个拍摄的图像,以确认该用户正在执行交互或活动的信息,例如该用户正在与另一用户对话或该用户正在进行锻炼。电子设备101可以确认用户的交互或活动的类型、范围或方向,并且可以从任务可执行范围中排除干扰用户的交互或活动的范围。通过选择任务可执行区域内的目标地点,电子设备101可以不对用户的活动或交互进行干扰。
图16A是根据实施例的电子设备的操作的流程图。图16B是根据实施例的电子设备的移动路线的图。
参照图16A和图16B,电子设备101可以在步骤1601中确认要执行的任务。在步骤1603,电子设备101可以确认用户的位置。在步骤1605,电子设备101可以确认与任务相关联的用户状态。在步骤1607,电子设备101可以基于用户的位置考虑任务和用户状态来确认从电子设备的当前位置到目标地点的移动路线。电子设备101可以基于任务可执行范围、用户确认信息和用户状态中的至少一个来确认目标地点。如图16B所示,可以请求电子设备101执行“拍摄”任务,并且可以根据与用户1501相对应的最佳任务执行条件来确认目标地点1512。电子设备101可以确认从当前地点1511到目标地点1512的移动路线。电子设备101可以确认从当前地点1511到目标地点1512的最短直线路线1513。电子设备101可以基于任务和用户的状态来确认移动路线。如图16B所示,当用户1501被确认为正在观看电视1502时,电子设备101可以将用户1501和电视1502之间的区域确认为不可访问的区域,并且可以将该区域排除在移动路线之外。电子设备101可以确定除禁止区域之外的迂回路线1514。电子设备101可以将除了不可访问区域之外的最短路线确定为迂回路线1514。在步骤1609,电子设备101可以沿着所确认的移动路线移动。
图17是根据实施例的电子设备的操作的流程图。
参照图17,在步骤1701,电子设备101可以确认与语音相对应的任务。在步骤1703,电子设备101可以确认用户的位置。在步骤1705,电子设备101可以基于用户确认信息和用户的状态中的至少一个来确认电子设备的目标地点和移动路线中的至少一个。如上所述,电子设备101可以基于用户确认信息来确认最佳地点。电子设备101还可以基于用户确认信息来确认最佳移动路线。电子设备101可以存储用于执行至少一个任务的移动路线和相应的反馈,并且可以分析存储的信息以确认用户的最佳移动路线。电子设备101可以通过使用标识符来对用户进行分类和管理,并且可以通过使用标识符来确认最佳移动路线。电子设备101可以至少基于用户的状态来确认目标地点和移动路线中的至少一个。在步骤1707,电子设备101可以感测外部环境。在步骤1709,电子设备101可以至少基于感测到的外部环境来控制所确认的目标地点和移动路线中的至少一个。电子设备101可以感测位于所确认的目标地点或移动路线上的对象。电子设备101可以确认在对象周围绕行的目标地点和移动路线中的至少一个。在步骤1711,电子设备101可以基于调整后的目标地点和移动路线中的至少一个来进行移动。在步骤1705,电子设备101可以沿着所确认的移动路线朝所确认的目标地点移动,并且可以在移动期间感测外部环境。电子设备101可以根据感测到的外部环境的分析结果在移动期间实时地改变移动路线。通过移动路线的实时改变,电子设备101可以躲开移动的障碍物以及固定的障碍物。电子设备101可以根据移动路线来确认反馈信息,并且可以至少基于反馈信息,针对任务,通过用户确认信息或者通过用户的任务状态来确认和管理至少一条移动路线的效用分数。电子设备101可以实时确认移动路线,在该移动路线上效用分数可以在移动期间达到峰值。电子设备101可以确认可以获得最大或局部最大效用分数的移动路线。
图18是根据实施例的电子设备的操作的流程图。
参照图18,在步骤1801,电子设备101可以识别指令。电子设备101可以以各种方式来识别指令,诸如通过分析语音、通信信号、图像或用户通过安装在该电子设备101中的触摸屏或按钮直接输入的信息。因此,电子设备101可以确认要执行的任务。在步骤1803,电子设备101可以确定目标位置。电子设备101可以基于任务、用户确认信息和用户状态中的至少一种来确定其目标地点。电子设备101可以另外考虑外部感测信息和任务可执行范围来确定目标地点。在步骤1805,电子设备101可以进行路线设计和移动。电子设备101可以基于任务的类型、用户确认信息和用户状态中的至少一种来确认其移动路线。电子设备101可以至少基于外部感测信息来调整移动路线,并且可以沿着调整后的路线移动。在步骤1807,电子设备101可以执行任务。
图19A、图19B和图19C是根据实施例的电子设备的移动的图。
参照图19A、图19B和图19C,桌子1901、燃气烤箱1902、水槽1903和微波炉1904可以位于室内环境1900中。电子设备101可以感测由用户1910产生的语音1911。电子设备101可以一起接收环境噪声1905和语音1911,提取语音1911,并确认已经产生提取的语音1911的地点。电子设备101可以使用来自麦克风的数据的频谱图来提取语音1911。电子设备101可以至少基于麦克风阵列已经接收到提取的语音1911的时间点的差值来确认产生了语音1911的位置。电子设备101可以确认生成了环境噪声1905的位置。电子设备101可以通过将ASR应用于从语音1911处理的电信号来获取文本“播放音乐”。电子设备101可以通过将NLU应用于对应的文本来将文本确认为用于“音乐再现命令”的任务执行指令。电子设备101可以移动到确认了已经产生语音1911的地点,或者可以朝向确认了已经产生语音1911的地点执行旋转。电子设备101可以拍照,因此可以获取包括用户的图像1910。电子设备101可以识别用户。电子设备101可以响应于语音1911的感测或识别而输出诸如蜂鸣之类的警报作为反馈。电子设备101可以在显示器上给出特定对象作为语音1911的感测或识别的反馈。
电子设备101可以基于分析结果中的场景上下文的解释,为用户1910分析至少一个图像,并且可以识别出用户1910正在厨房中执行任务。电子设备101可以拍摄包括用户1910和对象1902、1903和1904的场景,并且可以分析图像以确认用户1910和对象1902、1903和1904之间的位置相关性。电子设备101可以基于至少生成了环境噪声1905的地点来将用户可以听到正在再现的音乐的位置确认为目标地点。电子设备101可以产生和管理与噪声水平有关的地图数据,并且可以使用地图数据来确认与“音乐再现命令”的任务执行指令相对应的目标地点。电子设备101可以确认生成了来自燃气烤箱1902的具有相对较高的分贝的环境噪声1905,并且可以在与相应位置间隔开预定距离的微波炉1904附近移动。电子设备101可以基于至少包括对象1901、1902、1903和1904的位置的地图数据来确认移动路线,并且可以基于该移动路线移动到目标地点。电子设备101可以在微波炉1904附近移动并再现音乐1921。电子设备101可以考虑周围的环境噪声1905来确定音乐1921的再现音量。
电子设备101可以在任务执行期间实时测量噪声水平,该噪声水平是与任务执行相关的因素。从燃气烤箱1902产生的环境噪声1905不再产生,但微波炉1904可以产生环境噪声1906。电子设备101可以至少基于产生环境噪声1906的位置来移位任务执行位置。电子设备101可以在燃气烤箱1902附近移动,该燃气烤箱与产生环境噪声1906的位置间隔开预定距离或更长,从而再现音乐1921。
电子设备101可以在任务执行期间继续为用户拍照。如图19C所示,电子设备101可以基于拍摄结果来确认用户的移动。“音乐再现命令”的任务可执行范围可以被设定为距用户1910的阈值距离或更近的距离。因此,电子设备101可以根据用户1910的位置改变来改变任务可执行范围。设备101可以跟随用户1910移动,从而定位在任务可执行范围内。当电子设备101跟随用户1910移动时,电子设备101可以感测周围环境。电子设备101可以移动到与用户1910相距阈值距离或更小距离内的位置。电子设备101可以使用通过摄像机获取的图像和在进行障碍物检测时通过接近传感器获取的数据来检测障碍物。电子设备101可以使用来自距离传感器的数据来保持距用户1910的距离小于阈值。当检测到用户1910正在摇晃他/她自己一下时,电子设备101可以通过场景分析确认用户1910正在跳舞,并且可以将该检测存储为正面反馈。当接收到相同类型的任务执行指令时,电子设备101可以基于至少具有正面反馈的现有任务执行条件来进行操作。电子设备101可以从用户1910接收离开室内环境1900的指令。电子设备101可以移动到室内环境1900(例如,厨房)以再现音乐。用户可能由于噪声的原因而几乎听不到音乐,并且可能产生旨在离开室内环境1900的指令。电子设备101可以将该响应管理为负面反馈,并且可以将其反映在任务执行条件中。当环境噪声高于阈值时,电子设备101可以移动到环境噪声低于阈值的地点,然后可以再现音乐。当接收到相同类型的任务执行指令(例如,音乐再现)并且室内环境1900中的噪声超过阈值时,电子设备101可以在室内环境1900以外的地点(例如,客厅)执行任务。
图20是根据实施例的用于执行用户认证的电子设备的操作的流程图。图21A和21B是根据实施例的通过动作进行认证过程的图。
参照图20、图21A和图21B,在步骤2001,电子设备101可以确认与其接近的用户。电子设备101可以获取需要认证的任务执行指令。可以提出电子设备101在执行要求安全性的任务(例如,显示存储的照片、电子支付等)时要求认证。电子设备101可以拍摄周围环境并且可以从图像中检测与用户相对应的对象。电子设备101可以将判别算法应用于对象以确认用户确认信息。电子设备101可以基于各种方法来确认用户,诸如感测用户的生物信息,分析来自用户拥有的不同电子设备的通信信号等。在步骤2003,电子设备101可以执行与所确认的用户相对应的指定的第一动作。用户可以预先将关于第一动作的信息输入到电子设备101中,并且电子设备101可以存储关于输入的运动的信息。电子设备101还可以存储关于用户响应于电子设备101的第一动作而进行的第二动作的信息。在步骤2005,电子设备101可以检测用户的动作。电子设备101可以基于至少通过相机或各种传感器感测到的信息来感测用户的动作。在步骤2007,电子设备101可以识别出感测到的运动是否对应于指定的第二动作。在步骤2009,当感测到的运动被确认为与指定的第二动作相对应时,电子设备101可以识别成功的用户认证。在步骤2011,当感测到的运动被识别为与指定的第二动作相对应时,电子设备101可以确认用户认证失败。如图21A所示,电子设备101可以执行与右臂举起手对应的折起第一部分2201的第一动作。基于通过至少一个相机获取的图像和位于第一部分2201处的相机中的至少一个相机,电子设备101可以利用以下方式检测用户2202用他或她的手来握住第一部分2201的至少一部分的动作。电子设备101可以确认用户2202的动作是否对应于预定动作,并且可以依据是否对应于指定运动来认证用户认证的成功或失败。如图21B所示,电子设备101可以采取这样的运动,即第二部分2211具有握紧拳头的手形的形状。电子设备101可以基于通过至少一个相机获取的图像和在第一部分2201处的至少一个相机位置中的至少一个来检测用户2212的握紧的拳头接触第二部分2211的至少一部分的动作。电子设备101可以确认用户2212的动作是否对应于预定动作,并且可以根据是否对应于指定动作来识别用户认证的成功或失败。第二动作可以与第一动作同步或不同步。
电子设备101可以允许访问安全性所需的信息。第二动作可以用作安全性所需的信息的认证密钥。电子设备101可以不同地设置用户可访问的信息。电子设备101可以利用多因素认证方法,该方法利用与动作有关的因素和其他因素(例如,诸如虹膜、指纹等的生物信息)。
本公开的各种实施例可以由包括存储在机器(例如,计算机)可读的机器可读存储介质中的指令的软件来实现。该机器可以是从机器可读存储介质调用指令并根据所调用的指令进行操作的设备,并且可以包括电子设备。当指令由处理器执行时,处理器可以在处理器的控制下直接或使用其他组件来执行与该指令相对应的功能。该指令可以包括由编译器或解释器生成或执行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。这里,与对数据存储持久性的限制相反,本文所使用的术语“非暂时性”是对介质本身的限制(即,有形的,而不是信号)。
根据本公开中公开的各种实施例的方法可以被设置为计算机程序产品的一部分。该计算机程序产品可以作为产品在买卖双方之间进行交易。该计算机程序产品可以以机器可读存储介质(例如,光盘只读存储器(CD-ROM))的形式分发,或者可以仅通过应用商店(例如,Play StoreTM)分发。在在线分发的情况下,至少一部分计算机程序产品可以临时存储或生成在存储介质中,例如制造商的服务器、应用程序商店的服务器或中继服务器的存储器。
根据各个实施例的每个组件(例如,模块或程序)可以包括上述组件中的至少一个,并且可以省略上述子组件的一部分,或者还可以包括其他子组件。替代地或附加地,一些组件可以被集成在一个组件中,并且可以在集成之前执行由每个相应组件执行的相同或相似的功能。根据本公开的各种实施例的由模块、程序或其他组件执行的操作可以顺序地、并行地,重复地或以启发式方法来执行。而且,至少一些操作可以以不同的顺序执行、省略或者可以添加其他操作。
尽管已经参考本公开的某些实施例示出和描述了本公开,但是本领域技术人员将理解,在不脱离本公开的范围的情况下,可以在形式和细节上进行各种改变。因此,本公开的范围不应被定义为限于实施例,而应由所附权利要求及其等同形式来限定。

Claims (14)

1.一种电子设备,所述电子设备包括:
驱动电路;
相机;
至少一个处理器;以及
存储器;
其中,所述存储器存储有指令和信息,其中,所述信息包括与多个用户相对应的距离和角度,所述指令在被执行时使所述至少一个处理器:
基于用户输入获得执行指令,
确认与所获得的执行指令相对应的任务,其中所述任务包括通过所述相机获得图像的操作,
在所述多个用户中确认与所确认的任务相对应的用户,
基于存储在所述存储器中的信息,确认与所确认的用户相对应的距离和角度,其中,所确认的距离和角度是用于通过所述相机获得所述用户的图像的距离和角度,
确认所述用户的位置和所述用户面对的方向,
基于所确认的距离和角度、所述用户的位置、所述用户面对的方向,确定用于通过所述相机获得所述用户的图像的所述电子设备的目标地点和目标方向,其中所述电子设备的目标地点与所述用户的位置之间的距离对应于所确认的距离,并且所述电子设备的目标方向与所述用户面对的方向之间的角度对应于所确认的角度,
控制所述驱动电路将所述电子设备移动到所确定的目标地点并且旋转所述电子设备,使得所述电子设备面对所述目标方向,以及
当所述电子设备在所述目标地点面对所述目标方向时,通过所述相机获得所述用户的图像。
2.根据权利要求1所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:
确认包括所述距离和角度的任务执行条件。
3.根据权利要求2所述的电子设备,其中,所述任务执行条件是至少基于针对所述用户而执行的至少一个任务执行结果和针对所述至少一个任务执行结果中的每一个任务执行结果的反馈信息而确认的。
4.根据权利要求3所述的电子设备,其中,
所述任务执行条件包括与基于至少一个任务执行结果提供的效用分数有关的信息和针对所述至少一个任务执行结果中的每一个任务执行结果的所述反馈信息,并且
所述指令在被执行时,还使所述至少一个处理器参考与所述效用分数有关的信息来选择具有最高效用分数的任务执行条件。
5.根据权利要求3所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:
在移动到所述目标地点后执行所确认的任务,
获取执行所确认的任务的反馈信息,以及
基于所述反馈信息更新所述任务执行条件。
6.根据权利要求2所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:当相对于所确认的任务,与所确认的用户相对应的指定执行条件不存在时,根据预设的初始条件或随机条件来确认所述任务执行条件。
7.根据权利要求2所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:
搜索具有与所述用户的属性相似的属性的不同用户,并且
当相对于所确认的任务,与所确认的用户相对应的指定执行条件不存在时,根据与搜索到的不同用户相对应的指定执行条件来确认所述任务执行条件。
8.根据权利要求1所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:控制所述驱动电路,使得所述电子设备在移动到所述目标地点之后基于所述用户面对的方向旋转。
9.根据权利要求1所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:
确认与所确认的任务相对应的任务可执行范围,以及
控制所述驱动电路,使得当所述目标地点包括在所述任务可执行范围内时,所述电子设备移动到所述目标地点;或者当所述目标地点未包括在所述任务可执行范围内时,所述电子设备移动到所述目标地点以外的地点。
10.根据权利要求9所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:基于所确认的任务的类型和所述用户的状态中的至少一者来确认所述任务可执行范围。
11.根据权利要求10所述的电子设备,其中,所述用户的状态包括与用户的注视有关的信息、与用户的交互有关的信息以及与用户的活动有关的信息中的至少一个。
12.根据权利要求1所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:
确认包括所述用户的多个用户的任务,以及
确认与所述多个用户相对应的多个任务执行条件,
从所述多个任务执行条件中选择第一任务执行条件,
基于所述第一任务执行条件,确定所述电子设备的所述目标地点。
13.根据权利要求12所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:
根据所述多个用户中的每一个用户,确认分别为所述多个任务执行条件提供的效用分数,以及
选择第一任务执行条件,使得用于所述多个用户的效用分数之和或所述多个用户的效用分数加权之和是最大的。
14.根据权利要求12所述的电子设备,其中,所述指令在被执行时还使所述至少一个处理器:
确认所述多个用户的多个任务可执行范围中的每一个任务可执行范围,以及
当所述目标地点包括在所述多个任务可执行范围的公共范围内时,控制所述驱动电路将所述电子设备移动到所述目标地点;或者当所述目标地点未包括在所述多个任务可执行范围的公共范围内时,控制所述驱动电路将所述电子设备移动到所述目标地点以外的地点。
CN201880062061.7A 2017-11-09 2018-09-11 能够移动的电子设备及其操作方法 Active CN111163906B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0148932 2017-11-09
KR1020170148932A KR102463806B1 (ko) 2017-11-09 2017-11-09 이동이 가능한 전자 장치 및 그 동작 방법
PCT/KR2018/010613 WO2019093646A1 (en) 2017-11-09 2018-09-11 Electronic device capable of moving and operating method thereof

Publications (2)

Publication Number Publication Date
CN111163906A CN111163906A (zh) 2020-05-15
CN111163906B true CN111163906B (zh) 2023-07-21

Family

ID=66326618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880062061.7A Active CN111163906B (zh) 2017-11-09 2018-09-11 能够移动的电子设备及其操作方法

Country Status (5)

Country Link
US (1) US11407106B2 (zh)
EP (1) EP3655204A4 (zh)
KR (1) KR102463806B1 (zh)
CN (1) CN111163906B (zh)
WO (1) WO2019093646A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11480968B1 (en) * 2018-08-29 2022-10-25 Amazon Technologies, Inc. System for dynamic positioning of an autonomous mobile device with respect to a user
CN110442056B (zh) * 2019-07-29 2020-09-11 南京蹑波物联网科技有限公司 一种机器人紧急故障预警系统
KR102641117B1 (ko) 2019-08-26 2024-02-27 삼성전자주식회사 영상을 증강하는 방법 및 장치
JP7362107B2 (ja) * 2019-09-30 2023-10-17 Johnan株式会社 制御装置、制御方法およびプログラム
KR102337393B1 (ko) * 2019-12-30 2021-12-08 엘지전자 주식회사 이동 로봇
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
CN113223510B (zh) * 2020-01-21 2022-09-20 青岛海尔电冰箱有限公司 冰箱及其设备语音交互方法、计算机可读存储介质
CN111866660B (zh) * 2020-06-29 2022-09-09 深圳优地科技有限公司 声音播放方法、机器人、终端设备及存储介质
KR20220013073A (ko) * 2020-07-24 2022-02-04 삼성전자주식회사 전자 장치 및 그의 제어 방법
US12466071B2 (en) * 2021-05-05 2025-11-11 Sanctuary Cognitive Systems Corporation Robots, tele-operation systems, and methods of operating the same
CN113733118B (zh) * 2021-09-10 2023-05-26 中山大学 一种带柔性臂的空间站舱外服务机器人及其工作方法
KR102859407B1 (ko) * 2022-12-13 2025-09-12 주식회사 서큘러스 인터렉션 로봇 및 그를 이용한 신체 활동이 결합된 인지 훈련 콘텐츠 인터렉션 방법
KR102853450B1 (ko) * 2023-12-27 2025-09-03 주식회사 와키컴퍼니 사용자 맞춤형 서비스를 제공하는 가정용로봇시스템

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001277166A (ja) * 2000-03-31 2001-10-09 Sony Corp ロボット及びロボットの行動決定方法
KR100812506B1 (ko) * 2002-05-31 2008-03-11 후지쯔 가부시끼가이샤 원격 조작 로봇 및 로봇 자기 위치 추정 방법
US7756322B2 (en) * 2003-08-18 2010-07-13 Honda Motor Co., Ltd. Picture taking mobile robot
JP4220856B2 (ja) * 2003-08-18 2009-02-04 本田技研工業株式会社 携帯端末機器を用いた移動ロボットの画像撮影装置及びその方法
JP4316477B2 (ja) * 2004-11-18 2009-08-19 パナソニック株式会社 移動ロボットの追従方法
JP4455417B2 (ja) * 2005-06-13 2010-04-21 株式会社東芝 移動ロボット、プログラム及びロボット制御方法
EP2050544B1 (en) * 2005-09-30 2011-08-31 iRobot Corporation Robot system with wireless communication by TCP/IP transmissions
JP4456561B2 (ja) * 2005-12-12 2010-04-28 本田技研工業株式会社 自律移動ロボット
JP4682217B2 (ja) * 2007-03-07 2011-05-11 パナソニック株式会社 行動制御装置、方法、プログラム
JP4886572B2 (ja) * 2007-03-29 2012-02-29 本田技研工業株式会社 ロボット
EP2252190B1 (en) 2008-01-28 2012-05-23 Seegrid Corporation Service robot and method of operating same
CN101653662A (zh) * 2008-08-21 2010-02-24 鸿富锦精密工业(深圳)有限公司 机器人
KR101094648B1 (ko) 2009-08-10 2011-12-16 성균관대학교산학협력단 구도결정을 하는 사진사 로봇 및 그 제어방법
KR101119030B1 (ko) 2010-05-12 2012-03-13 (주) 퓨처로봇 지능형 로봇 장치의 서비스 시나리오 편집 방법, 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체, 지능형 로봇 장치 및 지능형 로봇의 서비스 방법
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
KR20130010553A (ko) * 2011-07-19 2013-01-29 주식회사 바이오닉스 사용자 피드백 및 작업교시를 이용한 치료장치 및 그 방법
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
KR101710667B1 (ko) 2012-12-17 2017-02-27 한국전자통신연구원 로봇을 이용한 서비스 어플리케이션 제공 장치 및 그 방법
US9956687B2 (en) 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
CN113524234A (zh) * 2015-04-22 2021-10-22 索尼公司 移动体控制系统以及控制方法
KR102584353B1 (ko) * 2015-12-04 2023-10-05 삼성전자주식회사 알람 출력 방법 및 이를 지원하는 전자 장치
US10414052B2 (en) * 2016-02-09 2019-09-17 Cobalt Robotics Inc. Building-integrated mobile robot
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
JP6713637B2 (ja) * 2016-03-28 2020-06-24 株式会社国際電気通信基礎技術研究所 サービス提供ロボットシステム
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置

Also Published As

Publication number Publication date
EP3655204A4 (en) 2020-08-12
US11407106B2 (en) 2022-08-09
US20190134812A1 (en) 2019-05-09
KR20190053001A (ko) 2019-05-17
WO2019093646A1 (en) 2019-05-16
CN111163906A (zh) 2020-05-15
KR102463806B1 (ko) 2022-11-07
EP3655204A1 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
CN111163906B (zh) 能够移动的电子设备及其操作方法
US11010601B2 (en) Intelligent assistant device communicating non-verbal cues
US10628714B2 (en) Entity-tracking computing system
US12537005B2 (en) Electronic device and controlling method thereof
US11126257B2 (en) System and method for detecting human gaze and gesture in unconstrained environments
KR102771268B1 (ko) 전자 장치 및 그의 정보 제공 방법
CN106463114B (zh) 信息处理设备、控制方法及程序存储单元
CN114391163A (zh) 手势检测系统和方法
CN112771453A (zh) 用于使用运动姿势控制电器的系统和方法
US11373650B2 (en) Information processing device and information processing method
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
CN108370488B (zh) 音频提供方法及其设备
WO2018000200A1 (zh) 对电子设备进行控制的终端及其处理方法
CN110121696B (zh) 电子设备及其控制方法
US20200043488A1 (en) Voice recognition image feedback providing system and method
CN118103799A (zh) 与远程设备的用户交互
KR102792918B1 (ko) 전자 장치 및 그 제어 방법
CN111919250B (zh) 传达非语言提示的智能助理设备
JP7452524B2 (ja) 情報処理装置、及び情報処理方法
KR102895054B1 (ko) 제스처에 기초하여, 음성 입력을 처리하는 전자 장치 및 그 동작 방법
JP2018051648A (ja) ロボット制御装置、ロボット、ロボット制御方法、及びプログラム
KR20250085374A (ko) 인체 감지에 따른 시각 맞춤형 디스플레이를 구비한 에이전트 로봇 및 그의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant