[go: up one dir, main page]

CN111919195B - 基于第三方信息和用户交互确定相关信息 - Google Patents

基于第三方信息和用户交互确定相关信息 Download PDF

Info

Publication number
CN111919195B
CN111919195B CN201980022691.6A CN201980022691A CN111919195B CN 111919195 B CN111919195 B CN 111919195B CN 201980022691 A CN201980022691 A CN 201980022691A CN 111919195 B CN111919195 B CN 111919195B
Authority
CN
China
Prior art keywords
user
features
applications
specific
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980022691.6A
Other languages
English (en)
Other versions
CN111919195A (zh
Inventor
G·M·亚格诺里
M·J·森德斯特伦
C·B·克雷默
K·T·豪沃思
W·C·麦卡特尼
J·R·福德
P·W·萨尔兹曼
A·R·温斯坦
R·玛达维安
J·C·温伯格
J·K·麦卡恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202410912105.8A priority Critical patent/CN118939155A/zh
Publication of CN111919195A publication Critical patent/CN111919195A/zh
Application granted granted Critical
Publication of CN111919195B publication Critical patent/CN111919195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G9/00Visual time or date indication means
    • G04G9/0064Visual time or date indication means in which functions not related to time can be displayed
    • G04G9/007Visual time or date indication means in which functions not related to time can be displayed combined with a calculator or computing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了用于基于用户交互确定相关信息的一种系统可包括处理器,该处理器被配置为从一个或多个应用程序接收应用程序数据,该应用程序数据包括与来自一个或多个应用程序的用户活动相关的特征,该一个或多个应用程序包括设备本地的存储在存储器中的应用程序和设备外部的应用程序。处理器可被进一步配置为使用机器学习(ML)模型基于特征中的每个特征提供一个或多个用户界面(UI)元素中的每个UI元素的相关性得分。处理器可被进一步配置为基于相关性得分的排名来对一个或多个UI元素进行排序。处理器可被进一步配置为至少部分地基于排名来提供一个或多个UI元素作为输出。

Description

基于第三方信息和用户交互确定相关信息
相关申请的交叉引用
本申请要求2018年6月3日提交的名称为“DETERMINING RELEVANT INFORMATIONBASED ON THIRD PARTY INFORMATION AND USER INTERACTIONS”的美国临时专利申请序列号62/679,887的权益,该申请据此全文以引用方式并入本文并且构成本美国实用新型专利申请的部分以用于所有目的。
技术领域
本说明书整体涉及基于用户交互来确定相关信息,包括诸如基于用户设备处的用户交互来确定相关信息。
背景技术
移动电子设备(例如,手表或智能手机)很受欢迎,并且通常由用户在执行日常和/或重复任务时携带。例如,移动电子设备的用户可以通过使用本地安装在设备上的移动应用程序在一天中与设备进行交互。然而,移动电子设备可具有小屏幕,该小屏幕限制在任何给定时间可以提供给用户的信息量。因此,如果在任何给定时间提供给用户的信息与用户无关,则用户可能需要与移动电子设备进一步交互以找到相关信息和/或应用程序。
附图说明
本主题技术的一些特征在所附权利要求书中被示出。然而,出于解释的目的,在以下附图中阐述了本主题技术的若干实施方案。
图1示出了根据一个或多个具体实施的用于基于用户交互提供相关信息的示例性网络环境。
图2示出了根据一个或多个具体实施的用于基于用户交互提供相关信息的系统的架构的示例图。
图3示出了根据一个或多个具体实施的用于对用户界面(UI)元素进行排名以提供推荐的示例性过程的流程图。
图4示出了根据一个或多个具体实施的以相应用户界面元素的形式显示推荐的示例性图形用户界面。
图5是可利用其实现本主题技术的一个或多个具体实施的设备(例如,可穿戴设备)的示例性框图。
图6示出了可以利用其来实现本主题技术的一个或多个具体实施的电子系统。
具体实施方式
下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而,本主题技术不限于本文阐述的具体细节,而是可以采用一个或多个其他具体实施来实践。在一个或多个具体实施中,以框图形式示出了结构和部件,以便避免使本主题技术的概念模糊。
本主题系统提供架构,该架构使得能够使用本地存储的机器学习(ML)模型在电子设备处确定相关信息,该本地存储的机器学习(ML)模型提供由本地数据源(例如,来自在电子设备上执行的应用程序)和来自不同电子设备的外部数据源(例如,在不同电子设备上执行的应用程序)提供的数据的相关性得分和/或排名。在一个示例中,相关性得分至少基于描述用户的当前环境和/或历史用户行为信息的输入信号。在一个或多个具体实施中,主题系统可由与另一电子设备(例如,移动智能手机)结合工作的可穿戴电子设备(例如,智能手表)来实现,但应当理解,主题技术可在其他类型的设备上实现并且利用其他类型的输出格式(例如,图形、听觉等)。
更具体地讲,本文所述的具体实施提供了一种系统,该系统使得能够使用ML模型基于由包括第三方数据源(例如,一个或多个特定电子设备上的第三方应用程序)的数据源提供的数据的相关性得分和/或排名来提供推荐(例如,建议的内容和/或建议的未来动作),所述第三方数据源使用一个或多个应用程序编程接口(API)向所述系统捐赠信息。第三方应用程序是指由不同实体或开发者开发的应用程序。如本文所提及的,“捐赠的”的信息(或“捐赠”或“捐赠信息”)可指或结合使应用程序能够向系统提供至少与此类应用程序内的用户活动相关的信息以用于至少确定对用户的推荐的机制来讨论。在一个示例中,推荐可以以显示在特定电子设备上的用户界面(UI)元素的形式提供,该用户界面元素指示供用户执行的建议的动作和/或向用户提供相关内容。
图1示出了根据一个或多个具体实施的用于向电子设备提供相关数据的示例性网络环境100。然而,并非所有所描绘的部件均可在所有具体实施中使用,并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化,而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
网络环境100包括电子设备120、可穿戴电子设备110和服务器130。网络106可通信(直接或间接)地耦接例如电子设备120、可穿戴电子设备110和/或服务器130中的任何两者或更多者。在一个或多个具体实施中,网络106可以是可包括互联网或可通信地耦接到互联网的设备的互连网络。出于解释的目的,网络环境100在图1中示出为包括电子设备120、可穿戴电子设备110和服务器130;然而,网络环境100可包括任何数量的电子设备和任何数量的服务器。
服务器130可为计算机网络或服务器组的一部分,诸如在云计算或数据中心实施中。服务器130可存储能够在可穿戴电子设备110和/或电子设备120上访问的数据,诸如照片、音乐、文本、网页和/或其中提供的内容等。
电子设备120可以是例如便携式计算设备,诸如膝上型计算机、智能手机、外围设备(例如,数字相机、耳机)、平板设备、智能扬声器等,或者包括例如一个或多个无线接口的任何其他适当设备,诸如WLAN无线电设备、蜂窝无线电设备、蓝牙无线电设备、Zigbee无线电设备、近场通信(NFC)无线电设备和/或其他无线电设备。在图1中,通过举例的方式,电子设备120被描绘为移动智能手机设备。电子设备120可以是和/或可以包括下文相对于图6讨论的电子系统的全部或部分。电子设备120可与可穿戴电子设备110通信。
可穿戴电子设备110可为例如被配置为穿戴在用户手臂上的包括例如一个或多个无线接口的可穿戴设备,诸如WLAN无线电设备、蜂窝无线电设备、蓝牙无线电设备、Zigbee无线电设备、近场通信(NFC)无线电设备和/或其他无线电设备。可穿戴电子设备110可以是和/或可以包括下文相对于图5讨论的电子设备的全部或部分。
尽管可穿戴电子设备110被示出为能够使用网络106与另一设备或服务器进行通信,但在本文所述的一个或多个具体实施中,可穿戴电子设备110本地地在设备自身上执行操作以向用户提供相关数据(例如,无需通过网络106和/或服务器130进行通信)。
图2示出了根据一个或多个具体实施的用于使用从第三方源捐赠的信息来确定相关数据的不同电子设备上的示例性架构200和202。出于解释的目的,架构200被描述为由图1的可穿戴电子设备110诸如由可穿戴电子设备110的处理器和/或存储器实现,并且架构202被描述为由电子设备120诸如由电子设备120的处理器和/或存储器实现;然而,架构200和/或架构202可由任何其他电子设备来实现。然而,并非所有所描绘的部件均可在所有具体实施中使用,并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化,而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
如图所示,为了使用来自在可穿戴电子设备110上执行的应用程序的捐赠信息来提供推荐,架构200可在可穿戴电子设备110上实现。可穿戴电子设备110包括相关性引擎和推荐提供方210、一个或多个可穿戴设备应用程序230、数据库240和应用程序数据管理器220。
可穿戴设备应用程序230可使用一个或多个API向数据库240捐赠应用程序数据235。可穿戴设备应用程序230可包括本地存储和/或在可穿戴电子设备110上运行的应用程序、服务、桌面小程序或程序。数据库240可将应用程序数据235存储在索引242中。索引242可以是架构200的其他部件可访问的可搜索索引。在一个示例中,应用程序数据235包括来自可穿戴设备应用程序230的捐赠信息。还应当理解,应用程序数据235可包括除捐赠信息之外的可存储在索引242中的附加信息。在一个示例中,对应于用户的当前位置和/或当前时间的信息可以包括在应用程序数据235中并存储在索引242中。
上述捐赠信息可包括与和特定可穿戴设备应用程序相关的最近用户活动和/或历史用户活动相关的信息,和/或与特定可穿戴设备应用程序内的内容(包括用户生成的内容)相关的信息。特定可穿戴设备应用程序的此类用户活动可包括用户在特定可穿戴设备应用程序内执行的先前动作和/或可穿戴设备应用程序的开发者已指示(例如,标记)为包括在捐赠信息中的特定信息。在另一个示例中,捐赠信息还包括要结合特定可穿戴设备应用程序执行的未来动作,该未来动作可由特定可穿戴设备应用程序至少基于先前的用户活动诸如周期性地发生的类似用户活动的历史(例如,每天购买特定类型的咖啡、每周观看特定电视节目、在工作日期间进行相同的通勤、在一周中的特定日子去健身房、在家里晚上阅读新闻等)来确定。例如,未来动作可指示特定位置或上下文(例如,在家、在健身房、在工作处、在通勤期间等)以示出与特定可穿戴设备应用程序和/或何时启动特定可穿戴设备应用程序相关的UI元素。此外,应用程序数据235可包括对应于用户将可能基于先前用户位置和/或安排信息(例如,日历事件、会议等)的位置的信息,以及用于确定用户一天的开始和结束的手腕检测信息。
此外,用户活动可指示与可穿戴设备应用程序的交互类型(例如,使用信息),包括例如停留时间、轻击通过和/或由用户执行的滚动。如本文所提及的,停留时间对应于用户悬停在由可穿戴设备应用程序所提供的特定UI元素上方多长时间。滚动活动可对应于用户向下滚动由一个或多个可穿戴设备应用程序提供的UI元素列表的距离。此外,轻击通过或不通过活动对应于用户是否轻击UI元素,这指示用户是否想要获得与UI元素提供的内容相关的更多信息。
架构200包括应用程序数据管理器220,该应用程序数据管理器基于应用程序数据235接收捐赠信息和/或存储在索引242中的其他信息。在一个或多个具体实施中,应用程序数据管理器220可被实现为在可穿戴电子设备110上执行的后台进程(例如,守护进程)。应用程序数据管理器220还可以主动跟踪对索引242的更新,并且检测更新的用户活动信息和/或包括在应用程序数据235中的其他捐赠信息。在另一个示例中,应用程序数据管理器220可直接从应用程序数据235(或从可穿戴设备应用程序230)接收信息(例如,用户的当前位置和/或当前时间)而无需访问索引242。应用程序数据管理器220向相关性引擎和推荐提供方210提供关于用户活动和/或其他捐赠信息的信息,以基于相关性得分的排名来确定相关性得分和推荐。此类推荐可为被提供用于在可穿戴电子设备110上显示的相应UI元素的形式。在一个示例中,此类UI元素被提供为可穿戴设备表面块,该可穿戴设备表面块可以用户可通过触摸输入、手势和/或滚动等与可穿戴设备表面块(例如,如图4中进一步讨论的)进行交互的方式呈现。
为了确定可作为推荐提供的特定UI元素的相关性得分,该相关性引擎和推荐提供方210可计算每个特定特征的高斯曲线,其中高斯曲线指示特定特征的密切度值(例如,高斯曲线的平均值)和置信度值(例如,高斯曲线的方差)。下文进一步讨论与不同类型的输入相关的特征的示例。可至少部分地基于下文进一步讨论的多个不同特征和/或其他值的不同高斯曲线的总和来确定特定UI元素的相关性得分。
上述高斯曲线的平均值对应于指示特征与用户的密切度(例如,相关性)的值。方差指示特征与用户的密切度的置信度值。在一个示例中,特征的正密切度可对应于诸如当用户轻击或点击与可穿戴设备应用程序相关联的UI元素时的用户行为。另外,特征的负密切度可对应于诸如当用户在没有任何附加交互的情况下滚动与可穿戴设备应用程序相关联的UI元素和/或不轻击或点击UI元素时的用户行为。此外,例如,特定特征的高方差指示特征的密切度值(例如,高斯曲线的平均值)具有低置信度,并且特定特征的低方差指示特征的密切度值具有高置信度。
此外,相关性引擎和推荐提供方210确定可用作确定相关性得分的一部分的特定UI元素的“偏离”值。如本文所用,偏离值是指当用户正在查看可穿戴电子设备110的显示器时用户将点击或轻击特定UI元素的可能性或指示,并且在至少一个具体实施中,是始终包括在确定该特定UI元素的相关性得分中的特定特征。为了确定相关性得分的最终值,相关性引擎和推荐提供方210确定前述高斯曲线和偏离值的总和。在一个或多个具体实施中,相关性引擎和推荐提供方210可利用ML模型以上述方式确定相关性得分。例如,ML模型可使用深度神经网络、卷积网络、无监督学习技术(例如,聚类)、贝叶斯网络、隐马尔可夫模型、协作过滤和/或矩阵分解等来实现。
前述特征(例如,可针对其计算相关性得分)的一些非限制性示例可包括描述用户的当前环境和/或描述历史或可能的用户行为的信息,诸如用户的当前位置、一天中的当前时间或一天中的特定时间段(例如,早上、下午、晚上)、最近的用户活动(例如,用户做了什么)、个人数字助理信息、所请求的历史主题信息或用户搜索的其他信息(例如,股票、天气、运动、应用程序类别等)、本地存储的用户配置文件信息、停留时间、滚动活动(例如,用户向下滚动UI元素列表多远)、轻击或不轻击活动(例如,用户是否轻击UI元素)、用户将启动应用程序的可能性(例如,基于诸如先前的用户活动和概率计算的信息),和/或用户何时戴上或取下可穿戴设备或设备(例如,以确定用户的典型开始和结束)。特定UI元素的内容可被认为是可被包括在相关性得分中的特征。特征的其他示例可包括特定应用程序的应用程序标识符和由应用程序提供的特定UI元素的标识符。
在至少一个具体实施中,特征可包括在不同的组中。例如,特征可包括在“一般”组或“记忆”组中,所述“一般”组包括不特定于一个或多个特定应用程序的特征,所述“记忆”组包括特定于特定应用程序的特征。此外,特定特征组可包括不同级别的特征。一般组中包括的特征的示例包括指示当前位置、当前时间和一天中的时间段的特征。包括在记忆组中的特征的示例包括与停留时间、轻击通过特定应用程序、滚动经过由用户执行的特定应用程序、用户将启动应用程序的可能性、特定应用程序的应用程序标识符以及特定时间和/或位置相关的特征。一般组的特征级别的示例可包括具有与时间和/或位置相关的特征的第一级别,以及应用程序类别(例如,商业、游戏等)的第二级别。记忆组的特征级别的示例可以包括第一级别和第二级别,第一级别包括与特定时间和/或特定位置相关的特征,第二级别针对与特定应用程序的特定图形元素相关的特征。
在一个示例中,当引入用于特定应用程序的新UI元素(例如,可穿戴设备表面块)时,包括在一般组中的特征可比包括在记忆组中的其他特征加权更多。最初,对于该新UI元素,与用于记忆特征的较高方差(例如,指示较低置信度)相比,一般特征可具有较低方差(例如,指示较高置信度)。随着时间的推移,随着用户增加交互以提供与和新UI元素的用户活动相关的附加信息,包括在记忆组中的特征可比包括在一般组中的特征加权更多。此外,在一个示例中,在用户针对新UI元素执行初始动作之后,对于新UI元素上的每个后续动作,具有非常高方差的给定特征可比具有较低方差的另一特征加权更多。这样,该系统使得具有较低置信度的特征能够探索更大的机会,并且使得具有更高置信度的另一个特征能够利用更大的机会。
在一个或多个具体实施中,ML模型可被进一步用于调整相关性量度,该相关性量度用于基于可穿戴电子设备110的用户随时间推移的行为来确定相关性得分。例如,当接收到针对一个或多个特征的新捐赠信息和/或其他信息时,相关性引擎和推荐提供方210可向ML模型提供新捐赠信息和/或其他信息以调节分配给如上所述的一个或多个特征的一组常数(例如,权重)。在另一个示例中,ML模型还可以调整相关性得分自身的值(例如,提升)。然后将所调整的常数和/或一个或多个相关性度量传回相关性引擎和推荐提供方210,以在适用的情况下调整相关性得分。
相关性引擎和推荐提供方210可使用相应的相关性得分根据从最高相关性得分到最低相关性得分的顺序(或一些其他适当的顺序)来对多个UI元素(例如,对应于相应的推荐)进行排名,并且可基于由相关性引擎和推荐提供方210提供的相关性的顺序来提供对应于供可穿戴电子设备110显示的推荐的一个或多个UI元素。下文在图3中更详细地描述了关于对用于提供推荐的UI元素进行排名的示例性过程。参考图4描述了以不同UI元素的形式显示推荐的示例性UI。
在一个或多个具体实施中,基于上述UI元素的排名,相关性引擎和推荐提供方210可从可穿戴电子设备110上的显示器移除一个或多个UI元素。此外,相关性引擎和推荐提供方210还可在后续时间重新显示先前移除的UI元素。
如进一步所示,电子设备120(例如,移动智能手机)可实现用于从电子设备120上的移动应用程序捐赠信息的架构202,该信息可由可穿戴电子设备110接收以用于提供一个或多个推荐。在一个或多个具体实施中,电子设备120包括一个或多个移动应用程序270、数据库280、应用程序数据管理器250和建议的动作UI 260。
移动应用程序270可使用一个或多个API向数据库240捐赠应用程序数据275。移动应用程序270可包括本地存储和/或在电子设备120上运行的应用程序、服务、桌面小程序或程序。数据库280可将应用程序数据275存储在索引282中。索引282可以是架构202的其他部件可访问的可搜索索引。在一个示例中,应用程序数据275包括来自移动应用程序270的捐赠信息。
架构202包括应用程序数据管理器250,该应用程序数据管理器基于应用程序数据275接收捐赠信息和/或存储在索引282中的其他信息。在一个或多个具体实施中,应用程序数据管理器250可被实现为在可穿戴电子设备110上执行的后台进程(例如,守护进程)。应用程序数据管理器250还可以主动跟踪对索引282的更新,并且检测更新的用户活动信息和/或包括在应用程序数据275中的其他捐赠信息。架构202可与在可穿戴电子设备110上实现的架构200结合工作。在至少一个具体实施中,应用程序数据管理器250向可穿戴电子设备110上的应用程序数据管理器220提供关于用户活动和/或其他捐赠信息的信息,以基于供可穿戴电子设备110显示的相关性得分的排名来确定相关性得分和推荐。此外,在一个具体实施中,此类推荐可由应用程序数据管理器250从可穿戴电子设备110接收,然后被提供给建议的动作UI 260。在一个具体实施中,当设备处于锁定模式时,建议的动作UI 260可在电子设备120的显示器上提供相应的推荐。
应当理解,在一些情况下,电子设备120的架构202可包括在可穿戴电子设备110上不可用的特定应用程序。在该示例中,应用程序数据管理器250可向应用程序数据管理器220提供与用户在电子设备120上的特定移动应用程序上执行的特定动作(例如,用户在可穿戴电子设备110上不可用的移动应用程序上命令特定项目)相关的捐赠信息(例如,来自应用程序数据275)以(潜在地)提供为可穿戴电子设备110的推荐。此外,在一些情况下,当不需要电子设备120完成动作时,电子设备120不必靠近可穿戴电子设备110。
如上所述,本发明技术的一个方面在于采集和使用得自各种来源的数据,以改进向用户递送其可能感兴趣的启发内容或任何其他内容。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、Twitter账号、家庭地址、与用户健康或健康水平相关的数据或记录(例如,生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,该个人信息数据可用于递送用户较感兴趣的目标内容。因此,使用此类个人信息数据使得用户能够对所递送的内容进行有计划的控制。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就广告递送服务而言,本发明的技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一示例中,用户可以选择不为目标内容递送服务提供情绪相关数据。在另一个示例中,用户可选择限制情绪相关数据被保持的时间长度,或完全禁止基础情绪状况的开发。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集定位数据)、控制数据如何被存储(例如,在用户之间聚合数据)、和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低数量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好,从而选择内容并将该内容递送至用户。
图3示出了根据一个或多个具体实施的用于提供推荐的示例性过程300的流程图。出于解释的目的,本文主要参考图1的可穿戴电子设备110来描述过程300。然而,过程300不限于图1的可穿戴电子设备110,并且过程300的一个或多个框(或操作)可由电子设备120的一个或多个其他部件和/或由其他合适设备来执行。进一步出于解释的目的,过程300的框在本文中被描述为顺序地或线性地发生。然而,过程300的多个框可并行地发生。此外,过程300的框不必按所示顺序执行,并且/或者过程300的一个或多个框不必执行和/或可由其他操作替代。
如图3所示,可穿戴电子设备110从一个或多个应用程序接收应用程序数据,该应用程序数据包括与来自一个或多个应用程序的用户活动相关的特征(302)。在一个示例中,应用程序数据可包括来自可穿戴电子设备110本地和/或外部的应用程序(例如,可穿戴设备应用程序或移动设备应用程序)的相关联的信息,以及描述用户的当前环境或历史用户行为信息的一组信号。应用程序数据可包括来自如上文在图2中所讨论的此类应用程序的捐赠信息,包括用于确定与来自应用程序的UI元素相关的相关性得分的不同特征的信息。
可穿戴电子设备110本地的应用程序的一些非限制性示例可包括可穿戴设备应用程序、桌面小程序或程序等,诸如以下各项:日历、提醒、警报、定时器、秒表、天气、股票、运动、电视节目、地图、逐向导航、日出、日落、活动、呼吸、健身、心跳信息、活动健身、通勤、新闻、物联网(IoT)、家庭自动化、数字钱包和/或提供捐赠信息的其他可穿戴设备应用程序等。可穿戴电子设备外部的应用程序包括由另一设备(例如,电子设备120)提供的移动应用程序。又如,应用程序数据可包括与预测的未来动作(例如,至少基于时间和/或位置订购不同类型的咖啡)相关的信息。此类未来动作可基于位置、上下文和/或例程,诸如当用户在通勤时,当用户在工作时,当用户在健身房时,和/或当用户在家时等。
信号的一些非限制性示例可包括描述用户的当前环境和/或描述历史或可能的用户行为的以下信息:用户的当前位置、一天中的当前时间、最近的用户活动(例如,用户做了什么)、个人数字助理信息、生物特征数据(例如,用户的心率)、所请求的历史话题信息或用户搜索的其他信息(例如,股票、天气、运动、应用程序类别等)、本地存储的用户配置文件信息、停留时间(例如,用户悬停在手表具体实施中的数据项上方多长时间)、滚动活动(例如,用户沿元素列表向下滚动多远)、轻击通过或不轻击通过活动(例如,用户是否轻击元素)、用户将启动应用程序的可能性(例如,基于诸如先前的用户活动和概率计算的信息),和/或用户何时戴上或取下手表或设备(例如,以确定用户的典型开始和结束)。
可穿戴电子设备110使用ML模型基于特征中的每个特征为一个或多个用户界面(UI)元素提供相关性得分(304)。如图2所述,可确定每个特定特征的高斯曲线,其中高斯曲线指示特定特征的密切度值(例如,高斯曲线的平均值)和置信度值(例如,高斯曲线的方差)。可至少部分地基于多个不同特征和/或其他值的不同高斯曲线的总和来确定特定UI元素的相关性得分。与可影响相关性得分的特征相关的信号的示例包括用户启动设备上的一个或多个应用程序的顺序,以及基于其他因素(例如,日历邀请中的重要人员)的UI元素的重要性。在触摸界面具体实施中,可穿戴电子设备110跟踪先前的活动,并且如果用户显示不轻击UI元素或不与UI元素交互的历史,则该UI元素可得分较低。此外,可穿戴电子设备110还可确定(例如,使用检测运动的传感器)用户何时正在查看可穿戴电子设备110的屏幕但不与UI元件进行交互,并且可降低UI元素的得分。类似地,当可穿戴电子设备检测到用户正在查看屏幕并且确实与UI元素交互时,UI元素的得分可得到提高。当接收到新信号时,可动态地更新/重新计算得分。如上所述,这些新信号可被馈送到ML模型中以调整最终相关性得分。此外,如图2所讨论的,可随时间推移调整特征的相应权重,这可影响相关性得分。
可穿戴电子设备110基于每个UI元素的相关性得分对UI元素进行排序/排名(306)。例如,排序可以按得分和时间顺序(时间)进行。在另一个示例中,可以使用其他排序方案(例如,从最低相关到最高相关(反向相关性顺序))。可穿戴电子设备110至少部分地基于排名来提供一个或多个UI元素作为输出(308)。在一个示例中,将输出提供给可穿戴电子设备110以用于向用户渲染UI(下文在图4中更详细地描述)。在一个示例中,可在可穿戴电子设备110处于锁定模式时提供输出。在另一个示例中,输出可以是听觉格式(例如,个人数字助理)。在又一示例中,输出可以是文本格式(例如,即时消息应用程序)。
图4示出了根据一个或多个具体实施的用于显示排名数据项的示例性图形用户界面。可穿戴电子设备110的相关性引擎和推荐提供方210可提供用于呈现UI元素410、420、430和440的用户界面400以进行显示,UI元素410、420、430和440中可包括用于进行显示的相应内容。在一个或多个具体实施中,UI元素410、420、430、440可以各自是至少基于捐赠信息和/或来自应用程序数据(例如,应用程序数据235、应用程序数据275)的其他信息由可穿戴电子设备110显示的相应可穿戴设备表面块。每个UI元素可具有不同的相关性得分,并且相关性得分由相关性引擎和推荐提供方210进行排名。在该示例中,UI元素410、420、430和440从最高相关性得分到最低相关性得分进行排序。然而,应当理解,UI元素410、420、430和440可以与图4中所示的示例不同的一个或多个顺序进行排序。此外,即使出于解释的目的,图4中示出了四个UI元素,相关性引擎和推荐提供方210也可同时显示任何数量的排名数据项(或其子集)。
图5是根据本主题技术的一个或多个具体实施的可穿戴设备500(例如,智能手表)的示例性框图。可穿戴设备500可以是图1所示的可穿戴电子设备110和/或可以是其一部分。可穿戴设备500可包括处理子系统502、存储子系统504、输入/输出506、RF接口508、连接器接口510、电源子系统512、环境传感器514和带传感器516。可穿戴设备500还可包括其他部件(未明确示出)。
在许多具体实施中,可穿戴设备500可计时和显示时间,本质上用作手表等。时间能够以模拟或数字格式显示,具体取决于设备、其设置和(在某些情况下)用户的偏好。通常,时间显示在形成设备外部的一部分的数字显示器叠层上。
存储子系统504可例如使用磁性存储介质、闪存存储器、其他半导体存储器(例如,DRAM、SRAM)或任何其他非暂态存储介质或介质的组合来实现,并且可包括易失性介质和/或非易失性介质。在一些具体实施中,存储子系统504可存储媒体项,诸如音频文件、视频文件、图像或原图文件;关于用户联系人的信息(姓名、地址、电话号码等);关于用户安排的约会和事件的信息;备忘录;和/或其他类型的信息,下文描述了这些信息的示例。在一些具体实施中,存储子系统504还可存储待由处理子系统502执行的一个或多个应用程序(例如,视频游戏程序、个人信息管理程序、媒体回放程序、与特定主机设备和/或主机设备功能相关联的接口程序等)。
输入/输出506可包括输入设备和输出设备的任何组合。用户可操作输入/输出506的输入设备以调用可穿戴设备500的功能,并且可经由输入/输出506的输出设备来查看、收听和/或以其他方式体验来自可穿戴设备500的输出。
输出设备的示例包括显示器520、扬声器522和触觉输出发生器524。显示器520可使用紧凑显示器技术例如LCD(液晶显示器)、LED(发光二极管)、OLED(有机发光二极管)等来实现。在一些具体实施中,显示器520可结合柔性显示元件或曲面玻璃显示元件,从而允许可穿戴设备500符合所需形状。可使用小型扬声器技术,包括能够将电子信号转换为可听声波的任何技术来提供一个或多个扬声器522。在一些具体实施中,扬声器522可用于产生音调(例如,蜂鸣声或振铃),并且可以但无需能够再现具有任何特定保真度的声音诸如语音或音乐。触觉输出生成器524可为例如将电子信号转换为振动的设备;在一些具体实施中,振动可足够强,以由佩戴可穿戴设备500的用户感觉到,但又不至于产生独特的声音。
输入设备的示例包括麦克风526、触摸传感器528和相机529。麦克风526可包括将声波转换为电信号的任何设备。在一些具体实施中,麦克风526可足够灵敏以提供用户说出的特定词语的表示;在其他具体实施中,麦克风526可用于提供对总体环境声级的指示,而不必提供特定声音的高质量电子表示。
触摸传感器528可包括例如电容传感器阵列,该电容传感器阵列具有使接触定位于传感器的表面上的特定点或区域的能力,并且在一些情况下,具有区分多个并发接触的能力。在一些具体实施中,触摸传感器528可被上覆在显示器520上方以提供触摸屏界面,并且处理子系统504可根据当前在显示器520上显示的内容来将触摸事件(包括轻击和/或利用一个或多个接触作出的其他手势)转化为特定用户输入。在一些具体实施中,触摸传感器528还可确定覆盖玻璃上的触摸的位置。触摸传感器可被结合到显示器叠层中或显示器叠层上以便确定触摸的位置。触摸传感器在某些具体实施中可为自电容的,在其他具体实施中可为互电容的,或可为它们的组合。
相机529可包括例如紧凑型数码相机,该相机包括图像传感器诸如CMOS传感器以及被布置为将图像对焦到图像传感器上的光学部件(例如,镜头),连同可操作以使用成像部件来捕获并存储静态图像和/或视频图像的控制逻辑部件。图像可被存储在例如存储子系统504中,和/或由可穿戴设备500传输到其他设备以供存储。根据具体实施,光学部件可提供固定焦距或可变焦距;在后一种情况下,可提供自动对焦。根据具体实施可提供零个、一个或多个相机。
在一些具体实施中,输入/输出506可向辅助设备诸如头戴式耳机提供输出,和/或从辅助设备接收输入。例如,音频插孔530可经由音频电缆(例如,标准的2.5mm或3.5mm音频电缆)连接到辅助设备。音频插孔530可包括输入路径和/或输出路径。因此,音频插孔530可向辅助设备提供音频,和/或从辅助设备接收音频。在一些具体实施中,无线连接接口可用于与辅助设备进行通信。
处理子系统502可被实现为能够处理、接收或传输数据或指令的任何电子设备。处理子系统502可包括一个或多个集成电路。例如,处理子系统502可包括以下中的一者或多者:一个或多个单核或多核微处理器或微控制器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP)或此类设备的附加组合。在操作中,处理子系统502可控制可穿戴设备500的操作。在各种具体实施中,处理子系统502可响应于程序代码来执行各种程序,并且可维护多个同时执行的程序或进程。在任何给定时间,待执行的一些或全部程序代码可驻留在处理子系统502中和/或存储介质诸如存储子系统504中。
通过合适的编程,处理子系统502可为可穿戴设备500提供各种功能。例如,在一些具体实施中,处理子系统502可执行操作系统(OS)532和用于与主机设备交接的各种应用程序,诸如电话界面应用程序534、文本界面应用程序536和/或媒体界面应用程序538。
在一些具体实施中,处理子系统502还可执行主机安全进程560,其为建立并维持与主机设备的经验证的通信会话提供支持。用户数据562可包括特定于用户的任何信息,诸如标识信息、用户指定的设置和偏好、定制信息(例如,联系人、预定义文本消息),以及任何其他与用户相关的数据或内容。
RF(射频)接口508可允许可穿戴设备500与各种主机设备进行无线通信。RF接口508可包括RF收发器部件(诸如天线和支持电路),以使得能够经由无线介质进行数据通信,例如,使用WiFi(IEEE 502.5系列标准)、(由Bluetooth SIG,Inc.发布的一系列标准)或用于无线数据通信的其他协议。RF接口508可使用硬件部件(例如,驱动电路、天线、调制器/解调器、编码器/解码器,以及其他模拟信号处理电路和/或数字信号处理电路)与软件部件的组合来实现。在一些具体实施中,RF接口508可提供近场通信(“NFC”)能力,例如实现ISO/IEC 18092标准等;NFC可支持设备之间在非常短的范围内(例如,20厘米或更小)的无线数据交换。可将多个不同的无线通信协议以及相关联的硬件结合到RF接口508中。
连接器接口510可允许可穿戴设备500经由有线通信路径,例如使用通用串行总线(USB)、通用异步接收器/发射器(UART)或用于有线数据通信的其他协议来与各种主机设备进行通信。在一些具体实施中,连接器接口510可提供电源端口,从而允许可穿戴设备500接收电力,例如以对内部电池进行充电。例如,连接器接口510可包括连接器诸如微型USB连接器或自定义连接器以及支持电路。
环境传感器514可包括提供与可穿戴设备500周围的外部条件有关的信息的各种电子、机械、机电、光学或其他设备。在一些具体实施中,例如根据需要以流式传输方式或响应于处理子系统502的轮询,传感器514可向处理子系统502提供数字信号。可使用任何类型和组合的环境传感器;以举例方式示出了加速度计542、磁力仪544、陀螺仪传感器546和GPS接收器548。
传感器516可包括向可穿戴设备500提供信息的各种电子、机械、机电、光学或其他设备,诸如可检测卡环构件何时彼此接合或何时彼此脱离的卡环传感器550。又如,可设置一个或多个冠部传感器552以检测来自冠部的输入。冠部传感器552还可包括运动传感器、加速度计、压力传感器(例如,压电设备)等。
电源子系统512可为可穿戴设备500提供电力和电源管理能力。例如,电源子系统512可包括电池540(例如,可再充电电池)和相关联的电路,以将电力从电池540分配到需要电力的移动设备500的其他部件。在一些具体实施中,例如当连接器接口510连接到电源时,电源子系统512还可包括用于对电池540进行充电的电路。在一些具体实施中,电源子系统512可包括用于在不依赖于连接器接口510的情况下对电池540进行充电的“无线”充电器诸如感应充电器。感应式充电基座可向设备内的感应接收器传输电力,以便对设备的电池充电。
应当理解,可穿戴设备500是示例性的,并且变型形式和修改形式是可能的。
图6示出了可利用以实现本主题技术的一个或多个具体实施的电子系统600。电子系统600可为图1所示的电子设备130和/或服务器130和/或可为其一部分。电子系统600可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统600包括总线608、一个或多个处理单元612、系统存储器604(和/或缓存)、ROM 610、永久性存储设备602、输入设备接口614、输出设备接口606以及一个或多个网络接口616,或其子集及变体形式。
总线608总体表示通信地连接电子系统600的许多内部设备的全部系统总线、外围设备总线和芯片组总线。在一个或多个具体实施中,总线608将一个或多个处理单元612与ROM 610、系统存储器604和永久性存储设备602通信地连接。一个或多个处理单元612从这些各种存储器单元检索要执行的指令和要处理的数据,以便执行本主题公开的过程。在不同的具体实施中,一个或多个处理单元612可为单个处理器或者多核处理器。
ROM 610存储一个或多个处理单元612以及电子系统600的其他模块所需的静态数据和指令。另一方面,永久性存储设备602可为读写存储器设备。永久性存储设备602可为即使在电子系统600关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中,海量存储设备(诸如,磁盘或光盘及其对应的磁盘驱动器)可被用作永久性存储设备602。
在一个或多个具体实施中,可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可以用作永久性存储设备602。与永久性存储设备602一样,系统存储器604可为读写存储器设备。然而,与永久性存储设备602不同,系统存储器604可为易失性读写存储器,诸如随机存取存储器。系统存储器604可存储一个或多个处理单元612在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中,本主题公开的过程被存储在系统存储器604、永久性存储设备602和/或ROM 610中。一个或多个处理单元612从这些各种存储器单元检索要执行的指令和要处理的数据,以便执行一个或多个具体实施的过程。
总线608还连接至输入设备接口614和输出设备接口606。输入设备接口614使得用户能够向电子系统600传送信息以及选择命令。可与输入设备接口614一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口606可例如使得能够显示电子系统600所生成的图像。可与输出设备接口606一起使用的输出设备可包括例如打印机和显示设备,诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备,诸如触摸屏。在这些具体实施中,提供给用户的反馈可以是任何形式的感官反馈,诸如视觉反馈、听觉反馈或触觉反馈;并且可以任何形式接收来自用户的输入,包括声学、语音或触觉输入。
最后,如图6所示,总线608还通过一个或多个网络接口616将电子系统600耦接到一个或多个网络和/或耦接到一个或多个网络节点,诸如图1中所示的电子设备120。以此方式,电子系统600可为计算机网络(诸如LAN、广域网(“WAN”)或内联网)的一部分,或者可为网络的网络(诸如互联网)的一部分。电子系统600的任何或全部部件可与本主题公开一起使用。
可以利用编写有一个或多个指令的有形计算机可读存储介质(或一种或多种类型的多个有形计算机可读存储介质)部分地或全部地实现本公开范围之内的具体实施。有形计算机可读存储介质实质上也可以是非暂态的。
计算机可读存储介质可以是任何可以由通用或专用计算设备读、写或以其他方式访问的存储介质,包括任何能够执行指令的处理电子器件和/或处理电路。例如,非限制地,计算机可读介质可包括任何易失性半导体存储器,诸如RAM、DRAM、SRAM、T-RAM、Z-RAM和TTRAM。计算机可读介质也可包括任何非易失性半导体存储器,诸如ROM、PROM、EPROM、EEPROM、NVRAM、闪存、nvSRAM、FeRAM、FeTRAM、MRAM、PRAM、CBRAM、SONOS、RRAM、NRAM、赛道存储器、FJG和Millipede存储器。
此外,计算机可读存储介质可包括任何非半导体存储器,诸如光盘存储装置、磁盘存储装置、磁带、其他磁性存储设备或者能够存储一个或多个指令的任何其他介质。在一个或多个具体实施中,有形计算机可读存储介质可直接耦接到计算设备,而在其他具体实施中,有形计算机可读存储介质可例如经由一个或多个有线连接、一个或多个无线连接、或它们的任意组合而间接地耦接到计算设备。
指令可以是直接能执行的,或者可用于开发可执行指令。例如,指令可被实现为可执行的或不可执行的机器代码,或者可被实现为可被编译以产生可执行的或不可执行的机器代码的高级语言指令。此外,指令也可被实现为数据,或者可包括数据。计算机可执行指令也可以任何格式组织,包括例程、子例程、程序、数据结构、对象、模块、应用、小程序、函数等。如本领域技术人员认识到的那样,包括但不限于指令的数量、结构、序列和组织的细节可明显不同,而不改变底层的逻辑、功能、处理和输出。
虽然以上论述主要涉及执行软件的微处理器或多核处理器,但一个或多个具体实施由一个或多个集成电路诸如ASIC或FPGA执行。在一个或多个具体实施中,此类集成电路执行存储在电路自身上的指令。
本领域的技术人员将会认识到,本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性,上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用以及对整个系统施加的设计约束。技术人员对于每个具体应用可通过不同方式实现所描述的功能性。各种部件和框可被不同地布置(例如,以不同的顺序排列,或以不同的方式划分),而不脱离本主题技术的范围。
应当理解,本发明所公开的过程中的框的特定顺序或分级结构为示例性方法的例示。基于设计优选要求,应当理解,过程中的框的特定顺序或者分级结构可被重新布置或者所有示出的框都被执行。这些框中的任何框可被同时执行。在一个或多个具体实施中,多任务和并行处理可能是有利的。此外,上述具体实施中各个系统部件的划分不应被理解为在所有具体实施中都要求此类划分,并且应当理解,程序部件和系统可一般性地被一起整合在单个软件产品中或者封装到多个软件产品中。
如本说明书以及本专利申请的任何权利要求中所用,术语“基站”、“接收器”、“计算机”、“服务器”、“处理器”及“存储器”均是指电子设备或其他技术设备。这些术语排除人或者人的群组。出于本说明书的目的,术语“显示”或“正在显示”意指在电子设备上显示。
如本文所用,在用术语“和”或“或”分开项目中任何项目的一系列项目之后的短语“中的至少一者”是将列表作为整体进行修饰,而不是修饰列表中的每个成员(即每个项目)。短语“中的至少一者”不要求选择所列出的每个项目中的至少一个;相反,该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说,短语“A、B和C中的至少一者”或“A、B或C中的至少一者”各自是指仅A、仅B或仅C;A、B和C的任意组合;和/或A、B和C中的每一者中的至少一者。
谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。在一个或多个具体实施中,被配置为监视和控制操作或部件的处理器也可以是意指处理器被编程以监视和控制操作或者处理器可操作以监视和控制操作。同样,被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。
短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一种或多种配置、主题技术、公开、本公开、它们的其他变型等等都是为了方便,并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的,也不意味着这种公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面,反之亦然,并且这与其他前述短语类似地应用。
字词“示例性”在本文中被用于意指“用作示例、实例或者例示”。在本文中被描述为“示例性的”或作为“示例”的任何实施方案不必被理解为优选于或优于其他具体实施。此外,在术语“包括”、“具有”等在说明书或权利要求中使用的限度内,这样的术语旨在是包含性的,与术语“包括”当在权利要求中被用作过渡字词时“包括”被解释的方式类似。
本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文,并且旨在被权利要求书所涵盖。此外,本文所公开的任何内容并非旨在提供给公众,而与该公开是否明确地被陈述在权利要求中无关。根据35U.S.C.§112第六段的规定,不需要解释任何权利要求元素,除非使用短语“用于……的装置”明确陈述了该元素,或者就方法权利要求而言,使用短语“用于……的步骤”陈述了该元素。
先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。这些方面的各种修改对本领域的技术人员而言是显而易见的,并且本文所限定的通用原则可应用于其他方面。因此,本权利要求书并非旨在受限于本文所示的方面,而是旨在使得全部范围与语言权利要求书一致,其中对奇异值中的元素的引用并非旨在意味着“仅仅一个”,而是指“一个或多个”,除非被具体指出。除非另外特别说明,否则术语“一些”是指一个或多个。男性的代名词(例如,他的)包括女性和中性(例如,她的和它的),并且反之亦然。标题和子标题(如果有的话)仅为了方便起见而使用并且不限制本主题公开。

Claims (15)

1.一种提供用户界面UI元素的设备,所述设备包括:
存储器;以及
至少一个处理器,所述至少一个处理器被配置为:
从一个或多个应用程序接收应用程序数据,所述应用程序数据包括与来自所述一个或多个应用程序的用户活动相关的特征,所述一个或多个应用程序包括所述设备本地的存储在所述存储器中的应用程序和所述设备外部的应用程序;
使用机器学习ML模型基于所述特征中的每个特征来提供一个或多个用户界面UI元素中的每个UI元素的相关性得分,
其中所述相关性得分至少部分地基于权重,所述权重基于所述用户活动和所述特征的相应方差值被分配给特征;
基于所述相关性得分的排名来对一个或多个UI元素进行排序;以及
至少部分地基于所述排名来提供所述一个或多个UI元素作为输出。
2.根据权利要求1所述的设备,其中所述相关性得分至少部分地基于相应高斯曲线的总和。
3.根据权利要求1所述的设备,其中所述相关性得分进一步基于指示用户将点击或轻击特定UI元素的可能性的值。
4.根据权利要求1所述的设备,其中第一特征的高方差值指示与所述第一特征相关联的低置信度,并且第二特征的低方差值指示与所述第二特征相关联的高置信度,其中为所述第一特征分配比所述第二特征更大的权重以用于提供所述相关性得分。
5.根据权利要求1所述的设备,其中所述特征包括基于位置或时间的信号。
6.根据权利要求1所述的设备,其中所述应用程序数据由所述应用程序使用一个或多个应用程序编程接口来提供。
7.根据权利要求1所述的设备,其中当接收到与用户活动相关的新应用程序数据时,随时间推移调整分配给特征的所述权重。
8.根据权利要求1所述的设备,其中所述特征被包括在不同的组中。
9.根据权利要求8所述的设备,其中所述不同的组包括跨所述应用程序共享的一组特征和特定于特定应用程序的第二组特征。
10.根据权利要求8所述的设备,其中所述设备包括可穿戴电子设备,并且每个UI元素被提供用于由所述可穿戴电子设备根据所述排名来显示,并且其中所述每个UI元素对应于表盘图形元素。
11.根据权利要求1所述的设备,其中所述特征中的至少一个特征被包括在一般特征组或记忆特征组中的至少一者中,其中所述一般特征组对应于不特定于特定应用程序的特征并且包括以下至少之一:当前位置、当前时间或一天中的时间段,并且其中所述记忆特征组对应于特定于特定应用程序的特征并且包括以下至少之一:停留时间、轻击通过所述特定应用程序、滚动经过由所述用户执行的所述特定应用程序、或用户将启动所述特定应用程序的可能性。
12.一种提供用户界面UI元素的方法,所述方法包括:
从一个或多个应用程序接收应用程序数据,所述应用程序数据包括与来自所述一个或多个应用程序的用户活动相关的特征,所述一个或多个应用程序包括设备本地的应用程序和所述设备外部的应用程序;
使用机器学习ML模型基于所述特征中的每个特征来提供一个或多个用户界面UI元素中的每个UI元素的相关性得分,其中所述相关性得分至少部分地基于权重,所述权重基于所述用户活动和所述特征的相应方差值被分配给特征;
基于所述相关性得分的排名来对一个或多个UI元素进行排序;以及
至少部分地基于所述排名来提供所述一个或多个UI元素作为输出。
13.根据权利要求12所述的方法,其中所述特征中的至少一个特征被包括在一般特征组或记忆特征组中的至少一者中,其中所述一般特征组对应于不特定于特定应用程序的特征并且包括以下至少之一:当前位置、当前时间或一天中的时间段,并且其中所述记忆特征组对应于特定于特定应用程序的特征并且包括以下至少之一:停留时间、轻击通过所述特定应用程序、滚动经过由所述用户执行的所述特定应用程序、或用户将启动所述特定应用程序的可能性。
14.一种包括存储在非暂态计算机可读存储介质中的代码的计算机程序产品,所述代码包括:
用于从一个或多个应用程序接收应用程序数据的代码,所述应用程序数据包括与来自所述一个或多个应用程序的用户活动相关的特征,所述一个或多个应用程序包括设备本地的应用程序和所述设备外部的应用程序;
用于使用机器学习ML模型基于所述特征中的每个特征来提供一个或多个用户界面UI元素中的每个UI元素的相关性得分的代码,其中所述相关性得分至少部分地基于权重,所述权重基于所述用户活动和所述特征的相应方差值被分配给特征;
用于基于所述相关性得分的排名来对一个或多个UI元素进行排序的代码;以及
用于至少部分地基于所述排名来提供所述一个或多个UI元素作为输出的代码。
15.根据权利要求14所述的计算机程序产品,其中所述特征中的至少一个特征被包括在一般特征组或记忆特征组中的至少一者中,其中所述一般特征组对应于不特定于特定应用程序的特征并且包括以下至少之一:当前位置、当前时间或一天中的时间段,并且其中所述记忆特征组对应于特定于特定应用程序的特征并且包括以下至少之一:停留时间、轻击通过所述特定应用程序、滚动经过由所述用户执行的所述特定应用程序、或用户将启动所述特定应用程序的可能性。
CN201980022691.6A 2018-06-03 2019-03-19 基于第三方信息和用户交互确定相关信息 Active CN111919195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410912105.8A CN118939155A (zh) 2018-06-03 2019-03-19 基于第三方信息和用户交互确定相关信息

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862679887P 2018-06-03 2018-06-03
US62/679,887 2018-06-03
US16/186,348 2018-11-09
US16/186,348 US11604661B2 (en) 2018-06-03 2018-11-09 Determining relevant information based on third party information and user interactions
PCT/US2019/023027 WO2019236166A1 (en) 2018-06-03 2019-03-19 Determining relevant information based on third party information and user interactions

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410912105.8A Division CN118939155A (zh) 2018-06-03 2019-03-19 基于第三方信息和用户交互确定相关信息

Publications (2)

Publication Number Publication Date
CN111919195A CN111919195A (zh) 2020-11-10
CN111919195B true CN111919195B (zh) 2024-07-19

Family

ID=68693777

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410912105.8A Pending CN118939155A (zh) 2018-06-03 2019-03-19 基于第三方信息和用户交互确定相关信息
CN201980022691.6A Active CN111919195B (zh) 2018-06-03 2019-03-19 基于第三方信息和用户交互确定相关信息

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410912105.8A Pending CN118939155A (zh) 2018-06-03 2019-03-19 基于第三方信息和用户交互确定相关信息

Country Status (6)

Country Link
US (2) US11604661B2 (zh)
EP (1) EP3756078B1 (zh)
KR (2) KR102554384B1 (zh)
CN (2) CN118939155A (zh)
AU (1) AU2019281373B2 (zh)
WO (1) WO2019236166A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138519B1 (en) * 2018-05-23 2021-10-05 Intuit Inc. Method and system for providing personalized presearch for users of a data management system
US20190385199A1 (en) * 2018-06-18 2019-12-19 International Business Machines Corporation Review and recommendation filtering based on user fitness metric
US11228810B1 (en) 2019-04-22 2022-01-18 Matan Arazi System, method, and program product for interactively prompting user decisions
CN111258695B (zh) * 2020-01-15 2023-11-17 广东小天才科技有限公司 电话手表的表盘推荐方法、表盘推荐装置及终端设备
KR102871824B1 (ko) * 2020-12-02 2025-10-23 삼성전자주식회사 전자 장치 및 그 제어 방법
US12367339B1 (en) * 2022-03-04 2025-07-22 Cdw Llc Methods and systems for dynamic procurement data mining
WO2025018765A1 (ko) * 2023-07-17 2025-01-23 삼성전자 주식회사 화면의 설정을 추천하는 방법 및 이를 지원하는 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090006085A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Automated call classification and prioritization
CN102754094B (zh) * 2009-10-29 2016-04-27 谷歌公司 用于对用户或用户产生的内容分级的系统和方法
US8413052B2 (en) * 2010-02-17 2013-04-02 Yahoo! Inc. Bidded marketplace for applications
US8694967B2 (en) * 2010-06-11 2014-04-08 Microsoft Corporation User interface inventory
US8924314B2 (en) * 2010-09-28 2014-12-30 Ebay Inc. Search result ranking using machine learning
US20120223935A1 (en) * 2011-03-01 2012-09-06 Nokia Corporation Methods and apparatuses for facilitating interaction with a three-dimensional user interface
US20120280915A1 (en) * 2011-05-02 2012-11-08 Nokia Corporation Method and apparatus for facilitating interacting with a multimodal user interface
WO2012150602A1 (en) * 2011-05-03 2012-11-08 Yogesh Chunilal Rathod A system and method for dynamically monitoring, recording, processing, attaching dynamic, contextual & accessible active links & presenting of physical or digital activities, actions, locations, logs, life stream, behavior & status
US20130185355A1 (en) * 2011-08-04 2013-07-18 Erick Tseng Recommendations Based On Geolocation
US9946430B2 (en) * 2011-09-21 2018-04-17 Facebook, Inc. Displaying social networking system user information via a timeline interface
KR101718894B1 (ko) * 2011-11-29 2017-03-23 삼성전자주식회사 기기 제어를 위한 유저 인터페이스 제공 시스템 및 방법
US20140279263A1 (en) * 2013-03-13 2014-09-18 Truecar, Inc. Systems and methods for providing product recommendations
KR102043200B1 (ko) * 2013-05-07 2019-11-11 엘지전자 주식회사 스마트 워치 및 제어 방법
US20150098309A1 (en) * 2013-08-15 2015-04-09 I.Am.Plus, Llc Multi-media wireless watch
US20160255139A1 (en) * 2016-03-12 2016-09-01 Yogesh Chunilal Rathod Structured updated status, requests, user data & programming based presenting & accessing of connections or connectable users or entities and/or link(s)
US9432472B2 (en) * 2014-02-24 2016-08-30 Microsoft Technology Licensing, Llc Accelerated training of personal daemons
US9473944B2 (en) * 2014-02-24 2016-10-18 Microsoft Technology Licensing, Llc Local personal daemon
US9218497B2 (en) * 2014-02-24 2015-12-22 Microsoft Technology Licensing, Llc Incentive-based app execution
US9461972B1 (en) * 2014-03-19 2016-10-04 NetSuite Inc. Intelligently designed user interface based on user behavior
US20150324099A1 (en) * 2014-05-07 2015-11-12 Microsoft Corporation Connecting Current User Activities with Related Stored Media Collections
US10210261B2 (en) * 2014-06-18 2019-02-19 Facebook, Inc. Ranking and filtering groups recommendations
US9886288B2 (en) * 2014-06-30 2018-02-06 Microsoft Technology Licensing, Llc Guided edit optimization
KR101685495B1 (ko) * 2014-12-03 2016-12-28 한국과학기술연구원 이종 센서 매시업 방법, 이를 수행하기 위한 기록 매체 및 장치
US10332194B2 (en) * 2015-04-02 2019-06-25 Ebay Inc. Dynamic generation of user interface elements
US10353542B2 (en) * 2015-04-02 2019-07-16 Facebook, Inc. Techniques for context sensitive illustrated graphical user interface elements
US20160378757A1 (en) * 2015-06-23 2016-12-29 Facebook, Inc. Concept identifier recommendation system
US9864803B2 (en) * 2015-07-22 2018-01-09 TCL Research America Inc. Method and system for multimodal clue based personalized app function recommendation
US10180968B2 (en) * 2015-07-23 2019-01-15 Netflix, Inc. Gaussian ranking using matrix factorization
US10432749B2 (en) * 2016-08-24 2019-10-01 Facebook, Inc. Application bookmarks and recommendations
US20180107943A1 (en) * 2016-10-17 2018-04-19 Microsoft Technology Licensing, Llc Periodic stress tracking
CN107045540A (zh) * 2017-02-14 2017-08-15 阿里巴巴集团控股有限公司 数据处理方法及装置、服务器和数据处理系统
US11361243B2 (en) * 2017-06-07 2022-06-14 Accenture Global Solutions Limited Recommending machine learning techniques, features, and feature relevance scores
CN107977405B (zh) * 2017-11-16 2021-01-22 北京三快在线科技有限公司 数据排序方法、数据排序装置、电子设备及可读存储介质
US20190205839A1 (en) * 2017-12-29 2019-07-04 Microsoft Technology Licensing, Llc Enhanced computer experience from personal activity pattern
US10628432B2 (en) * 2018-02-19 2020-04-21 Microsoft Technology Licensing, Llc Personalized deep models for smart suggestions ranking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031089A1 (en) * 2015-08-15 2017-02-23 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects

Also Published As

Publication number Publication date
AU2019281373B2 (en) 2022-02-24
CN118939155A (zh) 2024-11-12
EP3756078A1 (en) 2020-12-30
CN111919195A (zh) 2020-11-10
WO2019236166A1 (en) 2019-12-12
KR20200142071A (ko) 2020-12-21
KR20230106755A (ko) 2023-07-13
US11604661B2 (en) 2023-03-14
US20190370029A1 (en) 2019-12-05
AU2019281373A1 (en) 2020-10-29
US20230214241A1 (en) 2023-07-06
KR102902294B1 (ko) 2025-12-22
EP3756078B1 (en) 2024-02-28
KR102554384B1 (ko) 2023-07-11

Similar Documents

Publication Publication Date Title
CN111919195B (zh) 基于第三方信息和用户交互确定相关信息
US12121793B2 (en) Sharing updatable graphical user interface elements
JP2024026183A (ja) 関連コンテンツを先見的に特定し、タッチ感知デバイス上に表面化させるためのシステム及び方法
US12265583B2 (en) Determining relevant information based on user interactions
CN105573573A (zh) 基于图像管理用户信息的设备和方法
CN106133784B (zh) 提供活动通知的方法及其设备
US20220062704A1 (en) Personal Performance Feedback Relative to Workout Community
US11182057B2 (en) User simulation for model initialization
US12164408B2 (en) Device-usage processing for generating inferred user states
CN104699731A (zh) 利用境况数据确定用户的倾向
US11886270B2 (en) Power-efficient dynamic application content display for electronic devices
WO2016108943A1 (en) Selectively notifying users of incoming messages on a secondary electronic device
US9563177B1 (en) Context-aware world clock
US20240403320A1 (en) Syncing objects for multidevice synchronization
WO2024254046A1 (en) Syncing objects for multidevice synchronization
CN119963153A (zh) 事项提醒的方法和电子设备
CN105843836A (zh) 用于搜索内容的装置、系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant