HK1218006A1 - 用於评估关於用户会话的用户满意度的方法和系统 - Google Patents

Description

用于评估关于用户会话的用户满意度的方法和系统

技术领域

本教导涉及用于用户满意度评价的方法、系统和程序。具体地，本教导针对用于评估关于用户会话的用户满意度的方法、系统和程序。

背景技术

在线内容搜索是对在线数据库进行交互式搜索并且经由在本地用户设备(例如，计算机或移动设备)上运行的搜索应用从在线数据库检索所请求的信息的过程。在线搜索通过包括搜索引擎的搜索系统来实施，这些搜索引擎是在远程服务器处运行并且基于用户提交的具体查询或关键字来搜索内容的程序。在线搜索的搜索结果可以包括提供给用户的一些内容项目或文件的列表。为改善用户利用搜索系统的搜索体验，评估关于搜索系统的性能的用户满意度十分关键。

然而，现有技术被限制为评估关于单个查询的用户满意度，尽管更期望评估关于包括一组连续查询的用户会话的用户满意度，尤其当用户会话中的查询与可以反映用户的信息需求的一个主题有关时。此外，传统的搜索系统没有基于与操作内容项目有关的用户活动来评估用户满意度。例如，在用户输入查询并且在触摸屏上接收到与该查询有关的内容项目之后，用户执行与操作该内容项目有关的一些活动，这些活动包括但不限于按下内容项目、滑动内容项目以及放大或缩小内容项目。尽管与这些活动有关的信息可以被用来自动确定或预测用户满意度，但传统的方法仅基于来自用户的关于内容项目的标记或书签来估计用户满意度。

因此，需要提供用于评估用户满意度的改进的方案来避免上述缺陷。

发明内容

本教导涉及用于用户满意度评价的方法、系统和程序。具体地，本教导针对用于评估关于用户会话的用户满意度的方法、系统和程序。

在一个示例中，呈现了实现在至少一个机器上的用于评估关于用户会话的用户满意度的方法，其中，所述至少一个机器各自具有至少一个处理器、存储设备和被连接到网络的通信平台。从用户接收用户会话中的一个或多个查询。获取关于一个或多个用户活动的信息。每个用户活动与对内容项目进行的操作有关，其中，内容项目与一个或多个查询之一相关联。至少部分基于一个或多个用户活动来计算与用户会话相关联的分数。基于该分数来确定关于用户会话的用户满意度。

在不同的示例中，呈现了用于评估关于用户会话的用户满意度的系统，该系统具有至少一个处理器、存储设备和通信平台。该系统包括查询分析单元、用户活动检测单元、用户满意度确定单元以及用户满意度报告生成单元。查询分析单元被实现在至少一个处理器上，并且被配置为在用户会话中从用户接收一个或多个查询。用户活动检测单元被实现在至少一个处理器上，并且被配置为获取关于一个或多个用户活动的信息，其中，每个用户活动与对内容项目进行的操作有关，内容项目与一个或多个查询相关联。用户满意度确定单元被实现在至少一个处理器上，并且被配置为至少部分基于一个或多个用户活动来计算与用户会话相关联的分数。用户满意度报告生成单元被实现在至少一个处理器上，并且被配置为基于分数来确定关于用户会话的用户满意度。

其他概念与用于提供查询建议的软件有关。根据该概念，软件产品包括至少一个非暂态机器可读介质和由该介质承载的信息。由该介质承载的信息可以是关于与请求或操作参数(例如，与用户、请求或社会群体有关的信息)相关联的参数的可执行程序代码。

在一个示例中，呈现了具有记录在其上的用于评估关于用户会话的用户满意度的信息的非暂态机器可读介质。当所记录的信息被机器读取时，使得机器执行如下操作。从用户接收用户会话中的一个或多个查询。获取关于一个或多个用户活动的信息。每个用户活动与对内容项目进行的操作有关，其中，内容项目与一个或多个查询之一相关联。至少部分基于一个或多个用户活动来计算与用户会话相关联的分数。基于该分数来确定关于用户会话的用户满意度。

附图说明

本文所描述的方法、系统和/或程序以示例性实施例的方式被进一步描述。参照附图对这些示例性实施例进行详细描述。这些实施例是非限制的示例性实施例，其中，相似的参考标号在附图的若干个视图中表示类似的结构，并且其中：

图1是根据本教导的实施例，用于评估关于用户会话的用户满意度的示例性联网环境的高层描绘。

图2是根据本教导的实施例，用于评估关于用户会话的用户满意度的另一示例性联网环境的高层描绘。

图3根据本教导的实施例，示出用于评估关于用户会话的用户满意度的用户满意度评价系统的示例性框图。

图4是根据本教导的实施例，用于评估关于用户会话的用户满意度的示例性处理的流程图。

图5根据本教导的实施例，示出用户满意度评价系统中的用户活动检测单元的示例性框图。

图6是根据本教导的实施例，由用户活动检测单元执行的示例性处理的流程图。

图7根据本教导的实施例，示出用户满意度评价系统中的用户会话确定单元的示例性框图。

图8是根据本教导的实施例，由用户会话确定单元执行的示例性处理的流程图。

图9根据本教导的实施例，示出用户满意度评价系统中的用户满意度分数确定器的示例性框图。

图10是根据本教导的实施例，由用户满意度分数确定器执行的示例性处理的流程图。

图11-图14根据本教导的不同实施例，描绘了示例性用户会话。

图15根据本教导的实施例，示出用户界面上的内容项目。

图16-图19根据本教导的不同实施例，示出了关于内容项目的示例性用户活动。

图20描绘出本教导可以在其上被实现的一般的移动设备架构；以及

图21描绘出本教导可以在其上被实现的一般的计算机架构。

具体实施方式

在下面详细的描述中，通过示例的方式提出了大量的具体细节，以提供对相关教导的透彻的理解。然而，本教导可以无需这些细节而被实施，这对于本领域的技术人员而言应当是显而易见的。在其他实例中，已经在较高的层次、忽略细节地对已知的方法、过程、系统、部件和/或电路进行了描述，以避免不必要地模糊本教导的各个方面。

本公开描述了高效并且有效的用户满意度评估的方法、系统和程序方面。本文所公开的方法和系统旨在通过提供准确和及时的用户满意度评价来改善端用户搜索体验的满意度。

在移动或其他类似环境的上下文中，搜索结果链接列表可能不适用。当使用与传统的搜索结果链接列表不同的方法以使得用户能够访问与查询有关的内容项目时，单独基于点进(click-thru)测量来评估用户满意度可能是不够的。例如，搜索结果可以被呈现为加载有与用户查询有关的内容的“卡片”，从而减少了用户点击/轻击(tap)链接来访问外部站点或第三方站点的需求。由此，在这样的场景中不单独依赖点进活动并且基于其他其他用户活动(例如，垂直滚动信息、水平滑动信息旋转传送带、修剪(pinch)、缩放、旋转、取消(dismissal)、重叠(collapse)、与信息卡片有关的外部应用选择动作，等等)来评价用户满意度十分重要。

此外，当用户具有与主题有关的信息需求时，用户可以在一段时间内连续输入关于主题的查询。这些查询落入到用户会话中，在用户会话期间，上述用户活动可以被检测并且被用来确定用户对整个用户会话是否满意或者用户有多满意。

以下描述中将提出部分附加的新特征，并且部分特征在对下面以及附图进行检查后对于本领域技术人员而言将是显而易见的，或者可以通过示例的产生或操作来学习。本教导的新特征可以通过实施或使用下面讨论的详细示例中提出的方法、手段和组合的各个方面来实现和获得。

图1是根据本教导的实施例，用于评估关于用户会话的用户满意度的示例性联网环境100的高层描绘。在图1中，示例性联网环境100包括搜索引擎系统130、用户满意度评价系统140、一个或多个用户110、网络120以及内容源160。网络120可以是单一网络或者不同网络的组合。例如，网络120可以是局域网(LAN)、广域网(WAN)、公共网络、私有网络、专用网络、公共电话交换网络(PSTN)、因特网、无线网络、虚拟网络或其任意组合。在互联网广告的示例中，网络120可以是在线广告网络或者是如下广告网络，该广告网络是将广告商连接到想要托管广告的web站点的公司。广告网络的关键功能是聚合出版商提供的广告空间以及将其与广告商需求进行匹配。网络120还可以包括各种网络接入点(例如，诸如基站或因特网交换点120-1...120-2之类的有线接入点或无线接入点)，通过这些网络接入点，数据源可以连接到网络120以便经由网络120来传输信息。

用户110可以具有不同类型，例如，经由桌面计算机110-1、膝上型计算机110-2、机动车中的内置设备110-3或移动设备110-4被连接到网络120的用户。用户110可以将查询经由网络120发送给搜索引擎系统130，并且从搜索引擎系统130接收对该查询的响应。响应可以包括与查询有关的内容项目和/或搜索结果。

基于来自用户110的与操作用户界面上的搜索结果或内容项目有关的用户活动，用户满意度评价系统140可以对用户110是否满意由搜索引擎系统130提供的搜索服务进行评估。在该实施例中，用户满意度评价系统140直接连接到网络120，并且能够直接经由网络120与用户110进行通信。

内容源160包括多个内容源160-1、160-2...160-3，例如垂直内容源。内容源160可以与由实体托管的网站相对应，不管是个人、企业还是组织(例如，USPTO.gov)、内容提供商(例如，cnn.com和Yahoo.com)、社交网络网站(例如，Facebook.com)或者内容反馈源(例如，tweeter或博客)。搜索引擎系统130可以从内容源160-1、160-2...160-3中的任意一个访问信息。例如，搜索引擎系统130可以通过其web爬虫获取内容(例如，网站)来建立搜索索引。

图2是根据本教导的实施例，用于评估关于用户会话的用户满意度的另一示例性联网环境200的高层描绘。该实施例中的示例性联网环境200类似于图1中的示例性联网环境100，除了该实施例中的用户满意度评价系统140经由搜索引擎系统130连接到网络120。例如，用户满意度评价系统140可以作为搜索引擎系统130的后台来对与搜索引擎系统130进行通信的用户的用户满意度进行评估。

图3根据本教导的实施例，示出用于评估关于用户会话的用户满意度的用户满意度评价系统140的示例性框图。用户满意度评价系统140可以在示例性联网环境(例如，图1中的联网环境100或图2中的联网环境200)中。该示例中的用户满意度评价系统140包括用户活动检测单元320、用户参与度评估单元330、用户会话确定单元340、用户满意度分数确定器350以及用户满意度报告生成单元360。图3中也示出搜索引擎系统130作为参考。基于用户310的查询输入，搜索引擎系统130可以将内容项目发送给用户310。内容项目可以经由用户界面被呈现给用户310。在一些实施例中，内容项目是与用户查询有关的信息卡片，在该信息卡片上呈现了与该信息卡片有关的内容。

例如，图15示出在用户已经在查询输入区域1530中提交查询项之后，移动设备1520上的用户界面1510。响应于提交查询项，在用户界面1510上向用户呈现了一叠内容项目或信息卡片1540-1...1540-n。如图所示，在一些实施例中，在不需要在接收到查询之后并且在呈现信息卡片之前提供与查询有关的中间结果集的情况下，信息卡片的呈现被提供给用户。例如，在无需首先向用户呈现搜索结果链接列表并且要求用户选择(例如，通过点击、轻击等)所呈现的配备了内容项目的呈现的搜索结果链接之一的情况下，信息卡片的呈现被提供给用户。如图所描绘的，信息卡片1540-1被呈现在其他信息卡片1540的顶部，以使得(例如，信息卡片1540-1的各个部分中的)信息卡片1540-1的内容出现在用户界面1510中。在一些实施例中，用户可以通过如下操作来查看或者以其他方式访问其他信息卡片的内容：滑过信息卡片1540-1、将信息卡片1540-1拖到这叠信息卡片1540中的另一位置、从信息卡片1540中选择另一信息卡片等。在一些实施例中，信息卡片1540中的每个信息卡片可以与相应的域(例如，天气、餐馆、电影、音乐、导航、日历等)相对应。查看或以其他方式访问其他信息卡片的内容因而可以允许用户查看或以其他方式访问涉及其他域的信息的内容。

用户会话确定单元340可以确定来自用户的查询属于新的用户会话还是当前的用户会话。用户会话可以是用户与服务器之间进行的一段时间的交互信息交换。在一个示例中，用户可以是用户110，服务器可以是搜索引擎系统130和/或用户满意度评价系统140。由于该示例中的用户满意度评价系统140被配置为估计关于由搜索引擎系统130向用户310提供的服务的用户满意度，因此对于搜索引擎系统130和用户满意度评价系统140，关于用户310的用户会话的定义可以是相同的。因此，用户会话确定单元340可以在该示例中位于用户满意度评价系统140中，或者在另一示例中位于搜索引擎系统130中。在这两个示例中，与用户会话有关的信息可以在搜索引擎系统130与用户满意度评价系统140之间被共享。

在一个实施例中，用户会话确定单元340甚至可以位于用户310的客户端设备处，以使得用户310可以手动定义用户会话或在用户侧设置用于定义用户会话的配置。用户侧的用户会话定义可以被发送到搜索引擎系统130和/或140，以评估关于用户会话的用户满意度。

可以基于特定用户、起始时间、结束时间以及会话分离模式来定义用户会话。会话分离模式可以被用来确定特定用户的用户会话的起始时间和结束时间。根据各个实施例，可以使用不同的会话分离模式。

图11根据本教导的实施例，描绘了示例性用户会话。根据图11示出的会话分离模式，基于两个连续查询之间的空闲期来对用户会话进行分离。具体地，在当前的搜索查询被接收之后，在用户会话确定单元340处，将从相同用户接收到的当前的搜索查询和最近先前查询之间的空闲时间与预定阈值进行比较，以确定两个连续的查询是否属于相同的用户会话。如果空闲时间不超过阈值，则当前查询被记录在当前的用户会话中。否则，新的用户会话被创建，并且当前查询被记录为新的用户会话的第一个查询。例如，在图11中，查询1-1、1-2、1-3、1-4属于一个用户会话1，而查询2-1、2-2属于另一用户会话2，因为连续的查询1-4和2-1之间的空闲期1110超过了预定阈值。

图12根据本教导的另一实施例，描绘了示例性用户会话。根据图12中示出的会话分离模式，基于两个连续查询的有关主题的相似度来对用户会话进行分离。每个查询可以被分析并且被确定为与有关主题(例如，天气、运动、新闻、购物，等)相关联。在当前搜索查询被接收之后，在用户会话确定单元340处，将从相同用户接收到的当前搜索查询和最近先前查询二者的有关主题进行相互比较以确定相似度。如果相似度大于预定阈值，则当前查询被记录在当前用户会话中。否则，新的用户会话被创建，并且当前查询被记录为新的用户会话的第一个查询。例如，在图12中，查询1-1、1-2、1-3、1-4属于一个用户会话1，而查询2-1、2-2、2-3属于另一用户会话2，因为用户会话1中的查询与主题“天气”1210有关，但用户会话2中的查询与另一主题“运动”1220有关。

图13根据本教导的又一实施例，描绘了示例性用户会话。根据图13中示出的会话分离模式，基于两个连续查询之间的空闲期和两个连续查询的有关主题的相似度二者来对用户会话进行分离。例如，如图13所示，尽管用户会话1和用户会话2中的所有查询均与相同主题“运动”1310有关，但是查询1-1、1-2、1-3、1-4属于一个用户会话1，而查询2-1、2-2属于另一用户会话2。这是因为连续的查询1-4和2-1之间的空闲期1320超过了预定阈值。

图14根据本教导的又一实施例，描绘了示例性用户会话。根据图14中示出的会话分离模式，用户会话可以具有对常见的相关话题的交错查询。例如，如图14所示，尽管查询2-1、2-2在查询1-2与查询1-3之间被提交，但是查询1-1、1-2、1-3、1-4属于一个用户会话11410，而查询2-1、2-2、2-3、2-4属于另一用户会话21420。这是因为查询1-1、1-2、1-3、1-4可以与用户所需的常见主题或信息有关，而查询2-1、2-2、2-3、2-4可以与用户所需的另一常见主题或信息有关。例如，用户可以在查询1-1、1-2中搜索电影票或演出信息，并且在查询2-1、2-2中搜索用户感兴趣的电影中的一些电影明星；然后用户在查询1-3、1-4中再次搜索更多的电影票或演出信息，并且在查询2-3、2-4中搜索一些其他电影明星。在该示例中，查询1-1、1-2、1-3、1-4均与关于一些特定电影的票/演出信息有关，而查询2-1、2-2、2-3、2-4均与不限于特定电影的电影明星的信息有关。这可以在具有多标签设置的诸如台式机、膝上型计算机、平板计算机或智能手机的浏览器上频繁发生，在多标签设置中，用户可以通过多个浏览器标签同时搜索不同信息。

应当理解，在其他示例中，不是使用空闲时间或有关主题的相似度来定义用户会话，而是可以以其他方式(例如，通过预定时间窗口)来定义用户会话。预定时间窗口可以是例如10分钟或30分钟。也就是说，在用户访问搜索应用之后预定时间窗口内输入的任何查询被认为是在相同用户会话中，并且当预定时间窗口结束时该用户会话结束。

回到图3，在用户310提交查询之后，用户会话确定单元340可以直接经由如环境100中的网络120来接收查询，或者接收由如环境200中的搜索引擎系统130转发的查询。在该示例中，基于图11-图13中示出的任意会话分离模式，用户会话确定单元340可以确定查询属于新的用户会话还是当前用户会话。在针对查询确定了用户会话之后，用户会话确定单元340可以将用户会话信息发送给用于监视用户活动的用户活动检测单元320和/或用于确定用户满意度分数的用户满意度分数确定器350二者。

在一个实施例中，用户会话确定单元340可以将检测期发送给用户活动检测单元320，以使得用户活动检测单元320可以在检测期内监视来自用户310的用户活动。可以基于用户会话信息来确定检测期，以使得用户活动检测单元320可以在用户最活跃时监视用户活动，并且在用户相对不活跃时停止监视。

该示例中的用户活动检测单元320可以监视来自不同用户的用户活动。用户活动可以包括来自用户的动作或无动作。来自用户的动作可以包括按压、滑动、点击、旋转、缩放、滚动等。来自用户的无动作的示例可以是驻留时间，在该驻留时间内，用户不提供任何输入。除了与搜索提供给用户的搜索结果的链接有关的传统用户活动(例如，鼠标点击或键盘打字)外，与操作提供给用户的内容项目有关的更多的用户活动可以被检测并且被用于评估用户满意度。例如，图16-图19根据本教导的不同实施例，示出关于内容项目的示例性用户活动。

图16示出针对信息卡片1540-1的部分1中的内容而执行的旋转动作。在实施例中，所描绘的旋转动作是如下动作：触发对信息卡片1540-1(或部分1内容)的修改，以使得信息卡片1540-1(或部分1内容)的实例被修改并且然后被存储以用于对信息卡片1540-1进行后续呈现。在一个用例中，例如，响应于后续的用户查询，信息卡片1540-1的修改版本(或旋转的部分1内容)被呈现给用户(而不是信息卡片1540-1的原始版本)。在另一实施例中，所描绘的旋转动作是如下动作：触发对信息卡片1540-1(或部分1内容)的呈现的修改，以使得信息卡片1540的后续呈现包括信息卡片1540-1的原始版本(或未旋转的部分1内容)。

图17示出针对信息卡片1540-1的部分2中的内容而执行的移除动作。在实施例中，所描绘的移除动作是如下动作：触发对信息卡片1540-1(或部分2内容)的修改，以使得信息卡片1540-1(或部分2内容)的实例被修改并且然后被存储以用于对信息卡片1540-1进行后续呈现。在一个场景中，例如，响应于后续的用户查询，信息卡片1540-1的修改版本(例如，无部分2内容的信息卡片1540-1)被呈现给用户(而不是信息卡片1540-1的原始版本)。在另一实施例中，所描绘的移除动作是如下动作：触发对信息卡片1540-1(或部分2内容)的呈现的修改，以使得信息卡片1540的后续呈现包括信息卡片1540-1的原始版本(例如，具有部分2内容的信息卡片1540-1)。

图18示出被执行以将信息卡片1540-1从一叠信息卡片1540的呈现中移除的移除动作。该移除动作例如可以包括滑动动作、拖放动作或触发信息卡片1540-1从一叠信息卡片1540的呈现中移除的其他动作。在对信息卡片1540执行图18中的移除动作之后，信息卡片1540-2在一叠信息卡片1540-n的顶部被呈现给用户，以使得(例如，信息卡片1540-2的各部分内的)信息卡片1540-2的内容出现在用户界面1510中。

图19示出针对信息卡片1540-2而执行的滚动动作。如图所示，用户在信息卡片1540-2上执行滚动动作，以使得信息卡片1540-2的部分2、3和4的内容出现在用户界面1510中(与信息卡片1540-2的部分1和2的内容相反)。应当理解，尽管本文已经描述了示例性用户活动(例如，针对图15-图19)，但它们是以示例而非限制的方式进行的。任意其他合适的用户活动可以被执行、监视、检测和/或使用以在本教导的范围之内提供与用户对内容项目的参与有关的信息。其他示例包括将内容项目的一部分从内容项目的一个位置移动到该内容项目的另一位置、将内容添加到内容项目等。在一些实施例中，针对图15-图19所描述的每个用户活动被监视，以使得用户对信息卡片1540的参与可以基于那些用户活动而被分析。

回到图3，基于用户会话信息，从用户会话确定单元340接收该示例中的检测期。在另一示例中，检测期可以被确定为延长的时间段(例如，一个月)，该延长的时间段可以覆盖来自许多用户的大量用户活动。在又一示例中，检测期可以从用户参与度评估单元330被接收，并且基于用户参与度的先前测量而被确定。

在检测来自用户的用户活动之后，用户活动检测单元320可以确定与该用户活动有关的用户会话信息(例如，与用户活动相关联的用户会话身份识别(ID))。用户活动检测单元320可以将与用户活动和用户会话有关的信息发送给用于评估用户参与度的用户参与度评估单元330。

该示例中的用户参与度评估单元330基于从用户活动检测单元320接收到的与用户活动和用户会话有关的信息对用户参与度进行测量。用户参与度等级指示用户参与内容项目(例如，响应于用户所提交的查询而提供给用户的内容项目)或对其感兴趣的程度。尽管用户会话可以包括多个查询，但指示用户对用户会话中的一个查询的兴趣的用户参与度分数可能不能反应关于整个用户会话的用户满意度，尤其当存在许多来自用户的信息需求时以及当用户在用户会话期间具有复杂和丰富的交互活动时。尽管对查询的用户满意度可以根据本教导的各个实施例进行评估，但关于整个会话的用户满意度在实践中可能更为需要。在一个实施例中，用户可能对用户会话中的一个查询的搜索结果很满意，但可能因为用户对该用户会话中大部分的其他查询的结果很失望而对整个用户会话进而对搜索服务不满意。在另一实施例中，用户对一个查询是否满意可以通过针对相同用户会话中的其他查询的用户活动来反应。例如，当响应于从用户接收到查询“克林顿”，关于“希拉里·克林顿”的搜索结果被提供给用户时，可以通过在接收到搜索结果之后用户立即进行的下一查询输入来指示用户对该搜索结果是否满意。如果下一查询为“比尔·克林顿”，则用户可能对“希拉里·克林顿”的搜索结果不是十分满意。但如果下一查询为“第一位女性总统”或“2016选举”，则用户可能对“希拉里·克林顿”的搜索结果很满意。因此，通常更加期望知道用户对包括一个或多个有关查询的用户会话是否满意。该示例中的用户参与度评估单元330将用户参与度信息发送给用户满意度分数确定器350，以用来评估关于整个用户会话的用户满意度。

该示例中的用户满意度分数确定器350从用户参与度评估单元330接收用户参与度信息并从用户会话确定单元340接收用户会话信息，并且生成或更新与用户会话相关联的用户满意度分数。用户满意度分数确定器350可以对用户参与度信息进行分析以获取与用户参与度信息相关联的用户会话ID。用户满意度分数确定器350然后可以基于用户会话ID从用户会话确定单元340检索用户会话信息。用户参与度信息可以包括与关于内容项目或搜索结果的用户活动有关的信息，并且用户参与度信息可以由用户满意度分数确定器350用来通过基于满意度评估模型生成用户满意度分数来估计用户满意度。满意度评估模型可以基于一个或多个用户满意度度量(包括例如，点进率(CTR)、驻留时间、第一次点击时间、分享的数目、推特(tweet)的数目、收藏的数目等)而被确定。满意度评估模型可以基于例如当前用户会话的主题、当前用户会话中的用户的信息需求、在当前用户会话期间的用户活动、类似于当前用户会话的先前用户会话的历史用户活动和/或用户的个人信息来使用具有不同权重的不同度量。

在一个示例中，由用户满意度分数确定器350生成的与用户会话有关的分数可以是用来指示用户对用户会话是否满意的二进制数“1”或“0”。在另一示例中，由用户满意度分数确定器350生成的与用户会话有关的分数可以是0与1之间用来指示用户对用户会话满意的可能性(例如，80％满意)的概率。在又一示例中，由用户满意度分数确定器350生成的与用户会话有关的分数可以是指示关于用户会话的用户满意度的程度的实值分数。

在一个实施例中，用户满意度分数确定器350还可以生成与用户满意度分数相关联的置信度。置信度指示用户满意度分数可以被用来预测用户实际满意度的可信程度。在一个示例中，当被检测的用户活动包括许多指示用户在用户会话中分享结果或者用户在用户会话中将内容项目标记为收藏的用户动作时，置信度可能相对较高，因为用户动作反应了用户的明确意图。在另一示例中，当被检测的用户活动在用户会话中包括很少的用户动作、不具有来自用户的任何明确输入时，置信度可能相对较低，因为利用来自用户的较少信息较难预测用户的满意度水平。置信度还可以取决于来自用户的不同的信息需求。例如，对于与信息需求“天气”有关的查询，少量的用户活动(例如，仅仅一些滚动动作)可能已经向用户会话确定单元340提供了“用户是满意的”的足够可信度，而针对该类信息需求会话的太多查询重写对于用户满意度不是好迹象。

用户满意度分数确定器350可以将一个或多个分数发送至用户满意度报告生成单元360以生成用户满意度报告。该示例中的用户满意度报告生成单元360从用户满意度分数确定器350接收与用户会话相关联的分数，并且基于该分数生成用户满意度信息。在一个示例中，可以每日将报告从用户满意度报告生成单元360发送到搜索引擎系统130，以指示关于每个用户会话的每个用户的用户满意度等级。搜索引擎系统130可以利用报告来改善其搜索服务、分析用户的意图和/或提出新产品以吸引更多用户。还可以将报告发送给用户，以供用户通过给出反馈来对满意度等级进行验证或确认。在另一示例中，对于相同的用户，可以针对用户的不同类型的信息需求来生成不同的用户满意度报告，因为用户可能对一些会话满意，而对其他会话不满意。

图4是根据本教导的实施例，用于评估关于用户会话的用户满意度的示例性处理的流程图。在一个示例中，图4中的示例性处理可以由图3中所示的搜索引擎系统130和用户满意度评价系统140来执行。在402处开始，例如由搜索引擎系统130从用户接收查询。在404处，例如由搜索引擎系统130将与查询有关的内容项目提供给用户。移至406，例如由用户满意度评价系统140中的用户活动检测单元320来获取并确定与对内容项目进行的操作有关的用户活动。在408处，例如由用户满意度评价系统140中的用户参与度评估单元330生成基于用户活动的用户参与度信息。在410处，例如基于用户会话确定单元340处的用户会话分离模式，确定查询是否属于新的用户会话。410的结果在411处被检查。如果查询属于新的会话，则在412处创建新的用户会话，在414处生成与新的用户会话相关联的用户满意度分数，并且该处理转到419。如果查询不属于新的会话而属于当前用户会话，则在416处，至少部分基于用户活动来生成或更新与当前用户会话相关联的用户满意度分数，该分数在418处被保存于分数数据库中，并且该处理转到419。分数数据库可以位于用户满意度评价系统140中(例如，用户满意度评价系统140的用户满意度分数确定器350中)。

在409处，例如基于用户活动或预定时间阈值来检查当前会话是否已经结束。如果是，则在420处，与当前用户会话相关联的用户满意度分数可以例如随着与该分数相关联的置信度一起被确定并且被敲定。否则，该处理转回到402。在422处，基于该分数生成用户满意度报告。

应当理解，根据各个实施例，上面提到的图4中的步骤中的至少一些步骤可以不按照图4所示的顺序而发生。在一个实施例中，一些步骤可以在来自用户的所有查询被接收之后和/或在用户活动完全被检测之后才发生。例如，对特定查询或查询集是否属于新的用户会话的确定410可以在来自该用户的所有查询已被输入很久之后离线发生。类似地，对查询是否属于与先前查询相同的用户会话的确定410可以涉及对在特定时间段期间从该用户接收到的所有查询进行审查，包括可能在被考虑的查询之后到来的查询。

图5根据本教导的实施例，示出用户满意度评价系统(例如图3中的用户满意度评价系统140)中的用户活动检测单元320的示例性框图。该示例中的用户活动检测单元320包括按压动作检测单元502、旋转动作检测单元504、点击动作检测单元506、滑动动作检测单元508、缩放动作检测单元510以及滚动动作检测单元512。按压动作检测单元502可以被配置为对用户520在触摸屏上执行的按压动作进行检测。例如，按压动作可以在用户520释放压力之前当用户520向下按压触摸屏达长于预定阈值的一段时间时被检测出。旋转动作检测单元504可以被配置为对用户520在触摸屏上执行的旋转动作进行检测。例如，旋转动作可以在用户520释放按压之前当用户520按压并旋转触摸屏上的内容项目时被检测出，如图16所示。点击动作检测单元506可以被配置为对用户520在触摸屏上执行的点击动作进行检测。例如，点击动作可以在用户520释放压力之前当用户520向下按压触摸屏达短于预定阈值的一段时间时被检测出。滑动动作检测单元508可以被配置为对用户520在触摸屏上执行的滑动动作进行检测。例如，滑动动作可以在用户520利用手指向下按压触摸屏并且在触摸屏的表面移动手指时被检测出。缩放动作检测单元510可以被配置为对用户520在触摸屏上执行的缩放动作进行检测。例如，缩放动作可以在用户520利用多于一根的手指同时在触摸屏上向下按压并且利用至少一根手指进行滑动时被检测出。滚动动作检测单元512可以被配置为对用户520执行的滚动动作进行检测。例如，滚动动作可以在用户520移动或滚动计算机鼠标上的滚轮、膝上型计算机或智能手机上的可滚动按钮或触摸屏上的虚拟可滚动图标时被检测出。

应当理解，其他用户活动可以基于上述用户动作而被确定。例如，在触摸屏上打字可以在用户520点击触摸屏上的相应区域时被检测出。例如，用户520的驻留时间可以在用户活动检测单元320中的检测单元均未检测出来自用户的任何输入达一段时间时被检测出。

还应当理解，与用户动作有关的更多单元(例如，当用户520在使用台式机或膝上型计算机时用于检测键盘输入和/或鼠标输入的单元)可以被包括在用户活动检测单元320中。

用户活动检测单元320中的每个检测单元可以在预定或接收到的检测期522内检测用户活动，并且确定与所检测的用户活动相关联的用户会话信息524。用户活动检测单元320可以将用户活动信息发送给用户参与度评估单元330，该用户活动信息包括与检测到的用户活动和相关联的用户会话信息有关的信息。

图6是根据本教导的实施例，由用户活动检测单元(例如，图5中的用户活动检测单元320)执行的示例性处理的流程图。在602处，在检测期内检测用户活动。在604处，接收用户会话信息。移至606，确定与用户活动有关的用户会话信息。在608处，对用户活动进行分析以获取活动相关的信息。在610处，将活动相关的信息随着相关的用户会话信息发送至用户参与度评估单元330。

图7根据本教导的实施例，示出用户满意度评价系统(例如，用户满意度评价系统140)中的用户会话确定单元340的示例性框图。该示例中的用户会话确定单元340包括查询分析单元702、会话结束检测单元704、分离模式生成器/更新器706以及用户会话记录单元710。查询分析单元702可以接收并分析来自用户的查询以获取查询相关的信息。查询相关的信息可以包括与该查询有关的主题、用户的用户信息和/或指示查询何时被接收的时间戳。该示例中的会话结束检测单元704基于查询相关的信息来对查询分析单元702处接收到的查询是否属于新的用户会话进行确定。会话结束检测单元704可以选择存储于用户会话确定单元340中的会话分离模式708之一，其中，每个会话分离模式708指示查询可以被分配给用户会话所根据的方式。根据不同的会话分离模式，如果一个或多个查询与类似的主题相关联，如果用户在一个或多个查询的任意两个连续查询之间的空闲期短于预定阈值，和/或如果一个或多个查询在从用户会话开始起的预定时间段内被接收，则这一个或多个查询可以被确定为在用户会话中。在一个实施例中，用户会话可以具有如图14所示的交错查询。可以基于来自会话结束检测单元704的指令，由分离模式生成器/更新器706来生成或更新会话分离模式。该指令可以例如当与两个连续查询之间的相似度有关的阈值应被降低时由会话结束检测单元704进行发送，其中所述阈值应被降低是因为阈值太高以致太多用户会话由于很难超过相似度阈值而被生成。

根据所选择的会话分离模式，基于从用户会话确定单元340中的用户会话数据库705中检索到的一些用户会话信息，会话结束检测单元704可以确定查询属于哪个用户会话。用户会话数据库705可以存储与用户会话有关的信息，该信息包括与用户会话中的查询和相应的用户有关的信息。

在会话结束检测单元704确定查询所属于的用户会话之后，用户会话记录单元710可以将该查询记录在该用户会话中。在一个示例中，当该查询属于新的用户会话时，用户会话记录单元710创建新的用户会话，将该查询作为第一个查询记录在新的用户会话中，并且将新的用户会话存储于用户会话数据库705中。在另一示例中，当该查询属于当前用户会话时，用户会话记录单元710从用户会话数据库705中检索出当前的用户会话，将该查询记录在当前用户会话中，并且将当前用户会话存储于用户会话数据库705中。对于接收到的每个查询，用户会话记录单元710可以确定与查询有关的用户会话信息，并且将其发送至用户活动检测单元320和/或用户满意度分数确定器350。在一个示例中，用户会话记录单元710还可以确定与查询有关的检测期，并且将其发送至用户活动检测单元320。

图8是根据本教导的实施例，由用户会话确定单元(例如，用户会话确定单元340)执行的示例性处理的流程图。在802处开始，接收查询。在804处，对查询进行分析以获取查询相关信息。在806处，确定会话分离模式。在808处，根据会话分离模式来确定该查询是否属于新的用户会话。808的结果在809处被检查。如果该查询属于新的会话，则在810处创建新的用户会话，在812处将该查询记录在新的用户会话中，并且该处理转到816。如果该查询不属于新的会话而属于当前用户会话，则在814处将该查询记录在当前用户会话中，并且该处理转到816。

移至816，确定与查询有关的用户会话信息，并且将其发送至例如用户活动检测单元320和/或用户满意度分数确定器350。可选地在818处，可以确定与检测期有关的信息，并且将其发送至用户活动检测单元320。在819处，对是否需要生成或更新会话分离模式进行检查。如果是，则在820处生成或更新分离模式，并且该处理转回至802。否则，该处理直接转回至802。

应当理解，根据各个实施例，上面提到的图8的步骤中的至少一些步骤可以不按照图8所示的顺序而发生。在一个实施例中，一些步骤可以在来自用户的所有查询被接收之后和/或在用户活动完全被检测之后才发生。例如，对特定查询或查询集是否属于新的用户会话的确定808可以在来自该用户的所有查询已被输入很久之后离线发生。类似地，对查询是否属于与先前查询相同的用户会话的确定808可以涉及对在特定时间段期间从该用户接收到的所有查询进行审查，包括可能在被考虑的查询之后到来的查询。

图9根据本教导的实施例，示出用户满意度评价系统(例如，用户满意度评价系统140)中的用户满意度分数确定器350的示例性框图。该示例中的用户满意度分数确定器350包括用户参与度分析器902、用户会话关联单元904、基于会话的满意度分析器906、用户满意度分数生成器908以及评估模型生成器/更新器910。该示例中的用户参与度分析器902被配置为接收并分析用户参与度信息以获取例如与用户会话有关的信息。用户会话关联单元904可以基于所分析的包括与用户会话有关的信息的用户参与度信息来确定与用户参与度信息相关联的用户会话ID。基于会话的满意度分析器906可以基于用户会话ID例如从用户会话确定单元340接收或检索用户会话信息，并且对用户会话信息进行分析以获取例如用户会话的主题、用户会话中的用户的信息需求和/或用户的个人信息。基于会话的满意度分析器906可以将所分析的与用户参与度信息相关联的用户会话信息发送至用户满意度分数生成器908以生成用户满意度分数。

用户满意度分数生成器908可以至少部分基于来自基于会话的满意度分析器906的所分析的用户会话信息和/或来自用户参与度分析器902的用户参与度信息来生成用户满意度分数(如果不存在针对当前用户会话的分数的话)或更新现有的与当前用户会话相关联的用户满意度分数。用户满意度分数指示关于用户会话的用户满意度水平。用户满意度分数可以在用户满意度分数确定器350中基于满意度评估模型914而被生成。满意度评估模型914可以由评估模型生成器/更新器910基于一个或多个用户满意度度量912而被生成或更新。一个或多个用户满意度度量912可以包括例如CTR、驻留时间、第一次点击时间、缩放动作的数目、点击动作的数目、分享的数目、推特的数目、收藏的数目等。评估模型生成器/更新器910可以使用具有不同权重的不同度量来生成满意度评估模型914。满意度评估模型914可以由评估模型生成器/更新器910基于来自用户满意度分数生成器908的指令而被更新。指令可以包括例如与当前用户会话的主题、当前用户会话中的用户的信息需求、当前用户会话期间的用户活动、类似于当前用户会会话的先前用户会话的历史用户活动和/或用户的个人信息有关的信息。该指令可以当基于满意度评估模型914生成的分数总在用户满意度分数的可能的范围的最低端时由用户满意度分数生成器908进行发送。例如，所生成的与不同用户会话有关的大多数分数处于1％和2％之间，而分数的可能范围是从0％到100％。在该情形中，区分不同用户会话之间的用户满意度很难，因此应该更新模型来相应地避免该问题。

一旦与当前用户会话相关联的用户满意度分数被生成，就可以由用户满意度分数生成器908将其保存在用户满意度分数确定器350中的分数数据库909中。用户满意度分数生成器908可以例如基于来自基于会话的满意度分析器906的用户会话信息来确定当前用户会话是否已经结束。如果当前用户会话已经结束，则针对当前用户会话的用户满意度分数可以被敲定，并且被发送至用于生成用户满意度报告的用户满意度报告生成单元360。例如，可以基于针对与相同用户相关联的不同用户会话的用户满意度分数来生成不同的用户满意度报告，因为该用户可能对一些会话满意，但对其他会话不满意。如果当前用户会话尚未结束，则用户满意度分数生成器908可以等待更多的用户参与度信息和/或用户会话信息以在用户满意度分数可以被敲定之前对其进行更新。

在一个实施例中，用户满意度分数生成器908还可以生成与用户满意度分数相关联的置信度，并且将该置信度与相关联的用户满意度分数一起发送至用户满意度报告生成单元360。置信度指示用户满意度分数可以被用来预测用户实际满意度的可信程度。在一个示例中，当被检测的用户活动包括许多指示用户在用户会话中分享结果或者用户在用户会话中将内容项目标记为收藏的用户动作时，置信度可能相对较高，因为用户动作反应了用户的明确意图。在另一示例中，当被检测的用户活动在用户会话中包括很少的用户动作、不具有来自用户的任何明确输入时，置信度可能相对较低，因为利用来自用户的较少信息较难预测用户的满意度水平。置信度还可以取决于来自用户的不同的信息需求。例如，对于与“天气”有关的用户会话，可以仅利用少量的用户活动来获取高的置信度，而对于与“内战历史”有关的用户会话，高的置信度只能利用大量的用户活动来获取。

图10是根据本教导的实施例，由用户满意度分数确定器(例如，用户满意度分数确定器350)执行的示例性处理的流程图。在1002处开始，接收并分析用户参与度信息。移至1004，基于用户参与度信息来确定用户会话ID。在1006处，基于用户会话ID对用户会话信息进行检索和分析。

在1020处，选择一个或多个用户满意度度量。在1022处，基于所选择的一个或多个用户满意度度量来生成或更新用户满意度评估模型。在1024处，保存用户满意度评估模型以用于未来进行检索。

在1008处，对用户满意度评估模型进行检索。移至1010，基于用户满意度评估模型来生成或更新针对用户会话的用户满意度分数。可选地，在1012处，可以基于用户满意度评估模型来生成或更新与用户满意度分数相关联的置信度。在1014处，将用户满意度分数保存到分数数据库中，以使得当对于相同的用户会话获取到更多的用户参与度信息和/或用户活动时，可以对该分数进行检索和更新。

在1015处，对当前用户会话是否已经结束进行检查。如果是，则在1016处，用户满意度分数被敲定并且被发送至用户满意度报告生成单元360以生成用户满意度报告，并且该处理移至1025。否则，该处理转回到1002，继续接收与当前用户会话有关的用户参与度信息。

在1025处，确定是否更新用户满意度评估模型。如果是，则该处理转回到1020以选择度量并且更新模型。否则，该处理转回到1002以接收与另一用户会话有关的用户参与度信息。

应当理解，根据各种实施例，上面提到的图10的步骤中的至少一些步骤可以不按照图10所示的顺序来发生。

图20描绘出本教导可以在其上被实现的一般的移动设备架构。在该示例中，用户设备110是移动设备2000，包括但不限于智能手机、平板计算机、音乐播放器、手持游戏机、GPS接收器。该示例中的移动设备2000包括一个或多个中央处理单元(CPU)2002、一个或多个图形处理单元(GPU)2004、显示器2006、存储器2008、通信平台2010(例如，无线通信模块)、存储设备2012以及一个或多个输入/输出(I/O)设备2014。任意其他合适的部件(例如但不限于系统总线或控制器(未示出))也可以被包括在移动设备2000中。如图20所示，可以将移动操作系统2016(例如，IOS、安卓(Android)、微软视窗手机操作系统(WindowsPhone)等)和一个或多个应用2018从存储设备2012加载到存储器2008中以由CPU2002来运行。应用2018可以包括web浏览器或任意其他合适的移动搜索应用。运行应用2018可以使得移动设备2000执行如前所述的一些处理。例如，由GPU2004结合显示器2006对内容项目和搜索结果进行显示。搜索查询的用户输入经由I/O设备2014被接收并且经由通信平台2010被发送至搜索引擎系统130。

为实现本教导，计算机硬件平台可以被用作本文所描述的一个或多个元件的(一个或多个)硬件平台。这样的计算机的硬件元件、操作系统和编程语言实际上是常规的，并且假设本领域技术人员对于将那些技术进行改编来实现本文本质上所描述的处理十分熟悉。具有用户界面元件的计算机可以被用来实现个人计算机(PC)或其他类型的工作站或终端设备，但计算机如果被适当地编程则还可以作为服务器。相信本领域技术人员对于这样的计算机设备的结构、编程以及一般操作十分熟悉，因此附图应当是不言自明的。

图21描绘出本教导可以在其上被实现的一般的计算机架构，并且具有包括用户界面元件的计算机硬件平台的功能框图示意图。该计算机可以是通用计算机或专用计算机。该计算机2100可以被用来实现本文所描述的用户满意度评估架构的任何部件。系统(例如，图1和图2中所描绘的)中的不同部件可以经由其硬件、软件程序、固件或其组合而全部被实现在一个或多个计算机(例如，计算机2100)上。尽管出于方便只有一个这样的计算机被示出，但与用户满意度评估有关的计算机功能可以以分布式方式被实现在多个类似的平台上，以便分布处理负荷。

举例来说，计算机2100包括COM端口2102，这些COM端口2102被连接为去往和来自被连接至其以促进数据通信的网络。计算机2100还包括以一个或多个处理器的形式的CPU2104，以用来运行程序指令。示例性计算机平台包括内部通信总线2106、不同形式的程序存储设备和数据存储设备(例如，盘2108、只读存储器(ROM)2110、随机存取存储器(RAM)2112)，以用于由计算机处理和/或传输的各种数据文件以及可能地由CPU2104运行程序指令。计算机2100还包括I/O部件2114，支持计算机和其中的其他部件(例如，用户界面元件2116)之间的输入/输出流。计算机2100还可以经由网络通信来接收程序和数据。

因此，如上面所概括的，用户满意度评估的方法的各方面可以以编程的方式来实施。该技术的程序方面通常可以被看作是被承载于或实施于一种类型的机器可读介质中的可执行代码和/或相关联的数据的形式的“产品”或“制品”。有形非暂态“存储”类型介质包括可以在任意时间为软件程序提供存储的计算机、处理器等的任意或所有存储器或其他存储设备或与其相关联的模块例如，各种半导体存储器、磁带驱动器、磁盘驱动器等。

所有或部分软件有时可以通过网络(例如，互联网或各种其他电信网络)进行通信。举例来说，这样的通信可以实现将软件从一个计算机或处理器加载到另一计算机或处理器中。因此，可以承载软件元素的另一种类型的介质包括例如通过本地设备之间的物理接口、通过有线和光陆地网络以及通过各种空中链路来使用的光波、电波、电磁波。承载这样的波的物理元件(例如，有线链路或无线链路、光链路等)还可以被看作是承载软件的介质。如本文所使用的，除非限制为有形的“存储”介质，否则诸如计算机或机器“可读介质”之类的术语指代参与向处理器提供指令以供运行的任意介质。

因此，机器可读介质可以采取许多形式，包括但不限于有形存储介质、载波介质或物理传输介质。举例来说，非易失性存储介质包括可以被用来实现附图中所示的系统或其任意部件的光盘或磁盘(例如，任意(一个或多个)计算机中的任意存储设备等)。易失性存储介质包括动态存储器(例如，这样的计算机平台的主存储器)。有形传输介质包括同轴电缆、铜线和光纤(包括形成计算机系统内的总线的线)。载波传输介质可以采取电信号或电磁信号、或者声波或光波(例如，在射频(RF)和红外(IR)数据通信期间生成的那些)的形式。因此，计算机可读介质的常见形式包括例如：软盘、柔性盘、硬盘、磁带、任意其他磁介质、CD-ROM、DVD或DVD-ROM、任意其他光介质、穿孔卡片纸带、具有孔图案的任意其他物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任意其他存储器芯片或卡盘、传输数据或指令的载波、传输这样的载波的电缆或链路、或计算机可以从其读取程序代码和/或数据的任意其他介质。这些形式的计算机可读介质中的许多介质可以在将一个或多个指令的一个或多个序列运载到处理器以供运行时被涉及。

本领域技术人员将认识到，本教导可以接受各种修改和/或增强。例如，尽管上面所描述的各个部件的实现方式可以被实施于硬件设备中，但其也可以被实现为仅为软件方案(例如，现有服务器上的安装方式)。此外，本文所公开的主机和客户端节点的单元可以被实现为固件、固件/软件组合、固件/硬件组合或硬件/固件/软件组合。

尽管前面已经对被认为是最佳模式的示例和/或其他示例进行了描述，但应当理解可以对其做出各种修改，本文所公开的主题可以以各种形式和示例来实现，并且这些教导可以被应用在大量的应用中，而本文只公开了其中的一些应用。所附权利要求旨在保护落入本教导的真实范围内的任何和全部应用、修改和变化。

Claims (20)

1.一种用于评估关于用户会话的用户满意度的方法，该方法被实现在具有至少一个处理器、存储设备和被连接至网络的通信平台的机器上，该方法包括：

在用户会话中从用户接收一个或多个查询；

获取关于一个或多个用户活动的信息，每个用户活动与对内容项目进行的操作有关，其中，所述内容项目与所述一个或多个查询之一相关联；

至少部分基于所述一个或多个用户活动来计算与所述用户会话相关联的分数；以及

基于所述分数来确定关于所述用户会话的用户满意度。

2.如权利要求1所述的方法，还包括：基于所述分数自动生成与所述用户会话相关联的标记，其中，所述标记指示所述用户对所述用户会话是否满意。

3.如权利要求1所述的方法，还包括：基于与所述用户会话相关联的所述分数，在所述用户的新的用户会话中检测用户活动之前预测与所述新的用户会话相关联的分数。

4.如权利要求1所述的方法，其中，所述一个或多个用户活动包括所述用户的动作和/或无动作。

5.如权利要求1所述的方法，其中，所述一个或多个查询基于如下各项中的至少一项而被确定为在所述用户会话中：

所述一个或多个查询与类似的主题相关联；

所述用户在所述一个或多个查询的任意两个连续查询之间的空闲期小于预定阈值；以及

所述一个或多个查询在从所述用户会话开始起的预定时间段内被接收。

6.如权利要求1所述的方法，其中，所述分数基于如下各项中的至少一项而被计算：所述用户的个人信息和与所述一个或多个查询有关的主题。

7.如权利要求1所述的方法，其中：

所述分数基于模型而被计算；并且

所述模型通过机器学习方法来生成并且通过与如下各项中的至少一项有关的数据来训练：来自由所述用户创建的一个或多个标记的信息、与所述用户的用户活动有关的用户参与度信息以及与所述用户参与度信息有关的一个或多个度量。

8.如权利要求1所述的方法，还包括：确定与所述分数相关联的置信度，其中，所述用户满意度是基于所述置信度来确定的。

9.一种用于评估关于用户会话的用户满意度的系统，所述系统具有至少一个处理器、存储设备以及通信平台，所述系统包括：

查询分析单元，所述查询分析单元被配置为：在用户会话中从用户接收一个或多个查询；

用户活动检测单元，所述用户活动检测单元被配置为：获取关于一个或多个用户活动的信息，每个用户活动与对内容项目进行的操作有关，其中，所述内容项目与所述一个或多个查询之一相关联；

用户满意度确定单元，所述用户满意度确定单元被配置为：至少部分基于所述一个或多个用户活动来计算与所述用户会话相关联的分数；以及

用户满意度报告生成单元，所述用户满意度报告生成单元被配置为：基于所述分数来确定关于所述用户会话的用户满意度。

10.如权利要求9所述的系统，其中：

所述用户满意度报告生成单元还被配置为：基于所述分数自动生成与所述用户会话相关联的标记；并且

所述标记指示所述用户对所述用户会话是否满意。

11.如权利要求9所述的系统，其中，所述用户满意度报告生成单元还被配置为：基于与所述用户会话相关联的所述分数，在所述用户的新的用户会话中检测用户活动之前预测与所述新的用户会话相关联的分数。

12.如权利要求9所述的系统，其中，所述一个或多个用户活动包括所述用户的动作和/或无动作。

13.如权利要求9所述的系统，其中，所述一个或多个查询基于如下各项中的至少一项而被确定为在所述用户会话中：

所述一个或多个查询与类似的主题相关联；

所述用户在所述一个或多个查询的任意两个连续查询之间的空闲期小于预定阈值；以及

所述一个或多个查询在从所述用户会话开始起的预定时间段内被接收。

14.如权利要求9所述的系统，其中，所述分数基于如下各项中的至少一项而被计算：所述用户的个人信息和与所述一个或多个查询有关的主题。

15.如权利要求9所述的系统，其中：

所述分数基于模型而被计算；并且

所述模型通过机器学习方法来生成并且通过与如下各项中的至少一项有关的数据来训练：来自由所述用户创建的一个或多个标记的信息、与所述用户的用户活动有关的用户参与度信息以及与所述用户参与度信息有关的一个或多个度量。

16.如权利要求9所述的系统，其中：

所述用户满意度确定单元还被配置为：确定与所述分数相关联的置信度；并且

所述用户满意度报告生成单元还被配置为：基于所述置信度来确定用户满意度。

17.一种用于评估关于用户会话的用户满意度的非暂态机器可读介质，所述非暂态机器可读介质具有记录在其上的信息，其中，所述信息当被所述机器读取时，使得所述机器执行如下操作：

在用户会话中从用户接收一个或多个查询；

获取关于一个或多个用户活动的信息，每个用户活动与对内容项目进行的操作有关，其中，所述内容项目与所述一个或多个查询之一相关联；

至少部分基于所述一个或多个用户活动来计算与所述用户会话相关联的分数；以及

基于所述分数来确定关于所述用户会话的用户满意度。

18.如权利要求17所述的介质，所述信息当被所述机器读取时，还使得所述机器执行如下操作：基于所述分数自动生成与所述用户会话相关联的标记，其中，所述标记指示所述用户对所述用户会话是否满意。

19.如权利要求17所述的介质，所述信息当被所述机器读取时，还使得所述机器执行如下操作：基于与所述用户会话相关联的所述分数，在所述用户的新的用户会话中检测用户活动之前预测与所述新的用户会话相关联的分数。

20.如权利要求17所述的介质，其中，所述一个或多个用户活动包括所述用户的动作和/或无动作。