CN107801101A - 用于优化和高效的交互式体验的系统和方法 - Google Patents

Abstract

本发明涉及用于优化和高效的交互式体验的系统和方法。公开了实现用于观看内容时的观察者交互与参与的技术的系统和方法。在一个实现中，执行软件应用的计算机系统向用户呈现视频内容，并且在呈现的过程中在选择的交互点处接收用户输入。所述系统根据接收的输入和与视频内容相关的信息向用户提供反馈。在一个例子中，该呈现、输入和反馈形成用户的游戏体验。

Description

用于优化和高效的交互式体验的系统和方法

对相关申请的交叉引用

本申请要求本申请的受让人所有的、在2016年9月2日提交的发明名称为“VIDEOGAME PARTICIPATION”的美国临时专利申请系列No.62/382967的优先权，在这里并入其全部内容。

技术领域

本发明涉及交互式应用中的处理速度和效率。

背景技术

先前的交互式应用受到不同的通信路径以及其它事项阻碍，并且，在某些情况下，根本没有通信路径。例如，使得用户能够以有效的方式“与他们的电视一起玩”即参与一些屏幕上所显示的内容而不仅仅是被动体验，是一个未满足的目标。

这样的工作受阻于在这一领域中缺乏技术改进。作为一个初步的工作，开发了小型手持设备，以允许用户例如在与游戏一起玩时跟踪自己的分数。这样的工作是没有通信路径的例子，并且受到用户跟踪各种回答和问题的速度以及用户自我监视时的固有不准确性的限制。

在更先进的工作中，已经采用了所谓的“第二屏幕”。但是这些也受阻于与用户的按钮按压速度相关的限制，受阻于不同的通信路径，并且经常被批评者视为是一种较差的“下看、上看、下看、上看”方法，即，非无缝的体验。

其他相关工作包括与投票有关的工作，例如在某些电视市政厅会议以及现实表演比赛中，其中，允许用户通过使用第二屏幕输入投票或用户选择进行投票并然后进行清点和显示。这种工作的意图和结果只是信息收集，缺乏完整的交互式体验的方面。

一般来说，许多技术障碍可以被理解为伴随着这样的工作。这些包括较差的语音识别技术、缺乏先前的高级遥控器以及内容传送的限制。

提供本背景技术部分，以介绍以下的发明内容部分和具体实施方式部分的简要背景。本背景技术部分并不旨在帮助确定所要求保护的主题的范围，也不被视为将所要求保护的主题限制在解决上述任何或所有缺点或问题的实现。

发明内容

根据本原理的系统和方法以几种方式满足以上的需要。在一定程度上，系统和方法利用语音识别技术方面的进步、诸如智能电话、特别是作为输入源的可用的遥控器的进步以及流媒体和无线技术方面的进步，以导致技术和优化的交互式体验。例如，用户可以具有诸如连接到Wi-Fi网络的智能电话的“用户计算机”，并且还可以具有也连接到Wi-Fi网络的诸如IPTV的“内容回放设备”，在这种连接的系统中，通过将与游戏、观看、语音和其他UI组件相关的应用分层到单个技术优化的交互式体验中，可以使用以根据本原理有效地操作系统和方法。

在特定实现中，公开了装置和方法，以在观看内容的同时实现用于观看者交互和参与的技术。在一个实现中，执行软件应用的计算机系统向用户呈现视频内容，并且在呈现期间在选择的交互点处接收用户输入。系统根据接收的输入和与视频内容相关的信息向用户提供反馈。在一个例子中，呈现、输入和反馈为用户形成游戏体验。

在更具体的实现中，用户可以作为多玩家体验或游戏的一部分一起“玩”，其中，可以通过使用中央服务器架构或对等网络进行交互。在一个版本中，用户使用他们的语音以进行输入，例如问题的回答。在该版本中，用户使用语音，以通过使用标准网络与位于任何地方的其它人在流式传输视频上播放唯一和独立的交互式体验。

在实现中提供的功能可以包括但不限于以下方面中的一个或多个：使用具有与语音UI的交互式“一起玩”玩法的标签的记录视频、暂停和重新启动视频；以及，标记用于游戏交互的视频。

在一个方面中，本发明针对一种基于内容的主要项目操作交互式体验的方法，在内容的主要项目中，与用户相关并且基于交互式体验内的用户交互的一个或更多个数据库条目被更高效和精确地填充，该方法包括步骤：在用户内容回放设备上播放内容的主要项目，内容的主要项目包含内容的一个或更多个子集，内容的子集中的一个或更多个指示询问并且邀请用户的响应；在内容的主要项目的播放过程中，从用户计算机接收用户输入的数据，用户输入的数据包含对于由内容的主要项目的子集指示的询问的响应；比较所接收的用户输入的数据与对询问的预定响应；基于比较的结果确定用户分数，并且将所确定的用户分数添加到与用户相关并且作为条目存储于数据库中的总分数；显示总分数；以及对于指示询问并且邀请用户的响应的子集中的一个或更多个，重复接收、比较、确定、添加和显示。

本发明的实现可包括以下方面中的一个或更多个。所述方法还可包括从用户接收视频内容的主要项目应开始回放的指示，并且在接收到指示时，开始播放。使得被呈现可包括流式传输视频内容的实时项目。使得被呈现可包括回放视频内容的记录的项目。用户计算机可以是移动设备、膝上型计算机或数字个人助理。用户计算机可与用户内容回放设备一体化。用户输入的数据可以是语音数据或转录的语音数据。所述方法还可包括在用户输入的数据上执行语音识别，以将用户输入的数据转换成第一文本数据，并且其中，预定的响应被编码为内容的主要项目内的第二文本数据，并且其中，所述比较是第一文本数据与第二文本数据的比较。

所述方法还可包括：在内容的主要项目的播放过程中，从另一用户计算机接收另一用户输入的数据，另一用户输入的数据包含对由内容的主要项目的子集指示的询问的另一响应；比较接收的另一用户输入的数据与对于询问的预定响应；基于所述比较的结果确定另一用户计算机的用户分数，并且将所确定的用户分数添加到作为条目存储于与另一用户相关的数据库中的总分数；显示总分数；和对指示询问并且邀请另一用户的响应的多个子集，重复接收、比较、确定和显示。所述方法还可包括：还包括在子集的播放内的预定点处暂停内容的主要项目的播放，并且在确定用户分数的步骤之后恢复播放。如果在暂停之后的预定时间内没从用户接收到响应，则所述方法还可包括在预定时间到期之后恢复内容的主要项目的播放。播放内容的主要项目可包括接收和呈现对应于内容的主要项目的数据，并且其中，指示预定响应的一组数据包含于所接收的数据中。指示预定响应的一组数据被编码为相关的子集内的元数据。指示预定响应的一组数据可作为与导致内容的主要项目的播放的传送分开的传送的一部分被接收。邀请由子集指示的响应的询问和显示可被呈现为内容的主要项目的播放上面的覆盖。

所述方法还可包括：在内容的主要项目的播放过程中，检索对应于另一用户的事先输入的用户输入的数据，事先输入的用户输入的数据包含对由内容的主要项目的子集指示的询问的另一响应；比较事先输入的用户输入的数据与对询问的预定响应；基于比较的结果确定另一用户的用户分数，并且将所确定的用户分数添加到作为条目存储于与另一用户相关的数据库中的总分数；显示总分数；对指示询问并且邀请另一用户的响应的多个子集，重复接收、比较、确定和显示。另一用户由用户选择或者对于用户被随机选择。内容的主要项目体现为内容数据，并且其中，内容的主要项目的播放构成用适当的音频和/或视频编解码器呈现内容数据。所述方法还包括还包括将属于交互式体验的元数据存储为交互式地图，交互式地图包含交互点的集合或列表，各交互点指示内容数据中的位置。各子集可对应于交互点。内容数据中的位置通过使用选自如下组的要素被代表，所述组包含：时间、视频帧、视频或音频水印或指纹、视频标签、元数据标签或数据图案。所述方法还可包括与各交互点相关的至少一个相关事件信息，所述相关事件信息指示如何处理交互点。所述相关事件信息选自如下组，所述组包含：提示、问题、通知、更新、条件和分支。所述相关事件信息还包含第二信息，并且其中，第二信息选自如下组，所述组包含：对问题的回答、回答的值、响应的效果、条件和基于响应采取的分支的指示。第二信息可以是条件，并且所述条件可以为：相关事件将基于条件的出现而出现或者不出现。各交互点可与事件的树相关，各事件具有至少一个相关条件和基于条件的出现执行的一个相关动作。执行的相关动作进一步基于交互式体验的状态和用户输入。

在另一方面中，本发明针对一种基于内容的主要项目操作交互式体验的系统，在内容的主要项目中，与用户相关并且基于交互式体验内的用户交互的一个或更多个数据库条目被更高效和精确地填充，所述系统包括：内容播放器，该内容播放器被配置为在用户内容回放设备上播放内容的主要项目，内容的主要项目包含内容的一个或更多个子集，内容的子集中的一个或更多个指示询问并且邀请用户的响应；被配置为操作交互式体验的经编程的处理器；被配置为从用户计算机接收用户输入的数据的用户API，用户输入的数据包含对于由内容的主要项目的子集指示的询问的响应，用户API进一步被配置为向经编程的处理器传送用户输入的数据；其中，经编程的处理器进一步被配置为比较所接收的用户输入的数据与对于询问的预定响应，以基于比较的结果确定用户分数，并且将所确定的用户分数添加到与用户相关并且作为条目存储于数据库中的总分数；其中，经编程的处理器进一步被配置为为了交互式体验操作用户界面，并且将总分数显示为用户界面的一部分。

本发明的实现可包括以下方面中的一个或更多个。系统可被分布。内容播放器、经编程的处理器和用户API可以是局域网络内的一个或更多个计算机，并且，内容的主要项目从内容服务器流式传输。用户API可以是语音API，并且，语音API可以进一步被配置为为了语音识别向云服务器传送用户输入的语音数据。

一些实现中的根据本原理的系统和方法一般涉及确定用户输入数据是否与预定回答相关，例如，确定用户是否正确回答。这种可与收集信息的例如为在线投票的先前工作相比较，但是不存在比较用户回答与预定响应即预定响应或具有与预定正确回答相比较的用户输入数据的步骤。即使在根据本原理的系统和方法被应用于提供多选择回答的询问的情况下，也使用确定用户输入数据是否与多选择回答中的一个相关的步骤，并且，基于比较的结果部分地修改数据库中的条目。

在某些实施例中，本发明的优点可包括以下方面中的一个或更多个。根据本原理的系统和方法可提供更迅速和高效的对于询问的用户响应的处理，使得属于用户性能的数据库条目被更精确地呈现并且被更高效地计算。从包括附图和权利要求的以下的描述，将理解其它优点。

提供本发明内容部分，从而以简化的形式介绍概念的选择。在具体实施方式部分中进一步描述这些概念。在本发明内容部分中描述的要素或步骤以外的要素或步骤是可能的，并且，没有要素或步骤是必然需要的。本发明内容部分不旨在识别要求保护的主题的关键特征或基本特征，也不旨在用于帮助确定要求保护的主题的范围。要求保护的主题不限于解决在本公开的任何部分中提到的任何或全部缺点的实现。

附图说明

图1表示示出根据本原理的一个实现的系统的示例性示意图。

图2示出内容的主要项目的数据结构，示出可包括识别交互点的元数据标签的多个子集。

图3是另一示例性示意图，更详细地表示包含于用户交互式体验中的设备以及执行各种步骤的逻辑单元连同内容服务器。该图还表示重叠于内容的主要项目上面的交互式体验的UI。

图4是根据本原理的方法的流程图。

图5示出根据本原理的交互点地图。

图6是根据本原理的方法的流程图的另一实现。

类似的附图标记始终指的是类似的要素。除非另外注明，否则，要素不按比例。

具体实施方式

图1表示根据本原理的系统和方法的一个实现的概要，该实现在这里被示为观察者参与系统10。系统10包括用户内容回放设备20和用户计算机30。用户计算机30可以是例如智能设备、平板电脑、膝上型计算机或能够接收用户输入的数据的其他设备，该数据在许多情况下是用户输入的语音数据，即发言的语音或用户的发声。虽然在许多情况下用户计算机将体现为智能电话，但该术语可以包括智能遥控器或其他支持语音的设备。

在一些情况下，用户计算机30可以在用户内容回放设备20内被实现为用户输入功能。特别地，用户内容回放设备(例如，诸如IPTV的电视机)可以包括用于语音输入功能的整体式或附加麦克风。用户内容回放设备20和用户计算机30通过互联网40连接到内容服务器46。内容服务器46可以在内容回放设备20上流式传输或下载用于回放的内容的主要项目。使用内容回放设备20和用户计算机30的用户也可以与其他用户系统25进行信号通信，以允许多用户交互式体验。内容服务器46可用于运行交互式体验以及流式传输内容的主要项目。在一些情况下，运行交互式体验可以进一步包括使用记录和存储的先前输入数据50，以允许用户与另一对手异步玩。

图2示出了内容的主要项目70。内容的主要项目70可以由多个子集组成，子集中的一个被示为子集1或元素12A。各子集可以包括邀请来自用户的响应的询问。询问通常是问题，但也可以比问题更复杂或者是最简单的，例如，简单地是孩子被邀请猜其名字的颜色。这些子集通常是逻辑单元。子集可以包括包含内容的主要项目的一部分的视频和/或音频数据，并且可以与各元数据14A相关联(或通过其被编码)。元数据14A可以包括诸如预定响应(或其指针)的数据，例如正确的回答、诸如指示适当的暂停点22A的XML标签的标签、或者替代性的正确响应(或其指针)等。还可以定义响应时间间隔18A，这里，用户的响应必须在响应时间间隔内给出，否则，其不会被计为用户的正确或不正确的响应。响应时间间隔18A对于每个子集可以是相同的，或者可以例如根据询问的复杂性在子集之间变化。虽然在许多情况下，暂停点将由XML标签定义，但能够以由情况决定的其他方式定义它。例如，暂停点可以被定义为当用户指示响应的期望时存在的帧，例如“抢答”来给出回答。如稍后将描述的，暂停点可以被定义为当用户指示这样的响应期望时存在的最接近的线索帧(clueframe)，例如，标记有指示线索或询问存在的元数据的最接近的帧。特别地，可以为各帧提供元数据标签以指示该帧是询问帧还是非询问帧，因为在许多情况下希望在询问帧上而不是在非询问帧上暂停，非询问帧例如为在其中表示参赛者的图片的帧。

在这方面，应注意的是，内容的主要项目在某些实现中可以是先前记录的内容项目，例如预先记录的游戏节目。出于这种原因，通常需要暂停以允许现有系统和方法的用户在预先记录的参赛者之前提供回答。另外，根据预先记录的播放器抢答的速度，可能需要将指示暂停点的XML标签的位置放在每个子集的自定义位置。换句话说，即使在相同的内容项目中，表示暂停点的XML标签的放置也可以从子集到子集而不同，因为一些询问可能已经使预先记录的参赛者快速抢答，而其他更慢或者根本没有。

图3示出本系统和方法的更详细的实现。包括交互式体验的系统32可以包括内容播放器36，该内容播放器36可以是流式视频播放器，例如软件应用，例如应用，其被存储和操作于诸如IPTV或其他电视的内容回放设备上，从而通过电视显示和音频呈现内容和用户界面。交互式体验UI 34(例如，游戏或参与UI)可以被生成并呈现于内容的主要项目(例如，视频内容)之上。电视可以具有有线或无线的网络连接，从而例如通过互联网提供对内容服务器46的访问。内容服务器46可以提供流式内容和元数据，并且可以从系统32接收输入和反馈数据。系统32具有或可以访问语音API 38、社交API 42和玩家数据API44。

语音API 38提供语音识别和语音到文本转换处理。社交API 42提供并存储信息并提供与用户的社交数据(诸如朋友信息)的交互，例如身份识别、偏好、活动和建议，以及通信中的社交网络服务数据。玩家数据API 44提供并存储用户(例如玩家)的信息，以及他们参与交互式用户体验系统的体验，例如，过去的表演、分数、问题等。包括电视和/或其他显示器的系统32还具有到诸如移动设备的用户计算机的无线连接，例如，经由Wi-Fi。用户计算机可以体现为由用户操作的智能电话或平板电脑或其他设备。电视和移动设备交换信息以提供用户输入和反馈，例如，问题提示或询问以及用户回答。

通常通过经编程的处理器39通过适当操作来执行由系统32执行的上述步骤。

返回图2，如上所述，内容的主要项目具有相关联的元数据14，例如XML数据。在一个实现中，元数据例如通过时间戳或通过帧号指示交互点16，例如交互点16A，或者视频内容中的标签。当视频播放器播放内容时，视频播放器使用元数据以定位交互点。例如，视频播放器可以在到达标签时、例如当播放器中的定时器到达标签的时间戳时、例如在已经询问问题时的视频中的时间点处暂停视频播放，并且提供用户输入(例如问题的回答)的机会。如下所述，视频播放器分析用户输入以确定适当的反馈，例如，回答是否正确，并且进一步确定对用户分数的影响。

图4示出根据本原理的示例性方法的流程图40。在第一步骤中，播放内容的主要项目(步骤31)。在播放期间，接收用户输入的数据(步骤33)。然后将用户输入的数据与预定的响应进行比较(步骤35)。基于所述比较确定用户分数(步骤37)，并且，显示分数。

在利用问答游戏节目的记录的例子中，参赛者在有限的时间段内被呈现问题并且提供回答，例如，诸如“Jeopardy！”^TM的电视游戏节目。记录玩游戏的参赛者的实时事件的视频数据被存储并标记有用于每个问题和回答的元数据，例如时间戳和正确回答等等。家庭玩家可以在连接到服务器和智能手机的电视上观看比赛，例如在广播或记录期间观看，或通过流式传输或下载。随着游戏的播放，基于元数据，家庭玩家被提示回答每个问题，并且可以通过在智能电话中说话提供回答。因此，用户不需要费力地打字输入回答，实际上可以实时或接近实时地播放。视频回放可以调整以满足播放定时。对于正确性和分数处理和评价家庭玩家的回答。家庭玩家的运行分数和结果连同实时游戏的视频显示在屏幕上。

图5示出这里称为交互地图80的更详细的交互点集合。交互地图80提供影响系统操作、网络操作和用户体验的不同类型的内容、元数据、用户交互和其他变更例。在该实现中，内容数据的元数据被存储为在图5中被划分到具有相应交互点16A、16B、...、16N的N个子集中的内容数据的交互地图80。交互地图80是这些交互点的集合或列表。每个交互点表示指示内容数据中的位置24A、24B、…、24N的位置，诸如时间、视频帧、视觉或音频水印或指纹、视频标签、其他元数据标签或数据模式。每个交互点16还具有相关联的事件信息26A、26B、...、26N以指示如何处理交互点。事件的例子包括但不一定限于提示、问题、通知、更新和分支。事件还可以具有第二信息，诸如问题的回答、回答的值、回答的效果和基于响应采取哪个分支的指示等。事件可以是有条件的，使得事件根据其它信息会或不会发生。例如，如果用户没有达到一定的分数，则不会发生事件。如图所示，交互点可以具有多于一个的关联事件或一系列事件，例如，交互点4包括与第二信息4A'相关联的事件信息4A以及与第二信息4B′相关联的附加事件信息4B。在一个例子中，交互点可以具有根据参与系统的状态和用户输入执行的具有其自身条件和动作的事件树；该可能性被示出为与位置数据3相关联。在另一例子中，可以针对记录数据中的数据评价事件信息的条件或值。在一种这样的情况下，可以为一组记录数据创建交互地图，并然后通过适当地使用条件和记录数据的评价再次与另一组数据一起使用。

或者，图6示出了示例性实现的流程图。在第一步骤中，用户例如从列表选择要播放的情节，或者用户可以搜索特定的节目和情节，可以从朋友对用户推荐一个节目和情节，等等(步骤72)。在一个实现中，用户使用用户计算机(例如，移动设备)选择要播放的视频。在另一例子中，系统呈现游戏节目的情节的列表或集合，并且用户选择情节。系统提供识别和摘要信息以帮助选择。系统可以例如按日期、名称和关键词等等提供搜索功能以定位内容项目。该系统可以例如基于过去的体验或社交信息(诸如朋友推荐和朋友活动等)进行推荐。可以在电视机、移动显示器或组合上呈现和控制UI交互。

在下一步骤中，用户可以选择一起玩的朋友，或者可以针对随机的对手一起玩(步骤74)。特别是如果用户选择了随机的对手，则随机对手可能以前玩过游戏，并且，可以存储他们的响应和响应时间。用户还可以任意地通过以下方法与先前记录的对手一起玩：通过自己玩并确定哪个玩家获得更高的分数，或者在更复杂的实现中，使用随机对手的响应时间，并且确定当前用户是否在预先记录的对手之前“抢答”，这会更准确地表示，如果他们同时玩哪个玩家将占上风。在某些情况下，可能会在这种情况下提供时间延迟，以为一个对手或另一个提供障碍。

返回到步骤74，用户可以通过使用移动设备选择对手。系统可以呈现人的列表，诸如用户的朋友、最近的用户或其他已知的用户。系统可以通过从服务器请求和接收数据确定可用的对手。系统可以例如通过等同的技能水平比较过去的表现或其他简档信息，以选择呈现或推荐的玩家。用户可以搜索特定名称或其他特征。该系统可进一步提供“随机对手”按钮，以允许用户请求一个或多个对手以充实游戏，例如，随机选择或使用简档匹配。

如上所述，与其他玩家的游戏可能是异步的。因此，其他玩家可能在被选为对手之前已经将游戏玩到结束。用户游戏活动的结果可以在游戏过程中被存储，并且收集的结果用于未来与其他人玩。作为一个例子，用户可能希望与在给定情节中分数最高的任何玩家一起玩。在任何情况下，对于每个所选择的对手，系统例如通过使用玩家数据API从服务器检索用于与当前用户一起玩的在当前通关(playthrough)中该对手的玩数据。然而，在另一个实现中，也可以使用同步游戏，从而允许多个实时用户同时玩，或者是实时和记录的对手的组合。

返回到图6，可以开始播放内容的主要项目(步骤76)。因此，在实现中，游戏开始并且系统呈现视频内容，在典型的观看期间，即，在没有参与的情况下，回放可能类似于典型的观看期间的相同的回放，直到达到标签或交互点。内容播放器在视频内容之上呈现游戏UI，例如，用于交互式体验的用户的图标和分数。

在一些点处，通过邀请响应的询问，将显示内容的主要项目的一个子集(步骤78)。可以基于元数据(例如，在内容数据的子集内遇到或达到的XML标签)暂停视频(步骤82)。因此，当达到标签时，系统可以暂停播放，并提示用户对询问的响应。在该游戏例子中，玩游戏时在视频中询问并提出一系列问题，然后参赛者回答这些问题。当准备视频内容和元数据时，可以在视频中的每个问题处插入元数据标签。标签识别视频内容中的帧或时间戳，并且当回放达到该帧或时间时，系统暂停回放并通过覆盖在内容上面的游戏UI提示用户(步骤84)。在一个例子中，提示是电视上的视觉和音频队列以及移动设备上的视觉提示。用户可以响应于提示以指示用户将回答该问题，例如，用户可以“抢答(buzz in)”(步骤86)。在一些实现中，用户可以简单地使用语音API进行回答，而不需要单独执行另一动作，例如抢答。

在一些实现中，玩家可以看其他对手是否已经抢答(步骤88)。这可能是用户希望如果其他用户正在同时播放则回答问题的实际指示，或者它可能代表预先记录玩家抢答在他们在节目进行中时抢答的时间(或者在由设计人员决定的另一时间)。

如果多个玩家抢答，则系统可以确定哪个玩家首先提供响应(步骤92)并因此确定哪个玩家具有得分的第一次机会。在许多情况下，将是第一个抢答的玩家。以这种方式，用户响应提示或询问。移动设备或其他这样的用户计算机h可以呈现诸如设备屏幕上的按钮的视觉提示，并且用户可以激活按钮，例如，点击按钮以响应提示，以抢答。在另一例子中，用户可以以多种方式进行响应，诸如通过使用“是”和“否”按钮以指示用户是否将参与游戏中的这一点。用户也可以说出代码字或短语以发起“抢答”，例如“回答”，或者，可以简单地说出回答。在任何情况下，玩家提供响应(步骤94)。

视频播放器记录用户的响应，并对其添加给定的以播放用户的数据。系统还呈现关于游戏中的对手的信息，在游戏UI中提供图标，以基于这些对手的玩数据指示对手是否将在此时间回应，如上所述，这些玩数据对于每个问题表示当对手最初玩游戏时对手是否回答了这个问题。

如上所述，在许多实现中，用户通过语音回答问题。因此，可以执行语音识别的步骤(步骤96)。转录的回答可以在一些实现中显示在屏幕上，以供用户确认。然而，在快节奏的游戏中，这样的步骤通常可以省略。

在根据本原理的系统和方法的通常实现中，交互式体验将是使用问答形式的游戏，并且暂停的视频可以在电视显示器上显示当前问题。用户可以说出由移动设备的麦克风记录的回答，并且它可以处理用户语音的音频，或者将音频文件发送到云或其他服务进行处理。在采用本地处理的情况下，移动设备向视频播放器提供音频数据，并且，视频播放器例如通过使用语音API可以分析音频数据以确定用户提供的回答。在另一例子中，移动设备提供语音处理，并将得到的回答数据提供给视频播放器。回答呈现在电视机上，并且任选地呈现在移动设备上，然后根据针对该问题的例如元数据中的预定响应被评价。视频播放器记录用户的回答，并可以添加它以播放用户的数据。在另一例子中，可以使用其他回答机制，包括打字、多选择和手势等。

然后将用户提供的回答与预定结果进行比较(步骤98)以评价回答。在实现中，视频播放器可以在视频中呈现问题的结果，例如，在某些情况下，通过取消暂停内容(步骤93)，并且还呈现正确回答(步骤95)。如果参赛者确定了正确的回答，则参赛者可以在节目中提出正确回答。如果参赛者没有正确回答，主持人也可以提出正确的回答。

视频播放器还可以确定用户回答的影响(步骤97)，诸如通过对正确的回答增加用户分数以及对不正确的回答减少用户分数。游戏UI更新以反映用户分数的变化。视频播放器可以记录分数并添加到用户的播放数据。视频播放器还可以评价例如交互式体验的参与游戏中的对手的游戏数据，以确定对手是否回答、回答是否正确以及对对手分数的影响，从而再次在游戏UI中显示更新的信息。

在游戏结束时，在一些情况下，在显示和响应所有子集之后，可以显示所有玩家的最终分数并指示赢家(步骤99)。当视频到达游戏结束时，元数据可以指示游戏已经结束，并且视频播放器可以评价游戏数据以确定和呈现最终结果。在整个游戏中，用户已经回答了各种问题，并且，相应地更新了作为数组或数据库的一部分存储为数据库条目的用户分数。显示和比较用户和每个对手(如果有的话)的最终分数，以确定游戏的最终赢家。视频播放器可以存储用户的最终分数以及胜利或失败，并且可以将数据添加到用户的播放数据。用户的播放数据被最终确定并发送回服务器，以在将来的游戏中与同一用户或其他用户一起使用。

现在描述上述系统和方法的变更例和细节。

在一些情况下，系统可能会为用户提供下注的机会。在回放的这一点上，元数据可以指示除了回答问题之外，用户还可以进行下注，例如从用户分数投下一定数量的点。然后，视频播放器可以在游戏UI中和在移动设备上向用户呈现提示，并且用户可以响应以接受机会或者不接受。如果用户接受并想要下注，则视频播放器可以提示用户某个数量，并且用户可以说出一定量的赌注。投注量与上述回答处理类似地被处理，然后，回放继续，从而移动到问题和用户回答的另一个提示。

在另一个变更例中，系统可以呈现视频图像作为问题的一部分。元数据可以指示要使用的视频图像，例如通过帧号，并且系统可以暂停播放以呈现图像。视频播放器可以如其他问题那样提示用户，并且可以如上面那样响应和回答。

上述暂停和恢复通常需要明显的帧控制，使得系统和方法可以在特定帧上暂停。没有完整的帧控制，在特定的帧上暂停会变得有问题。先前的系统以前没有处理该问题，因此，即使在已经提供用户输入的情况下，帧精度也是无关紧要的。例如，在视频游戏的情况下，当暂停时，帧精度通常是不明显的。但是，对于当前的系统和方法，它可以变得非常明显。例如，如果在一帧中显示线索并然后例如基于预定的XML标签的存在使显示器暂停但是显示器暂停于参赛者的帧上而不是线索上，则家庭用户可在提供响应时受到阻止。因此，可以采用上述元数据以至少部分地通知帧的暂停，尽管即使这样也被发现是不准确的。在一个示例性方案中，在例如自动地或通过用户抢答导致内容的主要项目暂停之后，元数据可以从潜在的暂停帧被检查(使用元数据)，并且，可以确定该帧是否为适当的暂停帧，例如，它表示线索而不是参赛者。如果潜在的暂停帧表示参赛者，则潜在的暂停可以被覆盖，并且允许内容的主要项目再播放几帧，直到再次显示线索帧，此时暂停可以生效。

语音处理和识别可以在云中执行，尽管这并不是绝对必要的。也可以在诸如用户计算机或内容回放设备的任何用户设备上，或者可以在例如本地网络上的可访问的其他系统上，执行语音处理和识别。可以使用诸如GoogleAmazon或Microsoft或Invoke^TM的智能扬声器，包括采用视频以及音频输入和输出的那些。然而，云中的语音识别可以更全面，并且可以更容忍或接受例如错误的话，因为当系统试图适应由口音和方言等引起的变化和回答时，以及当操作规模出现时，云中的语音识别提供了明显更强大的能力。在一些情况下，基于云的语音识别是主要或默认的方法，而如果基于云的识别不可用，则可以执行本地处理。

执行语音识别的一个示例性优化方式是通过认知服务或审查询问并确定或评价是否应该接受已经被发音的内容的AI。这样的AI可以用于高级系统中以确定替代回答是否仍然是适当和正确的回答。可以分析用户输入的数据，例如语音，以确定它是否是正确或预定回答的适当推导。认知服务、AI或其他服务可以快速地访问例如包括同音词的词典，以确定在可调整的给定容差内词语听起来如同正确的回答，等等。在游戏节目的特定情况下，作者可以填写变化并将其上传到内容服务器或其他运行游戏的服务器。在这种情况下，内容的主要项目，例如游戏，并且，没有必要将处理应用下载到用户设备上，从而导致更快和更有效的处理。换句话说，可以流式传输内容的主要项目，可以在云中分析用户响应，并将结果流式传输下发回用户。这样也可以用于实时上传或提供修改。例如，如果错误检查或处理确定用户计算机不正确地解释单词，则内容服务器可以自动地修改被判断为正确回答的内容，使得特定的用户响应被认为是可接受的而不是不正确的。

随着语音识别功能学习个人用户的语音，即使仅使用单个基于内容播放设备的麦克风，也可以提供室内多人游戏的情况，因为语音识别系统可以识别不同的玩家，从而允许多个参与者玩乐而无需由单独的麦克风或其他单独的基于播放器的语音输入设备提供非模糊性(disambiguation)。

当用户输入的数据是模糊的时，例如，当用户更正自己、口吃或发出多个连串的替代响应时，出现本系统和方法的实现所解决的另一重大技术难题。根据本原理的系统和方法通常只能确定所说词语是否对应于或不对应于作为预定响应存储的词语。方案包括使用最后一次、仅使用与预定响应相比完整的响应或使用这些响应的组合。

系统和方法可以在任何数量的计算设备中完全实现，以诸如提供用于内容的元数据的创建和存储，以及用于体验和与内容和元数据交互的应用和工具的呈现、操作和用户界面。通常，指令存放在通常是非暂时性的计算机可读介质上，并且这些指令足以允许计算设备中的处理器实现本发明的方法。计算机可读介质可以是具有当运行时被加载到随机存取存储器中的指令的硬盘驱动器或固态存储器。尽管语音输入源是优选的，但是例如来自多个用户或来自任何一个用户的应用的输入可以是任何数量的适当的计算机输入设备。数据也可以通过插入的存储器芯片、硬盘驱动器、闪存驱动器、闪速存储器、光学介质、磁介质或任何其它类型的文件存储介质被输入，并且这些通常可以在使用来自先前游戏或来自先前用户的存储数据的情况下被使用。输出可以通过视频图形卡或耦合到用户可能看到的显示器的集成图形芯片组被传送给用户。根据该教导，任何数量的其他有形输出也将被理解为本发明的预期。例如，输出可以存储于存储器芯片、硬盘驱动器、闪存驱动器、闪存、光学介质、磁介质或任何其他类型的输出中。还应当注意，本发明可以在任何数量的不同类型的计算设备上实现，例如，在游戏控制台、个人计算机、膝上型计算机、笔记本电脑、网络书计算机、手持计算机、个人数字助理、移动电话、智能电话、智能设备、可穿戴设备、智能手表、平板电脑以及专为此设计的设备上实现。在一个实现中，智能电话或Wi-Fi连接设备的用户通过使用无线因特网连接从服务器将应用的副本下载到其设备。适当的认证过程和安全交易过程可以提供对卖方的支付。应用可以通过移动连接或通过Wi-Fi或其他无线网络连接进行下载。然后应用可以由用户运行。这种网络系统可以为多个用户向系统和方法提供单独的输入的实现提供合适的计算环境。在考虑了交互式体验的上述系统中，多个输入可以允许多个用户同时输入相关数据。

虽然这里公开的发明能够获得上述目的，但是应当理解，本公开仅仅是本发明的当前优选实施例的说明，并且，在所附权利要求所描述的之外，不意欲进行限制。

例如，虽然这里描述了游戏节目的设定，但是本发明可以在各种各样的设定中使用。例如，儿童节目，特别是教育节目可能会特别受益。例如，可以使用询问和提示以促进孩子说出来并且进行交互。犯罪戏剧可能是另一种类型，这里，用户可以说出来并尝试参与体验，以例如帮助解决犯罪或向分支(branching)通知故事情节。

系统和方法的使用可以使用智能遥控器、使用增强现实或虚拟现实，在这种情况下，手势也可以被用作输入机制，等等。

可以有利地使用系统和方法作为多个玩家在同一房间中一起玩的多玩家体验的一部分。每个用户可以具有移动设备，并且每个用户可以连接到电视和视频播放器应用。当提出问题时，用户可以选择响应或不响应，例如“抢答”，但只有第一个响应的用户可以回答该问题。

在另一个变更例中，提出的问题并不总是与游戏节目中的问题本身相同。事实上，一些问题是关于游戏的，例如关于正确回答或分数的预测、参赛者(例如，琐事)、他们来自哪里、他们的下一个陈述或在游戏中讨论的内容。

在又一个实现中，视频内容不一定是游戏节目，而可以是电影、电视节目、网络节目、实时事件(例如，体育比赛、演讲和报告等)的记录。在一个例子中，电影的元数据包括用于交互的兴趣点的标签，以诸如回答问题或从当前场景说话。与游戏节目问题一样，当回放达到标签时，视频播放器暂停回放并且诸如通过在玩家UI中呈现问题来提示用户进行交互。例如，可以提示用户回答以下问题：关于情节的，例如，下一步会发生什么、谁是凶手，等等；关于演员的，例如，这是谁，他们下一次演什么电影，等等；关于制作的，例如，谁是导演，什么公司做出这样的影响，等等；或关于其他琐事，例如，这家餐厅出现什么其他电影。用户可以通过语音进行回答，回答可以关于针对元数据或预定响应的其它来源的正确性被处理和分析。在另一例子中，视频播放器提示用户说出一行对话，例如，这个字符是什么意思，并且分析用户的话语的正确性和性能。在另一例子中，视频回放不随着提出和回答问题暂停。例如，提供“实时”模式，其中用户实时输入流式视频。在特定的实现中，基于Wheel ofFortune，用户可以在真实参赛者做相同的事的同时在Bonus Round中喊出可能的回答，例如，在家里的用户尝试在真实参赛者之前猜测回答。

在另一实现中，记录的内容是音频而不是视频，诸如无线电游戏节目、播客、无线电节目等。在一个例子中，可以呈现界面并且仅与音频一起使用，例如，当视频显示器不可用或不方便时使用。

在另一实现中，视频内容是记录在计算机或视频游戏(例如，视频游戏流式传输器)中的游戏的视频、“让我们播放(lets’s play)”视频或来自游戏控制台的视频捕获。视频游戏的元数据表示交互点，诸如游戏中的决策点，例如要采取哪个路径、使用什么设备、吞咽哪个药物等。当回放达到这些点时，用户可以提供用户对于做什么的预测或建议，并且系统提供关于结果的反馈。例如，系统指示如果用户选择了文本或视频，例如分支视频，特别是如果存在正在播放的相同游戏的多个记录，将会发生什么。在另一例子中，游戏视频是教程或指南，并且用户的响应与指南中实际完成的操作进行比较，以根据指南确定用户游戏玩得有多好。在一个例子中，视频游戏玩家可以与游戏应用进行交互以创建表示用户选择的效果的新视频，并且在一段时间内或者与记录的视频(例如叠加或混合)一起呈现新视频而不是记录的视频。在另一例子中，视频回放不暂停或改变。在一种这样的情况下，元数据包括来自记录的游戏的用户输入，例如，按下了游戏控制器上的哪个按钮，什么时候，等等，并且，视频播放器在回放期间记录当前用户输入。视频播放器将元数据和当前用户输入进行比较，以确定当前用户如何紧密地与记录的输入(例如，用于训练)相匹配。

在另一实现中，生成而不是记录一些或全部的内容数据。生成的数据可以在回放之前或期间创建。该生成的数据可以与条件事件结合使用，以提供动态参与体验。

在另一实现中，记录的数据与虚拟现实环境一起使用。记录和/或生成的视频可用于表示环境的多个部分。环境的一些部分也可以通过来自元数据的数据、播放数据(例如，对手信息、图像等)或用户系统(例如，照相机、麦克风、传感器等)进行增强或替换。

在另一变更例中，设备可以被同步，并且因此用于通过修改架构使得用户通过云(例如，服务器到服务器)而不是实际上在本地播放而通过WiFi网络播放。例如，每个用户设备或用户计算机可以访问服务器，并且所访问的服务器可以彼此通信，以即使在用户在同一房间中或者连接到一个或更多个WiFi网络的情况下也实现多个用户相互竞赛的目标。这种技术改进克服了显著的技术难题，包括防火墙和众多输入设备、网络提供商和路由器之间的不兼容问题。

在另一个变更例中，通过适当的技术堆栈，可以跨着多种类型的平台播放所述系统，从而允许具有不同设备的玩家一起玩。

鉴于这里的公开，包括附图和权利要求，将会理解其它变更例。

Claims (33)

1.一种基于内容的主要项目操作交互式体验的方法，在内容的主要项目中，与用户相关并且基于交互式体验内的用户交互的一个或更多个数据库条目被更高效和精确地填充，该方法包括步骤：

在用户内容回放设备上播放内容的主要项目，内容的主要项目包含内容的一个或更多个子集，内容的子集中的一个或更多个指示询问并且邀请用户的响应；

在内容的主要项目的播放过程中，从用户计算机接收用户输入的数据，用户输入的数据包含对于由内容的主要项目的子集指示的询问的响应；

比较所接收的用户输入的数据与对询问的预定响应；

基于比较的结果确定用户分数，并且将所确定的用户分数添加到与用户相关并且作为条目存储于数据库中的总分数；

显示总分数；以及

对于指示询问并且邀请用户的响应的子集中的一个或更多个，重复接收、比较、确定、添加和显示。

2.根据权利要求1所述的方法，还包括从用户接收视频内容的主要项目应开始回放的指示，并且在接收到指示时，开始播放。

3.根据权利要求1所述的方法，其中，使得被呈现包括流式传输视频内容的实时项目。

4.根据权利要求1所述的方法，其中，使得被呈现包括回放视频内容的记录的项目。

5.根据权利要求1所述的方法，其中，用户计算机是移动设备、膝上型计算机或数字个人助理。

6.根据权利要求1所述的方法，其中，用户计算机与用户内容回放设备一体化。

7.根据权利要求1所述的方法，其中，用户输入的数据是语音数据或转录的语音数据。

8.根据权利要求7所述的方法，还包括在用户输入的数据上执行语音识别，以将用户输入的数据转换成第一文本数据，并且其中，预定的响应被编码为内容的主要项目内的第二文本数据，并且其中，所述比较是第一文本数据与第二文本数据的比较。

9.根据权利要求1所述的方法，还包括：

在内容的主要项目的播放过程中，从另一用户计算机接收另一用户输入的数据，另一用户输入的数据包含对由内容的主要项目的子集指示的询问的另一响应；

比较接收的另一用户输入的数据与对于询问的预定响应；

基于所述比较的结果确定另一用户计算机的用户分数，并且将所确定的用户分数添加到作为条目存储于与另一用户相关的数据库中的总分数；

显示总分数；和

对指示询问并且邀请另一用户的响应的多个子集，重复接收、比较、确定和显示。

10.根据权利要求1所述的方法，还包括在子集的播放内的预定点处暂停内容的主要项目的播放，并且在确定用户分数的步骤之后恢复播放。

11.根据权利要求10所述的方法，其中，如果在暂停之后的预定时间内没从用户接收到响应，则在预定时间到期之后恢复内容的主要项目的播放。

12.根据权利要求1所述的方法，其中，播放内容的主要项目包括接收和呈现对应于内容的主要项目的数据，并且其中，指示预定响应的一组数据包含于所接收的数据中。

13.根据权利要求12所述的方法，其中，指示预定响应的一组数据被编码为相关的子集内的元数据。

14.根据权利要求12所述的方法，其中，指示预定响应的一组数据作为与导致内容的主要项目的播放的传送分开的传送的一部分被接收。

15.根据权利要求1所述的方法，其中，邀请由子集指示的响应的询问和显示被呈现为内容的主要项目的播放上面的覆盖。

16.根据权利要求1所述的方法，还包括：

在内容的主要项目的播放过程中，检索对应于另一用户的事先输入的用户输入的数据，事先输入的用户输入的数据包含对由内容的主要项目的子集指示的询问的另一响应；

比较事先输入的用户输入的数据与对询问的预定响应；

基于比较的结果确定另一用户的用户分数，并且将所确定的用户分数添加到作为条目存储于与另一用户相关的数据库中的总分数；

显示总分数；

对指示询问并且邀请另一用户的响应的多个子集，重复接收、比较、确定和显示。

17.根据权利要求16所述的方法，其中，另一用户由用户选择。

18.根据权利要求16所述的方法，其中，另一用户对于用户被随机选择。

19.根据权利要求1所述的方法，其中，内容的主要项目体现为内容数据，并且其中，内容的主要项目的播放构成用适当的音频和/或视频编解码器呈现内容数据。

20.根据权利要求19所述的方法，还包括将属于交互式体验的元数据存储为交互式地图，交互式地图包含交互点的集合或列表，各交互点指示内容数据中的位置。

21.根据权利要求20所述的方法，其中，各子集对应于交互点。

22.根据权利要求20所述的方法，其中，内容数据中的位置通过使用选自如下组的要素被代表，所述组包含：时间、视频帧、视频或音频水印或指纹、视频标签、元数据标签或数据图案。

23.根据权利要求22所述的方法，还包括与各交互点相关的至少一个相关事件信息，所述相关事件信息指示如何处理交互点。

24.根据权利要求23所述的方法，其中，所述相关事件信息选自如下组，所述组包含：提示、问题、通知、更新、条件和分支。

25.根据权利要求24所述的方法，其中，所述相关事件信息还包含第二信息，并且其中，第二信息选自如下组，所述组包含：对问题的回答、回答的值、响应的效果、条件和基于响应采取的分支的指示。

26.根据权利要求25所述的方法，其中，第二信息是条件，并且其中，所述条件为：相关事件将基于条件的出现而出现或者不出现。

27.根据权利要求20所述的方法，其中，各交互点与事件的树相关，各事件具有至少一个相关条件和基于条件的出现执行的一个相关动作。

28.根据权利要求27所述的方法，其中，执行的相关动作进一步基于交互式体验的状态和用户输入。

29.一种基于内容的主要项目操作交互式体验的系统，在内容的主要项目中，与用户相关并且基于交互式体验内的用户交互的一个或更多个数据库条目被更高效和精确地填充，所述系统包括：

内容播放器，该内容播放器被配置为在用户内容回放设备上播放内容的主要项目，内容的主要项目包含内容的一个或更多个子集，内容的子集中的一个或更多个指示询问并且邀请用户的响应；

被配置为操作交互式体验的经编程的处理器；

被配置为从用户计算机接收用户输入的数据的用户API，用户输入的数据包含对于由内容的主要项目的子集指示的询问的响应，用户API进一步被配置为向经编程的处理器传送用户输入的数据；

其中，经编程的处理器进一步被配置为比较所接收的用户输入的数据与对于询问的预定响应，以基于比较的结果确定用户分数，并且将所确定的用户分数添加到与用户相关并且作为条目存储于数据库中的总分数；

其中，经编程的处理器进一步被配置为：为了交互式体验操作用户界面，并且将总分数显示为用户界面的一部分。

30.根据权利要求29所述的系统，其中，系统被分布。

31.根据权利要求30所述的系统，其中，内容播放器、经编程的处理器和用户API处于局域网络内的一个或更多个计算机上，并且，内容的主要项目从内容服务器被流式传输。

32.根据权利要求29所述的系统，其中，用户API是语音API。

33.根据权利要求32所述的系统，其中，语音API进一步被配置为：为了语音识别向云服务器传送用户输入的语音数据。