CN104281961B

CN104281961B - 用于在线系统中的广告和内容的质量评分系统

Info

Publication number: CN104281961B
Application number: CN201410289004.6A
Authority: CN
Inventors: 布鲁诺·费尔南德斯·鲁伊斯; 普拉巴卡尔·克里希纳穆尔蒂; 珍-马克·朗格露易丝; 阿布黑·古谱塔; 阿哈龙·拉维
Original assignee: Excalibur IP LLC
Current assignee: Shuo Power Co
Priority date: 2013-07-01
Filing date: 2014-06-24
Publication date: 2018-07-06
Anticipated expiration: 2034-06-24
Also published as: TWI595433B; JP5899275B2; JP2015028774A; EP2821950A1; US20150006280A1; CN104281961A; HK1202962A1; TW201513020A; US20170024761A1; US9460451B2

Abstract

一种在线信息系统的服务器系统将从存储设备检索的广告项目和内容项目显示为可供用户在用户设备上浏览的流。广告项目和内容项目按照针对广告项目中的每个项目和内容项目中的每个项目计算的排名分数而在所述流中被排序。质量评分系统基于与和用户相关联的用户简档参数相匹配的当前内容项目的特征来确定用户和当前项目内容之间的亲和度分数并识别先前的内容项目的交互后满意度。所述质量评分系统基于所述亲和度分数和所述交互后满意度来确定质量分数。服务器系统通过网络将包括所述流的网页传输至用户设备。以此方式，广告项目和内容项目在统一市场中竞相包括在所述流中以供终端用户浏览。

Description

用于在线系统中的广告和内容的质量评分系统

背景技术

本申请总体上涉及数据处理系统。更具体地，本申请涉及用于一起在线显示收入生成信息(如广告)和非收入生成信息(如内容)的系统和方法。

作为广告商向潜在顾客和客户宣传商品和服务信息的一种方式，在线广告变得越来越受欢迎。广告商可以使用在线提供商(如Yahoo！Inc.)的可访问互联网的设施来实施广告活动。在线提供商用于将广告商与访问在线资源(如搜索引擎及新闻和信息网站)的用户连接。广告商的广告(“ad”)被提供给用户以告知和吸引用户的注意。

一些在线提供商在网页上提供内容和其他信息的流。用户可以在设备(如台式计算机、便携式计算机(如膝上型计算机)，手持式设备(如平板计算机和智能手机)或多种媒体设备(如电视))上访问网页。当该流在设备的显示器上被浏览时，按照所显示的项目序列逐个项目地(例如在网页上向下)呈现在该网页上。在一些情况下，可以根据某些事件，如一定时期的流逝、鼠标的滚动或空格键的点击，在页面的顶部或底部用新内容对流进行更新。

广告项目(此处也被称为“流广告”)被插入内容流内，从而对项目序列进行补充。流广告可以被格式化以在视觉上与周围的内容流匹配，以便显得源自该流。可替代地，流广告可以被格式化以补足周围的内容流，以便更加引人注目。

流在在线演示上变得屡见不鲜，部分原因在于它们为网站设计师和广告商提供了更多的灵活性。如果流没有用于在网页上呈现数据，则网页必定具有预定义的部分。仅具有规定大小、形状和内容的某些类型的信息可以在预定义的部分上呈现。流允许包括任何数量、大小以及形状的内容。当浏览者处理与不同的内容或广告项目相关联的信息时，流通过清除与到一种不同的视觉格式或角度的切换相关联的认知超载来降低浏览者的认知负荷。

令人希望的是对流中的内容和广告的流量进行管理以便进而管理与在线提供商进行交互的用户和广告商的体验。通过这种系统与本申请的其余部分中参照附图阐述的本披露的一些方面相比较，常规和传统方法的进一步的局限性和缺点对本领域技术人员而言将变得明显。

发明内容

根据这里披露的系统、产品和方法，在线提供商可以对用户在网页上可以看到的内容流内的流广告的位置、数量和空间与时间频率进行控制。流可以被视为统一市场(unified marketplace)，其中收入生成项目和非收入生成项目两者(如广告项目和内容项目)分别竞相在流中呈现。评分、排名和定价技术允许对所有项目进行相称处理(无论是否对在线提供商有收入生成)。内容项目和广告项目的其他商务规则在确定内容项目和广告项目如何呈现在流中时为在线提供商提供了进一步的自由度。

评分的一个方面涉及有待向用户呈现的内容项目。可以开发质量分数来反映内容项目对用户或用户区隔的相对质量或合意性。内容项目的质量分数可以用于确定对内容的出价金额，对内容的出价金额可以用于确定内容项目的排名分数。例如，在一个实施例中，内容项目的质量分数被用作存储了正在竞相获得相同的用户对内容项目的注意的广告项目的出价值的表的索引。广告项目的出价用于自动地计算内容项目的出价。使用内容项目的出价结合被描述为可点击性的度量和被描述为满意度的度量，可以导出内容项目的排名分数。

在另一个实施例中，用于质量分数的质量分数是内容项目的受欢迎度和用户与内容项目之间的亲和度的函数。单个项目的受欢迎度可以使用相似内容项目的受欢迎度和用户与先前内容项目的交互而记录的用户的历史兴趣来确定。亲和度可以通过使内容项目与用户规定的用户简档的参数相关或基于用户过去与内容项目的交互来确定。

对于在线提供商而言，控制流中的广告的位置、数量和频率可以帮助管理用户和广告商对在线提供商的网站的体验。提供太多的广告会导致用户的体验欠满意。提供太少的广告会减少或消除广告商对网站的参与。为用户提供最合适的内容项目和广告项目可以保持用户参与网站并保证用户将返回该网站。用户的参与进而带动在网站上投放流广告的广告商的信心和参与。本披露总体上描述了一种统一市场，其中在线提供商呈现的信息的每个项目(从收入生成广告到付费内容)被进行评分、根据显式或隐式出价被定价，并且被排名以便以诸如流的统一格式呈现。

附图说明

图1为示例在线信息系统的框图；

图2为示出了为了在流显示器中显示而修改的显示广告的示例；

图3为示出了一种用于在在线信息系统中对广告项目和内容项目的流进行排名和显示的方法的一个实施例的流程图；以及

图4为用于根据使用可点击性(clickability)和点击后满意度分数计算的质量分数来显示流媒体馈送中的内容的示例过程。

具体实施方式

现在将参照附图在下文中更加全面地描述主题，这些附图形成该主题的一部分，并且以图示的方式示出了特定示例性实施例。然而，可以以各种不同的形式实现主题，因此，所涵盖或要求保护的主题旨在被构造成不局限于此处阐述的任何示例实施例；所提供的示例实施例仅是说明性的。同样，意在要求保护或涵盖的主题的合理广泛的范围。例如，主题可以被实现为方法、设备、组件或系统，等等。因此，以下详细说明并不旨在限制所要求保护的范围。

贯穿本说明书和权利要求书，在明确阐述的意思之外，术语在上下文中还可以暗示或隐含微妙的意思。同样，如在此使用的短语“在一个实施例中”不一定是指同一实施例，并且如在此使用的短语“在另一个实施例中”不一定是指不同的实施例。例如，旨在要求保护的主题包括全部或部分示例实施例的组合。

通常，术语可以被理解成至少部分地源自上下文中的用法。例如，如此处使用的诸如“和”、“或”、或“和/或”的术语可以包括各种意思，这些意思可以至少部分地取决于这种术语用于其中的上下文。典型地，如果用来关联列表，如A、B或C，则“或”此处在包括意义上使用时，旨在表示A、B和C，以及此处在排他性意义上使用时，表示A、B或C。此外，如在此使用的术语“一个或多个”，至少部分地取决于上下文，可以用于以单数的意义描述任何特征、结构或特性，或可以用于以复数的意义描述特征、结构或特性的组合。类似地，至少部分地取决于上下文，如“一个”、“一种”、“该”等术语可以再次被理解成表达单数用法或理解成表达复数用法。此外，再次至少部分地取决于上下文，术语“基于”可以被理解成不一定旨在表达排他的一组因素，并且反而可以允许存在不一定明确描述的附加因素。

在线信息系统将广告商的广告投放在终端用户可以获得的内容服务(如网页、移动应用(“app”)、TV应用、或其他音频或视觉内容服务)内。广告与其他内容一起被提供。其他内容可以包括文本、图形、音频、视频的任意组合或这种内容的链接。广告常规地基于包括广告商所规定的那些标准的各种标准而被选择。广告商常规地定义广告活动以控制如何和何时使得广告可被用户获得以及规定那些广告的内容。

流在在线演示中变得屡见不鲜，因为它们为提供流的内容项目的内容提供商、提供流的广告项目的广告商以及将内容项目和广告项目组合来产生流的在线提供商提供了灵活性。流允许任何数量和大小以及形状的内容项目和广告项目包括在流中。可以按照关联性或按照任何合适的参数对流中的元素进行排序。当浏览者处理与不同的内容或广告项目相关联的信息时，流通过清除与到一种不同的视觉格式或角度的切换相关联的认知超载来降低浏览者的认知负荷。

流可以被视为统一的市场，其中内容项目和广告项目竞相投放或包括在流中。市场中的参与者为发起或提供广告项目的广告商和发起或提供内容项目的内容提供商。流和市场可以由如雅虎公司等在线提供商托管或管理。在线提供商还可以将其自己产品和服务的广告或其自己的内容项目提供到流中。

广告商与在线提供商的设备进行交互以创造或提供在线广告。在线广告包括与广告商的标识相关联地存储在数据库或其他存储器中的广告内容和一个或多个出价金额。广告内容可以包括文本或图形或两者以及登陆页面的链接，当点击该链接时用户的浏览器被重新引导向该登陆页面。出价金额表示广告商就有关广告的事件将支付的金额。该事件可以是用户对广告的印象或浏览、浏览广告的用户对广告的点击和其他选择、或浏览广告后的行为，如提供信用卡信息或电子邮件地址。出价金额可以用于用以下有待描述的方式确定广告在流中的位置。在线广告可以包括其他数据，也包括对广告如何出现在流中进行定义的数据。

内容项目包括关于用户可能感兴趣的话题的信息。此信息可以包括到提供该话题的更多信息和该话题的信息的概述的另一个网页的链接。在一些实施例中，内容提供商将使出价金额与内容项目相关。与广告的出价金额相似，内容项目的出价金额可以基于印象、点进、或另一种动作。并且，此出价金额可以用于以下面有待描述的方式确定内容项目在流中的位置。可替代地，基于软件的出价代理可以用于代表内容项目自动出价。

内容项目和广告项目竞相包括在流中。可以使用广义二级价格(GSP)拍卖机制清理对流中的位置(slot)的竞争。在GSP拍卖中，最高出价人获得第一位置，第二最高出价人获得第二位置等。然而，然后，最高出价人支付第二最高出价人出的价格。这与付费搜索市场类似，尽管对付费搜索中的出价表述不同并且付费搜索市场中的竞争只在广告之间。

在一个实施例中，广告商提供定向预测、广告片段和出价。在一些实施例中，广告商可以提供三倍的预算，被称为三倍定向。定向预测可以基于广告商感兴趣的任何类型的市场区隔(segment)，在一个示例中，包括人口统计市场、基于性别或年龄的市场区隔、基于用户简档信息的行为区隔、或地理市场。出价可以是每次点击成本(CPC)出价、每次印象成本(CPM)出价或每次动作成本(CPA)出价。在线提供商可以选择不支持所有市场中的所有出价类型。

允许什么样的广告商出价在很大程度上决定了其出价行为。对于管理统一市场的在线提供商而言，在允许广告商对非常具体的目标进行出价与允许广告商对更多广泛的目标进行出价之间存在折衷。

在线提供商较具有很少广告商的清淡市场更喜欢具有许多竞争广告商的稠密市场。市场越稠密，在线提供商的收入增加的可能就越大。然而，许多广告商对特定用户类型非常感兴趣。这些窄聚焦用户将很可能置身于市场之外，除非允许对他们更窄地出价。广泛的目标降低了广告商获得的平均值，因为他们的广告可能被显示给对他们的产品可能不感兴趣的用户。较低的预期值导致较低的出价。

可以通过对表现的定价、通过使用优异的评分算法和通过防止低相关性的广告显示在流中来缓解这些折衷中的一些折衷。对表现的定价暗含只有当用户对广告响应时才收费。广告商将更愿意当用户归顺(如对产品或服务进行支付)时才支付。然而，定义和追踪归顺和对归顺率进行估算会难于做得可靠，所以市场运营商更愿意按更容易追踪和估算的点击进行收费。每次点击收费会提出挑战。例如，不是来自用户的所有点击都转变成广告商的销售。在太多的点击没有产生转变的情况下，可能导致广告的低质量分数。

广泛的定向需要精确的评分方法来保持良好的用户和广告商体验。评分是将一个值分配给一个广告或内容项目的过程，然后该值可以用于确定哪个项目应包括在流中。此精确的评分可能需要在线提供商不仅检查广告片段还要检查登陆页面的内容。在一些实施例中，广告可以包括附加信息，如广告商自动收集或手动提供的并且被用作到评分函数的信号的元数据。

广泛的定向还会增加CPC广告的定价的难度。在对广告进行定价中，重要的是在关键字与搜索项目之间的匹配的质量与广告的质量之间进行区别。在线运营商可以选择对低质量匹配的广告商进行打折，此低质量匹配是进行匹配的在线市场的运营商的责任。在线运营商可以选择对是广告商的责任的低质量广告收取附加费。

现在将描述一种示例性系统，其中可以展示和描述广告项目和内容项目的统一市场的方面。将结合附图提供进一步的细节和任选实施例。

图1为在线信息系统100的框图。图1的示例性实施例中的在线信息系统100包括账户服务器102、和账户数据库104、搜索引擎106、广告(ad)服务器108、广告数据库110、内容数据库114、内容服务器112以及排名引擎116。在线信息系统100可被一个或多个广告商设备(如广告商设备122)和一个或多个用户设备(如用户设备124)通过网络120访问。在这种在线信息系统的各示例中，用户可以通过网络120从多个源或从内容数据库114搜索并从获得内容。广告商可以提供广告用于投放在通过网络发送至用户设备(如用户设备124)的网页和其他通信中。在一个示例中，在线信息系统由在线提供商(如雅虎公司)部署和运营。

账户服务器102存储广告商的账户信息。账户服务器102与账户数据库104进行数据通信。账户信息可以包括与每个广告商相关的对应的一个或多个数据库记录。账户管理服务器102可以存储、保持、更新和从内容数据库104读取任何适合的信息。示例包括广告商标识信息、广告商安全信息(如密码和其他安全凭证)、以及账户余额信息。

可以使用任何适合的设备实现账户服务器102。账户管理服务器102可以被实现为单个服务器、多个服务器、或本领域内已知的任何其他类型的计算设备。优选地，可以通过防火墙(未示出)完成对账户服务器102的访问，该防火墙保护账户管理程序和账户信息免受外部篡改。可以通过增强标准通信协议(如安全HTTP或安全套接字层)来提供附加安全。

账户服务器102可以提供广告商前端以简化对广告商的账户信息进行访问的过程。该广告商前端可以是形成用户界面的程序、应用或软件例程。在一个具体实施例中，该广告商前端作为具有访问广告商可以在如广告商设备122的广告商设备上浏览的一个或多个网页的网站而是可访问的。广告商可以使用广告商前端浏览和编辑账户数据和广告数据。对广告数据进行编辑之后，然后可以将账户数据保存到账户数据库104。

搜索引擎106可以是计算机系统、一个或多个服务器、或本领域内已知的任何其他计算设备。可替代地，搜索引擎106可以是存储在在单个服务器、多个服务器、或本领域内已知的任何其他类型的计算设备的处理器上运行的计算机可读存储介质上的计算机程序、指令或软件代码。例如，用户操作的用户设备(如用户设备124)可以通过网络120访问搜索引擎106。用户设备124将用户查询传送至搜索引擎106。搜索引擎106使用任何适合的协议或算法定位匹配信息并将信息返回至用户设备124。搜索引擎106可以被设计成用于帮助用户找到位于互联网或内联网上的信息。在一个具体示例中，搜索引擎106还可以通过网络120向用户设备124提供具有包括以下各项内容的网页：搜索结果、与用户查询的背景匹配的信息、其他网络目的地或信息和操作用户设备124的用户感兴趣的信息的文件的链接、以及被选择用于向用户显示的内容项目和广告项目的流。

搜索引擎106可以使设备(如用户设备124或任何其他客户端设备)能够使用搜索查询搜索感兴趣的文件。典型地，客户端设备可以通过一个或多个服务器或直接通过网络120访问搜索引擎106。例如，在一个说明性实施例中，搜索引擎106可以包括网络爬虫组件、索引器组件、索引储存组件、搜索组件、排名组件、高速缓冲存储器、简档存储组件、登录组件、简档建立器、以及一个或多个应用程序接口(API)。可以用分布式方式部署搜索引擎106，例如，如通过分布式服务器集合。可以在网络内复制组件，如用于冗余或更好的访问。

广告服务器108操作用于向如用户设备124的用户设备供应广告。广告包括对用户设备的用户感兴趣的广告信息进行定义的数据。广告可以包括文本数据、图形数据、图像数据、视频数据、或音频数据。广告可以进一步包括对提供这种数据的其他网络资源的一个或多个链接进行定义的数据。其他位置可以是互联网上的其他位置、广告商操作的内联网上的其他位置、或任何访问。

对于在线信息提供商而言，广告可以显示在由至少部分地基于一个或多个搜索项目的用户定义的搜索产生的网页上。如果所显示的广告与一个或多个用户的兴趣相关，则广告会对用户、广告商或门户网站有益。因此，已经开发了各种技术来推断用户兴趣、用户意图或随后定向将相关广告宣传给客户。

一种呈现定向广告的方法包括使用人口统计特性(例如，年龄、收入、性别、职业等)用于如按组预测用户行为。可以至少部分地基于所预测的用户行向目标观众中的用户呈现广告。

另一种方法包括简档型广告目标定位。在本方法中，可以生成特定于用户的用户简档以例如通过追踪用户通过网站或站点网络的路径、并至少部分地基于最终输送的网页或广告对简档进行编译来建模用户行为。可以识别相关性，例如，如针对用户购买的东西。所识别的相关性可以用于通过将内容或广告目标定位为特定的用户来把潜在的购买者定位为目标。

又另一种方法包括基于用户请求的网页的内容来进行目标定位。广告可以投放在网页上或与和这些广告的主题相关的其他内容相关联。可以用任何适合的方式确定内容与广告之间的关系。特定网页的整体主题可以例如通过对网页内呈现的内容进行分析来确定。此外，已经开发了多种技术用于显示适于当前用户正在浏览的文章的特定部分的广告。相应地，可以通过使广告和网页内的关键字和/或短语匹配来选择广告。一种示例性系统和方法在2013年3月15日提交的题为用于观众购买的用户简档与观众区隔的高效匹配(Efficient Matching of User Profiles with Audience Segments for Audience Buy)的13/836,052号美国未决专利申请中被披露。此申请通过引用以其全文结合于此。

广告服务器108包括操作用于对广告数据进行格式化以便传送给用户设备的逻辑与数据。广告服务器108与广告数据库110进行数据通信。广告数据库110存储包括对有待被供应至用户设备的广告进行定义的数据的信息。广告数据可以由另一个数据处理设备或广告商存储在广告数据库110内。广告数据可以包括对对应的广告的广告创意和出价金额进行定义的数据。

例如，广告数据可以被格式化为可以被包括在提供给用户设备的内容项目和广告项目流内的广告项目。格式化的广告项目由外观、大小、形状、文本格式化、图形格式化和所包括的信息来规定，以上各项全都可以被标准化以为流中的所有广告项目提供一致的面貌。至少一些广告项目可以具有相关联的出价金额并且可以被认为是收入生成项目。然后，广告服务器108将这些广告项目提供给其他网络设备(如排名引擎116)。

进一步地，广告服务器108与网络120进行数据通信。广告服务器108通过网络120将广告数据和其他信息传送至设备。此信息可以包括被传送至用户设备的广告数据。此信息还可以包括用广告商设备(如广告商设备122)传送的广告数据和其他信息。操作广告商设备的广告商可以通过网络访问广告服务器108来访问包括广告数据的信息。此访问可以包括开发广告创意、编辑广告数据、删除广告数据、设置和调整出价金额以及其他活动。

广告服务器108可以提供广告商前端以简化对广告商的广告数据进行访问的过程。该广告商前端可以是形成用户界面的程序、应用或软件例程。在一个特定实施例中，该广告商前端作为具有一个或多个网页的网站而是可访问的，访问广告商可以在广告商设备上浏览该一个或多个网页。广告商可以使用广告商前端浏览和编辑广告数据。对广告数据进行编辑之后，然后该广告数据可以被保存到广告数据库110以便随后以广告形式传送至用户设备。

广告服务器108可以是计算机系统、一个或多个服务器、或本领域内已知的任何其他计算设备。可替代地，搜索引擎108可以是存储在在单个服务器、多个服务器、或本领域内已知的任何其他类型的计算设备的处理器上运行的计算机可读存储介质上的计算机程序、指令和/或软件代码。

内容服务器112与内容数据库114、广告服务器108以及排名引擎116进行数据通信。内容服务器112可以从内容数据库114或者通过网络120从可访问的另一个位置访问内容项目的信息。内容服务器112通过网络120将对内容项目进行定义的数据和其他信息传送至设备。此信息可以包括被传送至用户设备的内容数据。此信息还可以包括用操作内容提供商设备的内容提供商传送的内容数据和其他信息。操作提供商设备的内容提供商可以通过网络120访问内容服务器112来访问包括内容数据的信息。此访问可以包括开发内容项目、编辑内容项目、删除内容项目、设置和调整出价金额以及其他活动。

内容服务器112可以提供内容提供商前端以简化对内容提供商的内容数据进行访问的过程。该内容提供商前端可以是形成用户界面的程序、应用程序或软件例程。在一个特定实施例中，该内容提供商前端作为具有一个或多个网页的网站而是可访问的，访问内容提供商可以在内容提供商设备上浏览该一个或多个网页。内容提供商可以使用内容提供商前端浏览和编辑内容数据。对内容数据进行编辑之后，然后该内容数据被保存到内容数据库114以便随后传送至用户设备。

内容服务器112包括操作用于对内容数据和其他信息进行格式化以便传送至用户设备的逻辑与数据。例如，内容数据可以被格式化为可以被包括在被提供向用户设备的内容项目和广告项目的流内的内容项目。格式化的内容项目由外观、大小、形状、文本格式化、图形格式化和所包括的信息来规定，以上各项全都可以被标准化以为流中的所有内容项目提供一致的面貌。在一些实施例中，这些内容项目具有相关的出价金额，该出价金额用于对呈现给用户设备的项目流中的内容项目进行排名或定位。在其他实施例中，这些内容项目不包括出价金额，或者出价金额不用于对这些内容项目进行排名。这种内容项目可以被认为是非收入生成项目。然后，内容服务器112将这些内容项目提供给其他网络设备(如广告服务器108和排名引擎116)。

排名引擎116与广告服务器108、广告数据库110、内容服务器112以及内容数据库114进行数据通信。排名引擎118被配置成用于识别有待包括在有待提供给用户设备(如用户设备124)的内容项目和广告项目的流中的项目。排名引擎118因此可以被配置成用于确定哪些广告项目和哪些内容项目有资格被包括在流中和用于评分以及用于对流中的各个广告项目和各个内容项目进行排序。

在一个实施例中，排名引擎116被配置成用于使用从广告数据库110检索的出价值来计算多个广告项目中的每个广告项目的排名分数。排名引擎116被进一步配置成用于使用从内容数据库114获得的出价值来计算多个内容项目中的每个内容项目的排名分数。当确定排名分数时，排名引擎116可以使用可从广告服务器108、广告数据库110、内容服务器112和内容数据库114以及账户数据库104获得的其他信息。以下将描述包括排名引擎的在线信息系统100的示例性操作的其他实施例和其他细节。

账户服务器102、搜索引擎106、广告服务器108、内容服务器112和排名引擎114可以被实现为任何适合的计算设备。计算设备可以能够如通过有线或无线网络发送或接收信号，或可以能够处理信号或将信号存储在如物理存储器状态的存储器内，并且因此可以作为服务器运行。因此，能够作为服务器运行的设备可以包括(举例来讲)专用机架式安装的服务器、台式计算机、膝上型计算机、机顶盒、组合了如上述设备中的两个或更多特征的多种特征的集成设备，等等。

服务器在配置或能力上可以差异很大，但通常服务器可以包括一个或多个中央处理单元和存储器。服务器还可以包括一个或多个大容量存储设备、一个或多个电源、一个或多个有线或无线网络接口、一个或多个输入/输出接口、或一个或多个操作系统，如Windows服务器、Mac OS X、Unix、Linux、FreeBSD等。

账户服务器102、搜索引擎106、广告服务器108、内容服务器112和排名引擎114可以被实现为在线服务器系统或可以与在线服务器系统进行通信。在线服务器系统可以包括一种设备，该设备包括一种通过网络向另一个设备提供内容的配置，包括响应于所接收到的对页面浏览的请求。在线服务器系统可以例如托管网站，如社交网站，社交网站的示例可以包括但不限于网络相簿(Flickr)、推特网(Twitter)、脸谱网(Facebook)、人际关系网(LinkedIn)、或个人用户网站(如，博客、视频博客、在线交友网站等)。在线服务器系统还可以托管各种其他网站，包括但不限于商务网站、教育网站、字典网站、百科全书网站、维基百科、财经网站、政府网站等。

在线服务器系统可以进一步提供各种服务，包括但不限于网络服务、第三方服务、音频服务、视频服务、电子邮件服务、即时消息传送(IM)服务、SMS服务、MMS服务、FTP服务、IP电话(VOIP)服务、日历服务、照相服务等。内容的示例可以包括文本、图像、音频、视频等，可以用物理信号(例如，如电信号)的形式处理这些内容，或例如其可以存储在如物理状态的存储器内。可以作为在线服务器系统运行的设备的示例包括台式计算机、多处理器系统、微处理器型或可编程消费电子产品等。在线服务器系统可以不与广告服务器108、内容服务器112或排名引擎116处于共有所有权或控制下。

网络120可以包括任何数据通信网络或多种网络的组合。网络可以连接多个设备，从而使得可以如在服务器和客户端设备或其他类型的设备之间互换通信，包括通过例如无线网络连接的无线设备之间。网络还可以包括大容量存储，如网络附加存储(NAS)、存储区域网络(SAN)、或例如其他形式的计算机或机器可读介质。网络可以包括互联网、一个或多个局域网(LAN)、一个或多个广域网(WAN)、有线式连接、无线式连接、或以上各项的任意组合。同样，子网络(如可以使用不同的架构或可以符合不同的协议或与之兼容)可以在较大的网络(如网络120)内互操作。各种类型的设备可以例如可用于为不同的架构或协议提供可互操作的能力。作为一个说明性示例，路由器可以在另外单独和独立LAN之间提供链接。通信链接或通道可以包括例如模拟电话线(如双绞线、同轴电缆)包括T1、T2、T3或T4型线的全部或部分数字线、综合业务数字网络(ISDN)、数字用户线(DSL)、包括卫星链接的无线链接、或如本领域的技术人员可以已知的任何其他通信链接或通道。此外，例如，计算设备或其他相关电子设备可以如通过电话线或连接远程地连接到网络上。

广告商设备122包括可以通过网络120访问在线信息系统100的任何数据处理设备。广告商设备122操作用于通过网络120与账户服务器102、搜索引擎106、广告服务器108、排名引擎116、内容服务器和其他数据处理系统进行交互。广告商设备122可以例如实现用于浏览网页和提交用户请求的网络浏览器。广告商设备122可以将数据传送至在线信息系统100，包括对网页进行定义的数据和其他信息。广告商设备122可以从在线信息系统100接收通信，包括对网页进行定义的数据和广告创意。

在一些实施例中，内容提供商可以用通常在结构和功能上与广告商设备类似的内容提供商设备访问在线信息系统100。内容提供商提供例如对内容数据库114中的内容数据的访问。

用户设备124包括可以通过网络120访问在线信息系统100的任何数据处理设备。用户设备124操作用于通过网络120与搜索引擎106进行交互。用户设备124可以例如实现用于浏览网页和提交用户请求的网络浏览器。操作用户设备124的用户可以键入搜索请求并将该搜索请求传送至在线信息系统100。搜索引擎对搜索请求进行处理并且搜索结果被返回至用户设备124。在其他示例中，用户设备124的用户可以从在线信息处理系统100请求如信息页面的数据。替代地,可以在如本地移动应用、TV应用、或音频应用的另一种环境中提供数据。在线信息处理系统100可以提供该数据或将浏览器重新引导向另一个网站。此外，广告服务器可以从广告数据库110选择广告并且将定义广告的数据包括在被提供给用户设备124的数据中。

当在在线信息系统100上访问信息时，广告商设备122和用户设备124作为客户端设备而运行。客户端设备(如广告商设备122和用户设备124)可以包括能够如通过有线或无线网络发送或接收信号的计算设备。客户端设备可以例如包括台式计算机或便携式设备(如蜂窝电话、智能手机、显示传呼机)、射频(RF)设备、红外(IR)设备、个人数字助理(PDA)、手持计算机、平板计算机、膝上型计算机、机顶盒、可佩戴计算机、组合了各种特征(如上述设备的特征)的集成设备等。在图1的示例中，膝上型计算机126和智能手机128两者可以作为广告商设备或用户设备被操作。

客户端设备在能力和特征方面可能不同。要求保护的主题旨在涵盖大范围的可能变化。例如，手机可以包括数字小键盘或功能性有限的显示器，如用于显示文本的黑白液晶显示器(LCD)。然而，相比之下，作为另一个示例，支持网络的客户端设备可以包括一个或多个物理或虚拟键盘、大容量存储、一个或多个加速计、一个或多个陀螺仪、全球定位系统(GPS)或其他位置识别型能力、或具有高度功能性的显示器，例如，如触敏彩色2D或3D显示器。客户端设备(如广告商设备122和用户设备124)可以包括或可以执行各种操作系统，包括个人计算机操作系统，如Windows、iOS或Linux操作系统，或移动操作系统，如iOS、安卓(Android)、或Windows移动操作系统等。客户端设备可以包括或可以执行各种可能的应用，如能够与其他设备进行通信的客户端软件应用，如(如通过电子邮件、短消息服务(SMS)、或多媒体消息服务(MMS))传输一条或多条消息，包括通过网络，如社交网络，包括例如Facebook、LinkedIn、Twitter、Flickr、或谷歌(Google+)，仅提供了一些可能的示例。客户端设备还可以包括或执行一种应用，以传输内容，例如，如文本内容、多媒体内容等。客户端设备还可以包括或执行一种执行各种可能任务的应用，如浏览、搜索、播放各种形式的内容，包括本地存储的或流式视频、或游戏。提供上述内容以说明要求保护的主题旨在包括大范围的可能的特征或能力。

图2示出了在所选择的用户设备上显示的内容项目和数据项目的流。在图2中，显示广告202被图示为显示在各种显示器上，包括移动网络设备显示器204、移动应用显示器206和个人计算机显示器208。移动网络设备显示器204可以在移动手持设备(如智能手机)的显示屏上示出。移动应用显示器206可以在便携式设备(如平板计算机)的显示屏上示出。个人计算机显示器208可以在个人计算机(PC)的显示屏上显示。

图2中示出了显示广告202被格式化以便在用户设备上显示，但不作为流的一部分,用于展示这种显示广告的内容的示例。显示广告202包括文本212、图形图像214和定义的边界216。显示广告202由广告商开发用于投放到被发送至用户操作的用户设备的网页上。显示广告202可以投放在网页上的各种位置上。然而，定义的边界216和该显示广告的形状必须与网页上可用的空间匹配。如果可用的空间具有错误的形状或大小，则显示广告202可能是不可用的。

为了克服这些要求和限制，显示广告202可以重新格式化或以替代性方式格式化以便包括在内容项目和广告项目的流内，该流包括结合了显示广告202的内容的流广告。

在这些示例中，该显示广告被示为流224a、224b、和224c的一部分。流224a、224b、224c包括一项目序列，该项目序列在移动网络设备显示器204、移动应用显示器206和个人计算机显示器208上浏览的网页上以一个项目接另一个项目的方式例如向下显示。流224a、224b、224c可以包括任何类型的项目。在所示示例中，流224a、224b、224c包括内容项目和广告项目。例如，流224a包括内容项目226a和228a以及广告项目222a；流224b包括内容项目226b、228b、230b、232b、234b和广告项目222b；以及流224c包括内容项目226c、228c、230c、232c、234c以及广告项目222c。流224a、224b、224c中的每个流可以包括任何数量的内容项目和广告项目。在一个实施例中，流224a、224b、224c可以被安排成对用户而言好像是一个无尽的项目序列，从而使得当流224a、224b、224c其中之一所显示在其上的用户设备的用户滚动显示器时，看来像无尽的项目序列出现在所显示的流中。

位于流224a、224b、224c中的任何流内的内容项目可以包括新闻项目、商务相关项目、体育相关项目等。进一步地，除了文本或图形内容以外，任何流中的内容项目还可以包括其他数据，如音频和视频数据或应用。每个内容项目可以包括文本、图形、其他数据、以及到附加信息的链接。点击或以其它方式选择该链接将用户设备上的浏览器重新引导向包含该附加信息的被称为登陆页面的网页。

类似广告项目222a、222b、和222c的流广告可插到内容流内，从而补充相关项目序列，为终端用户提供更多无缝体验。与内容项目类似，广告项目可以包括文本或图形内容以及如音频和视频数据或应用的其他数据。每个广告项目222a、222b、和222c可以包括文本、图形、其他数据、以及到附加信息的链接。点击或以其他方式选择该链接将用户设备上的浏览器重新引导向被称为登陆页面的网页。

虽然分别以单个可见的广告项目222a、222b、222c示出了示例性流224a、224b、224c，但任何数量的广告项目可以包括在项目流内。传统地，已知的是将广告项目定位在固定位置处。例如，在一个传统系统中，已知的是将广告项目定位在流中从顶部开始数的第三项目处，流中的第十六项目处和流中的每隔十三个项目之后。即，在该传统系统中，广告位于流中的预定义位置(slot)内。广告的定位在所有条件下对所有用户而言都是相同的。在此方面，广告和内容项目在流内是补充物。如果内容项目没有投放在流中的指定位置处，则将广告投放在那个位置内。

根据所示实施例的一个方面，广告在流中的定位被作成动态的。流中的任何位置受到广告项目与内容项目之间的竞争。针对各个项目，分数被确定。使广告项目与内容项目的分数相称，从而使得可以对广告项目与内容项目进行彼此排名，并且该排名用于对流进行填充。以下将进一步详细讨论用于对广告项目与内容项目进行排名的技术。

图3为示出了一种用于在在线信息系统中对广告项目和内容项目流进行排名和显示的方法的一个实施例的流程图。可以由例如图1的包括账户服务器102、搜索引擎106、广告服务器108、内容服务器112和排名引擎114的在线信息系统100的元件执行图3的方法。在其他实施例中，其他组件可以参与执行图3的方法，并且可以省略针对图3的方法所示的步骤中的一些步骤或对其进行重新排序，并且可以添加或替代不同的步骤。

该方法在框300处开始。在框302处，该方法循环等待以接收网页浏览请求。网页浏览请求是通过网络(如图1的网络120)接收的数据通信。该数据通信包括指定要浏览的网页的数据。例如，网页浏览请求可以指定在线提供商(如雅虎)的统一资源定位符(URL)，包括URL yahoo.com。所请求的网页为这样一个网页，其可以由包括至少两种不同类型的项目的流填满或填充一部分。在此处所示示例中，包括在流中的项目的类型为通常如图2的示例实施例中所示的内容项目和广告项目。然而，在其他实施例中，可以在流中提供其他类型的项目，并且可以根据任何方便的或有用的标准选择项目的类型或项目的种类。例如，替代对流填充如图2中所示的内容项目和广告项目，还可以用体育相关的内容项目和新闻相关的内容项目对流进行填充。在另一个示例中，替代对仅对如内容项目和广告项目两种类型的项目进行评分和一起排名，可以对超过两种项目进行评分和排名，包括内容项目、CPC广告项目和CPM广告项目。图3中所示的方法可以被扩展至最广泛的各种组合。

在页面浏览请求已经接收到之后，在框304处，对广告项目和内容项目进行资格认证，从而使得只有有资格的项目为进一步处理的对象。在一个示例中，被选择以进行资格认证的项目包含在图1的在线信息系统100的广告数据库110和内容数据库114内。

可以使用任何合适的输入端在任何合适的基础上执行资格认证。例如，可以基于从其上接收网页浏览请求的用户的标识信息对广告项目和内容项目进行资格认证。如果在线信息系统已经存储了所标识的用户的兴趣和偏好的信息，则此信息可以用于对广告项目和内容项目进行资格认证。并且，如果广告商具有规定的目标定位约束，如性别、年龄和地理位置，则那些约束可以应用于有关用户的用于对广告项目和内容项目进行资格认证的已知信息。又进一步地，如果页面请求包括对用户设备的设备类型或平台进行规定的信息，则该平台信息可以用于对广告项目和内容项目进行资格认证以供进一步处理。一些内容提供商可以限制他们将发送给特定平台的内容项目或基于平台信息将内容项目格式化成一种特定格式。类似地，一些广告商可以将特定的广告项目仅引导至台式计算机或平板计算机。一旦已经对内容项目和广告项目进行了资格认证，则处理继续进行到框306。

在框306处，针对每个广告项目计算可点击性分数，和针对每个内容项目计算可点击性分数。可点击性是对给定的广告项目或内容项目与平均广告项目或内容项目相比多获得的点击量数量的一种度量。在一个示例中，可点击性为以下内容的函数：广告项目或内容项目针对所有用户接收的点击量的数量和广告针对所有用户接收的印象次数或浏览量的数量、以及广告项目或内容项目针对所有用户的点进率(CTR)。可点击性与位置无关。

点进率被定义为广告项目或内容项目接收到的点击率与印象次数的比率。可以使用所存储的数据(如在线信息系统内的关于广告的表现(performance)的统计数据)动态地确定点进率。例如，特定的广告项目或特定的内容项目每当在被广告商显示或浏览时，代表该项目的浏览量或印象次数的数据项目则递增。类似地，每当特定的广告项目或特定的内容项目被用户点击或以其他方式选择时，代表该项目的点击量或点进量的数据项目则递增。数据项目可以存储在广告数据库、内容数据库或任何其他合适的存储设备内，如图1的广告数据库110和内容数据库114。类似地，可以例如通过图1的广告服务器108、内容服务器112或排名引擎116执行数学处理。

在一个示例中，点进率被定义为：

其中，C_i,t表示广告项目或内容项目在时间t内在特定位置i处接收到的点进量的数量。时间t表示离散的时间增量，该时间增量的宽度可以变化。典型地，t的每个增量对应于秒或分钟。位置i是指流内的位置，其中i＝1表示第一位置，i＝2表示第二位置，等等。在一个实施例中，V_i,t表示广告项目或内容项目在时间t内在特定位置i处接收到的浏览量或印象次数的数量。在另一个实施例中，V_i,t表示在时间t位置i的点击量和跳过数的总和。位置i的跳过数可以每当用户点击位置i下方的位置上的项目时被计数，或其可以被调整一个系数以登记分数计数。例如，如果用户点击i＝4，则在位置i＝4使其点击计数增量的同时，位置i＝1,2,3也使跳过数计数增量。具有系数伽马(γ)的指数项规定了衰减率，其对于广告项目比对于内容通常更长。这些指数引入了时间依赖性，从而使得如果在过去最近发生如点击或浏览事件，则给予其比更早的事件更大的权重。

在一个实施例中，可以基于给定项目j在位置i处和时间t+1时的点进率与同一项目j在位置i处和紧接的先前的时间增量时的参考点进率(refCTR)和可点击性的周期比较来计算或调整系数伽马(γ)—例如，通过绘制rrefCTR(i)*clickability(j,t)-CTR(i,j,t+1)。以下进一步描述了参考CTR和可点击性函数。在另一个实施例中，通过对误差进行求和并且然后使其最小化来计算伽马(γ)。

γ＝ΣV_i，t[refCTR(i)*clickability(j，t)-CTR(i，j，t+1)]²

为了计算点进率，针对广告项目和内容项目进行了以下分解：

CTR(广告/内容，用户，位置，配置)＝可点击性(广告/内容，用户)*参考CTR(位置，配置)

因此，点进率CTR是针对特定的广告项目或内容项目、特定用户、在流中的特定位置、以及特定的设备配置而被指定的。设备配置的示例包括手持设备、平板和台式计算机。其他配置和技术也可以适用并且可以用于对CRT或其他用户数据进行表征。可点击性与点进率之间的关系由参考曲线，即参考CTR指定，其随着内容项目或广告项目在流内的位置以及用户设备配置而不同。因此，可点击性明确地表示了与位置无关的CTR。

按照推论，参考CTR表示用户将点击特定位置i处的特定的广告项目或特定的内容项目的概率，与对特定的广告或内容项目的合意(或不合意)的点击率的任何影响无关。可以通过运行显示跨所有位置对随机广告项目或内容项目的点进率的随机存储桶来计算此参考CTR，其中广告/内容的比例与主存储桶内的相同。

希望广告项目或内容项目的可点击性值是与位置无关的。可点击性消除了内容项目或广告项目在流内的位置的任何影响，而是集中于内容项目或广告项目的质量。

回到图3的步骤306，因此可以使用以下一般关系计算流中的项目i的可点击性分数。

然而，在一些实施例中，可能希望的是估算或测量特定于特定用户或特定市场区隔的项目的可点击性，该特定用户或特定市场区隔可以被给予任意索引标签j。在这种实施例中，可以基于特定于用户或市场区隔j的关系计算可点击性。

因此，在各实施例中，为了确定可点击性，人们可以对所有位置上的点击量进行求和并且除以所有位置上的浏览量或印象次数与参考CTR的乘积。

在一些实施例中，然后引入个性化作为额外因子，其有助于给定项目、用户/区隔、位置、和设备配置的总点进率。

CTR(广告/内容，用户/区隔，位置，配置)＝参考CTR(位置，配置)*可点击性(广告/内容，用户/区隔)*亲和度(广告/内容，用户/区隔)。

对于内容项目而言，用户与内容之间的亲和度使用针对用户观察到的对具有相似内容特征(其中，例如使用对与上下文或已知内容分类的相似性的算法分析来确定相似性)的内容项目的点击量的数量从历史数据估算，该亲和度通过从参考用户区隔观察到的点击量的数量而被归一化。在一个实施例中，这使用朴素贝叶斯(Bayes)近似法来完成。许多个月的用户历史数据可以用于可靠地估算内容项目的此亲和度。

对于广告项目而言，用户与广告之间的亲和度可能更加难于从历史数据来估算。用户关于广告的产品或服务的购买意图很可能没有用户对内容项目(如新闻故事)的一般兴趣那么长久。因此，较短的历史窗可用于广告项目。引入使用伽马(γ)的指数变化来调整为其正在计算数量的时间窗。广告项目的历史数据也趋向于更加稀疏得多。在一些实施例中，搜索历史简档、电子邮件、或其他应用活动可以用于扩大用户行为池。不管数据源如何，一旦收集了数据，就通过在现有内容网络或分类内的识别特征定义的高维向量空间内绘制用户数据和项目来计算亲和度分数。标题为“用于内容个性化的多相排名的方法和系统(Method and System for Multi-Phase Ranking for Content Personalization)”13/839,169号和标题为“用于通过将第三方兴趣映射到通用兴趣空间构建用户简档的方法和系统(Method and System for User Profiling Via Mapping Third Party Intereststo a Universal Interest Space)”13/837,357号共同未决的美国专利申请中提供了这种绘制的描述，两个文件的全部内容通过引用结合于此。

在框306处针对每个广告项目和每个内容项目计算可点击性之后，在框308处，针对每个广告项目和每个内容项目计算满意度分数。满意度还可以被称为点击后满意度并且其由用户已经与广告项目和内容项目进行交互之后的用户满意度的某种度量来定义。可点击性通常仅度量用户点击广告项目和内容项目的倾向。满意度基于用户的总体体验为用户返回至在线提供商或市场的可能性分配一个数字值。在一个示例中，满意度可以被设置成在0与1之间的一个值，其中1指示用户完全满意和愿意回来，而0指示用户完全不满意并且失去的用户不可能再回来。

在一些示例中，可以使用归顺(conversion)数据计算对于广告项目的满意度。然而，这种数据相对稀疏并且可能不能跨广告项目进行可靠比较。在另一个示例中，停留时间可以用作对满意度的度量。停留时间是对用户点击广告项目之后浏览被点击广告和点击内容项目之后浏览内容的时间量的指示。在一些实施例中，当不足够的数据使估算不可靠时，可以针对内容项目、广告项目或两者将满意度设置为一个恒定值(如1.0)。

在其他实施例中，受欢迎度的附加因子可以包括在CTR模型内：

CTR(广告/内容，用户/区隔，位置，配置)＝参考CTR(位置，配置)*可点击性(广告/内容，用户/区隔)*亲和度(广告/内容，用户/区隔)*受欢迎度(广告/内容，用户/区隔)。

受欢迎度分数反映了对时间窗内的特体项目的总兴趣的度量。可以例如基于时间窗内的广告或内容的最高点进率的简单排名来计算受欢迎度分数。然后可以通过反映受欢迎度对总CTR的相对重要性的系数来归一化或调整该排名。

在框310，计算每个内容项目的出价金额。对于广告项目而言，出价金额由广告商设置并且与对该广告进行定义的其余数据一起存储在例如广告数据内。对于有待一起排名以包括在流内的内容项目和广告项目而言，必须有针对内容项目对广告项目的出价金额的模拟。在一些实施例中，如果内容提供商参与统一市场，则他们可以提供出价金额。然而，在其他实施例中，可以不存在内容出价。直到出版商和其他内容提供商明确出价来将其内容项目定位在流内，自动方法才可以生成允许内容项目和广告项目一起排名的出价。在其他实施例中，内容出价可以反映向与在线提供商是合伙人的内容贡献人支付的实际金额。

此处示出了用于确定内容出价的一个示例。对于每个用户或用户区隔而言，可以构建以下表1。此处用户区隔可以基于用户目标定位简档(即，广告商可以出价的用户区隔的组合)。即，如果给定用户的数据不可获得，则可以基于用户区隔在总水平上获得该表的数据。

表1

表1存储了内容质量分数和广告的历史出价的百分位数(percentile)值。没有对这些百分位数进行印象次数加权。因此，质量分数在特定内容项目集合上的百分位数分配就像出价在特定广告集合上的分配一样。可以通过选择广告数据库内的针对用户进行资格认证的所有内容项目、按质量分数对所选择的内容项目进行排名来获得百分位数分数。然后根据其第十百分位数、第二十百分位数对排名后的所选择的项目进行分隔。因此，该表将内容的质量分数转化成对内容的出价。以此方式，对于内容项目和广告项目而言，质量分数和出价数据无关。内容的质量分数和广告的出价数据仅基于相对百分位数进行配对或使其相关联。

在统一市场的其他实施例中，可以用其他方式使广告和内容配对、相关联、或同步。例如，可以基于相似的主题捆绑广告和内容以便适合该捆的估算总可点击性，该可点击性被进行校准以保护最终用户体验的质量。

在一个实施例中，表1中键入的质量分数为可点击性和点击后满意度的函数。以下结合图4描述了一种用于计算质量分数的技术。数据的历史时期可以被限制到‘d’天数(其中‘d’为外部参数)。表1的最右侧栏携带了历史出价的转换。以下为可以使用的出价金额的示例性转化函数：

其中m∈(0...M)，其中M为输入参数。值m<1为内容项目给予优势，并且值m>1为广告项目给予优势。典型地，m将具有一个近似1的值。在线提供商可以每天更新表1中的数据。

在已经为流选择了内容项目之后，当进行页面浏览事件时，图3的示例性方法的步骤310包括通过将质量分数q_c用作该表的线索来从该表查找每个内容项目。如果找到q_c的条目，则从第三栏查找相应的出价b_a。如果没有找到q_c，则立即找出该表中分数更高的条目，表示为q_c ^h。然后在该表中找出对应于q_c ^h的出价b_a。然后可以按照下式计算转换后的历史出价：b_c＝k*f[b_a]，其中k为外部参数。

因此，使用广告项目的出价来确定内容项目的出价。本技术仅是示例性的，但它确保了自动确定的内容项目的出价与广告项目的出价相称，并且确保了每个内容项目将获得一个唯一出价。这些益处对对内容项目进行排名以便包括在流中而言是重要的。此外，内容项目的出价与其质量分数成比例。因此，只有具有高质量分数的高质量广告项目将上升至流的顶部，并且同时具有低质量分数的内容项目将不会取代高质量广告项目。由于内容出价与质量分数成比例，所以其反映了长期用户值以及即时短期收入两者。又进一步地，内容出价与用户的货币值成比例，因为可以安全地认为广告商的出价反映了用户的值。最后，所示技术是适应的。即，随着广告项目的出价的增大，内容项目的出价也将增大。在一定程度上，这将引起广告商出价更高。

可以用任何适合的方式选择外部参数k和m。在一个示例中，可以选择这些参数，从而使得大多数时间下，内容项目获得流中的顶部位置，广告项目穿插在内容项目里而没有聚合在一起。并且，在初始启动阶段之后，市场应实现某一水平的稳定性。这暗含了广告商不应必须不断提高其广告项目的出价来保持其位置。此规则以外的一个例外是当市场正在成长时并且新的广告商正在进入市场。

在框312处，针对每个广告项目计算排名分数和针对每个内容项目计算排名分数。在一个实施例中，针对内容项目，

排名分数c＝b_c*c_c*s_c

其中b_c为内容项目的所计算的出价，c_c为内容项目的可点击性并且s_c为内容项目的满意度分数。在一个实施例中，针对广告项目，

排名分数＝b_a*c_a*s_a

其中b_a为广告项目的广告商规定的出价，c_a为广告项目的可点击性并且s_a为广告项目的满意度分数。

在框312处计算了排名分数之后，在框314处，使用所计算的排名分数对广告项目和内容项目进行排序。因为已经使用相似值计算了排名分数，这些排名分数相称并且可以可靠地交错。排序的结果是广告项目和内容项目的混杂名单。

排序步骤之后，该混杂名单可以用于对流进行填充。然而，在一些实施例中，在框316处，可以优选对该混杂名单进行处理以获得多样性。多样性被应用到内容上以防止太多相似内容项目位于彼此附近。一个示例是关于相同话题的新闻文章，它们可能被排名成彼此靠近。只有内容项目受到多样性处理的影响，并且这将引起一些内容项目在排名中下降。

多样性算法的一个示例包括首先按照排名分数(b_c*c_c*s_c)对内容项目进行排序，从而使得位置1与最高分数对应。第二，对位置2-N(其中N在200-300范围内)上的内容项目与位置1上的内容项目进行比较。第三，如果位置2-N上的任何项目与位置1上的项目的任何特征匹配，则将该项目的排名分数乘以一个多样性分数，如范围[0-1]内的一个值，这取决于特征类型。第四，可以使用受到多样性处罚的新的排名分数对位置2-N上的内容项目相对位置1上的内容项目进行排序。第五，可以针对位置3-N上的内容项目与位置2上的内容项目相比较，来重复步骤二至四。并且第六，可以将针对位置3-N上的内容项目重复步骤五，例如重复最少20次。

除了对内容项目进行处理以获得多样性以外，也可以在排序步骤之后对广告项目应用特定的规则。例如，在一个实施例中，可以应用像护栏一样的规则，从而防止广告项目被定位在流的位置1和2中。如果排序过程之后，广告项目在开头两个位置中的任一位置上，则可以将该广告项目移动至一个更低的位置，如位置3。在另一个实施例中，建立了将至少9个内容项目保持在流中的每个广告项目之间的规则。如果在两个广告项目之间出现少于9个内容项目，则可以将排名较低的广告项目移动至更低的位置。可以选择其他值用于这些规则，也可以建立其他规则。

在框318处，针对广告项目和内容项目计算定价。定价是指响应于用户如通过点进而对广告项目的选择来对与该广告项目相关的广告商的账户所收取的金额。类似地，内容项目的定价是指响应于用户如通过点进内容项目而对内容项目的选择来对与该内容项目相关联的出版商或内容提供商的账户所收取的金额。

在一个实施例中，采用被称为广义二级价格(GSP)的规则用于框318。在此规则下，如果用户点击或以其它方式选择广告项目，则将对与该广告项目相关联的广告商收取与赢得那个位置所需的最小出价相等的金额。具体地，让i表示所考虑的广告项目a，并且让i+1为广告项目a下方的位置上的内容项目或广告项目。然后，(如果点击)将对与广告项目a相关联的广告商收取的价格将是项目i r_i的规定保留价格以及i+1处的项目的出价、可点击性、和满意度的乘积与i处的项目的可点击性和满意度的商中的最大值。

价格p_i总是小于初始出价b；因为b_i+1*c_i+1*s_i+1<b_i*c_i*s_i。价格p_i还具有禁止广告商的后续反悔的令人希望的特性。即，如果广告商本来将选择小于b_i的出价，则广告商将仍然赢得相同的位置。只要广告商的出价大于p_i，则这种情况就是真的。如果对广告商收取出价金额b_i，则该事实之后，广告商将后悔没有出价p_i加一美分。替代地,如果我们从对广告商收取p_i开始，则降低了猜透该系统的动机并提高了广告商满意度。但是，广告商仍将需要检查是否不同的位置将更适合。建议进行周期性出价调整。

在一些实施例中，针对广告项目和内容项目，仅接受每次点击成本(CPC)出价。然而，在其他实施例中，也可以接受每次印象成本(CPM)出价。当接受CPM出价时，所希望的对位置的出价分配被要求将具有更高预期收入的广告放置在更高位置中，其中认为放置在位置k中的CPC广告a具有预期收入b_a*c_a*参考CTR(k)。当所有出价为CPC出价时，通过根据b_a*c_a对广告项目进行简单排序来实现此分配目标，因为参考CTR(k)与广告无关并且因此可以被忽略。这使得出价的分配的计算相对快速和简单明了。

另一方面，CPM广告的收入不以任何方式取决于其可点击性或其位置。每当显示广告时，广告商支付其出价。根据出价值(或出价金额乘以可点击性)对CPC和CPM出价进行简单排序将不再满足更高的收入出价获得流中的更高位置的特性。

然而，以下方法可以用于一遍完成对两种类型的广告项目在多个位置上进行联合排名，仍然满足上述收入要求，并且没有减慢计算。因此，不必对允许提供CPM和CPC广告两者有任何技术限制。

建议算法如下：

输入：

1.已排序CPC名单(按出价x可点击性顺序)，x1>x2>...>xn

2.参考CTR(与位置相关，与广告无关)a1>a2>...

3.已排序CPM名单(按出价顺序)，y>Y2>....>Ym

对于每个位置k而言(以最高的位置1开始)，

让X为排名最高的CPC广告项目(其还没有被分配)

让Y为排名最高的CPM广告项目(其还没有被分配)

如果X*a_k>Y，则将X分配至位置k，否则将Y分配至位置k。

定价技术针对CPM广告的包括内容也可以不同。对于CPM广告而言，价格被设置为(该CPM广告项目或下面的内容项目或下面的CPM广告的出价*可点击性)。对于CPC广告而言，如果该广告项目下面是CPC，价格被设置成(下面的广告项目或内容项目的出价*可点击性)/(CPC广告项目的可点击性)，或者，如果下面的广告为CPM，则价格被设置成(下面的广告项目的出价/参考CTR)/(CPC广告项目的可点击性)。

此技术满足上述按收入排名的要求。运行时间和等待时间不受影响，因为此处排序时间是主导因素并且甚至针对仅CPC出价在做排序。

图4中示出了一种用于根据质量分数显示流媒体馈送中的内容的示例过程。还展示了用于确定质量分数的示例过程。在一个示例中，电子设备(如移动设备)的用户可以正在浏览流媒体馈送中的内容，如新闻文章。该内容(例如，新闻文章)可以与如图2的示例性图示中的馈送中的广告交错。例如，用户可以浏览新闻文章，并且当浏览该文章时或之后，用户可以请求新的文章；然而，在下一篇文章之前，该馈送中可能出现广告。通常，广告或文章在馈送中出现的顺序可以是任意的或由如质量分数的因素决定。

在一个示例中，在线系统100的排名引擎116实现质量评分系统(QSS)，图4中示意性地示出了该系统的操作。排名引擎115的处理器与存储在例如广告数据库110和内容数据库114中的数据合作，以执行QSS的以下数据处理操作。

该QSS接收有待通过QQS进行评分的信息(在图4中被指定为当前内容402)，如广告或文章。可以通过网络(如互联网)从内容源接收当前内容402。QSS可以包括接口，如光收发机或电收发机，被配置成用于从流媒体馈送或任何其他类型的在线馈送接收对当前内容402进行定义的数据。内容源可以是广告或多媒体内容的任意源，如托管内容、被配置成用于馈送在线内容的服务器的网络。

当例如通过QSS的接口接收到流媒体馈送中的当前内容时，以通信的方式连接到该接口上的QSS的处理器可以在404处确定或被配置成用于确定第一概率，该概率是用户将选择与流媒体馈送中的当前内容项目进行交互的概率。在一个示例中，该当前内容项目可以如在此例如结合图2描述和所示的广告项目或内容项目。

关于在404处的第一概率的确定，选择与当前广告或文章进行交互可以包括点击广告或文章或点击广告或文章的超链接。此外，这种选择可以包括关于广告或文章进行的手势或关于广告或文章的超链接进行的手势。

如所示，该第一概率可以基于数据406，该数据对应于当前内容项目的特征，这些特征与用户的与和当前内容相似的内容的之前交互和/或偏爱相关联。这些交互和/或偏爱可以来自存储在数据库(如数据库408)内的用户简档。该用户简档例如可以包括例如关于流媒体内容的浏览与用户相关联的参数，并且数据406可以由处理器从QSS的数据库408接收。

当接收到当前内容后，处理器可以确定或被配置成用于确定第二概率410，该概率是用户将选择与流媒体馈送中的内容(如广告或文章)进行交互的概率。被用作输入以确定第二概率的数据412可以由处理器从QSS的数据库408接收。

该处理器还可以确定或被配置成用于确定当前内容的亲和度分数。该亲和度分数是在414处所确定的第一概率与所确定的第二概率之间的一种关系。例如，可以用比率或另一种类型的数字分数表示该关系。并且，亲和度分数可以基于与和用户相关联的用户简档参数相匹配的当前内容项目的特征来表示用户与当前内容项目之间的相关性。

亲和度分数可以与流媒体馈送中的当前内容项目的配置无关。例如，亲和度分数可以与流媒体馈送中的当前内容项目的位置无关。换言之，亲和度分数可以不考虑当前内容项目相对于流媒体馈送中的其他内容项目出现所按照的顺序。

在该馈送的一个示例中，当前内容项目可以是第一内容项目，如广告，并且第二内容项目可以是文章，如新闻文章。在这种情况下，该第一和第二内容项目可以包括分类相似的主题，并且亲和度分数的确定可以包括基于该第一内容项目的亲和度分数确定该第二内容项目的亲和度分数。在这种示例中，可以通过对该第一和第二内容项目中嵌入的元数据元素进行匹配来识别主题在分类上的相似性。对元数据元素进行匹配可以包括对内容分类的类别和/或与网络内容提供商提供的一系列网页中的网页的相关性进行匹配。在一个示例中，网站内容提供商提供的一系列网页中的网页可以是在线百科全书或字典条目，如维基百科(WIKIPEDIA)条目。

在该馈送的另一个示例中，亲和度分数的确定可以包括用户设备(如移动设备)与当前内容之间的亲和度分数的确定。例如，用户设备与当前内容之间的此亲和度分数可以基于当前内容中的文本和移动设备的当前地理位置。此亲和度分数还可以基于移动设备的任何其他属性(如与该设备相关联的电信服务运营商)和当内容的任何其他属性(如当前内容的视频元素)。

在此其他示例中，该处理器可以基于和用户设备和/或用户相关的简档参数相匹配的当前内容项目的特征，根据设备的用户将选择浏览当前内容项目的概率来确定或被配置成用于确定该第一概率。关于该第二概率，该处理器可以根据使用该设备的用户将选择浏览通常流媒体馈送中的内容项目的概率来确定该第二概率。最后，该处理器可以基于所确定的第一概率和所确定的第二概率之间的关系来确定亲和度分数。

在又另一个示例中，该处理器可以使用机器学习技术来确定或被配置成用于确定该第一或第二概率。例如，该处理器可以使用提升的决策树或另一种形式的人工智能来确定该第一或第二概率。

该处理器还可以识别或被配置成用于识别与对先前内容的交互后满意度相对应的数据416，如关于对分类上与当前内容匹配的先前浏览的广告的交互后满意度的数据。然后，可以将数据416导出成交互后满意度分数。分类匹配可以包括按内容分类的类别和/或与网络内容提供商(如在线百科全书或字典的提供商)提供的一系列网页中的网页相关性来进行匹配。数据416可以包括与关于当前内容或相似内容的帖子(包括社交媒体帖子)相关联的数据。数据416还可以包括关于对内容或相似内容或对这种内容的链接的鼠标点击的数据。并且，数据416可以包括关于以下各项的数据：这种内容的浏览量、浏览这种内容的长度、浏览这种内容的注册量或订阅量、这种内容到其他用户的分享量、以及通过用户自己的内容到这种内容的链接。

基于亲和度分数和交互后满意度数据416或交互后满意度分数，该处理器可以在418处确定或被配置成用于确定质量分数。例如，可以通过计算亲和度与交互后满意度分数的乘积来确定质量分数。

当确定了质量分数后，该处理器可以将该分数用作显示当前内容和/或针对该馈送对当前内容进行配置的基础，如相对于该馈送中的其他内容显示当前内容的顺序。并且，例如，可以显示该质量分数或将其用于生成管理员的报告。

从上述内容可以看出，本披露为在线提供商提供了控制用户在网页上可浏览的内容流内的流广告的位置、数量和密度的多种技术。流可以视为统一的市场，其中内容项目和广告项目两者竞相投放或包括在流中。评分和排名技术允许内容项目和广告项目两者的相称排名。针对内容项目和广告项目的附加商务规则可以进一步控制内容项目和广告项目在流中的相对位置。

所披露的方法和系统可以被部分地实现在服务器、客户端设备、云计算环境内，部分地在服务器内并且部分地在客户端设备、或服务器、云计算环境和客户端设备的组合中。

因此，旨在认为上述详细描述是说明性的而非限制性的，并且应理解到，以下权利要求书(包括所有等同物)旨在定义本披露的精神和范围。

Claims

1.一种用于确定流媒体馈送中的内容项目的质量分数的系统，包括：

处理器；

存储器，所述存储器通信地耦合至所述存储器，所述存储器包括能够由所述处理器执行以进行以下动作的指令：

基于与和用户相关联的用户简档参数相匹配的当前内容项目的特征来确定所述用户与所述当前内容项目之间的亲和度分数，其中确定所述亲和度分数的指令包括：

确定第一概率的指令，所述第一概率为所述用户将选择与流媒体馈送中的所述当前内容项目进行交互的概率；

确定第二概率的指令，所述第二概率为所述用户将选择与所述流媒体馈送中的通常是内容项目进行交互的概率；以及

基于所确定的第一概率和所确定的第二概率之间的关系来确定所述亲和度分数的指令，其中所确定的第一概率和所确定的第二概率之间的所述关系为比率；

识别与所述当前项目在分类上匹配的先前的内容项目的交互后满意度；

基于所述亲和度分数和所述交互后满意度确定质量分数；以及

显示器，通信地耦合到所述处理器，所述显示器被配置成显示所述质量分数。

2.如权利要求1所述的系统，其中基于所述亲和度分数和所述交互后满意度确定质量分数的指令包括进行以下动作的指令：

基于识别的所述交互后满意度导出交互后满意度分数；以及

通过计算所述亲和度分数与所述交互后满意度分数的乘积来确定所述质量分数。

3.如权利要求1所述的系统，其中所述亲和度分数与所述当前内容项目在流媒体馈送中的位置无关。

4.如权利要求1所述的系统，其中所述亲和度分数与所述当前内容项目在流媒体馈送中的配置无关。

5.如权利要求1所述的系统，其中所述存储器包括能够由所述处理器执行以下动作的指令：基于所述亲和度分数、所述交互后满意度和受欢迎度分数来确定所述质量分数。

6.如权利要求5所述的系统，其中所述受欢迎度分数基于一定时间窗内对所述当前内容项目的点进率。

7.如权利要求1所述的系统，其中所述当前内容项目为广告，并且其中所述当前内容项目为第一内容项目，其中第二内容项目为文章，其中所述第一内容项目和所述第二内容项目包括分类上相似的主题，并且其中确定亲和度分数的指令包括进行以下动作的指令：基于所述第一内容项目的亲和度分数来确定所述第二内容项目的亲和度分数。

8.如权利要求7所述的系统，其中主题在分类上的相似性通过将所述第一内容项目和所述第二内容项目中嵌入的元数据元素进行匹配来识别，并且其中进行匹配的元数据元素为内容分类的类别。

9.如权利要求7所述的系统，其中主题在类别上的相似性通过将所述第一内容项目和所述第二内容项目中嵌入的元数据元素进行匹配来识别，并且其中进行匹配的元数据元素为与由网络内容提供商提供的一系列网页中的网页的相关性。

10.如权利要求9所述的系统，其中所述网页为在线百科全书或字典条目。

11.一种用于确定流媒体馈送中的广告或文章的质量分数的系统，包括：

处理器；以及

基于与用户相关联的用户简档参数相匹配的当前广告或文章的特征来确定第一概率，所述第一概率为所述用户将选择与流媒体馈送中的所述当前广告或文章进行交互的概率；

确定第二概率，所述第二概率为所述用户将选择与流媒体馈送中的通常是广告或文章进行交互的概率；

确定所述当前广告或文章的亲和度分数，其中所述亲和度分数为所确定的第一概率与所确定的第二概率之间的关系，其中所确定的第一概率和所确定的第二概率之间的所述关系为比率；

识别与所述当前广告或文章在分类上匹配的先前的广告或文章的交互后满意度；以及

基于所述亲和度分数和所述交互后满意度来确定质量分数。

12.如权利要求11所述的系统，其中基于所述亲和度分数和所述交互后满意度来确定所述质量分数的指令包括进行以下动作的指令：通过计算所述亲和度分数和所述交互后满意度的乘积来确定所述质量分数。

13.如权利要求11所述的系统，其中选择与所述当前广告或文章进行交互包括点击所述当前广告或文章或点击所述当前广告或文章的超链接。

14.如权利要求11所述的系统，其中选择与所述当前广告或文章进行交互包括关于所述当前广告或文章进行的手势或关于所述当前广告或文章的超链接进行的手势。

15.一种用于确定流媒体馈送中的内容项目的质量分数的方法，包括：

基于与和用户相关联的用户简档参数相匹配的当前内容项目中的特征来确定所述用户与所述当前内容项目之间的亲和度分数，其中确定所述亲和度分数包括：

基于与所述用户相关的用户简档参数相匹配的所述当前内容项目的特征来确定第一概率，所述第一概率为所述用户将选择浏览所述当前内容项目的概率；

确定第二概率，所述第二概率为所述用户将选择浏览流媒体馈送中的通常是内容项目的概率；以及

基于所确定的第一概率和所确定的第二概率之间的关系来确定所述亲和度分数，其中所确定的第一概率和所确定的第二概率之间的所述关系为比率；

识别与所述当前项目在分类上匹配的先前的内容项目的交互后满意度；以及

基于所述亲和度分数和所述交互后满意度来确定质量分数。

16.如权利要求15所述的方法，其中确定所述第一概率或所述第二概率使用机器学习技术。

17.如权利要求15所述的方法，其中确定所述第一概率或所述第二概率使用提升的决策树。