CN1351729A - 处理关于网站所提供信息的请求 - Google Patents

Abstract

处理关于网站所提供的信息的请求的方法,系统和计算机程序产品。本发明的特征在于接收关于网站所提供信息的请求,并根据所述请求,确定是否旁路超高速缓存读取和写入子例程。

Description

处理关于网站所提供信息的请求

技术领域

本发明涉及处理关于网站所提供信息的请求。

背景技术

诸如因特网之类的计算机网络向用户提供获取及分发信息的强大工具。由于二十世纪九十年代初万维网的出现，使用因特网的用户的数目日益增大。但是，网络通信量的相应增大已增加了用户接收信息必须等待的时间。在通信繁忙的时段内，为下载复杂的网页，用户通常需要等待几分钟。

在万维网上，多数计算机使用HTTP(超文本传送协议)进行通信。HTTP规定了请求资源(例如，HTML(超文本置标语言)文件，音频，视频，图形，可执行的指令或解释性指令，以及其它信息)的客户机和提供这些资源的服务器之间的客户机/服务器关系。如图1中所示，客户机100把有关资源104的请求传输给提供资源104的服务器102。服务器随后传输可包括所请求的资源104及其它信息(例如可能已发生的任何错误)的响应。在客户机100上运行的软件(例如，浏览器)可把取回的资源104呈现给用户。

如图2中所示，HTTP请求106包括识别分层定位方案内的请求资源104的URI(统一资源指示符)108(例如，URL(统一资源定位符))。即，URI 108对资源进行逐步特定描述，例如，首先通过确定提供所请求资源104的域名116(例如，“www.domain.com”)，随后通过确定域名116内的一个或多个目录117(例如，“/directory/subdirectory”)，并且最后通过确定所确定的一组目录117内的文件118(例如，“filename.html”)逐步对资源进行特定描述。

HTTP请求116还可包括其它信息，例如发生请求的客户程序110的类型(例如，微软IE浏览器)，用户的优选语言112，以及其它信息114。请求106的大小可从几个字节到几千字节。

图1中所示的交换是网络通信的简化。事实上，在到达服务器102之前，请求通常经过多个中间代理。一种中间代理是代理120。如图3中所示，代理120接收来自于客户机100的请求，并且可选地把所述请求发送给提供所请求的资源的服务器102。代理102接收服务器的响应108，并可把响应108发送给客户机100。除了用作客户机100/服务器102通信的管道之外，代理120还可执行多种功能。例如，通过检查存储在请求和/或响应中的信息，代理120可起过滤器的作用，例如在成人内容到达由孩童使用的客户机100之前，阻断成人内容。

如图4中所示，多个不同的用户经常请求相同的资源(例如网页)。从而，把通常请求的资源保存在超高速缓存126中，可降低提供关于请求的响应所需的时间。如图所示，超高速缓存数据库表128保存客户机请求130，以及先前接收的关于这些请求130的服务器响应132。表128还可保存所存储的响应132的有效日期134及其它信息136。不同的超高速缓存子例程负责存储及从超高速缓存取回信息。

如图5中所示，最初接收请求的代理120(例如ISP(因特网服务提供商)处的代理)可把所述请求转发给包括超高速缓存数据库126及实现超高速缓存子例程125的指令的超高速缓存代理124。这些子例程125可搜索、读取及写入超高速缓存数据库126。当超高速缓存代理124接收请求时，超高速缓存代理124搜索超高速缓存数据库126，查找相应的响应。

参见图6，如果对应于请求的响应先前已被保存在超高速缓存124中，则超高速缓存代理124可返回所述响应，而不必访问服务器102，所请求的资源最初来自于所述服务器102。不必把请求从代理120传输给服务器102，并且不必把相应的响应从服务器102传回代理102，这降低了客户机100的接入时间及网络通信量。

如图7中所示，如果超高速缓存126不保存关于请求的先前响应，则超高速缓存代理124把请求传输给服务器102。另一方面，如果请求包括指出所提供的响应不应取自超高速缓存的“pragma＝no-cache”(附注＝无超高速缓存)指令，则超高速缓存代理124可把请求传输给服务器102。与超高速缓存搜索是否失败，或者请求是否包括“pragma＝no-cache”指令无关，超高速缓存代理124可保存由服务器106提供的响应，以供未来之需。

如图8中所示，代理120可访问多个超高速缓存代理124、138、140，例如，集中在同一ISP 122内的超高速缓存代理。这种能力使得单个代理120能够访问大量的超高速缓存的响应。通过散列包括在请求的URI 108中的域名116(例如，把信息转换为数字)，代理120把从客户机接收的请求发送给超高速缓存代理124、138、140之一。例如，散列“www.a.com”域名会得到“1”，而散列“www.b.com”域名会得到“2”。这些请求可被分别发送给超高速缓存代理124和138。这种方案把由相同的域提供的不同资源集中到相同的超高速缓存代理中。例如，“www.a.com/a.html”和“www.a.com/b.html”将共用相同的域，并驻留在相同的超高速缓存124中。

如上所述，超高速缓存代理124、138、140可能先前没有超高速缓存对应于特定请求的响应。这种情况下，超高速缓存代理124把请求传输给提供特定资源的服务器。例如，如图所示，根据请求的URI域名信息(“www.c.com”)，关于“www.c.com/c”的请求被发送给超高速缓存代理#2 140。但是，超高速缓存代理140必须把请求传输给提供资源的服务器102，因为该超高速缓存还未保存“www.c.com/c”。一旦收到响应，则超高速缓存代理140可把“www.c.com/c”保存在其超高速缓存中，以供未来之需。

总之，如图9中所示，使用多个超高速缓存代理的代理120接收请求(步骤142)，并且对包含在所述请求的URI中的域信息应用散列函数(步骤144)。根据散列结果，代理120把请求传输给超高速缓存代理124、138和140之一(步骤146)。

在步骤148接收请求的超高速缓存代理124、138、140可确定是否搜索其超高速缓存(步骤150)。如果超高速缓存代理搜索(步骤160)并在其超高速缓存中找到对应于该请求的响应(步骤162)，则超高速缓存代理124、138、140可把找到的响应返回给代理120(步骤164)。如果超高速缓存代理确定不搜索其超高速缓存(步骤150)，或者其针对请求的搜索失败(步骤162)，则超高速缓存代理把请求发送给由请求URI所识别的服务器(步骤166)。在超高速缓存代理接收该响应之后，超高速缓存代理可确定(步骤168)是否把响应存储在其超高速缓存中(步骤170)，以便加快未来的请求的速度。随后，超高速缓存代理把接收的响应返回给代理120(步骤172)，以便传输给发出该请求的客户机。

本发明人认识到对于某些请求来说，使用超高速缓存读取和写入子例程的效率不如整体避开超高速缓存子例程那么有效。

发明内容

一般说来，在本发明的一个方面，关于网站所提供信息的请求的处理方法包括接收关于所述信息的请求，并根据该请求，确定是否旁路超高速缓存读取和写入子例程。

实施例可包括下述一个或多个特征。确定是否旁路超高速缓存读取和读入子例程可包括确定是否旁路一个或多个超高速缓存代理。所请求的信息可以是诸如文本、图形、视频、可执行的指令、可解释的指令和/或声音之类的资源。提供信息的网站可以是诸如Web服务器之类的服务器。请求可以是HTTP(超文传送协议)请求。请求可由诸如最初接收该请求的ISP(因特网服务提供商)的前端代理之类的代理接收。

确定是否旁路可包括确定请求是否包含POST请求，和/或确定请求是否包含包括参数的GET请求。

实施例可包括如果确定旁路超高速缓存读取和写入子例程，则把请求传输给服务器，和/或如果确定不旁路超高速缓存读取和写入子例程，则把请求传输给超高速缓存代理。

另一方面，本发明提供一种布置在计算机可读介质上，用于处理关于网站提供的信息的请求的计算机程序产品，所述计算机程序产品包括使处理器接收关于信息的请求，并根据所述请求，确定是否旁路超高速缓存读取和写入子例程的指令。

另一方面，处理关于网站所提供信息的请求的系统包括至少一个超高速缓存代理和一个代理。所述代理包括使代理处理器接收关于网站提供的信息的请求，并根据接收的请求，确定是否旁路超高速缓存代理的指令。

本发明具有一个或多个下述优点。在开始接收响应时确定是否执行超高速缓存子例程，当超高速缓存的费时使用目前或未来都不能降低访问时间时，可防止超高速缓存的这种费时使用。但是，当超高速缓存子例程可能改善访问时间时，这里说明的技术可充分利用超高速缓存子例程。从而，用户可获得由超高速缓存提供的减少的访问时间，同时可避免与超高速缓存相关的延迟。

修改代理的指令，而不是修改超高速缓存代理执行的指令，降低了把这些技术引入现有网络结构中的困难。

附图及下述说明中陈述了本发明的一个或多个实施例的细节。根据下述说明及附图，并根据权利要求，本发明的其它特征，目的及优点将是显而易见的。

附图说明

图1是客户机/服务器请求/响应交换的流程图。

图2表示了HTTP请求。

图3是在客户机，服务器和代理之间交换请求和响应的流程图。

图4表示了用于存储服务器响应的超高速缓存。

图5表示了代理和超高速缓存代理。

图6是图解说明从超高速缓存代理取回响应的流程图。

图7是图解说明把响应存储在超高速缓存代理中的流程图。

图8是图解说明多个超高速缓存代理的操作的流程图。

图9是使用多个超高速缓存代理的过程的流程图。

图10表示了包括用于根据请求，确定是否旁路超高速缓存子例程的指令的代理。

图11是旁路超高速缓存子例程的代理的流程图。

图12是一个根据指出域内某一资源的位置的信息选择超高速缓存的代理的流程图。

图13是旁路超高速缓存子例程并选择超高速缓存的代理指令的流程图。

图14是确定是否旁路超高速缓存子例程的代理指令的流程图。

附图中，相同的附图标记表示相同的部件。

详细说明

参见图10，代理174使用多个超高速缓存126存储服务器响应。如图所示，超高速缓存126和超高速缓存子例程125包含在超高速缓存代理124、138、140、141中。由于代理174和超高速缓存代理124、138、140、141之间的通信可遵守HTTP标准，把超高速缓存124及其相关的子例程125封装在超高速缓存代理中，向程序设计员提供一种把超高速缓存子例程集成到现有处理中的简单方法。但是，并不是必须要求超高速缓存代理执行超高速缓存子例程(例如，搜索、读取、或写入超高速缓存信息的指令)。例如，单个单片代理可在不使用单独的超高速缓存代理的情况下，管理不同的超高速缓存。

虽然超高速缓存可降低产生关于给定请求的响应所需的时间，但是，使用超高速缓存并不是无代价的。例如，关于特定的请求搜索超高速缓存是费时的。当这种搜索不成功时，超高速缓存的使用实际上增大了处理请求所需的时间。在许多情况下，不成功地搜索超高速缓存及存储服务器随后的响应所花的额外时间由处理以后的请求所节约的时间来调整。但是，如同将要讨论的那样，情况并不总是这样。

如图10中所示，代理174包括根据接收的请求，确定是否旁路超高速缓存子例程125的指令176。有条件地使用超高速缓存子例程125，使得代理174能够识别出超高速缓存子例程125可能减慢当前请求的处理、而不会补偿性地减少处理后续请求所需的时间的情况。例如，请求的属性可指出超高速缓存不可能已存储有相应的响应。请求的属性还可指出由服务器提供的任何响应不可能被加入超高速缓存中，供未来之需。在这种情况下，执行超高速缓存子例程125既不提供短期访问时间减少，也不提供长期访问时间减少。由于这种费效(cost-benifit)分析的结果，超高速缓存子例程的有条件使用，使得代理能够提供超高速缓存子例程的好处，而不必受到超高速缓存子例程的可能的低效率的影响。

参见图11，当接收请求时，代理174的指令176根据该请求，确定是否旁路超高速缓存子例程。如果代理174确定不使用超高速缓存子例程125，则代理174把请求发送给服务器104。旁路超高速缓存124、138、140、141免去了搜索超高速缓存，并把响应存储在超高速缓存数据库中所需的时间。

旁路超高速缓存代理124、138、140、141还减少了处理请求的代理(agent)的数目。这消除了否则会由处理请求的超高速缓存代理所增加的计算开销。例如，每个代理(agent)一般分析接收的请求，以便提取信息。虽然在概念上，分析是简明易懂的，但是如果请求较大和/或包括长度可变的数据，则分析的计算量很大。从而，消除超高速缓存代理124、138、140、141执行的分析，可意想不到地大大降低访问时间。

参见图12，如果代理174的指令176决定使用超高速缓存子例程，则代理174把请求发送给超高速缓存代理124、138、140、141。代理174至少部分根据包括在识别域内资源的位置的请求的URI中的信息(117，118)(图2)，选择超高速缓存。例如，代理174可根据资源位置(例如“directory/subdirectory/a.html”)或在URI域(例如“www.domain.com/directory/subdirectory/a.html”)之外再加上资源位置，选择超高速缓存。例如，代理174可实现把完整的URI转换为数字的散列函数。例如，散列函数可加和URI中所有字符的ASCII(美国信息交换用标准代码)值，并除以超高速缓存的数目，进行模运算。据认为，对1和某一素数之间的某一数值进行散列可产生数值的均匀分布。从而，包括素数数目的超高速缓存的系统可在所述超高速缓存之间均匀分配响应。可简单地使用其它超高速缓存子例程，而不是上面描述的样本子例程。另外，在并不使用素数数目的超高速缓存的系统中，可使用上述散列及其它散列。

根据散列函数的结果，代理指令可选择超高速缓存。例如，如果“www.c.com/a”的散列得到“0”，并且某一因特网服务提供商具有四个超高速缓存代理，则代理174可把该请求发送给超高速缓存代理#0124。

根据指出域内资源的位置的信息选择超高速缓存，可在多个超高速缓存124、138、140、141间分配由服务器104提供的不同资源。例如，由“www.a.com”提供的资源“a”和“b”分别被超高速缓存代理140和138超高速缓存。由于少数域接收绝大多数的请求(例如“www.NewYorkTimes.com”)，在多个超高速缓存内分摊这些服务器提供的资源，能够更有效地使用超高速缓存，因为每个超高速缓存读取和写入数目基本相同的请求和响应。从而，散列方案强制实现负载均衡，不存在任何超高速缓存因请求而过载，而其它超高速缓存未被充分利用。

另外参见图13，在代理接收请求(步骤142)之后，代理指令176确定是否旁路超高速缓存子例程125(步骤178)。如果代理指令176确定旁路超高速缓存子例程125，则代理把该请求发送给服务器，并等待服务器的响应，以便稍后把该响应传回客户机(步骤184)。

如果代理指令176确定不旁路超高速缓存子例程125，则代理指令176根据包含在该请求的URI中的资源信息，选择一个超高速缓存(步骤180)。代理指令176把该请求发送给选择的超高速缓存(步骤182)。当由代理174实现旁路和选择指令时，超高速缓存代理124、138、140、141不必被改变。从而，对于超高速缓存代理来说，超高速缓存旁路和选择机制是清楚明白的。这使得管理人员能够在进行最少的重构的情况下，把旁路和超高速缓存选择技术集成到现有的代理网络中。

参见图14，代理174可通过检查接收的请求的属性，确定是否旁路超高速缓存子例程。例如，HTTP请求可把其自身识别为“POST”或“GET”请求。“POST”请求把例如用户输入到网页的信息之类的数据“告知”(即发送给)服务器。“GET”请求“获得”由URI识别的资源(例如“GET www.domain.com/a.html”)。“GET”请求可包括供服务器处理的参数。这种“GET”请求包括跟在“？”分界符之后的信息。例如，“GET www.a.com/cgi-bin/ProcessName.cgi？Name＝JohnDoe”以参数的形式发送“Name＝JohnDoe”。

HTTP规范规定绝对不能对“POST”和包括参数的“GET”请求的响应进行超高速缓存。这可防止用户接收不正确的信息。例如，如果第一个POST请求包括由用户输入小器具定单中的数据，服务器的响应“感谢你的定单”不应被超高速缓存。如果这种响应被超高速缓存，则用户的第二个小器具定单不能到达服务器，但是仍然导致“感谢你的定单”的超高速缓存响应。

从而，既不能通过访问超高速缓存，满足这些请求，关于这些请求的响应也不能加入保存在超高速缓存中的信息中。通过根据请求是POST请求(步骤186)还是包括参数的GET请求(步骤188)，一次确定是否旁路超高速缓存子例程125，代理174可减少服务某一请求所需的时间。

管理人员可根据其它请求信息，选择旁路超高速缓存子例程。例如，由于CGI(公共网关接口)脚本响应通常很快期满，并且对于相同的请求，经常产生不同的响应，因此对于在请求的URI中包括字母“cgi”的请求，管理人员可选择旁路超高速缓存子例程。

这里描述的方法和技术可实现为数字电路，或者计算机硬件，固件，软件，或者它们的组合。体现这些技术的设备可包括适当的输入和输出装置，计算机处理器及确实包含在机器可读存储装置中，以便被可编程处理器执行的计算机程序产品。可由通过处理输入数据并产生适当的输出，从而执行程序指令，以便实现所需功能的可编程处理器实现体现这些技术的过程。借助可在可编程系统上执行的一个或多个计算机程序，可有利地实现这些技术，所述可编程系统包括至少一个可编程处理器，耦接用于从数据存储系统接收数据和指令，并把数据和指令传输给数据存储系统，至少一个输入装置，以及至少一个输出装置。可用高级程序或面向对象的编程语言，或者如果需要，可用汇编或机器语言实现各个计算机程序；并且在任何情况下，该语言可以是编译或解释性语言。适当的处理器包括，例如通用微处理器和专用微处理器。一般说来，处理器将从只读存储器和/或随机存取存储器接收指令和数据。适于明确包含计算机程序指令和数据的存储装置包括所有形式的非易失性存储器，例如包括诸如EPROM、EEPROM及快速存储器器件之类的半导体存储器器件；诸如内部硬盘和可分离的磁盘之类的磁盘；磁光盘；及CD-ROM盘。所有这些可由专门设计的ASIC(专用集成电路)补充，或者被结合到专门设计的ASIC中。

上面描述了本发明的多个实施例。但是，应明白在不脱离本发明的精神和范围的情况下，可做出各种修改。例如，子例程和组件的分布不比如附图中所示，相反可分布在任意数目的计算机或网络中。另外，虽然我们使用了客户机和服务器的术语，但是任意指定程序能够起客户机或服务器的作用；我们使用这些术语仅仅指的是对于特定连接，由所述程序扮演的角色，而不是广义的程序能力。因此，其它实施例在下述权利要求的范围之内。

Claims (20)

1.一种处理关于网站所提供信息的请求的方法，所述方法包括：

接收关于所述信息的请求；和

根据所述请求，确定是否旁路超高速缓存读取和写入子例程。

2.按照权利要求1所述的方法，其中确定是否旁路包括确定是否旁路一个或多个超高速缓存代理。

3.按照权利要求1所述的方法，其中请求的信息包括资源。

4.按照权利要求1所述的方法，其中请求的信息包括下述之一或多个：文本，图形，视频，可执行的指令，可解释的指令和声音。

5.按照权利要求1所述的方法，其中网站包括一台服务器。

6.按照权利要求1所述的方法，其中所述请求包括HTTP(超文本传送协议)请求。

7.按照权利要求1所述的方法，其中所述确定包括确定所述请求是否包括POST请求。

8.按照权利要求1所述的方法，其中所述确定包括确定所述请求是否包括含有参数的GET请求。

9.按照权利要求1所述的方法，其中接收请求包括在代理处接收请求。

10.按照权利要求1所述的方法，还包括如果确定旁路超高速缓存读取和写入子例程，则把请求传输给服务器。

11.按照权利要求1所述的方法，还包括如果确定不旁路超高速缓存读取和写入子例程，则把请求传输给超高速缓存代理。

12.一种处理关于网络服务器所提供资源的请求的方法，所述方法包括：

接收关于所述资源的HTTP(超文本传送协议)请求；

根据所述请求，确定是否旁路一个或多个超高速缓存代理；

如果确定旁路超高速缓存代理，则把请求传输给服务器；和

如果确定不旁路超高速缓存代理，则把请求传输给超高速缓存代理之一。

13.一种布置在计算机可读介质上，用于处理关于网站所提供信息的请求的计算机程序产品，所述计算机程序产品包括指令，这些指令使处理器：

接收关于信息的请求；并

根据所述请求，确定是否旁路超高速缓存读取和写入子例程。

14.按照权利要求13所述的计算机程序产品，使处理器确定是否旁路的指令包括使处理器确定是否旁路一个或多个超高速缓存代理的指令。

15.按照权利要求13所述的计算机程序产品，其中所述请求包括HTTP(超文本传送协议)请求。

16.按照权利要求13所述的计算机程序产品，其中使处理器执行确定工作的指令包括使处理器确定所述请求是否包括POST请求的指令。

17.按照权利要求13所述的计算机程序产品，其中使处理器执行确定工作的指令包括使处理器确定所述请求是否包括含有参数的GET请求的指令。

18.按照权利要求13的述的计算机程序产品，还包括如果确定旁路超高速缓存读取和写入子例程，则使处理器把请求传输给服务器的指令。

19.按照权利要求13所述的计算机程序产品，还包括如果确定不旁路超高速缓存读取和写入子例程，则使处理器把请求传输给超高速缓存代理的指令。

20.一种处理关于网站所提供信息的请求的系统，所述系统包括：

至少一个超高速缓存代理；和

一个前端代理，所述前端代理包括指令，这些指令使前端代理处理器：

接收关于网站所提供信息的请求；和

根据接收的请求，确定是否旁路超高速缓存代理。

Images