[go: up one dir, main page]

CN110826001A - 数据获取请求处理方法、装置、计算机设备及存储介质 - Google Patents

数据获取请求处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110826001A
CN110826001A CN201911047636.0A CN201911047636A CN110826001A CN 110826001 A CN110826001 A CN 110826001A CN 201911047636 A CN201911047636 A CN 201911047636A CN 110826001 A CN110826001 A CN 110826001A
Authority
CN
China
Prior art keywords
transmission link
information
client
data
acquisition request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911047636.0A
Other languages
English (en)
Inventor
李楠
黄细健
卢德恩
冯思博
贺亚光
张亮
蔡剑戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Huanlianyi Information Technology Service Co Ltd
Original Assignee
Shenzhen Qianhai Huanlianyi Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Huanlianyi Information Technology Service Co Ltd filed Critical Shenzhen Qianhai Huanlianyi Information Technology Service Co Ltd
Priority to CN201911047636.0A priority Critical patent/CN110826001A/zh
Publication of CN110826001A publication Critical patent/CN110826001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986Document structures and storage, e.g. HTML extensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据获取请求处理方法、装置、计算机设备及存储介质,其中,方法包括:获取客户端的代理描述信息及传输链路信息并存储至代理数据库,若通过请求接收接口接收到数据获取请求,获取代理数据库中与数据获取请求对应的目标传输链路,根据目标传输链路对应的代理描述信息及数据获取请求生成对应的获取信息,根据目标传输链路获取数据结果,将数据结果存储至代理数据库并根据请求接收接口进行反馈。通过上述方法,可以客户端的终端地址作为代理终端地址以获取数据信息,提高了代理终端地址的稳定性,可对多个数据获取请求进行并发处理以批量获取数据结果,满足了大型企业对大批量数据进行获取的需求,大幅提升了对数据进行获取的效率。

Description

数据获取请求处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据获取请求处理方法、装置、计算机设备及存储介质。
背景技术
在进行数据获取时,均是通过客户端发送数据获取请求以获取网站中所存储的数据信息,而目前网站均会限定同一终端地址(IP地址)在某一时间段内发送数据获取请求的次数,超过所限定的次数则后续所发送的数据获取请求均会被拦截,在该时间段内使用相同的终端地址无法获取数据信息。传统技术方法为通过云服务商所提供的可动态切换IP地址的vps服务器(虚拟专用服务器),以避免所发送的数据获取请求被拦截,然而上述方法存在部分IP地址不可用的问题,导致IP地址稳定性不高,极大的影响了数据获取效率,且通过VPS服务器进行频繁拨号导致实施成本较高。因而,现有技术方法中存在对数据获取请求进行处理时数据获取效率不高的问题。
发明内容
本发明实施例提供了一种数据获取请求处理方法、装置、计算机设备及存储介质,旨在解决现有技术方法中所存在的对数据获取请求进行处理时数据获取效率不高的问题。
第一方面,本发明实施例提供了一种数据获取请求处理方法,其包括:
获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,其中,所述传输链路信息至少包含与所述客户端对应的一个传输链路;
若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路;
获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息;
根据所述目标传输链路获取与所述获取信息对应的数据结果;
将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。
第二方面,本发明实施例提供了一种数据获取请求处理装置,其包括:
客户端信息存储单元,用于获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,其中,所述传输链路信息至少包含与所述客户端对应的一个传输链路;
目标传输链路获取单元,用于若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路;
获取信息生成单元,用于获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息;
数据结果获取单元,用于根据所述目标传输链路获取与所述获取信息对应的数据结果;
数据结果存储反馈单元,用于将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。
第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的数据获取请求处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的数据获取请求处理方法。
本发明实施例提供了一种数据获取请求处理方法、装置、计算机设备及存储介质。获取客户端的代理描述信息及传输链路信息并存储至代理数据库,若通过请求接收接口接收到数据获取请求,获取代理数据库中与数据获取请求对应的目标传输链路,根据目标传输链路对应的代理描述信息及数据获取请求生成对应的获取信息,根据目标传输链路获取数据结果,将数据结果存储至代理数据库并通过请求接收接口进行反馈。通过上述方法,可以客户端的终端地址作为代理终端地址以获取数据信息,提高了代理终端地址的稳定性,可对多个数据获取请求进行并发处理以批量获取数据结果,满足了大型企业对大批量数据进行获取的需求,大幅提升了对数据进行获取的效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据获取请求处理方法的流程示意图;
图2为本发明实施例提供的数据获取请求处理方法的应用场景示意图;
图3为本发明实施例提供的数据获取请求处理方法的子流程示意图;
图4为本发明实施例提供的数据获取请求处理方法的另一流程示意图;
图5为本发明实施例提供的数据获取请求处理方法的另一子流程示意图;
图6为本发明实施例提供的数据获取请求处理装置的示意性框图;
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1及图2,图1是本发明实施例提供的数据获取请求处理方法的流程示意图,图2为本发明实施例提供的数据获取请求处理方法的应用场景示意图。该数据获取请求处理方法应用于管理服务器10中,该方法通过安装于管理服务器10中的应用软件进行执行,用户终端20通过与管理服务器10建立网络连接以进行数据信息的传输,其中,用户终端20是可向管理服务器发送数据信息的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等,管理服务器10是用于对数据获取请求进行处理以获取数据信息的企业终端。此外,本实施例中仅示例了一台用户终端20与管理服务器10建立网络连接,实际应用过程中可实现多台用户终端20同时与管理服务器10建立网络连接。
如图1所示,该方法包括步骤S110~S150。
S110、获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中。
获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,其中,所述传输链路信息至少包含与所述客户端对应的一个传输链路。至少一个客户端与管理服务器进行网络连接,客户端通过一个或多个传输链路获取网站中所存储的数据信息,管理服务器接收数据获取请求后,以客户端的终端地址(IP地址)作为代理IP地址向网站获取数据信息,此时多个客户端的代理IP地址即构成IP代理池,通过IP代理池所包含的代理IP地址向网站获取数据信息,可确保每一代理IP地址均真实可用,提高了代理IP地址的稳定性,并以此确保管理服务器可高效率地获取数据。代理描述信息即是用于描述与客户端相关的信息,管理服务器获取到每一客户端的代理描述信息后,即可根据代理描述信息对客户端进行分类,传输链路信息即是对客户端与管理服务器之间的传输链路进行记载的信息,客户端可通过一条或多条传输链路与管理服务器进行通信。其中,代理数据库可以是适用于高并发处理的数据库,例如redis数据库。
在一实施例中,如图3所示,步骤S110包括子步骤S111、S112和S113。
S111、向每一所述客户端发送终端地址获取请求,以获取每一所述客户端根据所述终端地址获取所反馈的终端地址信息。
向每一所述客户端发送终端地址获取请求,以获取每一所述客户端根据所述终端地址获取所反馈的终端地址信息。客户端中预先安装有代理应用程序,客户端的IP地址为稳定的IP地址,客户端通过代理应用程序与管理服务器建立网络连接,管理服务器基于该网络连接向客户端发送终端地址获取请求,客户端根据终端地址获取请求对应反馈终端地址信息,管理服务器即可获取每一客户端对应的终端地址信息。
S112、根据所述终端地址信息与每一所述客户端建立传输链路。
根据所述终端地址信息与每一所述客户端建立传输链路。获取到每一客户端的终端地址信息后,即可根据该终端地址信息与每一客户端对应建立一条或多条传输链路,传输链路可用于在客户端与管理服务器之间对信息进行传输,具体的,传输链路用于在管理服务器与客户端之间进行长连接通讯,传输链路可以是基于golang协程所创建的websoket连接链路,WebSocket即为HTML5标准(HTML网页编辑器的一种执行标准)所提供的一种在单个TCP(传输控制协议,Transmission Control Protocol)连接上进行全双工通讯的协议,采用WebSocket所构建的连接链路即为websoket连接链路,WebSocket使得客户端和管理服务器之间的数据交换变得更加简单,且允许管理服务器主动向客户端推送数据,管理服务器可基于每一传输链路分别维护与该传输链路对应的“读协程”及“写协程”。“写协程”用于将获取信息从管理服务器传输至客户端,“读协程”用于获取从客户端传输至管理服务器的数据信息。
S113、从每一所述客户端中获取对应的代理描述信息及传输链路信息并存储至预置的代理数据库中。
从每一所述客户端中获取对应的代理描述信息及传输链路信息并存储至预置的代理数据库中。可基于所建立的传输链路从每一客户端获取对应的代理描述信息及传输链路信息,代理描述信息中还可以包括对应客户端的硬件信息。
例如,某一客户端对应的代理描述信息为“区域:山东,IP:103.10.XX.XXX,系统版本:win7,网络延迟:75ms”,该客户端对应的传输链路信息包括两个传输链路,传输链路1为103.10.XX.XXX:1;传输链路2为103.10.XX.XXX:2。
S120、若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路。
若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路。具体的,请求接收接口为管理服务器用于获取数据获取请求的接口,请求接收接口可以是http接口或其他形式的网络接口;数据获取请求中包含请求参数,可基于请求参数获取代理数据库中与数据获取请求对应的一个或多个客户端,将与每一客户端对应的传输链路作为目标传输链路。
例如,某一数据获取请求的请求参数为“区域:河南,网络延迟:≤50ms”,则可根据该请求参数获取代理数据库中对应的客户端的传输链路,得到目标传输链路。
在一实施例中,如图4所示,步骤S120之后还包括步骤S121。
S121、根据所述目标传输链路所属客户端的存储地址将所述数据获取请求存储至所述代理数据库中与所述存储地址对应的存储区域中。
根据所述目标传输链路所属客户端的存储地址将所述数据获取请求存储至所述代理数据库中与所述存储地址对应的存储区域中。管理服务器接收到数据获取请求后,可将该数据获取请求对应存储至代理数据库中,具体的,所获取到的每一目标存储链路均对应属于一台客户端,根据目标存储链路所属客户端的代理描述信息的存储地址对该数据获取请求进行存储。其中,若多个目标存储链路均同属于同一台客户端,则仅在该客户端的代理描述信息的存储地址中存储一份数据获取请求。
S130、获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息。
获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息。获取每一目标传输链路所述客户端的代理描述信息,得到目标代理描述信息,根据数据获取请求及目标代理描述信息对应生成获取信息,获取信息可以是用于获取数据信息的计算机指令,由于不同的系统版本及不同硬件设备可执行的计算机指令存在差异,因此根据数据获取请求生成与目标代理描述信息对应的获取信息,以使与目标代理描述信息所对应的客户端可对获取信息进行执行。
S140、根据所述目标传输链路获取与所述获取信息对应的数据结果。
根据所述目标传输链路获取与所述获取信息对应的数据结果。可基于目标传输链路获取与获取信息对应的数据结果,该数据结果也即是与数据获取请求对应的数据结果。具体的,可通过任一目标传输链路获取与获取信息对应的数据结果,或通过多个目标传输链路同时获取,并从反馈速度最快的一个目标传输链路获取与获取信息对应的数据结果。其中,目标传输链路包括写协程及读协程。
在一实施例中,如图5所示,步骤S140包括子步骤S141和S142。
S141、将所述获取信息通过所述目标传输链路的写协程发送至与所述目标传输链路对应的客户端。
将所述获取信息通过所述目标传输链路的写协程发送至与所述目标传输链路对应的客户端,“写协程”可用于将获取信息从管理服务器传输至客户端,因此可通过写协程将获取信息发送至对应的客户端。
S142、根据所述目标传输链路的读协程接收所述用户端根据所述获取信息所反馈的数据结果。
根据所述目标传输链路的读协程接收所述用户端根据所述获取信息所反馈的数据结果,“读协程”用于获取从客户端传输至管理服务器的数据信息。客户端接收到获取信息后,即可根据获取信息从网站获取对应的数据结果,并通过读协程将数据结果反馈至管理服务器,则管理服务器可通过读协程获取所反馈的数据结果。
S150、将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。
将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。将数据结果对应存储至代理数据库中,并根据接收数据获取请求的请求接收接口反馈该数据结果,也即完成对一个数据获取请求的处理过程。对上述数据获取请求的处理过程可采用多并发方式进行,也即是通过多个请求接收接口同时接收数据获取请求,并通过管理服务器对多个数据获取请求进行并发处理以批量获取数据结果,可满足大型企业对大批量数据进行获取的需求,大幅提高了数据获取效率。
在一实施例中,步骤S150包括子步骤S151。
S151、将所述数据结果存储至所述代理数据库中与所述数据获取请求的存储地址所对应的存储区域中。
将所述数据结果存储至所述代理数据库中与所述数据获取请求的存储地址所对应的存储区域中。代理数据库中至少一个存储区域中已存储该数据获取请求,则可根据数据获取请求的存储地址,将与该数据获取请求对应的数据结果存储至相应存储区域的存储空间中。若数据获取请求存储于代理数据库的多个存储地址中,则需将数据结果存储至上述多个存储地址对应的多个存储区域中。
本发明实施例所提供的数据获取请求处理方法,获取客户端的代理描述信息及传输链路信息并存储至代理数据库,若通过请求接收接口接收到数据获取请求,获取代理数据库中与数据获取请求对应的目标传输链路,根据目标传输链路对应的代理描述信息及数据获取请求生成对应的获取信息,根据目标传输链路获取数据结果,将数据结果存储至代理数据库并通过请求接收接口进行反馈。通过上述方法,可以客户端的终端地址作为代理终端地址以获取数据信息,提高了代理终端地址的稳定性,可对多个数据获取请求进行并发处理以批量获取数据结果,满足了大型企业对大批量数据进行获取的需求,大幅提升了对数据进行获取的效率。
本发明实施例还提供一种数据获取请求处理装置,该数据获取请求处理装置用于执行前述数据获取请求处理方法的任一实施例。具体地,请参阅图6,图6是本发明实施例提供的数据获取请求处理装置的示意性框图。该数据获取请求处理装置可以配置于管理服务器10中。
如图6所示,数据获取请求处理装置100包括客户端信息存储单元110、目标传输链路获取单元120、获取信息生成单元130、数据结果获取单元140和数据结果存储反馈单元150。
客户端信息存储单元110,用于获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,其中,所述传输链路信息至少包含与所述客户端对应的一个传输链路。
在其他发明实施例中,所述客户端信息存储单元110包括子单元:终端地址信息获取单元111、传输链路建立单元112和客户端信息获取单元113。
终端地址信息获取单元111,用于向每一所述客户端发送终端地址获取请求,以获取每一所述客户端根据所述终端地址获取所反馈的终端地址信息;传输链路建立单元112,用于根据所述终端地址信息与每一所述客户端建立传输链路;客户端信息获取单元113,用于从每一所述客户端中获取对应的代理描述信息及传输链路信息并存储至预置的代理数据库中。
目标传输链路获取单元120,用于若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路。
在其他发明实施例中,所述数据获取请求处理装置100还包括子单元:数据获取请求存储单元121。
数据获取请求存储单元121,用于根据所述目标传输链路所属客户端的存储地址将所述数据获取请求存储至所述代理数据库中与所述存储地址对应的存储区域中。
获取信息生成单元130,用于获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息。
数据结果获取单元140,用于根据所述目标传输链路获取与所述获取信息对应的数据结果。
在其他发明实施例中,所述数据结果获取单元140包括子单元:获取信息发送单元141和数据结果接收单元142。
获取信息发送单元141,用于将所述获取信息通过所述目标传输链路的写协程发送至与所述目标传输链路对应的客户端;数据结果接收单元142,用于根据所述目标传输链路的读协程接收所述用户端根据所述获取信息所反馈的数据结果。
数据结果存储反馈单元150,用于将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。
在其他发明实施例中,所述数据结果存储反馈单元150包括子单元:数据结果存储单元151。
数据结果存储单元151,用于将所述数据结果存储至所述代理数据库中与所述数据获取请求的存储地址所对应的存储区域中。
本发明实施例所提供的数据获取请求处理装置用于执行上述数据获取请求处理方法,获取客户端的代理描述信息及传输链路信息并存储至代理数据库,若通过请求接收接口接收到数据获取请求,获取代理数据库中与数据获取请求对应的目标传输链路,根据目标传输链路对应的代理描述信息及数据获取请求生成对应的获取信息,根据目标传输链路获取数据结果,将数据结果存储至代理数据库并通过请求接收接口进行反馈。通过上述方法,可以客户端的终端地址作为代理终端地址以获取数据信息,提高了代理终端地址的稳定性,可对多个数据获取请求进行并发处理以批量获取数据结果,满足了大型企业对大批量数据进行获取的需求,大幅提升了对数据进行获取的效率。
上述数据获取请求处理装置可以实现为计算机程序的形式,该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7,图7是本发明实施例提供的计算机设备的示意性框图。
参阅图7,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行数据获取请求处理方法。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行数据获取请求处理方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图7中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下功能:获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,其中,所述传输链路信息至少包含与所述客户端对应的一个传输链路;若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路;获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息;根据所述目标传输链路获取与所述获取信息对应的数据结果;将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。
在一实施例中,处理器502在执行获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中的步骤时,执行如下操作:向每一所述客户端发送终端地址获取请求,以获取每一所述客户端根据所述终端地址获取所反馈的终端地址信息;根据所述终端地址信息与每一所述客户端建立传输链路;从每一所述客户端中获取对应的代理描述信息及传输链路信息并存储至预置的代理数据库中。
在一实施例中,处理器502在执行若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路的步骤之后,还执行如下操作:根据所述目标传输链路所属客户端的存储地址将所述数据获取请求存储至所述代理数据库中与所述存储地址对应的存储区域中。
在一实施例中,处理器502在执行将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果的步骤时,执行如下操作:将所述数据结果存储至所述代理数据库中与所述数据获取请求的存储地址所对应的存储区域中。
在一实施例中,在一实施例中,处理器502在执行根据所述目标传输链路获取与所述获取信息对应的数据结果的步骤时,执行如下操作:将所述获取信息通过所述目标传输链路的写协程发送至与所述目标传输链路对应的客户端;根据所述目标传输链路的读协程接收所述用户端根据所述获取信息所反馈的数据结果。
本领域技术人员可以理解,图7中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图7所示实施例一致,在此不再赘述。
应当理解,在本发明实施例中,处理器502可以是中央处理单元(CentralProcessingUnit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现以下步骤:获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,其中,所述传输链路信息至少包含与所述客户端对应的一个传输链路;若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路;获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息;根据所述目标传输链路获取与所述获取信息对应的数据结果;将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。
在一实施例中,所述获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中的步骤,包括:向每一所述客户端发送终端地址获取请求,以获取每一所述客户端根据所述终端地址获取所反馈的终端地址信息;根据所述终端地址信息与每一所述客户端建立传输链路;从每一所述客户端中获取对应的代理描述信息及传输链路信息并存储至预置的代理数据库中。
在一实施例中,所述若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路的步骤之后,还包括:根据所述目标传输链路所属客户端的存储地址将所述数据获取请求存储至所述代理数据库中与所述存储地址对应的存储区域中。
在一实施例中,所述将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果的步骤,包括:将所述数据结果存储至所述代理数据库中与所述数据获取请求的存储地址所对应的存储区域中。
在一实施例中,所述根据所述目标传输链路获取与所述获取信息对应的数据结果的步骤,包括:将所述获取信息通过所述目标传输链路的写协程发送至与所述目标传输链路对应的客户端;根据所述目标传输链路的读协程接收所述用户端根据所述获取信息所反馈的数据结果。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据获取请求处理方法,应用于管理服务器,所述管理服务器至少与一台客户端及一个请求接收接口进行通信,其特征在于,所述方法包括:
获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,其中,所述传输链路信息至少包含与所述客户端对应的一个传输链路;
若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路;
获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息;
根据所述目标传输链路获取与所述获取信息对应的数据结果;
将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。
2.根据权利要求1所述的数据获取请求处理方法,其特征在于,所述获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,包括:
向每一所述客户端发送终端地址获取请求,以获取每一所述客户端根据所述终端地址获取所反馈的终端地址信息;
根据所述终端地址信息与每一所述客户端建立传输链路;
从每一所述客户端中获取对应的代理描述信息及传输链路信息并存储至预置的代理数据库中并存储至预置的代理数据库中。
3.根据权利要求1所述的数据获取请求处理方法,其特征在于,所述获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路之后,还包括:
根据所述目标传输链路所属客户端的存储地址将所述数据获取请求存储至所述代理数据库中与所述存储地址对应的存储区域中。
4.根据权利要求3所述的数据获取请求处理方法,其特征在于,所述将所述数据结果存储至所述代理数据库,包括:
将所述数据结果存储至所述代理数据库中与所述数据获取请求的存储地址所对应的存储区域中。
5.根据权利要求1所述的数据获取请求处理方法,其特征在于,所述目标传输链路包括写协程及读协程,所述根据所述目标传输链路获取与所述获取信息对应的数据结果,包括:
将所述获取信息通过所述目标传输链路的写协程发送至与所述目标传输链路对应的客户端;
根据所述目标传输链路的读协程接收所述用户端根据所述获取信息所反馈的数据结果。
6.一种数据获取请求处理装置,其特征在于,包括:
客户端信息存储单元,用于获取每一所述客户端的代理描述信息及传输链路信息并存储至预置的代理数据库中,其中,所述传输链路信息至少包含与所述客户端对应的一个传输链路;
目标传输链路获取单元,用于若接收到来自任一所述请求接收接口的数据获取请求,获取所述代理数据库中与所述数据获取请求对应的传输链路作为目标传输链路;
获取信息生成单元,用于获取与所述目标传输链路对应的客户端的代理描述信息作为目标代理描述信息,根据所述数据获取请求生成与所述目标代理描述信息对应的获取信息;
数据结果获取单元,用于根据所述目标传输链路获取与所述获取信息对应的数据结果;
数据结果存储反馈单元,用于将所述数据结果存储至所述代理数据库,并根据所述请求接收接口反馈所述数据结果。
7.根据权利要求6所述的数据获取请求处理装置,其特征在于,所述客户端信息存储单元,包括:
终端地址信息获取单元,用于向每一所述客户端发送终端地址获取请求,以获取每一所述客户端根据所述终端地址获取所反馈的终端地址信息;
传输链路建立单元,用于根据所述终端地址信息与每一所述客户端建立传输链路;
客户端信息获取单元,用于从每一所述客户端中获取对应的代理描述信息及传输链路信息并存储至预置的代理数据库中。
8.根据权利要求6所述的数据获取请求处理装置,其特征在于,还包括:
数据获取请求存储单元,用于根据所述目标传输链路所属客户端的存储地址将所述数据获取请求存储至所述代理数据库中与所述存储地址对应的存储区域中。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的数据获取请求处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至5任一项所述的数据获取请求处理方法。
CN201911047636.0A 2019-10-30 2019-10-30 数据获取请求处理方法、装置、计算机设备及存储介质 Pending CN110826001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911047636.0A CN110826001A (zh) 2019-10-30 2019-10-30 数据获取请求处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911047636.0A CN110826001A (zh) 2019-10-30 2019-10-30 数据获取请求处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN110826001A true CN110826001A (zh) 2020-02-21

Family

ID=69551598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911047636.0A Pending CN110826001A (zh) 2019-10-30 2019-10-30 数据获取请求处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110826001A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822284A (zh) * 2021-01-22 2021-05-18 平安壹钱包电子商务有限公司 基于动态代理的数据处理方法、装置及计算机设备
CN113709232A (zh) * 2021-08-24 2021-11-26 广州文远知行科技有限公司 数据包加载方法、客户端、客户端代理、设备及存储介质
CN114356335A (zh) * 2021-12-24 2022-04-15 北京字跳网络技术有限公司 数据处理方法、装置、设备及介质
WO2024092944A1 (zh) * 2022-11-03 2024-05-10 之江实验室 一种数据处理方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2267755A1 (en) * 1996-09-24 1998-04-02 Intervoice Limited Partnership System and method for establishing a real-time agent pool between computer systems
CN105915658A (zh) * 2016-07-04 2016-08-31 上海优刻得信息科技有限公司 获取客户端ip地址的数据调用方法、数据传输方法
CN106254579A (zh) * 2016-09-30 2016-12-21 携程计算机技术(上海)有限公司 一种动态ip代理池及其搭建及管理方法
CN107395782A (zh) * 2017-07-19 2017-11-24 北京理工大学 一种基于代理池的ip限制受控源信息抓取方法
CN109474710A (zh) * 2018-10-30 2019-03-15 北京网众共创科技有限公司 获取信息的方法及装置
CN110287395A (zh) * 2019-07-01 2019-09-27 杭州安恒信息技术股份有限公司 一种爬虫方法、装置、系统、设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2267755A1 (en) * 1996-09-24 1998-04-02 Intervoice Limited Partnership System and method for establishing a real-time agent pool between computer systems
CN105915658A (zh) * 2016-07-04 2016-08-31 上海优刻得信息科技有限公司 获取客户端ip地址的数据调用方法、数据传输方法
CN106254579A (zh) * 2016-09-30 2016-12-21 携程计算机技术(上海)有限公司 一种动态ip代理池及其搭建及管理方法
CN107395782A (zh) * 2017-07-19 2017-11-24 北京理工大学 一种基于代理池的ip限制受控源信息抓取方法
CN109474710A (zh) * 2018-10-30 2019-03-15 北京网众共创科技有限公司 获取信息的方法及装置
CN110287395A (zh) * 2019-07-01 2019-09-27 杭州安恒信息技术股份有限公司 一种爬虫方法、装置、系统、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁银亮: "《全图解黑客攻防实战图解视听版》", 31 March 2019, 中国铁道出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822284A (zh) * 2021-01-22 2021-05-18 平安壹钱包电子商务有限公司 基于动态代理的数据处理方法、装置及计算机设备
CN113709232A (zh) * 2021-08-24 2021-11-26 广州文远知行科技有限公司 数据包加载方法、客户端、客户端代理、设备及存储介质
CN113709232B (zh) * 2021-08-24 2024-05-17 广州文远知行科技有限公司 数据包加载方法、客户端、客户端代理、设备及存储介质
CN114356335A (zh) * 2021-12-24 2022-04-15 北京字跳网络技术有限公司 数据处理方法、装置、设备及介质
WO2024092944A1 (zh) * 2022-11-03 2024-05-10 之江实验室 一种数据处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108833521B (zh) 消息推送方法、装置、系统、计算机设备和存储介质
CN110826001A (zh) 数据获取请求处理方法、装置、计算机设备及存储介质
CN110928491B (zh) 存储分区动态选择方法、系统、计算机设备及存储介质
RU2498520C2 (ru) Способ обеспечения одноранговой связи на веб-странице
CN109586969B (zh) 内容分发网络容灾方法、装置、计算机设备及存储介质
US12219017B1 (en) System and method for aggregating communication connections
CN108377247B (zh) 一种消息推送方法和装置
CN111917900B (zh) 一种域名代理的请求处理方法及装置
CN108965203A (zh) 一种资源访问方法及服务器
CN111625301A (zh) 幂等处理方法、装置、设备及存储介质
US11843642B1 (en) Serverless signaling in peer-to-peer session initialization
CN105100263A (zh) 一种反向代理方法及装置
US10320951B2 (en) Systems and methods for establishing a virtual local area network
CN114500630A (zh) 消息推送的方法、装置、系统、存储介质和电子设备
CN109274656B (zh) 接口参数解密方法、装置、计算机设备及存储介质
CN104320328A (zh) 一种消息同步方法、终端和服务器
CN108880972B (zh) 一种信息处理方法、服务器及终端
CN113190452B (zh) 一种拨测服务系统、方法、设备和存储介质
US9106596B2 (en) Method and apparatus of configuring a data broadcast service
US20130226984A1 (en) Method and apparatus of providing optimized web browser communications
CN112383470B (zh) 通讯好友添加方法、装置、计算机设备及存储介质
CN113988797A (zh) 处理请求的方法及装置、存储介质及电子设备
CN110266705B (zh) 一种控制方法及系统
US20170223136A1 (en) Any Web Page Reporting and Capture
CN117061496A (zh) 远程调试方法、调试终端、目标设备和远程调试系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221