CN109067564B - 分布式处理方法、装置、计算机设备及存储介质 - Google Patents
分布式处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109067564B CN109067564B CN201810690910.5A CN201810690910A CN109067564B CN 109067564 B CN109067564 B CN 109067564B CN 201810690910 A CN201810690910 A CN 201810690910A CN 109067564 B CN109067564 B CN 109067564B
- Authority
- CN
- China
- Prior art keywords
- application
- configuration
- network
- service
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明实施例提供了一种分布式处理方法、装置、计算机设备及存储介质,所述方法由分布式网络的节点中设置的配置代理服务执行,首先获取本机节点中第一应用发送的配置访问请求,响应访问请求向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,使所述第一应用依据接收的各应用的网络配置信息确定所述第一应用与第二应用是否位于相同节点中。本发明实施例能够保证存在依赖关系的第一应用和第二应用的本地性的同时,提高第一应用和第二应用的调度灵活性。
Description
技术领域
本发明实施例涉及网络技术领域,尤其涉及一种分布式处理方法、装置、计算机设备及存储介质。
背景技术
分布式网络通常由多个应用组成,每个应用单独部署运营,各个应用之间通过网络接口互相协作。对于分布式网络,特别是数据密集型分布式网络对存储和网络要求很高,如果存在依赖关系的应用的本地性差,在进行应用调用时容易造成分布式网络的网络开销增大,网络流量呈几何性的增长会造成网络拥塞的缺陷,同时网络拥塞会导致网络延时的快速增加,对于一些分布式应用而言,网络超时会导致分布式网络处于不稳定的状态。以计算应用和存储应用为例,如果计算应用和存储应用的本地性差,那么在计算应用调用存储应用时会增大分布式网络的网络开销,浪费网络流量,尤其是云计算环境下,在加入网络虚拟化之后,分布式网络中的每个应用拥有独立的计算、存储和网络资源,更加需要考虑计算应用和存储应用是否在本地的同一节点上,也就是判断计算应用和存储应用的本地性。
现有技术中针对上述问题采用的方式是向应用提供静态的配置脚本,利用静态脚本中的网络配置信息来判断存在依赖关系的应用的本地性,或者向配置中心服务查询网络配置信息来判断存在依赖关系的应用的本地性,尽量保证存在依赖关系的应用在相同的节点上,这样当存在依赖关系的应用在进行交互时就不需要产生网络开销,从而增加计算效率。虽然上述方式可以解决本地性问题,但是会导致存在依赖关系的应用的调度灵活性差。基于上述情况,如何在保证存在依赖关系的应用的本地性的同时,提高存在依赖关系的应用的网络配置信息调度灵活性是亟待解决的问题。
发明内容
本发明提供一种分布式处理方法、装置、计算机设备及存储介质,以实现向本地应用发送网络配置信息,保证存在依赖关系的应用的本地性和网络配置信息调度灵活性,提高分布式网络的稳定性。
第一方面,本发明实施例提供了一种分布式处理方法,由分布式网络的节点中设置的配置代理服务执行,所述方法包括:
获取本机节点中第一应用发送的配置访问请求;其中,所述配置访问请求中包含所述第一应用要判断应用本地性的信息;
向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,使所述第一应用依据接收的各应用的网络配置信息确定所述第一应用与第二应用是否位于相同节点中。
第二方面,本发明实施例还提供了一种分布式处理装置,由分布式网络的节点中设置的配置代理服务执行,所述装置包括:
获取模块,用于获取本机节点中第一应用发送的配置访问请求;其中,所述配置访问请求中包含所述第一应用要判断应用本地性的信息;
发送模块,用于向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,使所述第一应用依据接收的各应用的网络配置信息确定所述第一应用与第二应用是否位于相同节点中。
第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一所述的分布式处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一所述的分布式处理方法。
本发明实施例提供了一种分布式处理方法、装置、计算机设备及存储介质,所述方法由分布式网络的节点中设置的配置代理服务执行,获取本机节点中第一应用发送的配置访问请求,响应访问请求向第一应用发送分布式网络中包含的各应用的网络配置信息,使第一应用依据接收的各应用的网络配置信息确定第一应用与第二应用是否位于相同节点中。本发明实施例能够在保证存在依赖关系的应用的本地性的同时,提高存在依赖关系的应用的网络配置信息调度灵活性。
附图说明
图1是本发明实施例一提供的一种分布式处理方法的流程示意图;
图2是本发明实施例一提供的一种配置代理服务发送网络配置信息的示意图;
图3是本发明实施例二提供的一种分布式处理方法的流程示意图;
图4是本发明实施例二提供的一种容器与配置代理服务的访问通信示意图;
图5是本发明实施例二提供的一种容器云计算环境下配置代理服务和容器配置的示意图;
图6是本发明实施例二提供的一种基于Radix Tree的网段信息快速查找示意图;
图7是本发明实施例三提供的一种分布式处理装置的结构示意图;
图8是本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种分布式处理方法的流程示意图,该方法可由分布式处理装置来执行,该装置可以采用软件和/或硬件的方式实现,分布式处理装置可以是分布式网络的节点中设置的配置代理服务。如图1所示,该分布式处理方法可以包括:
步骤101、获取本机节点中第一应用发送的配置访问请求;其中,配置访问请求中包含第一应用要判断应用本地性的信息。
在本发明实施例中,图2是本发明实施例一提供的一种配置代理服务发送网络配置信息的示意图。参见图2,本发明实施例中的分布式网络中可以包括多个主机节点和多个配置中心服务,例如,图2中以包括三个主机节点和一个配置中心服务为例,三个主机节点分别为主机节点1、主机节点2和主机节点3。其中,每一个主机节点都可以代表该分布式网络中的主机。在分布式网络中的每一个主机节点上均可以设置配置代理服务,例如,主机节点1上设置有配置代理服务1,主机节点2上设置有配置代理服务2,主机节点3上设置有配置代理服务3。在分布式网络中的各个主机节点中,任一主机节点中都可以可以包含多个应用。例如,根据各个主机性能的不同和/或各个主机中对不同应用的需求不同,任一主机节点上包含的主机种类和数量均可以不相同。例如,参见图2,在主机节点1中可以包括6个应用,分别为应用1、应用2、应用3、应用4、应用5和应用6;在主机节点2中可以包括3个应用,分别为应用1、应用2和应用3;在主机节点3中可以包括5个应用,分别为应用1、应用2、应用3、应用4和应用5。可选的,参见图2,在分布式网络的各个主机节点上均可以设置与主机节点对应的配置代理服务。其中,分布式网络中各个主机节点上设置的配置代理服务是根据配置中心服务发送的创建信息在各个主机节点上创建设置的临时配置服务。
在本发明实施例中,参见图2、分布式网络的主机节点上的任何一个应用均可以对应用所属的主机节点上设置的配置代理服务进行访问,此时该对配置代理服务进行访问的应用就可以作为本发明实施例的第一应用,该第一应用所属的主机节点就可以作为本发明实施例的本机节点。例如,当主机节点2上的应用2访问主机节点2上的配置代理服务2时,主机节点2上的应用2就可以作为第一应用,主机节点2就可以作为本机节点。可选的,第一应用可以按照预设时间周期访问本机节点上设置的配置代理服务,在第一应用访问配置代理服务时,可以向本机节点上设置的配置代理服务发送配置访问请求。其中,预设周期可以是预先设置的静态值。例如,预设时间周期可以设定为时间间隔或者时间点,具体可以为,第一应用可以每次间隔一天或一周访问一次配置代理服务,或者在设定在固定的时间(周一、周三或者周五)访问一次配置代理服务。预设时间周期也可以是根据第一应用访问配置代理服务的情况设置的动态值。例如,预设时间周期可以为第一应用需要配置代理服务中存储的网络配置信息时所在的时间。在第一应用向配置代理服务发送配置访问请求之后,本机节点上设置的配置代理服务可以获取本机节点中的第一应用发送的配置访问请求。
在本发明实施例中,配置访问请求中可以包含第一应用要判断应用本地性的信息。第一应用要判断应用本地性的信息可以是第一应用要判断第一应用本身与第一应用需要调用的第二应用是否在相同的主机节点上,即判断应用的本地性。其中,第一应用需要调用第二应用表明第一应用与第二应用存在依赖关系。可选的,第一应用如果想要完成相应的操作就需要第二应用的辅助操作,此时可以认为第一应用与第二应用存在依赖关系。具体例如,第一应用可以为计算应用,第二应用可以为存储应用,当第一应用的计算任务需要第二应用的存储数据的配合才能完成,此时第一应用与第二应用构成依赖关系。配置访问请求可以是在第一应用需要与第二应用判断分布网络中的应用本地性时进行,或者也可以是在第一应用按照预设时间周期获取判断应用本地性所需要的网络配置信息时进行。当配置访问请求的发生时,表明第一应用需要进行分布式网络的本地性判断或者预计将要进行本地性判断。
步骤102、向第一应用发送分布式网络中包含的各应用的网络配置信息,使第一应用依据接收的各应用的网络配置信息确定第一应用与第二应用是否位于相同节点中。
在本发明实施例中,当配置代理服务获取到本机节点中第一应用发送的配置访问请求时,配置代理服务可以根据获取的配置访问请求向第一应用发送分布式网络中包含的各个应用的网络配置信息,使第一应用依据接收的各个应用的网络配置信息确定第一应用与第二应用是否位于相同节点中。其中,第二应用可以为第一应用要调用的任一应用,此时第一应用与第二应用存在依赖关系,第一应用需要第二应用的辅助或者第二应用需要第一应用的辅助才能完成相应的操作。各个应用的网络配置信息可以是至少包括第一应用和第二应用的网络配置信息。在现有技术中采用静态脚本和直接查询配置中心服务的方式虽然能够解决本地性问题,但是会导致存在依赖关系的应用的调度灵活性差。譬如,应用被调度到不同的节点,相应的网络配置信息需要修改的同时可能需要重启应用;另外,如果某一个关键节点出现问题,可能需要大面积修改各种网络配置信息,往往这些问题会导致分布式网络的不可用。为了保证第一应用和第二应用本地性的同时,提高存在依赖关系的应用的调度灵活性,第一应用可以直接访问配置代理服务,通过配置代理服务下发网络配置信息。可选的,当第一应用要调用第二应用进行交互时(此时第一应用明确要调用第二应用或将要调用第二应用),此时第一应用可以直接访问配置代理服务,配置代理服务可以获取第一应用的配置代理服务,并向第一应用发送至少包含第一应用和第二应用的网络配置信息或者全部应用的网络配置信息,方便第一应用根据获取得到的包含第一应用和第二应用的网络配置信息判断第一应用和第二应用的本地性。可选的,当第一应用当前并未明确调用第二应用进行交互时(此时第一应用并没有明确要调用第二应用或将要调用第二应用,可能此时并不调用任何应用,仅仅是达到预设周期的访问时间),第一应用可以根据预设时间周期访问配置代理服务,配置代理服务可以获取第一应用发送的配置访问请求,并根据配置访问请求向第一应用发送至少包含第一应用和第二应用的网络配置信息或者全部应用的网络配置信息,方便第一应用根据获取得到的第一应用和第二应用的网络配置信息判断第一应用和第二应用的本地性。按照预设周期访问配置代理服务的好处还在于可以降低第一应用访问配置代理的频次,降低由于第一应用高频次的访问配置代理造成第一应用访问失败率。
示例性的,在分布式网络中,第一应用可以为计算应用,第二应用可以为存储应用,计算应用可以用于执行分配得到的计算任务,当计算应用执行计算任务时,计算应用需要存储应用中的存储数据才能完成相应的计算任务。当计算应用在访问配置代理服务时,配置访问请求需要包含计算应用所需要的存储应用,此时配置代理服务可以响应计算应用的访问请求向计算机应用发送包含计算应用和对应的存储应用的网络配置信息,以便后续根据计算应用和存储应用的网络配置信息判断计算应用和存储应用的本地性。可选的,在分布式网络中,第一应用可以为存储应用,第二应用为计算应用,此时可以通过判断存储应用和计算应用是否在相同的主机节点,然后根据判断结果确定是否将存储应用存储的数据分配给计算应用的计算任务使用。
示例性的,为了数据的安全,在很多分布式网络中,通常会将数据进行多副本复制,并存储在不同的位置,尽量保证副本数据不要在同一个主机节点上存储,为此需要将数据放置在不同的主机上,进一步不要放在同一交换机上,更进一步不要放在同一机架上。此时,在分布式网络上,第一应用可以为存储应用1,第二应用可以是存储应用2,第一应用和第二应用可以存储相同对额数据,此时可以通过获取存储应用1和存储应用2的网络配置信息来判断存储应用1和存储应用2是否在同一主机节点上,从而可以根据判断结果来避免将数据放置在同一个主机节点上。
在本发明实施例中,判断第一应用和第二应用本地性时使用的网络配置信息不再是静态的配置脚本。当本机节点上的第一应用按照预设的时间周期访问本机节点上设置的配置代理服务时,本机节点上设置的配置代理服务可以向第一应用发送分布式网络中包含的各应用的网络配置信息,使第一应用依据接收的各应用的网络配置信息确定第一应用与第二应用是否位于相同节点中。其中,各应用的网络配置信息至少包括第一应用和第二应用的网络配置信息。这样做的好处在于计算应用需要存储应用时基本不需要额外的网络开销,稳定性好,由于配置代理服务可以根据第一应用的配置访问请求按照预设时间周期向第一应用发送网络配置信息,当分布式网络发生配置规则变换之后,不需要对分布式网络中的大部分应用重新配置网络配置信息。另外,由于在本发明实施例中是配置代理服务向第一应用发送网络配置信息,而不是配置中心服务响应第一应用的配置访问请求向第一应用发送网络配置信息,因此不会对配置中心服务造成过多的压力。这样做的好处在于,当分布式网络规模扩大时,不会对配置中心服务造成压力,当配置中心服务的位置改变时,分布式网络中各个应用的网络配置信息不需要重新配置,增加了调度灵活性。
在本发明实施例中,如果第一应用每次需要网络配置信息时都访问一次配置代理服务,那么多个应用同时访问同一个配置代理服务,并发的性能可能就不够好。为此,可以增加缓存机制来提高并发性能,这样的话当第一应用需要网络配置信息时可以直接从第一应用中缓存的数据中直接获取,而不需要每次都去访问配置代理服务,只需要定期更新缓存的内容即可。可选的,配置代理服务向第一应用发送分布式网络中包含的各应用的网络配置信息之后,第一应用可以将获取得到的网络配置信息进行缓存。当第一应用对应的配置代理服务出现故障时,第一应用可以直接使用缓存的网络配置信息判断第一应用和第二应用是否在相同的主机节点,即判断第一应用和第二应用的本地性。
在上述实施例的基础上,可选的,向第一应用发送分布式网络中包含的各应用的网络配置信息,可以包括:
向第一应用发送本机节点的配置代理服务中预先存储的分布式网络中包含的各应用的网络配置信息;或者,从配置中心服务和/或相邻节点的配置代理服务中获取分布式网络中包含的各应用的网络配置信息,并向第一应用发送获取的网络配置信息。
在本发明实施例中,参见图2,配置代理服务为根据配置中心服务发送的创建信息在本机节点创建的临时配置服务。其中,配置代理服务中可以存储配置中心服务的位置信息和分布式网络中的各个节点的位置信息。本机节点中设置的配置代理服务可以直接将自身预先存储的分布式网络中包含的各应用的网络配置信息或全部应用的网络配置信息发送给第一应用。另外,现在主流的分布式环境基本部署在X86等商业服务器上,这类服务器成本相对较低,但性能和故障率较高。而且在分布式环境中,服务软件本身也可能存在缺陷。如果服务的稳定性极大的依赖另外一个服务,那么主机或者服务产生故障时,很容易导致分布式应用的不可用。由于在本发明实施例中本机节点中设置的配置代理服务可以存储配置中心服务的位置信息和分布式网络中的各个节点的位置信息。当确定存储配置中心服务的位置信息时,本机节点中设置的配置代理服务可以直接从配置中心服务获取配置中心服务中存储的分布式网络中包含的各应用的网络配置信息。当确定分布式网络中的各个节点的位置信息时,就可以同步获取临近的配置代理服务中存储的分布式网络中包含的各应用的网络配置信息。这样做的好处在于大大降低了配置中心服务的负载。
在本发明实施例中,由于配置中心服务的网络配置信息可能会发生改变,一旦配置中心服务中的网络配置信息发话说那个改变,那么就需要一个定期更新机制保证各个应用从配置代理服务获取的网络配置信息是最新的。为此,可选的,若检测到本机节点中配置代理服务所存储的分布式网络中包含的各应用的网络配置信息的版本低于配置中心服务所存储的分布式网络中包含的各应用的网络配置信息的版本,则向配置中心服务发送网络配置信息更新请求,接收配置中心服务发送的配置中心服务中所存储的分布式网络中包含的各应用的网络配置信息。进一步的,当检测到第一应用缓存的网络配置信息的版本号低于本机节点上第一应用对应的配置代理服务存储的网络配置信息时,可以将配置代理服务中存储的分布式网络中的各个应用的网络配置信息更新到第一应用。这样做的好处在于,可以实时更新各个配置代理服务中存储的网络配置信息,并进一步更新各个应用缓存的网络配置信息。
可选的,在配置中心服务提供的网络配置信息中增加版本号,当检测到配置中心服务中存储的网络配置信息的版本号递增,或当发现第一应用中缓存的网络配置信息的版本低于配置中心服务或相邻节点配置代理服务上存储的网络配置信息的版本时,可以对第一应用对应的配置代理服务中存储的网络配置信息和第一应用中缓存的网络配置信息进行更新。
本发明实施例提供了一种分布式处理方法,该方法由分布式网络的节点中设置的配置代理服务执行,首先获取本机节点中第一应用发送的配置访问请求,响应访问请求向第一应用发送分布式网络中包含的各应用的网络配置信息,使第一应用依据接收的各应用的网络配置信息确定第一应用与第二应用是否位于相同节点中。本发明实施例能够保证存在依赖关系的第一应用和第二应用的本地性的同时,提高第一应用和第二应用的调度灵活性
实施例二
图3是本发明实施例二提供的一种分布式处理方法的流程示意图,本发明实施例在上述实施例的基础上进行优化。如图3所示,该分布式处理方法可以包括:
步骤301、通过与第一应用通信的访问通道获取本机节点中第一应用发送的配置访问请求;其中,配置访问请求中包含第一应用要判断应用本地性的信息。
在本发明实施例中,通过命名空间Namespace技术,每一个容器都可以拥有独立的文件系统,如果容器与配置代理服务之间没有访问通道的话,那么容器中的第一应用就无法直接访问主机节点上设置的配置代理服务,为此容器中的第一应用可以通过容器与配置代理服务之间的访问通道直接访问配置代理服务,配置代理服务可以通过与第一应用通信的访问通道获取本机节点中第一应用发送的配置访问请求。可选的,当容器中的第一应用需要访问配置代理服务时,可以通过容器监视器Hypervisor为容器挂载相应的目录,此时容器中的第一应用可以直接通过网络地址访问第一应用对应的配置代理服务。虽然容器的Hypervisor为容器挂载相应的目录可以解决无法直接访问配置代理服务的缺陷,但是这样就需要告诉容器代理服务的端口和地址,而且通过网络访问还需要增加身份认证,以避免安全问题。如果在多个应用的场景下,容器还要向配置代理服务声明自己的应用ID,以便配置代理服务为容器返回正确的网络地址。基于上述情况,进一步可选的,可以将DomainSocket文件挂载给容器,容器内的应用只需要在固定路径下通过访问Domain Socket文件来访问配置代理服务。图4是本发明实施例二提供的一种容器与配置代理服务的访问通信示意图。参见图4,当主机节点启动容器的时候,可以根据容器需求给容器挂载DomainSocket文件。当主机节点上增加新的应用到容器网络时,配置代理服务可以为新的应用创建新的Domain Socket文件。当该新增加的应用启动容器时,将Domain Socket文件挂载给容器。这样配置代理服务就可以知道请求者所属的应用。
在本发明实施例中,图5是本发明实施例二提供的一种容器云计算环境下配置代理服务和容器配置的示意图。参见图5,在云计算环境中,尤其是容器云计算环境中,分布式网络中每个容器有独立的存储、计算和网络资源,每个容器都可以拥有了独立的网络地址。每一个主机节点上的容器可以拥有一个或多个网络地址段,在任一主机节点上的虚拟机监视器Hypervisor可以为主机节点上的容器分配网络地址段内的的一个IP。示例性的,参见图5,在容器云计算环境下,分布式网络中的各个主机可以为一个或多个独立的网络,每一个网络都可以包括一个或多个子网络。应用可以在容器中运行,每一个容器内的应用的网络地址可以从对应的子网络中进行分配。分布式网络中可以包括一个或多个配置中心服务,当主机节点上设置的配置代理服务启动时,可以向配置中心服务进行安全验证和通信。具体地,配置代理服务可以查询配置中心服务中的网络配置信息,包括分布式网络的网段范围、每一个子网络的网段大小和当前已存在的网段;然后配置代理服务可以自行选择一个网段向配置中心服务进行注册,如果注册的网段出现冲突,则配置代理服务卡可以选择下一个网段继续注册,直到注册成功为止。另外,还配置中心服务还需要配置主机网段、机架位和交换机等物理网络拓扑结构。可选的,网络配置信息中可以包括:容器网段、主机信息、、交换机号和机架位等配置信息。可选的,配置中心除了网段注册,还可以为各个容器创建网络。每个容器都可以拥有一个独立的网络地址,网络地址从该主机上的网络子网络中获得。当容器销毁时,容器的网络地址被回收,用于下次使用。
步骤302、向第一应用发送分布式网络中包含的各应用的网络配置信息,使第一应用依据接收的各应用的网络配置信息确定第一应用与第二应用是否位于相同节点中。
在本发明实施例中,可选的,配置代理服务可以为根据配置中心服务发送的创建信息在本机节点创建的临时配置服务。配置代理服务中可以存储配置中心服务的位置信息和分布式网络中的各个节点的位置信息。可选的,向第一应用发送分布式网络中包含的各应用的网络配置信息,可以包括:向第一应用发送本机节点的配置代理服务中预先存储的分布式网络中包含的各应用的网络配置信息;或者,从配置中心服务和/或相邻节点的配置代理服务中获取分布式网络中包含的各应用的网络配置信息,并向第一应用发送获取的网络配置信息。可选的,若检测到本机节点中配置代理服务所存储的分布式网络中包含的各应用的网络配置信息的版本低于配置中心服务所存储的分布式网络中包含的各应用的网络配置信息的版本,则向配置中心服务发送网络配置信息更新请求;接收配置中心服务发送的配置中心服务中所存储的分布式网络中包含的各应用的网络配置信息。可选的,在配置中心服务提供的网络配置信息中增加版本号,当检测到配置中心服务中存储的网络配置信息的版本号递增,或当发现第一应用中缓存的网络配置信息的版本低于配置中心服务或相邻节点配置代理服务上存储的网络配置信息的版本时,可以对第一应用对应的配置代理服务中存储的网络配置信息和第一应用中缓存的网络配置信息进行更新。
在本发明实施例中,当配置代理服务向第一应用发送分布式网络中包含的各应用的网络配置信息之后,第一应用可以接收该分布式网络中包含的各应用的网络配置信息,并将接收到的各应用的网络配置信息缓存在相应的配置信息数据库。其中,各应用的网络配置信息至少包括第一应用和第二应用的网络配置信息。示例性,当第一应用接收到各应用的网络配置信息时,可以将各应用的网络配置信息中的网络地址转换成二进制地址,再将二进制地址转换成文本进行缓存。可选的,可以通过基数树Radix Tree对各应用的网络配置信息进行缓存,加速检索速度。例如,图6是本发明实施例二提供的一种基于RadixTree的网段信息快速查找示意图。参见图6,查询网络地址172.16.1.23,对应的二进制是10101100000100000000000100010111,在Radix tree中可以很快匹配到对应的子网为172.16.1.0/24这个子网,并从该子网获取主机信息,最后用户可以根据获取的主机信息对第一应用和第二应用进行本地性判断。
在本发明实施例中,网络配置信息中可以包括:容器网段、主机信息、交换机号和机架位等配置信息。根据网络配置信息中的主机信息判断第一应用和第二应用是否在相同的主机节点,如果判断第一应用和第二应用在相同的主机节点,确定第一应用可以调用第二应用。
本发明实施例通过在每个主机节点上增加配置代理服务,并允许配置代理服务之间互相通信,而且对于网络配置信息采用递增的版本号,使得一些网络配置信息在分布式网络中进行有序流转。本发明实施例在容器云计算环境下能够存在依赖关系的第一应用和第二应用的本地性的同时,提高第一应用和第二应用的调度灵活性。
实施例三
图7是本发明实施例三提供的一种分布式处理装置的结构示意图,该装置执行上述任一实施例提供的分布式处理方法,该装置可以采用软件和/或硬件的方式实现,由分布式网络的节点中设置的配置代理服务执行。如图7所示,该分布式处理装置可以包括:获取模块701和发送模块702,其中:
获取模块701,用于获取本机节点中第一应用发送的配置访问请求;其中,所述配置访问请求中包含所述第一应用要判断应用本地性的信息。具体的,获取模块701具体用于通过与所述第一应用通信的访问通道获取本机节点中第一应用发送的配置访问请求。
发送模块702,用于向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,使所述第一应用依据接收的各应用的网络配置信息确定所述第一应用与第二应用是否位于相同节点中。
在上述实施例的基础上,可选的,所述配置代理服务为根据配置中心服务发送的创建信息在本机节点创建的临时配置服务;所述配置代理服务中存储配置中心服务的位置信息和分布式网络中的各个节点的位置信息。
在上述实施例的基础上,可选的,发送模块702可以包括:
第一发送单元,用于向所述第一应用发送本机节点的配置代理服务中预先存储的分布式网络中包含的各应用的网络配置信息;或者,
第二发送单元,用于从配置中心服务和/或相邻节点的配置代理服务中获取分布式网络中包含的各应用的网络配置信息,并向所述第一应用发送获取的网络配置信息。
在上述实施例的基础上,可选的,所述分布式处理装置还可以包括:
更新模块703,用于若检测到本机节点中配置代理服务所存储的分布式网络中包含的各应用的网络配置信息的版本低于配置中心服务所存储的分布式网络中包含的各应用的网络配置信息的版本,则向所述配置中心服务发送网络配置信息更新请求。
接收模块704,用于接收所述配置中心服务发送的所述配置中心服务中所存储的分布式网络中包含的各应用的网络配置信息。
本发明实施例所提供的分布式处理装置可执行上述本发明任意实施例所提供的分布式处理方法,具备执行该分布式处理方法相应的功能模块和有益效果。
实施例四
图8是本发明实施例四提供的一种计算机设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算机设备812的框图。图8显示的计算机设备812仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算机设备812以通用计算设备的形式表现。计算机设备812的组件可以包括但不限于:一个或者多个处理器或者处理单元816,系统存储器828,连接不同系统组件(包括系统存储器828和处理器816)的总线818。
总线818表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备812典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备812访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器828可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)830和/或高速缓存存储器832。订单供需调度计算机设备812可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统834可以用于读写不可移动的、非易失性磁介质(图8未显示,通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线818相连。存储器828可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块842的程序/实用工具840,可以存储在例如存储器828中,这样的程序模块842包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块842通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备812也可以与一个或多个外部设备814(例如键盘、指向设备、显示器824等)通信,还可与一个或者多个使得用户能与计算机设备812交互的设备通信,和/或与使得该计算机设备812能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口822进行。并且,计算机设备812还可以通过网络适配器820与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器820通过总线818与计算机设备812的其它模块通信。应当明白,尽管图8中未示出,可以结合计算机设备812使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元816通过运行存储在系统存储器828中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的分布式处理方法,包括:
获取本机节点中第一应用发送的配置访问请求;其中,所述配置访问请求中包含所述第一应用要判断应用本地性的信息;
向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,使所述第一应用依据接收的各应用的网络配置信息确定所述第一应用与第二应用是否位于相同节点中。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的分布式处理方法,该方法包括:
获取本机节点中第一应用发送的配置访问请求;其中,所述配置访问请求中包含所述第一应用要判断应用本地性的信息;
向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,使所述第一应用依据接收的各应用的网络配置信息确定所述第一应用与第二应用是否位于相同节点中。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种分布式处理方法,其特征在于,由分布式网络的节点中设置的配置代理服务执行,所述配置代理服务为根据配置中心服务发送的创建信息在本机节点创建的临时配置服务,所述配置代理服务中存储配置中心服务的位置信息和分布式网络中的各个节点的位置信息,所述方法包括:
获取本机节点中第一应用发送的配置访问请求;其中,所述配置访问请求中包含所述第一应用要判断应用本地性的信息;
向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,使所述第一应用依据接收的各应用的网络配置信息确定所述第一应用与第二应用是否位于相同节点中。
2.根据权利要求1所述的方法,其特征在于,获取本机节点中第一应用发送的配置访问请求,包括:
通过与所述第一应用通信的访问通道获取本机节点中第一应用发送的配置访问请求。
3.根据权利要求1所述的方法,其特征在于,向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,包括:
向所述第一应用发送本机节点的配置代理服务中预先存储的分布式网络中包含的各应用的网络配置信息;或者,
从配置中心服务和/或相邻节点的配置代理服务中获取分布式网络中包含的各应用的网络配置信息,并向所述第一应用发送获取的网络配置信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若检测到本机节点中配置代理服务所存储的分布式网络中包含的各应用的网络配置信息的版本低于配置中心服务所存储的分布式网络中包含的各应用的网络配置信息的版本,则向所述配置中心服务发送网络配置信息更新请求;
接收所述配置中心服务发送的所述配置中心服务中所存储的分布式网络中包含的各应用的网络配置信息。
5.一种分布式处理装置,其特征在于,由分布式网络的节点中设置的配置代理服务执行,所述配置代理服务为根据配置中心服务发送的创建信息在本机节点创建的临时配置服务,所述配置代理服务中存储配置中心服务的位置信息和分布式网络中的各个节点的位置信息,所述装置包括:
获取模块,用于获取本机节点中第一应用发送的配置访问请求;其中,所述配置访问请求中包含所述第一应用要判断应用本地性的信息;
发送模块,用于向所述第一应用发送所述分布式网络中包含的各应用的网络配置信息,使所述第一应用依据接收的各应用的网络配置信息确定所述第一应用与第二应用是否位于相同节点中。
6.根据权利要求5所述的装置,其特征在于,所述发送模块包括:
第一发送单元,用于向所述第一应用发送本机节点的配置代理服务中预先存储的分布式网络中包含的各应用的网络配置信息;或者,
第二发送单元,用于从配置中心服务和/或相邻节点的配置代理服务中获取分布式网络中包含的各应用的网络配置信息,并向所述第一应用发送获取的网络配置信息。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:
更新模块,用于若检测到本机节点中配置代理服务所存储的分布式网络中包含的各应用的网络配置信息的版本低于配置中心服务所存储的分布式网络中包含的各应用的网络配置信息的版本,则向所述配置中心服务发送网络配置信息更新请求;
接收模块,用于接收所述配置中心服务发送的所述配置中心服务中所存储的分布式网络中包含的各应用的网络配置信息。
8.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上权利要求1-4中任一所述的分布式处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上权利要求1-4中任一所述的分布式处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810690910.5A CN109067564B (zh) | 2018-06-28 | 2018-06-28 | 分布式处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810690910.5A CN109067564B (zh) | 2018-06-28 | 2018-06-28 | 分布式处理方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109067564A CN109067564A (zh) | 2018-12-21 |
| CN109067564B true CN109067564B (zh) | 2019-10-01 |
Family
ID=64817907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810690910.5A Active CN109067564B (zh) | 2018-06-28 | 2018-06-28 | 分布式处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109067564B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112187864B (zh) * | 2020-09-02 | 2023-07-14 | 深圳市欢太科技有限公司 | 负载均衡方法、装置、存储介质及电子设备 |
| US12106139B2 (en) | 2021-06-24 | 2024-10-01 | International Business Machines Corporation | Self orchestrated containers for cloud computing |
| CN114065297B (zh) * | 2021-10-25 | 2025-01-17 | 深信服科技股份有限公司 | 一种证书处理方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8190682B2 (en) * | 2006-03-31 | 2012-05-29 | Amazon Technologies, Inc. | Managing execution of programs by multiple computing systems |
| CN104618221B (zh) * | 2015-01-06 | 2019-10-15 | 厦门雅迅网络股份有限公司 | 一种去中心化的消息服务系统 |
| CN106686051B (zh) * | 2016-10-31 | 2023-09-26 | 中科院建筑设计研究院有限公司 | 一种基于bim设计的云计算网络拓扑系统及方法 |
| CN107707622B (zh) * | 2017-08-30 | 2020-11-17 | 华为技术有限公司 | 一种访问桌面云虚拟机的方法、装置及桌面云控制器 |
-
2018
- 2018-06-28 CN CN201810690910.5A patent/CN109067564B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109067564A (zh) | 2018-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461149B1 (en) | Capacity management in provider networks using dynamic host device instance model reconfigurations | |
| US8336047B2 (en) | Provisioning virtual resources using name resolution | |
| US9448901B1 (en) | Remote direct memory access for high availability nodes using a coherent accelerator processor interface | |
| US9847907B2 (en) | Distributed caching cluster management | |
| US9607071B2 (en) | Managing a distributed database across a plurality of clusters | |
| US11163669B1 (en) | Measuring test coverage during phased deployments of software updates | |
| US20170308473A1 (en) | Dynamic Block-Level Indexing for Cache with Overflow | |
| US11042473B2 (en) | Intelligent test case management for system integration testing | |
| CN111078147A (zh) | 一种缓存数据的处理方法、装置、设备及存储介质 | |
| US9529772B1 (en) | Distributed caching cluster configuration | |
| CN104468150A (zh) | 一种虚拟主机实现故障迁移的方法及虚拟主机业务装置 | |
| US11018860B2 (en) | Highly available and reliable secret distribution infrastructure | |
| CN109067564B (zh) | 分布式处理方法、装置、计算机设备及存储介质 | |
| CN111031126B (zh) | 集群缓存共享方法、系统、设备及存储介质 | |
| US9559910B2 (en) | Locating virtual machine(s) within virtual networks | |
| US10747567B2 (en) | Cluster check services for computing clusters | |
| CN113918342A (zh) | 一种数据分配方法、装置、电子设备及存储介质 | |
| US9547590B2 (en) | Managing memory | |
| US8341368B2 (en) | Automatic reallocation of structured external storage structures | |
| US11281666B2 (en) | Interception of database queries for delegation to an in memory data grid | |
| US10712959B2 (en) | Method, device and computer program product for storing data | |
| US9519592B2 (en) | Stale pointer detection with overlapping versioned memory | |
| US12244668B2 (en) | Containerized gateways and exports for distributed file systems | |
| US10824476B1 (en) | Multi-homed computing instance processes | |
| CN118519579A (zh) | 数据中心虚拟化存储优化方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 200233 11th floor, building B, 88 Hongcao Road, Xuhui District, Shanghai Patentee after: Star link information technology (Shanghai) Co.,Ltd. Address before: 200233 11th floor, building B, 88 Hongcao Road, Xuhui District, Shanghai Patentee before: TRANSWARP TECHNOLOGY (SHANGHAI) Co.,Ltd. |