JP2019071564A - Load balancer, load balancing system, and load balancing program - Google Patents
Load balancer, load balancing system, and load balancing program Download PDFInfo
- Publication number
- JP2019071564A JP2019071564A JP2017197037A JP2017197037A JP2019071564A JP 2019071564 A JP2019071564 A JP 2019071564A JP 2017197037 A JP2017197037 A JP 2017197037A JP 2017197037 A JP2017197037 A JP 2017197037A JP 2019071564 A JP2019071564 A JP 2019071564A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- dispatcher
- distribution
- balancer
- upstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【課題】仮想パケット振り分け装置間のデータのコピーを減らして性能劣化を防ぐ。【解決手段】物理サーバは、複数の仮想マシン２−０〜２−５と、仮想マシン２−０〜２−５にパケットを振り分けると共に相互にパケットを渡すディスパッチャ３−０〜３−２と、仮想マシン２のうちいずれかに送信する上りパケットを、バランサ振分テーブル５１に基づいてディスパッチャ３−０〜３−２のいずれかに振り分けると共に、この上りパケットへの応答である下りパケットが所定割合を超えて異なるディスパッチャ３から中継されてきたとき、バランサ振分テーブル５１を修正するバランサ４とを備える。【選択図】図２PROBLEM TO BE SOLVED: To prevent performance deterioration by reducing data copying between virtual packet distribution devices. A physical server has a plurality of virtual machines 2-0 to 2-5, and a dispatcher 3-0 to 3-2 that distributes packets to virtual machines 2-0 to 2-5 and passes packets to each other. The uplink packet to be transmitted to any of the virtual machines 2 is distributed to any of the dispatchers 3 to 3-2 based on the balancer distribution table 51, and the downlink packet which is a response to this uplink packet is a predetermined ratio. It is provided with a balancer 4 that modifies the balancer distribution table 51 when relayed from different dispatchers 3 beyond the above. [Selection diagram] Fig. 2
Description
本発明は、仮想化環境下において複数の仮想マシンに対して負荷の振り分けを行う負荷分散装置、負荷分散システム、および負荷分散プログラムに関する。 The present invention relates to a load distribution apparatus, load distribution system, and load distribution program for distributing loads to a plurality of virtual machines in a virtualized environment.
物理サーバ上の仮想マシン間を高速に接続する技術として、ソフトウェアで実現された仮想パッチパネル技術や仮想スイッチ技術が存在する（非特許文献１）。これら仮想パケット振り分け技術では、宛先ＩＰアドレス等の識別子に基づき、仮想マシンへの振り分けを行う。 As a technology for connecting virtual machines on a physical server at high speed, there are a virtual patch panel technology and a virtual switch technology implemented by software (Non-Patent Document 1). In these virtual packet distribution techniques, distribution to virtual machines is performed based on an identifier such as a destination IP address.
図２０は、比較例の物理サーバを示す概念図である。
物理サーバ１Ａは、負荷分散装置の一例を含んでおり、ネットワークＮを介してクライアント端末６ａ〜６ｃに接続されている。
FIG. 20 is a conceptual diagram showing a physical server of a comparative example.
The physical server 1A includes an example of a load distribution device, and is connected to the
この物理サーバ１Ａには、仮想マシン２−０〜２−２が具現化され、更にディスパッチャ３を含んだ仮想パケット振り分け装置７が具現化されている。仮想マシン２−０には、ＩＰアドレスａが払い出されている。仮想マシン２−１には、ＩＰアドレスｂが払い出されている。仮想マシン２−２には、ＩＰアドレスｃが払い出されている。
In the physical server 1A, virtual machines 2-0 to 2-2 are embodied, and a virtual
なお、図面では各仮想マシン２のことを“ＶＭ”（Virtual Machine）と省略して記載している。この仮想パケット振り分け装置７は、例えば上りパケットの送信先ＩＰアドレスを元に、この上りパケットを仮想マシン２−０〜２−２のうちいずれかに振り分ける。ここではクライアント端末６ａが送信するパケットは、仮想マシン２−０に振り分けられる。クライアント端末６ｂが送信するパケットは、仮想マシン２−１に振り分けられる。クライアント端末６ｃが送信するパケットは、仮想マシン２−２に振り分けられる。
In the drawings, each
仮想マシンへの接続を行う仮想パケット振り分け装置を性能向上する際には、仮想パケット振り分け装置をスケールアウトさせる方法がある。その際、物理サーバが備える複数のＣＰＵコア（不図示）を利用して並列化を行い、個々の仮想パケット振り分け装置への負荷分散を行うことが考えられる。これをバランサ−ディスパッチャ構成という。 In order to improve the performance of a virtual packet distribution device connected to a virtual machine, there is a method of scaling out the virtual packet distribution device. At that time, parallelization may be performed using a plurality of CPU cores (not shown) provided in the physical server, and load distribution to each of the virtual packet distribution devices may be performed. This is called a balancer-dispatcher configuration.
バランサは、ラウンドロビンなどのように、ボトルネックにならない単純なロジックとする必要がある。ここでは仮想マシンのインタフェースを変更させないために、仮想マシンを複数のディスパッチャに接続することは考慮しない。このとき、負荷分散により特定のディスパッチャに振り分けられたパケットは、このディスパッチャに直接に接続されている仮想マシンに宛先が無い場合、別のディスパッチャに振り分けられる。このディスパッチャ間転送に付随するデータのコピー処理がオーバヘッドとなり、負荷分散装置の性能劣化を招くおそれがある。 The balancer should be simple logic that does not become a bottleneck, such as round robin. Here, in order not to change the interface of the virtual machine, it is not considered to connect the virtual machine to multiple dispatchers. At this time, packets distributed to a specific dispatcher by load distribution are distributed to another dispatcher if there is no destination in the virtual machine directly connected to this dispatcher. The data copying process accompanying the inter-dispatcher transfer may be overhead, which may lead to performance degradation of the load distribution apparatus.
そこで、本発明は、負荷分散装置、負荷分散システム、および負荷分散プログラムにおいて、仮想パケット振り分け装置間のデータのコピーを減らして性能劣化を防ぐことを課題とする。 Therefore, the present invention has an object of preventing performance degradation by reducing data copying between virtual packet distribution devices in a load distribution device, a load distribution system, and a load distribution program.
前記した課題を解決するため、請求項１に記載の発明では、複数の仮想マシンと、前記複数の仮想マシンにパケットを振り分けると共に相互にパケットを渡す複数のディスパッチャと、前記仮想マシンのうちのいずれかに送信する上りパケットを、振分テーブルに基づいて前記複数のディスパッチャのいずれかに振り分けると共に、前記上りパケットへの応答である下りパケットが所定割合を超えて異なるディスパッチャから中継されてきたとき、前記振分テーブルを修正するバランサと、を備えることを特徴とする負荷分散装置とした。
In order to solve the above-mentioned problems, in the invention according to
このようにすることで、仮想パケット振り分け装置間のデータのコピーを減らして性能劣化を防ぐことができる。 By doing this, it is possible to reduce the data copy between the virtual packet distribution devices and prevent the performance deterioration.
請求項２に記載の発明では、前記バランサは、上りパケットに固有の識別子のハッシュ値と前記振分テーブルとに基づいて前記上りパケットを振り分けるディスパッチャを特定し、下りパケットに固有の識別子のハッシュ値と前記振分テーブルに基づいて、前記下りパケットに対応する上りパケットを振り分けたディスパッチャを特定する、ことを特徴とする請求項１に記載の負荷分散装置とした。
In the invention according to
このようにすることで、下りパケットに対応する上りパケットを振り分けたディスパッチャを特定することができる。よって、ディスパッチャ跨ぎによる性能劣化が発生していることを容易に検知できる。 By doing this, it is possible to specify the dispatcher that has distributed the upstream packet corresponding to the downstream packet. Therefore, it can be easily detected that the performance degradation due to the crossing of dispatchers is occurring.
請求項３に記載の発明では、前記バランサは、所定のハッシュ値の上りパケットへの応答である下りパケットを最も多く送信したディスパッチャを特定し、特定した当該ディスパッチャに前記所定のハッシュ値の上りパケットを振り分けるように前記振分テーブルを修正する、ことを特徴とする請求項２に記載の負荷分散装置とした。
In the invention according to
このようにすることで、ディスパッチャ跨ぎによる性能劣化を抑えることができる。 By doing this, it is possible to suppress the performance degradation due to the crossing of dispatchers.
請求項４に記載の発明では、前記バランサは、所定のハッシュ値の上りパケットへの応答である下りパケットを送信した割合と、ディスパッチャ間の転送効率とによって、前記上りパケットの送信先のディスパッチャごとの振分効率を算出して、前記振分効率を最大化するディスパッチャを特定し、特定した当該ディスパッチャに前記所定のハッシュ値の上りパケットを振り分けるように前記振分テーブルを修正する、ことを特徴とする請求項２に記載の負荷分散装置とした。
In the invention according to
このようにすることで、ディスパッチャ間の転送効率を考慮して、より正確にディスパッチャ跨ぎによる性能劣化を抑えることができる。 In this way, it is possible to more accurately suppress the performance degradation due to the crossing of dispatchers in consideration of the transfer efficiency between dispatchers.
請求項５に記載の発明では、前記固有の識別子は、前記上りパケットの送信先情報および前記下りパケットの送信元情報である、ことを特徴とする請求項２に記載の負荷分散装置とした。
The invention according to
このようにすることで、バランサは、負荷分散処理を高速に行うことができる。 By doing this, the balancer can perform load distribution processing at high speed.
請求項６に記載の発明では、前記バランサは、前記固有の識別子からハッシュ値を計算するハッシュ関数による全体の振分効率が所定の閾値以下ならば、更に振分効率のよいハッシュ関数に変更する、ことを特徴とする請求項２に記載の負荷分散装置とした。
In the invention according to
このようにすることで、本発明によれば、ハッシュ値の重複による振分効率の低下を回避することができる。 By doing so, according to the present invention, it is possible to avoid a decrease in distribution efficiency due to duplication of hash values.
請求項７に記載の発明では、複数の仮想マシンと、前記複数の仮想マシンにパケットを振り分けると共に相互にパケットを渡す複数のディスパッチャと、前記仮想マシンのうちのいずれかに送信する上りパケットを、振分テーブルに基づいて前記複数のディスパッチャのいずれかに振り分けると共に、前記上りパケットへの応答である下りパケットが所定割合を超えて異なるディスパッチャから中継されてきたとき、前記振分テーブルを修正するバランサと、を備えることを特徴とする負荷分散システムとした。
In the invention according to
このようにすることで、仮想パケット振り分け装置間のデータのコピーを減らして性能劣化を防ぐことができる。 By doing this, it is possible to reduce the data copy between the virtual packet distribution devices and prevent the performance deterioration.
請求項８に記載の発明では、複数の仮想マシンと、前記複数の仮想マシンにパケットを振り分けると共に相互にパケットを渡す複数のディスパッチャとが具現化されたコンピュータを、前記仮想マシンのうちのいずれかに送信する上りパケットを、振分テーブルに基づいて前記複数のディスパッチャのいずれかに振り分ける負荷分散手段、前記上りパケットへの応答である下りパケットが所定割合を超えて異なるディスパッチャから中継されてきたとき、前記振分テーブルを修正するテーブル変更手段、として機能させるための負荷分散プログラムとした。 In the invention according to claim 8, a computer in which a plurality of virtual machines and a plurality of dispatchers for distributing packets to the plurality of virtual machines and delivering the packets to each other is embodied as any one of the virtual machines. Load distribution means for distributing an upstream packet to be transmitted to one of the plurality of dispatchers based on a distribution table, and when a downstream packet as a response to the upstream packet is relayed from different dispatchers exceeding a predetermined ratio And a load distribution program for functioning as table changing means for correcting the distribution table.
このようにすることで、仮想パケット振り分け装置間のデータのコピーを減らして性能劣化を防ぐことができる。 By doing this, it is possible to reduce the data copy between the virtual packet distribution devices and prevent the performance deterioration.
本発明によれば、仮想パケット振り分け装置間のデータのコピーを減らして性能劣化を防ぐことが可能となる。 According to the present invention, it is possible to reduce the copying of data between virtual packet distribution devices and prevent performance deterioration.
以降、比較例と本発明を実施するための形態を、各図と各数式を参照して詳細に説明する。
《比較例》
図２１は、比較例の物理サーバ１Ｂの内部構成とパケットの流れを示す図である。
バランサ４は、上りパケットのためにパケット受信部４１と上りハッシュ部４２と負荷分散部４３とバランサ振分テーブル５１（図２２参照）を備え、下りパケットのためにパケット集約部４６とパケット送信部４８とを備える。
Hereinafter, the comparative example and the mode for carrying out the present invention will be described in detail with reference to the respective drawings and the respective formulas.
Comparative Example
FIG. 21 is a diagram showing the internal configuration of the
The
パケット受信部４１は、クライアント端末６からのパケットを受信する。上りハッシュ部４２は、受信したパケットに対しハッシュ計算を行い、ハッシュ値を算出する。負荷分散部４３は、ハッシュ値とバランサ振分テーブル５１によって送信先のディスパッチャ３を特定し、特定したディスパッチャ３に対してパケットを送信する。
パケット集約部４６は、各ディスパッチャ３からのパケットを集約する。パケット送信部４８は、下りパケットをクライアント端末６に送信する。
The
The
ディスパッチャ３−０は、上りパケットのためにパケット受信部３１と振分部３２とディスパッチャ振分テーブル３５−０（図２３参照）とを備え、下りパケットのためにパケット集約部３３とパケット送信部３４とを備える。ディスパッチャ３−１は、ディスパッチャ振分テーブル３５−１（図２４参照）を備え、ディスパッチャ３−０と同様に構成されている。ディスパッチャ３−２は、ディスパッチャ振分テーブル３５−２（図２５参照）を備え、ディスパッチャ３−０と同様に構成されている。
The dispatcher 3-0 includes the
パケット受信部３１は、バランサ４または他のディスパッチャ３−１，３−２から上りパケットを受信する。振分部３２は、ディスパッチャ振分テーブル３５−０（図２３参照）を参照して、目的の仮想マシン２−０，２−１またはディスパッチャ３−１，３−２に上りパケットを送信する。
パケット集約部３３は、仮想マシン２−０，２−１から受信した下りパケットを集約する。パケット送信部３４は、集約した下りパケットをバランサ４に送信する。
The
The
仮想マシン２−０は、パケット受信部２１とパケット処理部２２とパケット送信部２３とを備える。他の仮想マシン２−１〜２−５も、仮想マシン２−０と同様に構成されている。仮想マシン２−０，２−１はディスパッチャ３−０に接続されている。仮想マシン２−０には、ＩＰアドレスａが払い出されている。仮想マシン２−１には、ＩＰアドレスｂが払い出されている。
The virtual machine 2-0 includes a
仮想マシン２−２，２−３はディスパッチャ３−１に接続されている。仮想マシン２−２には、ＩＰアドレスｃが払い出されている。仮想マシン２−３には、ＩＰアドレスｄが払い出されている。
仮想マシン２−４，２−５はディスパッチャ３−２に接続されている。仮想マシン２−４には、ＩＰアドレスｅが払い出されている。仮想マシン２−５には、ＩＰアドレスｆが払い出されている。
The virtual machines 2-2 and 2-3 are connected to the dispatcher 3-1. An IP address c is distributed to the virtual machine 2-2. An IP address d is assigned to the virtual machine 2-3.
The virtual machines 2-4 and 2-5 are connected to the dispatcher 3-2. An IP address e is distributed to the virtual machine 2-4. An IP address f is assigned to the virtual machine 2-5.
パケット受信部２１は、ディスパッチャ３−０から上りパケットを受信する。パケット処理部２２は、この仮想マシン２−０のロジックに基づき上りパケットを処理し、下りパケットを生成する。パケット送信部２３は、下りパケットを自身が接続されているディスパッチャ３−０に送信する。
The
図２２は、バランサ振分テーブル５１を示す図である。
バランサ振分テーブル５１は、ハッシュ値欄と送信先欄とを含んで構成される。
ハッシュ値欄は、上りパケットの識別子のハッシュ値に対応している。送信先欄のＤ０〜Ｄ２は、ハッシュ値に対応する送信先のディスパッチャ３−０〜３−２を示している。負荷分散部４３は、上りパケットの識別子のハッシュ値とバランサ振分テーブル５１に基づいて送信先のディスパッチャ３を特定する。
FIG. 22 shows the balancer distribution table 51. As shown in FIG.
The balancer distribution table 51 is configured to include a hash value field and a transmission destination field.
The hash value column corresponds to the hash value of the identifier of the upstream packet. D0 to D2 in the transmission destination column indicate dispatchers 3-0 to 3-2 of the transmission destination corresponding to the hash value. The
図２３は、ディスパッチャ３−０が備えるディスパッチャ振分テーブル３５−０を示す図である。
ディスパッチャ振分テーブル３５−０は、識別子欄と送信先欄とを含んで構成される。
識別子欄は、上りパケットの識別子に対応している。送信先欄のＶ０，Ｖ１は、この識別子に対応する送信先の仮想マシン２−０，２−１を示している。送信先欄のＤ１，Ｄ２は、この識別子に対応する転送先のディスパッチャ３−１，３−２を示している。
FIG. 23 is a diagram showing the dispatcher distribution table 35-0 included in the dispatcher 3-0.
The dispatcher distribution table 35-0 is configured to include an identifier field and a transmission destination field.
The identifier column corresponds to the identifier of the upstream packet. V0 and V1 of the transmission destination column indicate virtual machines 2-0 and 2-1 of the transmission destination corresponding to this identifier. D1 and D2 of the destination column indicate dispatchers 3-1 and 3-2 of the transfer destination corresponding to this identifier.
振分部３２は、このディスパッチャ振分テーブル３５−０と上りパケットの識別子に基づいて、目的の仮想マシン２−０，２−１またはディスパッチャ３−１，３−２を特定する。更に振分部３２は、目的の仮想マシン２−０，２−１またはディスパッチャ３−１，３−２に上りパケットを送信する。
The
図２４は、ディスパッチャ３−１が備えるディスパッチャ振分テーブル３５−１を示す図である。
ディスパッチャ振分テーブル３５−１は、識別子欄と送信先欄とを含んで構成される。
識別子欄は、上りパケットの識別子に対応している。送信先欄のＶ２，Ｖ３は、この識別子に対応する送信先の仮想マシン２−２，２−３を示している。送信先欄のＤ０，Ｄ２は、この識別子に対応する転送先のディスパッチャ３−０，３−２を示している。
FIG. 24 is a diagram showing the dispatcher distribution table 35-1 provided in the dispatcher 3-1.
The dispatcher distribution table 35-1 is configured to include an identifier field and a transmission destination field.
The identifier column corresponds to the identifier of the upstream packet. V2 and V3 in the transmission destination column indicate virtual machines 2-2 and 2-3 of the transmission destination corresponding to this identifier. D0 and D2 of the transmission destination column indicate dispatchers 3-0 and 3-2 of the transfer destination corresponding to this identifier.
振分部３２は、このディスパッチャ振分テーブル３５−１と上りパケットの識別子に基づいて、目的の仮想マシン２−２，２−３またはディスパッチャ３−０，３−２を特定する。更に振分部３２は、目的の仮想マシン２−２，２−３またはディスパッチャ３−０，３−２に上りパケットを送信する。
The
図２５は、ディスパッチャ３−２が備えるディスパッチャ振分テーブル３５−２を示す図である。
ディスパッチャ振分テーブル３５−２は、識別子欄と送信先欄とを含んで構成される。
識別子欄は、上りパケットの識別子に対応している。送信先欄のＶ４，Ｖ５は、この識別子に対応する送信先の仮想マシン２−４，２−５を示している。送信先欄のＤ０，Ｄ１は、この識別子に対応する転送先のディスパッチャ３−０，３−１を示している。
FIG. 25 is a diagram showing a dispatcher distribution table 35-2 provided in the dispatcher 3-2.
The dispatcher distribution table 35-2 is configured to include an identifier field and a transmission destination field.
The identifier column corresponds to the identifier of the upstream packet. V4 and V5 in the transmission destination column indicate virtual machines 2-4 and 2-5 of the transmission destination corresponding to this identifier. D0 and D1 in the destination column indicate dispatchers 3-0 and 3-1 of the transfer destination corresponding to this identifier.
振分部３２は、このディスパッチャ振分テーブル３５−２と上りパケットの識別子に基づいて、目的の仮想マシン２−４，２−５またはディスパッチャ３−０，３−１を特定する。更に振分部３２は、目的の仮想マシン２−４，２−５またはディスパッチャ３−０，３−１に上りパケットを送信する。
The
これらディスパッチャ振分テーブル３５−０〜３５−２を全体として見ると、識別子ａの上りパケットは仮想マシン２−０に送信される。識別子ｂの上りパケットは仮想マシン２−１に送信される。識別子ｃの上りパケットは仮想マシン２−２に送信される。識別子ｄの上りパケットは仮想マシン２−３に送信される。識別子ｅの上りパケットは仮想マシン２−４に送信される。識別子ｆの上りパケットは仮想マシン２−５に送信される。 Looking at the dispatcher distribution tables 35-0 to 35-2 as a whole, the upstream packet of the identifier a is transmitted to the virtual machine 2-0. The upstream packet of the identifier b is transmitted to the virtual machine 2-1. The upstream packet of the identifier c is transmitted to the virtual machine 2-2. The upstream packet of the identifier d is transmitted to the virtual machine 2-3. The upstream packet of the identifier e is transmitted to the virtual machine 2-4. The upstream packet of the identifier f is transmitted to the virtual machine 2-5.
図２６は、比較例における物理サーバ１Ｂ上の負荷分散システムによる振分動作を示す図である。
この物理サーバ１Ｂには、仮想マシン２−０〜２−５が具現化され、更にディスパッチャ３−０〜３−２とバランサ４とが具現化されている。以下、各仮想マシン２−０〜２−５を区別しないときには、単に仮想マシン２と記載する。ディスパッチャ３−０〜３−２を区別しないときには、単にディスパッチャ３と記載する。ディスパッチャ３−０は、ＮＵＭＡ（Non-Uniform Memory Access）ノード７１上に具現化されている。ディスパッチャ３−１，３−２は、ＮＵＭＡノード７２上に具現化されている。バランサ４が備える上りハッシュ５５は、上りパケットの識別子から算出したハッシュ値である。
FIG. 26 is a diagram showing the distribution operation by the load distribution system on the
In the
負荷分散先をランダムに決定してしまうと、ＮＵＭＡ構成等でキャッシュ共有が困難な場合にディスパッチャ３間のデータのコピーに伴う性能劣化が懸念される。そのためバランサ４は、なるべく上りパケットの宛先である仮想マシン２が直接に接続されたディスパッチャ３に対して、この上りパケットを送る必要がある。ここでバランサ４は、上りパケットの識別子から算出したハッシュ値により、ディスパッチャ３を選択している。
If the load distribution destination is randomly determined, there is a concern that the performance may be degraded due to copying of data between the
バランサ４は、識別子ａの上りパケットと識別子ｃの上りパケットをディスパッチャ３−０に振り分けている。ディスパッチャ３−０は、識別子ａの上りパケットを仮想マシン２−０に振り分け、識別子ｃの上りパケットをディスパッチャ３−１に振り分ける。その後、ディスパッチャ３−１は、識別子ｃの上りパケットを仮想マシン２−２に振り分ける。このとき、識別子ｃの上りパケットは、ディスパッチャ３−０とディスパッチャ３−１を跨いでいる。このように、異なるＮＵＭＡノード７１，７２を跨いでいるため、所定のオーバヘッドが発生し、負荷分散装置の性能劣化を招くおそれがある。
The
なお、同様のオーバヘッドは、識別子ｄ〜ｆの上りパケットをディスパッチャ３−０に振り分けた場合と、識別子ａ，ｂの上りパケットをディスパッチャ３−１，３−２に振り分けた場合に発生する。このとき、上りパケットは異なるＮＵＭＡノード７１，７２を跨いで送信される。
The same overhead occurs when the upstream packets of the identifiers d to f are distributed to the dispatcher 3-0 and when the upstream packets of the identifiers a and b are distributed to the dispatchers 3-1 and 3-2. At this time, uplink packets are transmitted across
バランサ４が識別子ｃ，ｄの上りパケットをディスパッチャ３−２に振り分けた場合と、識別子ｅ，ｆの上りパケットをディスパッチャ３−１に振り分けた場合にも所定のオーバヘッドが発生する。しかし、同じＮＵＭＡノード７２に属するディスパッチャ３−１，３−２間の送信であるため、異なるＮＵＭＡノード７１，７２を跨ぐ送信よりもオーバヘッドは少ない。
A predetermined overhead occurs also when the
バランサ４が識別子ａ，ｂの上りパケットをディスパッチャ３−０に振り分けた場合には、ディスパッチャ３の跨ぎは発生せず、オーバヘッドが発生しない。同様に、識別子ｃ，ｄの上りパケットをディスパッチャ３−１に振り分けた場合と、識別子ｅ，ｆの上りパケットをディスパッチャ３−２に振り分けた場合には、ディスパッチャ３の跨ぎは発生せず、オーバヘッドが発生しない。
When the
《本実施形態》
図１は、本実施形態の物理サーバ１を示す構成図である。
サービスを享受するクライアント端末６と、サービスを提供する物理サーバ１とは、インターネット９２と社内ネットワーク９１を介して接続されている。この物理サーバ１のＣＰＵ（不図示）は、負荷分散プログラム（不図示）を実行することによって、図１の各部を具現化する。物理サーバ１は、負荷分散装置の一例であるディスパッチャ３−０〜３−２とバランサ４とを含んでいる。
<< this embodiment >>
FIG. 1 is a block diagram showing the
The
物理サーバ１内には、不図示のハイパーバイザによって複数の仮想マシン２−０〜２−５が具現化されている。仮想マシン２−０，２−１は、ディスパッチャ３−０に接続されている。仮想マシン２−０には、ＩＰアドレスａが払い出されている。仮想マシン２−１には、ＩＰアドレスｂが払い出されている。クライアント端末６は、送信先アドレスをａとするパケットを送信することにより、仮想マシン２−０のサービスを享受する。クライアント端末６は、送信先アドレスをｂとするパケットを送信することにより、仮想マシン２−１のサービスを享受する。
In the
仮想マシン２−２，２−３は、ディスパッチャ３−１に接続されている。仮想マシン２−２には、ＩＰアドレスｃが払い出されている。仮想マシン２−３には、ＩＰアドレスｄが払い出されている。クライアント端末６は、送信先アドレスをｃとするパケットを送信することにより、仮想マシン２−２のサービスを享受する。クライアント端末６は、送信先アドレスをｄとするパケットを送信することにより、仮想マシン２−３のサービスを享受する。
The virtual machines 2-2 and 2-3 are connected to the dispatcher 3-1. An IP address c is distributed to the virtual machine 2-2. An IP address d is assigned to the virtual machine 2-3. The
仮想マシン２−４，２−５は、ディスパッチャ３−２に接続されている。仮想マシン２−４には、ＩＰアドレスｅが払い出されている。仮想マシン２−５には、ＩＰアドレスｆが払い出されている。クライアント端末６は、送信先アドレスをｅとするパケットを送信することにより、仮想マシン２−４のサービスを享受する。クライアント端末６は、送信先アドレスをｆとするパケットを送信することにより、仮想マシン２−５のサービスを享受する。
The virtual machines 2-4 and 2-5 are connected to the dispatcher 3-2. An IP address e is distributed to the virtual machine 2-4. An IP address f is assigned to the virtual machine 2-5. The
ディスパッチャ３−０〜３−２は、クライアント端末６が送信した上りパケットを仮想マシン２−０〜２−５のいずれかに振り分けると共に、この上りパケットを相互に受け渡す。ディスパッチャ３−０〜３−２同士は互いに接続され、どのディスパッチャ３からも目的の仮想マシン２に上りパケットを送信することが可能である。ディスパッチャ３−０は、ＮＵＭＡノード７１上に具現化されている。ディスパッチャ３−１，３−２は、ＮＵＭＡノード７２上に具現化されている。更にディスパッチャ３−０〜３−２は、バランサ４に接続されている。
The dispatchers 3-0-2 distribute the upstream packets transmitted by the
バランサ４は、仮想マシン２−０〜２−５のうちいずれかに送信する上りパケットを、バランサ振分テーブル５１（図５参照）に基づいてディスパッチャ３−０〜３−２のいずれかに振り分ける。バランサ４は、所定のハッシュ値の上りパケットへの応答である下りパケットを送信した割合と、ディスパッチャ３間の転送効率の情報によって、この上りパケットの送信先のディスパッチャ３ごとの振分効率を算出して、この振分効率を最大化するディスパッチャ３を特定し、特定したディスパッチャ３に所定のハッシュ値の上りパケットを振り分けるようにバランサ振分テーブル５１を修正する。具体的にいうとバランサ４は、上りパケットへの応答である下りパケットが所定割合を超えて異なるディスパッチャ３から中継されてきたときに、バランサ振分テーブル５１を修正するとよい。これによりバランサ４は、パケットの振分効率の低下を抑止することができる。
The
図２は、物理サーバ１（負荷分散装置）の構成とパケットの流れを示す図である。
バランサ４は、上りパケットのためにパケット受信部４１と上りハッシュ部４２と負荷分散部４３とバランサ振分テーブル５１（図５参照）とを備える。
FIG. 2 is a diagram showing the configuration of the physical server 1 (load distribution device) and the flow of packets.
The
バランサ４は、ハッシュ関数を決定するためにパラメータリスト５４（図１０参照）とハッシュ決定部４４とを備える。ハッシュ決定部４４が決定したハッシュ関数は、上りハッシュ部４２と下りハッシュ部４７とが使用する。バランサ４は、このバランサ振分テーブル５１を修正するためにテーブル変更部４５とディスパッチャテーブル５２（図１１参照）と統計テーブル５３（図９参照）とを備える。更にバランサ４は、下りパケットのためにパケット集約部４６と下りハッシュ部４７とパケット送信部４８とを備える。
The
パケット受信部４１は、クライアント端末６からの上りパケットを受信する。上りハッシュ部４２は、受信した上りパケットに対しハッシュ計算を行う。負荷分散部４３は、ハッシュ値とバランサ振分テーブル５１とによって送信先のディスパッチャ３を特定し、特定したディスパッチャ３に対して上りパケットを送信する。これによりバランサ４は、上りパケットに固有の識別子のハッシュ値とバランサ振分テーブル５１とに基づいて、この上りパケットを振り分けるディスパッチャ３を特定する。
The
ハッシュ決定部４４は、パラメータリスト５４を参照しつつハッシュ関数を決定する。パラメータリスト５４は、各パラメータにおけるハッシュ関数の振り分け効率を記録するためのリストである。これによりバランサ４は、固有の識別子からハッシュ値を計算するハッシュ関数による全体の振分効率が閾値以下ならば、更に振分効率のよいハッシュ関数に変更することができる。
The hash determination unit 44 determines a hash function while referring to the
テーブル変更部４５は、統計テーブル５３を元に、ハッシュ値に対する送信先のディスパッチャ３を変更するためにバランサ振分テーブル５１を修正する。バランサ４は、バランサ振分テーブル５１が所定のハッシュ値の上りパケットをディスパッチャ３−０に振り分けるように設定されている。例えば、この上りパケットへの応答である下りパケットがディスパッチャ３−１から統計的に最も多く送信されたとき、バランサ４は、所定のハッシュ値の上りパケットをディスパッチャ３−１に振り分けるようにバランサ振分テーブル５１を修正する。これにより、上りパケットがディスパッチャ３を跨いで送信されることを抑制することができ、仮想パケット振り分け装置間のデータのコピーを減らして性能劣化を防ぐことができる。
The
パケット集約部４６は、各ディスパッチャ３から受信した下りパケットを集約する。下りハッシュ部４７は、集約した下りパケットに対しハッシュ計算を行う。これにより、この下りパケットに対応する上りパケットの送信先のディスパッチャ３が特定可能となる。更に下りハッシュ部４７は、この下りパケットの応答元と、この下りパケットに対応する上りパケットの送信先との関係を統計テーブル５３に記録する。パケット送信部４８は、下りパケットをクライアント端末６に送信する。
The
ディスパッチャ３−０は、上りパケットのためにパケット受信部３１と振分部３２とディスパッチャ振分テーブル３５−０（図６参照）とを備え、下りパケットのためにパケット集約部３３とパケット送信部３４とを備える。ディスパッチャ３−１は、ディスパッチャ振分テーブル３５−１（図７参照）を備え、ディスパッチャ３−０と同様に構成されている。ディスパッチャ３−２は、ディスパッチャ振分テーブル３５−２（図８参照）を備え、ディスパッチャ３−０と同様に構成されている。
The dispatcher 3-0 includes a
パケット受信部３１は、バランサ４または他のディスパッチャ３−１，３−２から上りパケットを受信する。振分部３２は、ディスパッチャ振分テーブル３５−０を参照し、目的の仮想マシン２−０，２−１またはディスパッチャ３−１，３−２に上りパケットを送信する。
パケット集約部３３は、仮想マシン２−０，２−１から受信した下りパケットを集約する。パケット送信部３４は、集約した下りパケットをバランサ４に送信する。
The
The
仮想マシン２−０は、パケット受信部２１とパケット処理部２２とパケット送信部２３とを備える。他の仮想マシン２−１〜２−５も、仮想マシン２−０と同様に構成されている。仮想マシン２−２，２−３はディスパッチャ３−１に接続されている。仮想マシン２−４，２−５はディスパッチャ３−２に接続されている。
The virtual machine 2-0 includes a
パケット受信部２１は、ディスパッチャ３−０から上りパケットを受信する。パケット処理部２２は、仮想マシン２−０のロジックに基づき上りパケットを処理し、下りパケットを生成する。パケット送信部２３は、パケット処理部２２が生成した下りパケットを自身が接続されているディスパッチャ３−０に送信する。
The
図３は、バランサ４のハッシュ関数変更処理を示すフローチャートである。
後記する図４のハッシュ関数変更処理（ステップＳ２０）において、図３に示したハッシュ関数変更処理が呼び出される。
ステップＳ１０において物理サーバ１のＣＰＵ（不図示）は、初期化時であるか否かを判定する。ここで初期化時とは、この負荷分散プログラムが起動した後の最初の処理のことをいう。物理サーバ１のＣＰＵ（不図示）は、初期化時ならば（Ｙｅｓ）ステップＳ１１に進み、初期化時で無いならば（Ｎｏ）ステップＳ１３の処理に進む。
FIG. 3 is a flowchart showing the hash function change process of the
In the hash function change process (step S20) in FIG. 4 described later, the hash function change process shown in FIG. 3 is called.
In step S10, the CPU (not shown) of the
《初期化時の処理》
ステップＳ１１において、物理サーバ１のＣＰＵ（不図示）は、予め仮想マシン２の数が判明している場合はそれを参考にしてハッシュ分割数を決定し、ハッシュ分割数に応じたハッシュ関数を決定する。
ステップＳ１２において、物理サーバ１のＣＰＵ（不図示）は、ハッシュ関数にハッシュパラメータがある場合はそれを決定し、ステップＳ１９の処理に進む。なお、初期化時におけるハッシュパラメータは、任意のものであってもよい。
<< Processing at initialization >>
In step S11, if the number of
In step S12, if there is a hash parameter in the hash function, the CPU (not shown) of the
《初期化時以外の処理》
ステップＳ１３において、物理サーバ１のＣＰＵ（不図示）は、現在の振分効率をパラメータリスト５４に記録する。その後、ＣＰＵは、このハッシュ関数に係る全てのハッシュパラメータを試行したか否かを判定する（ステップＳ１４）。物理サーバ１のＣＰＵ（不図示）は、全てのハッシュパラメータを試行していないならば（Ｎｏ）、未使用のハッシュパラメータを選択し（ステップＳ１５）、ステップＳ１９の処理に進む。物理サーバ１のＣＰＵ（不図示）は、全てのハッシュパラメータを試行したならば（Ｙｅｓ）、全てのハッシュ関数を試行したか否かを判定する（ステップＳ１６）。物理サーバ１のＣＰＵ（不図示）は、全てのハッシュ関数を試行していないならば（Ｎｏ）、未使用のハッシュ関数を選択し（ステップＳ１７）、ステップＳ１９の処理に進む。
物理サーバ１のＣＰＵ（不図示）は、全てのハッシュ関数を試行したならば（Ｙｅｓ）、パラメータリスト５４から最も振分効率の高いハッシュ関数とハッシュパラメータの組合せを選択し（ステップＳ１８）、ステップＳ１９の処理に進む。
Processing other than initialization
In step S 13, the CPU (not shown) of the
If all the hash functions have been tried (Yes), the CPU (not shown) of the
《共通処理》
ステップＳ１９において、ＣＰＵは、ハッシュ値ごとに振分先のディスパッチャ３を決定したバランサ振分テーブル５１を作成し、図３の処理を終了する。振分先のディスパッチャ３は、図４に示したバランサ振分テーブル５１の修正処理（ステップＳ２４）で最適値に修正するので、この時点ではランダムであってもよい。
"Common processing"
In step S19, the CPU creates a balancer distribution table 51 in which the
図４は、バランサ４の振分処理を示すフローチャートである。
ステップＳ２０において物理サーバ１のＣＰＵ（不図示）は、ハッシュ関数変更処理（図３参照）を実行する。このハッシュ関数変更処理は、ハッシュ関数を決定してバランサ振分テーブル５１を作成する処理である。その後、物理サーバ１のＣＰＵ（不図示）は、統計テーブル５３の値をリセットする（ステップＳ２１）。
FIG. 4 is a flowchart showing the distribution process of the
In step S20, the CPU (not shown) of the
ステップＳ２２において物理サーバ１のＣＰＵ（不図示）は、この統計テーブル５３を参照して、ディスパッチャ３からの全応答パケット数Ｒが閾値Ｔrを超えているならば、ステップＳ２３に進む。物理サーバ１のＣＰＵ（不図示）は、全応答パケット数Ｒが閾値Ｔrを超えていないならば、ステップＳ２２に戻る。
ステップＳ２３において物理サーバ１のＣＰＵ（不図示）は、統計テーブル５３とディスパッチャテーブル５２とを元に、ハッシュ値ごと且つ送信先ごとの振分効率ｅikを計算する。ハッシュ値ごと且つ送信先ごとの振分効率ｅikは、式（１）で算出される。
The CPU (not shown) of the
In step S23, the CPU (not shown) of the
ステップＳ２４において物理サーバ１のＣＰＵ（不図示）は、振分効率ｅikを最大化するｋ（送信先のディスパッチャ３）を決定して、決定した送信先のディスパッチャ３を元にバランサ振分テーブル５１を修正する。ここでハッシュ値ごとに最大化した振分効率ｅiは、式（２）で算出される。
In step S24, the CPU (not shown) of the
なお、ＮＵＭＡ構成を有さないサーバでは、異なるディスパッチャ３間を転送する効率はほぼ等しいと推定される。この場合、振分効率ｅikを最大化するｋ（送信先のディスパッチャ３）は、下りパケットの送信数が最も多いディスパッチャ３となる。
ステップＳ２５において物理サーバ１のＣＰＵ（不図示）は、ハッシュ値ごとの振分効率ｅiの平均値を算出し、全体の振分効率Ｅとする。全体の振分効率Ｅは、以下の式（３）で算出される。
In a server that does not have the NUMA configuration, the efficiency of transferring between
次いでステップＳ２６において物理サーバ１のＣＰＵ（不図示）は、全体の振分効率Ｅが閾値Ｔeを超えている場合（Ｙｅｓ）にステップＳ２１に戻る。全体の振分効率Ｅが閾値Ｔeを超えていない場合（Ｎｏ）、物理サーバ１のＣＰＵ（不図示）は、ステップＳ２０に戻り、ハッシュ関数とハッシュパラメータの選びなおしを含むハッシュ関数変更処理を実施する。
Then, in step S26 in the
図５は、バランサ振分テーブル５１を示す図である。
バランサ振分テーブル５１は、ハッシュ値欄と送信先欄とを含んで構成される。
ハッシュ値欄は、上りパケットの識別子のハッシュ値に対応している。送信先欄のＤ０〜Ｄ２は、ハッシュ値に対応する送信先のディスパッチャ３−０〜３−２を示している。負荷分散部４３は、上りパケットの識別子のハッシュ値とバランサ振分テーブル５１に基づいて送信先のディスパッチャ３を特定する。
FIG. 5 is a diagram showing the balancer distribution table 51. As shown in FIG.
The balancer distribution table 51 is configured to include a hash value field and a transmission destination field.
The hash value column corresponds to the hash value of the identifier of the upstream packet. D0 to D2 in the transmission destination column indicate dispatchers 3-0 to 3-2 of the transmission destination corresponding to the hash value. The
図６は、ディスパッチャ３−０が備えるディスパッチャ振分テーブル３５−０を示す図である。
ディスパッチャ振分テーブル３５−０は、識別子欄と送信先欄とを含んで構成される。
識別子欄は、上りパケットの識別子に対応している。送信先欄のＶ０，Ｖ１は、この識別子に対応する送信先の仮想マシン２−０，２−１を示している。送信先欄のＤ１，Ｄ２は、この識別子に対応する転送先のディスパッチャ３−１，３−２を示している。
FIG. 6 is a diagram showing the dispatcher distribution table 35-0 included in the dispatcher 3-0.
The dispatcher distribution table 35-0 is configured to include an identifier field and a transmission destination field.
The identifier column corresponds to the identifier of the upstream packet. V0 and V1 of the transmission destination column indicate virtual machines 2-0 and 2-1 of the transmission destination corresponding to this identifier. D1 and D2 of the destination column indicate dispatchers 3-1 and 3-2 of the transfer destination corresponding to this identifier.
振分部３２は、このディスパッチャ振分テーブル３５−０と上りパケットの識別子に基づいて、目的の仮想マシン２−０，２−１またはディスパッチャ３−１，３−２を特定する。更に振分部３２は、目的の仮想マシン２−０，２−１またはディスパッチャ３−１，３−２に上りパケットを送信する。
The
図７は、ディスパッチャ３−１が備えるディスパッチャ振分テーブル３５−１を示す図である。
ディスパッチャ振分テーブル３５−１は、識別子欄と送信先欄とを含んで構成される。
識別子欄は、上りパケットの識別子に対応している。送信先欄のＶ２，Ｖ３は、この識別子に対応する送信先の仮想マシン２−２，２−３を示している。送信先欄のＤ０，Ｄ２は、この識別子に対応する転送先のディスパッチャ３−０，３−２を示している。
FIG. 7 is a diagram showing the dispatcher distribution table 35-1 provided in the dispatcher 3-1.
The dispatcher distribution table 35-1 is configured to include an identifier field and a transmission destination field.
The identifier column corresponds to the identifier of the upstream packet. V2 and V3 in the transmission destination column indicate virtual machines 2-2 and 2-3 of the transmission destination corresponding to this identifier. D0 and D2 of the transmission destination column indicate dispatchers 3-0 and 3-2 of the transfer destination corresponding to this identifier.
振分部３２は、このディスパッチャ振分テーブル３５−１と上りパケットの識別子に基づいて、目的の仮想マシン２−２，２−３またはディスパッチャ３−０，３−２を特定する。更に振分部３２は、目的の仮想マシン２−２，２−３またはディスパッチャ３−０，３−２に上りパケットを送信する。
The
図８は、ディスパッチャ３−２が備えるディスパッチャ振分テーブル３５−２を示す図である。
ディスパッチャ振分テーブル３５−２は、識別子欄と送信先欄とを含んで構成される。
識別子欄は、上りパケットの識別子に対応している。送信先欄のＶ４，Ｖ５は、この識別子に対応する送信先の仮想マシン２−４，２−５を示している。送信先欄のＤ０，Ｄ１は、この識別子に対応する転送先のディスパッチャ３−０，３−１を示している。
FIG. 8 is a diagram showing the dispatcher distribution table 35-2 included in the dispatcher 3-2.
The dispatcher distribution table 35-2 is configured to include an identifier field and a transmission destination field.
The identifier column corresponds to the identifier of the upstream packet. V4 and V5 in the transmission destination column indicate virtual machines 2-4 and 2-5 of the transmission destination corresponding to this identifier. D0 and D1 in the destination column indicate dispatchers 3-0 and 3-1 of the transfer destination corresponding to this identifier.
振分部３２は、このディスパッチャ振分テーブル３５−２と上りパケットの識別子に基づいて、目的の仮想マシン２−４，２−５またはディスパッチャ３−０，３−１を特定する。更に振分部３２は、目的の仮想マシン２−４，２−５またはディスパッチャ３−０，３−１に上りパケットを送信する。
The
図９は、統計テーブル５３を示す図である。
統計テーブル５３には、上りパケットのハッシュ値と、各ディスパッチャ３がこの上りパケットに対応した下りパケットを応答した数とが格納されている。
ハッシュ値０の上りパケットについては、ディスパッチャ３−０（Ｄ０）が、この上りパケットに対応した１００個の下りパケットを応答している。
ハッシュ値１の上りパケットについては、ディスパッチャ３−１（Ｄ１）が、この上りパケットに対応した１５０個の下りパケットを応答している。
ハッシュ値２の上りパケットについては、ディスパッチャ３−２（Ｄ２）が、この上りパケットに対応した５０個の下りパケットを応答している。
ハッシュ値３の上りパケットについては、ディスパッチャ３−１（Ｄ１）が、この上りパケットに対応した５０個の下りパケットを応答し、ディスパッチャ３−２（Ｄ２）が、この上りパケットに対応した１００個の下りパケットを応答している。
ハッシュ値４の上りパケットは送信されていない。また、ハッシュ値５の上りパケットについては、ディスパッチャ３−０（Ｄ０）が、この上りパケットに対応した１５０個の下りパケットを応答している。
FIG. 9 is a diagram showing the statistics table 53.
The statistics table 53 stores the hash value of the uplink packet and the number of each
The dispatcher 3-0 (D 0) responds to 100 uplink packets corresponding to the uplink packet for the uplink packet with the
As for the upstream packet having the hash value of 1, the dispatcher 3-1 (D1) responds 150 downstream packets corresponding to the upstream packet.
For the upstream packet with
For uplink packets with a hash value of 3, dispatcher 3-1 (D1) responds 50 downlink packets corresponding to the uplink packet, and dispatcher 3-2 (D2) responds to 100 uplink packets. Down packet of
An upstream packet with
図１０は、パラメータリスト５４を示す図である。
パラメータリスト５４は、ハッシュ関数欄と、ハッシュパラメータ欄と、振分効率欄を備える。このパラメータリスト５４には、ハッシュ関数およびハッシュパラメータを変更した場合の振分効率が記録される。図１０において、ハッシュ関数Ｂかつハッシュパラメータ２の場合の振分効率は、未だ記録されていない。なお、ハッシュ関数欄の括弧内の数字は、分割数を示している。このパラメータリスト５４を参照することにより、物理サーバ１のＣＰＵは、最も振分効率のよいハッシュ関数とハッシュパラメータの組合せを選択することができる。
FIG. 10 is a diagram showing the
The
図１１は、ディスパッチャテーブル５２を示す図である。
ディスパッチャテーブル５２には、転送元のディスパッチャ３から転送先のディスパッチャ３までの転送効率が予め記録されている。なお、転送効率の逆数が転送コストである。
FIG. 11 is a diagram showing the dispatcher table 52. As shown in FIG.
In the dispatcher table 52, transfer efficiency from the
図１１に示した例では、ＮＵＭＡノード７１，７２を跨ぐディスパッチャ３−０からディスパッチャ３−１，３−２への転送コストは、ディスパッチャ３を跨がない場合の転送コスト（例えば、ディスパッチャ３−０からディスパッチャ３−０の転送）に比べて１０倍である。
In the example shown in FIG. 11, the transfer cost from the dispatcher 3-0 across the
更に、ＮＵＭＡノードを跨がないディスパッチャ３−１からディスパッチャ３−２への転送コストは、ディスパッチャ３を跨がない場合の転送コスト（例えば、ディスパッチャ３−１からディスパッチャ３−１の転送）に比べて１．１１…倍（０．９の逆数）である。 Furthermore, the transfer cost from dispatchers 3-1 to dispatchers 3-2 that do not cross NUMA nodes is higher than the transfer cost if they do not cross dispatchers 3 (for example, transfer from dispatchers 3-1 to dispatchers 3-1) Is 1.11 ... (reciprocal of 0.9).
図１２は、当初の振分動作を示す図である。
当初、バランサ４は、上りパケットに対して、ディスパッチャ３における振り分けの元になる識別子（宛先ＩＰアドレス等）でハッシュをかけ、バランサ振分テーブル５１に基づき複数のディスパッチャ３に振り分ける。上りハッシュ５５は、上りパケットの識別子から算出したハッシュ値である。
FIG. 12 is a diagram showing an initial distribution operation.
Initially, the
図１２に示した例において、バランサ４は、識別子ａの上りパケットをディスパッチャ３−０に振り分ける。ディスパッチャ３−０は、この識別子ａの上りパケットを仮想マシン２−０に振り分ける。このとき、上りパケットはディスパッチャ３を跨いでおらず、オーバヘッドは発生していない。
In the example shown in FIG. 12, the
更にバランサ４は、識別子ｃの上りパケットをディスパッチャ３−０に振り分ける。ディスパッチャ３−０は、この識別子ｃの上りパケットをディスパッチャ３−１に振り分ける。これにより上りパケットはＮＵＭＡノード７１とＮＵＭＡノード７２との間を跨ぐため、所定のオーバヘッドが発生する。ディスパッチャ３−１は、この識別子ｃの上りパケットを仮想マシン２−２に振り分ける。この時点でディスパッチャ３間かつＮＵＭＡノード間の転送が発生し、性能劣化の原因となる。
Furthermore, the
図１３は、初期状態におけるバランサ振分テーブル５１と統計テーブル５３に識別子欄を設けたテーブルを示す図である。
テーブルの左端は識別子欄である。その右側２列はハッシュ値欄と送信先欄であり、バランサ振分テーブル５１の内容を示している。識別子欄の値に対してハッシュ計算を行うとハッシュ値欄に示された値が算出される。
更にハッシュ値欄と、Ｄ０応答数欄、Ｄ１応答数欄、Ｄ２応答数欄によって、統計テーブル５３の内容を示している。図１３に示した統計テーブル５３は初期状態なので、Ｄ０応答数欄、Ｄ１応答数欄、Ｄ２応答数欄は、全て０でクリアされている。
FIG. 13 is a diagram showing a table in which identifier sections are provided in the balancer distribution table 51 and the statistics table 53 in the initial state.
The left end of the table is an identifier field. The right two columns are a hash value field and a transmission destination field, and indicate the contents of the balancer distribution table 51. When hash calculation is performed on the value of the identifier field, the value indicated in the hash value field is calculated.
Further, the contents of the statistics table 53 are indicated by the hash value column, the D0 response number column, the D1 response number column, and the D2 response number column. Since the statistics table 53 shown in FIG. 13 is in the initial state, the D0 response number column, the D1 response number column, and the D2 response number column are all cleared to 0.
図１４は、振分後の応答を示す図である。
バランサ４は、ディスパッチャ３−０〜３−２から受信した下りパケットに対して、この下りパケットの応答元のディスパッチャ３とハッシュ値との対応を統計テーブル５３に記録する。上りパケットを送信したディスパッチャ３は、振分の元となる識別子（下りパケットの送信元ＩＰアドレス等）のハッシュ値とバランサ振分テーブル５１に基づいて判定することができる。なお、上りパケットの送信先ＩＰアドレスと、この上りパケットの応答である下りパケットの送信元ＩＰアドレスとは同一である。下りハッシュ５６は、下りパケットの識別子ａから算出したハッシュ値である。
FIG. 14 is a diagram showing a response after distribution.
The
具体的にいうと、バランサ４は、識別子ａの下りパケットをディスパッチャ３−０から受信すると、識別子ａのハッシュ値を０として算出する。このハッシュ値０とバランサ振分テーブル５１に基づいて、この下りパケットに対応する上りパケットの送信先がＤ０（ディスパッチャ３−０）であることが判定できる。
Specifically, when the downstream packet of the identifier a is received from the dispatcher 3-0, the
更にバランサ４は、識別子ｃの下りパケットをディスパッチャ３−１から受信すると、識別子ｃのハッシュ値を１として算出する。このハッシュ値１とバランサ振分テーブル５１に基づいて、この下りパケットに対応する上りパケットの送信先がＤ０（ディスパッチャ３−０）であることが判定できる。
Furthermore, when the downstream packet of the identifier c is received from the dispatcher 3-1, the
図１５は、応答後におけるバランサ振分テーブル５１と統計テーブル５３に識別子欄を設けたテーブルを示す図である。
この統計テーブル５３は、ハッシュ値が０の行のＤ０応答数欄が１に設定される。これは、識別子ａの上りパケットおよび下りパケットによるものである。更にハッシュ値が１の行のＤ１応答数欄が１に設定される。これは、識別子ｃの上りパケットおよび下りパケットによるものである。
FIG. 15 is a diagram showing a table in which identifier columns are provided in the balancer distribution table 51 and the statistics table 53 after the response.
In the statistics table 53, the D0 response number column of the row having a hash value of 0 is set to 1. This is due to the upstream packet and the downstream packet of the identifier a. Furthermore, the D1 response number column of the row having a hash value of 1 is set to 1. This is due to the upstream packet and the downstream packet of the identifier c.
図１６は、集計後におけるバランサ振分テーブル５１と統計テーブル５３に識別子欄を設けたテーブルを示す図である。
この統計テーブル５３は、各識別子のパケットが１００個ずつ送受信されたときのものである。
FIG. 16 is a diagram showing a table in which identifier columns are provided in the balancer distribution table 51 and the statistics table 53 after the aggregation.
The statistics table 53 is for when 100 packets of each identifier are transmitted and received.
識別子ａの１００個の上りパケットがディスパッチャ３−０に振り分けられ、これに対応する１００個の下りパケットがディスパッチャ３−０から送信される。このとき、オーバヘッドは無い。 The 100 upstream packets of the identifier a are distributed to the dispatcher 3-0, and the corresponding 100 downstream packets are transmitted from the dispatcher 3-0. There is no overhead at this time.
識別子ｃの１００個の上りパケットがディスパッチャ３−０に振り分けられ、これに対応する１００個の下りパケットがディスパッチャ３−１から送信される。このとき、所定のオーバヘッドが発生するため、個数の“１００”を太字イタリック体で示している。 The 100 upstream packets of the identifier c are distributed to the dispatcher 3-0, and the corresponding 100 downstream packets are transmitted from the dispatcher 3-1. At this time, since a predetermined overhead occurs, the number "100" is shown in bold italics.
識別子ｆの１００個の上りパケットがディスパッチャ３−１に振り分けられ、これに対応する１００個の下りパケットがディスパッチャ３−２から送信される。このとき、所定のオーバヘッドが発生するため、個数の“１００”を太字イタリック体で示している。 The 100 upstream packets of the identifier f are distributed to the dispatcher 3-1, and the corresponding 100 downstream packets are transmitted from the dispatcher 3-2. At this time, since a predetermined overhead occurs, the number "100" is shown in bold italics.
識別子ｄ，ｅの各１００個の上りパケットがディスパッチャ３−１に振り分けられ、これに対応する１００個の下りパケットがディスパッチャ３−１から送信され、１００個の下りパケットがディスパッチャ３−２から送信される。このとき、ディスパッチャ３−２から送信された１００個の下りパケットに対応する上りパケットには、幾らかのオーバヘッドが発生するため、個数の“１００”を太字イタリック体で示している。 The 100 upstream packets of each of the identifiers d and e are distributed to the dispatcher 3-1, the corresponding 100 downstream packets are transmitted from the dispatcher 3-1, and the 100 downstream packets are transmitted from the dispatcher 3-2 Be done. At this time, some overhead occurs in the upstream packets corresponding to the 100 downstream packets transmitted from the dispatcher 3-2, so the number "100" is shown in bold italics.
識別子ｂの１００個の上りパケットがディスパッチャ３−２に振り分けられ、これに対応する１００個の下りパケットがディスパッチャ３−０から送信される。このとき、所定のオーバヘッドが発生するため、個数の“１００”を太字イタリック体で示している。 The 100 upstream packets of the identifier b are distributed to the dispatcher 3-2, and the corresponding 100 downstream packets are transmitted from the dispatcher 3-0. At this time, since a predetermined overhead occurs, the number "100" is shown in bold italics.
テーブル変更部４５は、統計テーブル５３を元に、バランサ振分テーブル５１の送信先を、ディスパッチャ３間のデータコピーのコストが小さく効率が高い送信先に変更する。単純にいうとテーブル変更部４５は、各ハッシュ値において応答数が最も多いディスパッチャ３を送信先とする。
Based on the statistics table 53, the
図１７は、修正後におけるバランサ振分テーブル５１と統計テーブル５３に識別子欄を設けたテーブルを示す図である。
識別子ｃの下りパケットは、全てディスパッチャ３−１から送信される。そのためテーブル変更部４５は、バランサ振分テーブル５１のうち、識別子ｃのハッシュ値＝１に対応する送信先を、Ｄ１（ディスパッチャ３−１）に変更している。これにより、上りパケットがディスパッチャ３を跨ぐことが無くなる。
FIG. 17 is a diagram showing a table in which identifier columns are provided in the balancer distribution table 51 and the statistics table 53 after correction.
All downstream packets of the identifier c are transmitted from the dispatcher 3-1. Therefore, the
識別子ｆの下りパケットは、全てディスパッチャ３−２から送信される。そのためテーブル変更部４５は、バランサ振分テーブル５１のうち、識別子ｆのハッシュ値＝２に対応する送信先を、Ｄ２（ディスパッチャ３−２）に変更している。これにより、上りパケットがディスパッチャ３を跨ぐことが無くなる。
All downlink packets with the identifier f are transmitted from the dispatcher 3-2. Therefore, the
識別子ｂの下りパケットは、全てディスパッチャ３−０から送信される。そのためテーブル変更部４５は、バランサ振分テーブル５１のうち、識別子ｂのハッシュ値＝５に対応する送信先を、Ｄ０（ディスパッチャ３−０）に変更している。これにより、上りパケットがディスパッチャ３を跨ぐことが無くなる。
All downstream packets of the identifier b are transmitted from the dispatcher 3-0. Therefore, the
識別子ｄ，ｅの１００個の下りパケットがディスパッチャ３−１から送信され、１００個の下りパケットがディスパッチャ３−２から送信される。識別子ｄ，ｅのハッシュ値＝３に対応する送信先は、ディスパッチャ３−１，３−２のうちいずれかであればよい。 One hundred downstream packets of identifiers d and e are transmitted from the dispatcher 3-1, and one hundred downstream packets are transmitted from the dispatcher 3-2. The transmission destination corresponding to the hash value = 3 of the identifiers d and e may be any one of the dispatchers 3-1 and 3-2.
《ハッシュ分散処理》
仮に最初のハッシュ関数の振り分け結果が分散されていない場合、所望の振分効率が得られないため、ハッシュ関数を組み直す。ハッシュ関数は必ずしも効率のいいものが見つかるとは限らないため、試行錯誤を繰り返すことで比較的分散されるものを見つけるとよい。
Hash distributed processing
If the distribution result of the first hash function is not distributed, the desired distribution efficiency can not be obtained, so the hash function is reassembled. Since hash functions do not always find efficient ones, it is better to find ones that are relatively dispersed by repeating trial and error.
図１８は、ハッシュ値が分散されていない場合のバランサ振分テーブル５１と統計テーブル５３に識別子欄を設けたテーブルを示す図である。
ここでは選択したハッシュ関数の振り分け結果が分散されておらず、複数の識別子から同一のハッシュ値が算出される。例えば識別子ａ，ｃ，ｅのハッシュ値は０であり、識別子ｂ，ｄ，ｆのハッシュ値は１である。このような場合、バランサ振分テーブル５１を修正しても多くのパケットでディスパッチャ３の跨ぎが発生する。
FIG. 18 is a diagram showing a table in which identifier sections are provided in the balancer distribution table 51 and the statistics table 53 when the hash values are not distributed.
Here, the distribution result of the selected hash function is not distributed, and the same hash value is calculated from a plurality of identifiers. For example, the hash values of the identifiers a, c and e are 0, and the hash values of the identifiers b, d and f are 1. In such a case, even if the balancer distribution table 51 is corrected, crossing of the
図１８において、ハッシュ値ｉが０のとき、ハッシュ値ごとの振分効率ｅ0は式（４）で算出され、その値は０．４である。
ハッシュ値ｉが１のとき、ハッシュ値ごとの振分効率ｅ1は式（５）で算出され、その値は０．６６６…である。
全体の振分効率Ｅはこれらの平均値であり、０．５３３３…である。この全体の振分効率Ｅが閾値Ｔeを超えていない場合、ハッシュ関数変更処理において未使用のハッシュパラメータや未使用のハッシュ関数が選択され、試行錯誤が行われる。 The overall distribution efficiency E is an average value of these and is 0.5333. If the overall distribution efficiency E does not exceed the threshold value T e , unused hash parameters and unused hash functions are selected in the hash function change process, and trial and error are performed.
図１９は、ハッシュ値が分散されており、かつ修正後におけるバランサ振分テーブル５１と統計テーブル５３に識別子欄を設けたテーブルを示す図である。
選択したハッシュ関数が良くなればテーブル修正によりディスパッチャ３の跨ぎを抑えることが可能である。
FIG. 19 is a diagram showing a table in which hash values are dispersed and identifier columns are provided in the balancer distribution table 51 and the statistics table 53 after correction.
If the selected hash function becomes better, it is possible to suppress the crossing of
図１９において、ハッシュ値ｉが０のとき、ハッシュ値ごとの振分効率ｅ0は１．０である。ハッシュ値ｉが１のとき、ハッシュ値ごとの振分効率ｅ1は１．０である。ハッシュ値ｉが２のとき、ハッシュ値ごとの振分効率ｅ2＝１．０である。ハッシュ値ｉが３のとき、ハッシュ値ごとの振分効率ｅ3は式（６）で算出され、その値は０．９５である。
ハッシュ値ｉが５のとき、ハッシュ値ごとの振分効率ｅ5は１．０である。
全体の振分効率Ｅはこれらの平均値であり、０．９９である。このように全体の振分効率Ｅが閾値Ｔeを超えると、ハッシュパラメータおよびハッシュ関数は変更されなくなる。
When the hash value i is 5, the distribution efficiency e 5 per hash value is 1.0.
The overall distribution efficiency E is an average value of these and is 0.99. Thus, when the overall distribution efficiency E exceeds the threshold T e , the hash parameter and the hash function are not changed.
《実施形態の効果》
仮想マシンへの接続を行う仮想パケット振り分け装置をスケールアウトする際、仮想マシンからの下りパケットの情報を元に負荷分散の振り分けテーブルを随時修正することで仮想パケット振り分け装置間のデータのコピーを減らし、性能劣化を防ぐことが可能になる。
<< Effect of the embodiment >>
When scaling out a virtual packet distribution device connecting to a virtual machine, the load distribution distribution table is modified as needed based on the information on downlink packets from the virtual machine to reduce data copying between the virtual packet distribution devices. It becomes possible to prevent the performance deterioration.
《変形例》
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｅ）のようなものがある。
<< Modification >>
The present invention is not limited to the above embodiment, and modifications can be made without departing from the spirit of the present invention, and there are, for example, the following (a) to (e).
（ａ） 上りパケットの識別子は、送信先アドレスに限定されず、送信元アドレスやＭＡＣ（Media Access Control）アドレスであってもよい。
（ｂ） ハッシュ分散処理は、全体の振分効率を最大化することに限定されない。識別子リストをハッシュ演算して、ハッシュ値の重複が最小化されるように計算してもよく、限定されない。
（ｃ） 異なるディスパッチャ３間の転送効率の違いを無視してもよい。つまり、所定のハッシュ値を持つ下りパケットを最も多く送信したディスパッチャ３を、バランサ振分テーブル５１によって振り分けるディスパッチャとしてもよい。更に異なるディスパッチャ３を跨ぐパケットの割合を振分効率の近似値としてもよい。
（ｄ） ディスパッチャ跨ぎによる振分効率を動的に算出し、パラメータリストを修正してもよい。
（ｅ） バランサやディスパッチャは、単一の物理サーバ上に具現化されるだけではなく、複数の物理サーバ上に具現化された負荷分散システムであってもよい。
(A) The identifier of the upstream packet is not limited to the transmission destination address, and may be a transmission source address or a MAC (Media Access Control) address.
(B) Hash distribution processing is not limited to maximizing the overall distribution efficiency. The identifier list may be hashed and calculated to minimize duplication of hash values, and is not limited.
(C) The difference in transfer efficiency between
(D) The distribution efficiency across dispatchers may be calculated dynamically to correct the parameter list.
(E) The balancer and dispatcher may be not only embodied on a single physical server, but also a load balancing system embodied on a plurality of physical servers.
１，１Ａ，１Ｂ 物理サーバ （負荷分散装置・負荷分散システム）
２，２−０〜２−５ 仮想マシン
２１ パケット受信部
２２ パケット処理部
２３ パケット送信部
３，３−０〜３−２ ディスパッチャ （仮想パケット振り分け装置の一部）
３１ パケット受信部
３２ 振分部
３３ パケット集約部
３４ パケット送信部
３５ ディスパッチャ振分テーブル
４ バランサ （仮想パケット振り分け装置の一部）
４１ パケット受信部
４２ 上りハッシュ部
４３ 負荷分散部
４４ ハッシュ決定部
４５ テーブル変更部
４６ パケット集約部
４７ 下りハッシュ部
４８ パケット送信部
５１ バランサ振分テーブル
５２ ディスパッチャテーブル
５３ 統計テーブル
５４ パラメータリスト
５５ 上りハッシュ
５６ 下りハッシュ
６，６ａ〜６ｃ クライアント端末
７ 仮想パケット振り分け装置
７１，７２ ＮＵＭＡノード
９１ 社内ネットワーク
９２ インターネット
1, 1A, 1B physical server (load balancer / load balancing system)
2, 2-0-2-5
31
41
Claims (8)
前記複数の仮想マシンにパケットを振り分けると共に相互にパケットを渡す複数のディスパッチャと、
前記仮想マシンのうちのいずれかに送信する上りパケットを、振分テーブルに基づいて前記複数のディスパッチャのいずれかに振り分けると共に、前記上りパケットへの応答である下りパケットが所定割合を超えて異なるディスパッチャから中継されてきたとき、前記振分テーブルを修正するバランサと、
を備えることを特徴とする負荷分散装置。 With multiple virtual machines,
A plurality of dispatchers that distribute packets to the plurality of virtual machines and pass the packets to each other;
An upstream packet to be transmitted to any one of the virtual machines is distributed to one of the plurality of dispatchers based on a distribution table, and a downstream packet which is a response to the upstream packet differs by more than a predetermined ratio. A balancer that corrects the distribution table when relayed from the
A load distribution apparatus comprising:
ことを特徴とする請求項１に記載の負荷分散装置。 The balancer specifies a dispatcher to which the upstream packet is distributed based on a hash value of an identifier unique to the upstream packet and the distribution table, and based on the distribution hash table of the identifier unique to the downstream packet, Identifying a dispatcher to which the upstream packet corresponding to the downstream packet is distributed;
The load distribution device according to claim 1, wherein
ことを特徴とする請求項２に記載の負荷分散装置。 The balancer identifies the dispatcher that has sent the largest number of downlink packets, which is a response to an uplink packet of a predetermined hash value, and distributes the distribution table so as to distribute the uplink packet of the predetermined hash value to the identified dispatcher. Fix,
The load distribution device according to claim 2,
ことを特徴とする請求項２に記載の負荷分散装置。 The balancer calculates the distribution efficiency for each dispatcher of the transmission destination of the uplink packet, based on the ratio of transmitting the downlink packet, which is a response to the uplink packet of a predetermined hash value, and the transfer efficiency between dispatchers, Identifying a dispatcher maximizing the distribution efficiency, and modifying the distribution table so as to distribute an upstream packet of the predetermined hash value to the identified dispatcher;
The load distribution device according to claim 2,
ことを特徴とする請求項２に記載の負荷分散装置。 The unique identifier is transmission destination information of the upstream packet and transmission source information of the downstream packet.
The load distribution device according to claim 2,
ことを特徴とする請求項２に記載の負荷分散装置。 If the overall distribution efficiency by the hash function that calculates a hash value from the unique identifier is equal to or less than a predetermined threshold, the balancer changes to a hash function with better distribution efficiency.
The load distribution device according to claim 2,
前記複数の仮想マシンにパケットを振り分けると共に相互にパケットを渡す複数のディスパッチャと、
前記仮想マシンのうちのいずれかに送信する上りパケットを、振分テーブルに基づいて前記複数のディスパッチャのいずれかに振り分けると共に、前記上りパケットへの応答である下りパケットが所定割合を超えて異なるディスパッチャから中継されてきたとき、前記振分テーブルを修正するバランサと、
を備えることを特徴とする負荷分散システム。 With multiple virtual machines,
A plurality of dispatchers that distribute packets to the plurality of virtual machines and pass the packets to each other;
An upstream packet to be transmitted to any one of the virtual machines is distributed to one of the plurality of dispatchers based on a distribution table, and a downstream packet which is a response to the upstream packet differs by more than a predetermined ratio. A balancer that corrects the distribution table when relayed from the
A load distribution system comprising:
前記仮想マシンのうちのいずれかに送信する上りパケットを、振分テーブルに基づいて前記複数のディスパッチャのいずれかに振り分ける負荷分散手段、
前記上りパケットへの応答である下りパケットが所定割合を超えて異なるディスパッチャから中継されてきたとき、前記振分テーブルを修正するテーブル変更手段、
として機能させるための負荷分散プログラム。 A computer in which a plurality of virtual machines and a plurality of dispatchers that distribute packets to the plurality of virtual machines and pass packets to each other are embodied,
Load distribution means for distributing an upstream packet to be transmitted to any one of the virtual machines to any of the plurality of dispatchers based on a distribution table;
Table changing means for correcting the distribution table when a downstream packet, which is a response to the upstream packet, is relayed from a different dispatcher by exceeding a predetermined ratio
Load balancing program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017197037A JP6802771B2 (en) | 2017-10-10 | 2017-10-10 | Load distribution equipment, load distribution system, and load distribution program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017197037A JP6802771B2 (en) | 2017-10-10 | 2017-10-10 | Load distribution equipment, load distribution system, and load distribution program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019071564A true JP2019071564A (en) | 2019-05-09 |
| JP6802771B2 JP6802771B2 (en) | 2020-12-23 |
Family
ID=66441952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017197037A Active JP6802771B2 (en) | 2017-10-10 | 2017-10-10 | Load distribution equipment, load distribution system, and load distribution program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6802771B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004051943A1 (en) * | 2002-12-05 | 2004-06-17 | Fujitsu Limited | Nas load distribution system |
| US20120057591A1 (en) * | 2010-09-07 | 2012-03-08 | Check Point Software Technologies Ltd. | Predictive synchronization for clustered devices |
| JP2012128698A (en) * | 2010-12-16 | 2012-07-05 | Hitachi Ltd | Load distribution blade system |
| JP2015162105A (en) * | 2014-02-27 | 2015-09-07 | 日本電信電話株式会社 | cluster system |
-
2017
- 2017-10-10 JP JP2017197037A patent/JP6802771B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004051943A1 (en) * | 2002-12-05 | 2004-06-17 | Fujitsu Limited | Nas load distribution system |
| US20120057591A1 (en) * | 2010-09-07 | 2012-03-08 | Check Point Software Technologies Ltd. | Predictive synchronization for clustered devices |
| JP2012128698A (en) * | 2010-12-16 | 2012-07-05 | Hitachi Ltd | Load distribution blade system |
| JP2015162105A (en) * | 2014-02-27 | 2015-09-07 | 日本電信電話株式会社 | cluster system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6802771B2 (en) | 2020-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10855580B2 (en) | Consistent route announcements among redundant controllers in global network access point | |
| US9553809B2 (en) | Asymmetric packet flow in a distributed load balancer | |
| US9432245B1 (en) | Distributed load balancer node architecture | |
| US10038626B2 (en) | Multipath routing in a distributed load balancer | |
| US9559961B1 (en) | Message bus for testing distributed load balancers | |
| US10069903B2 (en) | Distributed load balancer | |
| US10135914B2 (en) | Connection publishing in a distributed load balancer | |
| CN107995123B (en) | Load balancing system and method based on switch | |
| US9942152B2 (en) | Forwarding data packets using a service-based forwarding policy | |
| CA3150018A1 (en) | Messaging platform for delivering real-time messages | |
| US10972554B1 (en) | Management of distributed endpoints | |
| US11451477B2 (en) | Load balanced access to distributed endpoints | |
| US10129152B2 (en) | Setting method, server device and service chain system | |
| WO2015100487A1 (en) | Distributed multi-level stateless load balancing | |
| KR20010088742A (en) | Parallel Information Delievery Method Based on Peer-to-Peer Enabled Distributed Computing Technology | |
| WO2010098969A2 (en) | Load balancing in a multiple server system hosting an array of services | |
| US9864856B2 (en) | Efficient hardware trust verification in data communication systems that comprise network interface cards, central processing units, and data memory buffers | |
| CN112839081A (en) | Load balancing method of cloud cluster | |
| US11425042B2 (en) | Managing data throughput in a distributed endpoint network | |
| Stephens et al. | TCP is harmful to in-network computing: designing a message transport protocol (MTP) | |
| EP3025234A1 (en) | Method and apparatus for providing redundant data access | |
| CN116489157A (en) | Management of distributed endpoints | |
| US11552898B2 (en) | Managing data throughput in a distributed endpoint network | |
| CN114697400B (en) | Service scheduling method, system and VTEP | |
| JP6802771B2 (en) | Load distribution equipment, load distribution system, and load distribution program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6802771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |