JP2011138184A - 仮想マシン移動制御装置、仮想マシン移動制御方法および仮想マシン移動制御プログラム - Google Patents

Abstract

【課題】ユーザ数やサービスの利用量の変動が激しい状況下であっても、仮想マシンの移動にかかる所要時間を短縮することを課題とする。
【解決手段】仮想マシン移動制御装置１は、物理マシン７Ａで稼動する仮想マシン８Ａの移動状況に応じて、仮想マシン８Ａが現在稼動している物理マシン７Ａから他の物理マシン７Ｂへ移動するための移動計画を立案する。そして、仮想マシン移動制御装置１は、立案した移動計画の移動所要時間と現在実行中の仮想マシン８Ａの移動計画の移動所要時間とを比較し、立案された移動計画と現在実行中の仮想マシン８Ａの移動計画とではどちらの移動計画の終了時刻が早いかを評価する。計画実行部６は、評価部５によって評価された結果、立案された移動計画の終了時刻が現在実行中の仮想マシン８Ａの移動計画の終了時刻よりも早い場合には、立案された移動計画を実行する。
【選択図】図１

Description

本発明は、仮想マシン移動制御装置、仮想マシン移動制御方法および仮想マシン移動制御プログラムに関する。

近年、仮想化技術が注目されており、複数の物理マシン（Ｐｈｙｓｉｃａｌ Ｍａｃｈｉｎｅ：以下ＰＭという）上に複数の仮想マシン（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：以下ＶＭという）を載せる仮想マシンシステムが利用されている。このようなシステムにおいて、ＶＭが提供しているサービスをほとんど停止させずに別のＰＭに移動させるＶＭ動的移動（以下、ライブマイグレーション）という技術がある。

ここで、図２２および図２３を用いて、ライブマイグレーションの処理を具体的に説明する。図２２に例示するように、物理マシンであるサーバ１は、複数のＶＭ１、２とＶＭを管理するＶＭ管理部とを有する。ここでは、サーバ１上で動作しているＶＭ２をサーバ２上にＶＭ２´として移動するライブマイグレーションの動作について説明する。

図２３に示すように、まず、移動元ＶＭ２から移動先ＶＭ２´にメモリの内容をコピーする（図２３の「コピーｓｔｅｐ１」参照）。続いて、コピー中に移動元ＶＭ２のメモリ内容に変更があった場合に、変更分メモリの内容をコピーする。これを変更分のメモリ量が転送時間１秒以下の見積もりになるまで繰り返す（図２３の「コピーｓｔｅｐ２〜３」参照）。そして、転送時間１秒以下の見積もりになった場合には、移動元ＶＭ２を停止して、変更分をまとめてコピーし（図２３の「コピーｓｔｅｐ４」参照）、移動先ＶＭ２´の動作を開始させる。

また、ライブマイグレーションを行う場合には、ＣＰＵ、ネットワーク帯域幅などのリソースを利用するため、移動開始から終了までの所要時間がコピーするメモリ量・使用できるＣＰＵ利用率・ネットワーク帯域幅などに依存する。複数のライブマイグレーションを同時に実行するときには、これらリソース競合と所要時間を鑑みた上でライブマイグレーションをどのような順番で行うかという移動手順を事前に計画し、移動計画に従ってライブマイグレーションを実行する。

特開２００８−２１７３０２号公報

ところで、上記の配備手順を事前に計画し、計画に従ってライブマイグレーションを実行する技術では、サーバを利用するユーザ数やサービスの利用量の変動が激しい場合には、仮想マシンの移動にかかる所要時間が延びるという問題があった。つまり、ユーザ数やサービスの利用量の変動が激しい場合には、転送スループットの低下や転送メモリ量の増大が発生し、ライブマイグレーションの所要時間が延びることが多い。このため、ユーザ数やサービスの利用量の変動が激しい状況下において、多数のＶＭを対象とする大規模な配備計画を実行した場合には、各ＶＭのライブマイグレーションの遅れが積み重なり、全体的に大きな遅れが発生する。

開示の技術は、上記に鑑みてなされたものであって、上述した従来技術の課題を解決するためになされたものであり、ユーザ数やサービスの利用量の変動が激しい状況下であっても、仮想マシンの移動にかかる所要時間を短縮することを目的とする。

本願の開示する仮想マシン移動制御装置は、一つの態様において、物理マシンで稼動する仮想マシンの移動状況を監視し、監視された移動状況に応じて、仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するための計画である移動計画を立案する。そして、立案された移動計画を実行した場合に、仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するために要する時間である移動所要時間を推計する。続いて、推計された移動所要時間と現在実行中の仮想マシンの移動計画を実行した場合に要する移動所要時間とを比較し、立案された移動計画と現在実行中の仮想マシンの移動計画とではどちらの移動計画の終了時刻が早いかを評価する。その後、立案された移動計画の終了時刻が現在実行中の仮想マシンの移動計画の終了時刻よりも早い場合には、立案された移動計画を実行する。

本願の開示する仮想マシン移動制御装置の一つの態様によれば、ユーザ数やサービスの利用量の変動が激しい状況下であっても、仮想マシンの移動にかかる所要時間を短縮するという効果を奏する。

図１は、実施例１に係る仮想マシン移動制御装置の構成を示すブロック図である。 図２は、実施例２に係るＶＭシステムの構成を示すブロック図である。 図３は、実施例２に係るＶＭ移動制御装置の構成を示すブロック図である。 図４は、配備計画の一例を示す図である。 図５は、初期状態のリソース状態表の一例を示す図である。 図６は、使用中ＰＭリストの一例を示す図である。 図７は、全体監視リストの一例を示す図である。 図８は、進捗報告の一例を示す図である。 図９は、予想所要時間表の一例を示す図である。 図１０は、リソース状態表の一例を示す図である。 図１１は、配備計画の一例を示す図である。 図１２は、配備計画を実行した場合における配備所要時間について説明する図である。 図１３は、配備計画を実行した場合における配備所要時間について説明する図である。 図１４は、配備計画を実行した場合における配備所要時間について説明する図である。 図１５は、監視リストの一例を示す図である。 図１６は、実施例２に係るＶＭ移動制御装置の全体の処理動作を示すフローチャートである。 図１７は、実施例２に係るＶＭ移動制御装置の評価処理の動作を示すフローチャートである。 図１８は、実施例２に係るＶＭ移動制御装置の配備実行処理の動作を示すフローチャートである。 図１９は、実施例２に係るＶＭ移動制御装置の所要時間推計処理の動作を示すフローチャートである。 図２０は、実施例２に係るＶＭ移動制御装置の進捗情報更新処理の動作を示すフローチャートである。 図２１は、仮想マシン移動制御プログラムを実行するコンピュータを示す図である。 図２２は、従来のライブマイグレーションを説明する図である。 図２３は、従来のライブマイグレーションを説明する図である。

以下に添付図面を参照して、この発明に係る仮想マシン移動制御装置、仮想マシン移動制御方法および仮想マシン移動制御プログラムの実施例を詳細に説明する。

図１を用いて、実施例１に係る仮想マシン移動制御装置の構成を説明する。図１は、実施例１に係る仮想マシン移動制御装置の構成を示すブロック図である。図１に示すように、仮想マシン移動制御装置１は、仮想マシンが動作している物理マシン７Ａ、７Ｂと接続されている。

仮想マシン移動制御装置１は、仮想マシン監視部２、移動計画立案部３、所要時間推計部４、評価部５、計画実行部６を有する。物理マシン７Ａでは、仮想マシン８Ａ、８Ｂが稼動し、物理マシン７Ｂでは、仮想マシン８Ｃ、８Ｄが稼動している。図１の例では、仮想マシン８Ａが物理マシン７Ａから物理マシン７Ｂへ移動する場合の例を示している。

仮想マシン監視部２は、物理マシン７Ａで稼動する仮想マシン８Ａの移動状況を監視する。移動計画立案部３は、仮想マシン監視部２によって監視された移動状況に応じて、仮想マシン８Ａが現在稼動している物理マシン７Ａから他の物理マシン７Ｂへ移動するための計画である移動計画を立案する。所要時間推計部４は、移動計画立案部３によって立案された移動計画を実行した場合に、仮想マシン８Ａが現在稼動している物理マシン７Ａから他の物理マシン７Ｂへ移動するために要する時間である移動所要時間を推計する。

評価部５は、所要時間推計部４によって推計された移動所要時間と現在実行中の仮想マシン８Ａの移動計画を実行した場合に要する移動所要時間とを比較し、移動計画立案部３によって立案された移動計画と現在実行中の仮想マシン８Ａの移動計画とではどちらの移動計画の終了時刻が早いかを評価する。計画実行部６は、評価部５によって評価された結果、移動計画立案部３によって立案された移動計画の終了時刻が現在実行中の仮想マシン８Ａの移動計画の終了時刻よりも早い場合には、移動計画立案部３によって立案された移動計画を実行する。

つまり、仮想マシン移動制御装置１は、仮想マシンの移動時において、仮想マシンの移動状況を動的に監視して、仮想マシンの移動に掛かる所要時間の見積もりを推計し、仮想マシンの移動計画を状況に応じて変更する。この結果、ユーザ数やサービスの利用量の変動が激しい状況下であっても、仮想マシンの移動にかかる所要時間を短縮する。

［ＶＭシステムの構成］
まず最初に、図２を用いて、ＶＭシステム１００の構成を説明する。図２は、実施例２に係るＶＭシステムの構成を示すブロック図である。図２に示すように、このＶＭシステム１００は、ＶＭ移動制御装置１０、複数のサーバ２０Ａ、２０Ｂ、利用者端末６０を有する。また、ＶＭシステム１００では、管理ネットワーク３０を介してＶＭ移動制御装置１０と複数のサーバ２０Ａ、２０Ｂとが接続され、サービスネットワーク４０およびインターネットを介して複数のサーバ２０Ａ、２０Ｂと利用者端末６０とが接続される。

ＶＭ移動制御装置１０は、サービスを実行しているＶＭが提供しているサービスをほとんど停止させずに別のＰＭに移動させるＶＭ動的移動であるライブマイグレーションを行う。具体的には、ＶＭ移動制御装置１０は、複数のライブマイグレーションを同時に実行する場合に、リソース競合と所要時間を鑑みた上でライブマイグレーションをどのような順番で行うかという配備手順を事前に計画し、配備計画に従ってライブマイグレーションを実行する。なお、ＶＭ移動制御装置１０の詳しい構成および処理については、後に詳述する。

サーバ２０Ａは、複数のＶＭ２１Ａ、２１Ｂと各ＶＭを管理するＶＭ管理部２２Ａとを有する。サーバ２０Ｂは、複数のＶＭ２１Ｃ、２１Ｄと各ＶＭを管理するＶＭ管理部２２Ｂとを有する。サーバ２０Ａ、２０Ｂは、サービスネットワーク４０およびインターネット５０を介して、利用者端末６０にサービスを提供している。利用者端末６０は、サーバ２０Ａ、２０Ｂに対してサービスを要求し、サーバ２０Ａ、２０Ｂからのサービスを受信する。

［ＶＭ移動制御装置の構成］
次に、図３を用いて、ＶＭ移動制御装置の構成を説明する。図３は、実施例２に係るＶＭ移動制御装置の構成を示すブロック図である。図３に示すように、ＶＭ移動制御装置１０は、管理インタフェース１１、配備計画立案部１２、評価部１３、配備実行部１４、所要時間推計部１５、全体進捗監視部１６、ＶＭ制御部１７を有し、管理ネットワーク３０を介して複数のサーバ２０Ａ、２０Ｂ・・と接続される。

管理インタフェース１１は、管理者から配備要求の指示を受ける。具体的には、管理インタフェース１１は、管理者から配備要求の指示を受けると、評価部１３に配備要求を通知する。

配備計画立案部１２は、監視されたＶＭに関する情報を用いて、ＶＭが現在稼動しているサーバ２０Ａから他のサーバ２０Ｂへ移動するための計画である移動計画を立案する。具体的には、配備計画立案部１２は、評価部１３から配備計画要求を受け付けると、電力消費量が少なく、かつ移動時間を短くする配備計画を立案し、評価部１３に配備計画報告を通知する。

例えば、配備計画立案部１２は、後述する初期状態のリソース表（図５参照）において、全てのＶＭのＶＭ要求容量の総和が２＋２＋３＋２＋３＋２＋２＝１６であり、各ＰＭの保持容量が９であるので、ＶＭを２台に詰め込む配備計画を立案して、消費量を少なくする。なお、詰め込む方法は何通りもあるが、ここでは移動時間を短くするために、できるだけＶＭ移動の総数を減らし、できるだけ移動時間が短いＶＭの組み合わせを選び、できるだけ多くのＶＭを同時に移動させる手順を立案する。例えば、図５の例では、まずＶＭ３１を別のＰＭに移動させ、次いでＶＭ１１とＶＭ１２、またはＶＭ４１とＶＭ４２を別のＰＭに移動させることが効果的である。

ここで、図４を用いて、配備計画について説明する。図４は、配備計画の一例を示す図である。図４に例示するように、配備計画は、移動対象となる「移動対象ＶＭ」、移動元のＰＭである「移動元ＰＭ」、移動先のＰＭである「移動先ＰＭ」、ＶＭの移動の条件である「移動条件」を記憶する。例えば、移動条件として「Ｓｖｒ１、Ｓｖｒ３」とある場合には、Ｓｖｒ１およびＳｖｒ３で移動が行われていないときに移動可能であることを意味する。

また、配備計画は、移動時に成立していなければならないフラグである「前提条件」、移動終了後に成立するフラグである「終了後条件」を記憶する。つまり、移動対象ＶＭの移動は、前提条件と移動条件が成立していなければならない。例えば、ＶＭ４２について、移動条件が「Ｓｖｒ１、Ｓｖｒ４」とあり、前提条件が「ＶＭ４１終了」とある場合には、Ｓｖｒ１およびＳｖｒ３で移動が行われておらず、かつ、ＶＭ４１の移動が終了している場合に、ＶＭ４２の移動を行うことができる。

評価部１３は、推計された移動所要時間と現在実行中のＶＭの移動計画を実行した場合に要する移動所要時間とを比較し、移動計画立案部１２に立案された移動計画と現在実行中の仮想マシンの移動計画とではどちらの移動計画の終了時刻が早いかを評価する。具体的には、評価部１３は、配備要求を管理インタフェース１１から受信すると、配備計画立案部１２に配備計画要求とともに、リソース状態表を通知し、その後、配備計画立案部１２から配備計画報告を受信する。

そして、評価部１３は、すでに実行中の配備計画があれば、所要時間推計部１５に予想所要時間要求を通知し、予想所要時間報告を受信して、新しい配備計画が優れているか前回の配備計画が優れているか、両配備計画を比較して評価する。両配備計画を比較して評価する処理を具体的に説明すると、評価部１３は、前回の計画をそのまま実行したときの全配備完了時間を計算するとともに、配備計画立案部１２より新しい配備計画を受け取り、全配備完了時間を計算する。そして、両配備計画の全配備完了時間から全配備完了時刻を計算し、全配備完了時刻が早いほうが優れていると評価する。

この結果、評価部１３は、新しい配備計画が優れていると判定した場合には、配備実行部１４に、現在実行中の配備計画を停止するよう配備中止要求を出し、実行中のライブマイグレーションを停止する必要があれば、全体進捗監視部に移動中止要求を通知する。その後、評価部１３は、新しい配備計画にしたがって、配備実行部１４に配備要求を通知する。

ここで、図５を用いて、初期状態のリソース状態表について説明する。図５は、初期状態のリソース状態表の一例を示す図である。図５に例示するように、リソース状態表は、物理マシンである「ＰＭ」、ＰＭのメモリ容量である「ＰＭ保持容量」、各ＰＭに配備された「配備ＶＭ」、各ＶＭが要求する使用メモリである「要求容量」を記憶する。図５に例示するように、リソース状態表は、ＶＭが移動する時間の見積もりである「ＶＭ移動時間見積もり」、ＰＭが使用する電力量の見積もりである「使用電力量見積もり値」を記憶する。

例えば、図５のリソース状態表は、Ｓｖｒ１について、ＰＭ保持容量が９ＧＢであり、配備ＶＭがＶＭ１１およびＶＭ１２であり、ＶＭ要求単位がＶＭ１１およびＶＭ１２それぞれ２ＧＢであり、ＶＭ移動時間見積もりがＶＭ１１およびＶＭ１２それぞれ１１８である。また、図５のリソース状態表では、使用電力量見積もり値が４＋Ｍである。使用電力量見積もり値は、ＰＭごとに使用メモリ容量に比例し、また、一定量Ｍがあるものとする。つまり、一定量Ｍがあるため、できるだけ少ないＰＭにＶＭを集約するように、ＶＭを移動し、消費電力を削減する。例えば、通常のＰＣにおいて、アイドル時１４０Ｗ、高負荷時２４０Ｗの消費電力がある場合に、この場合Ｍ＝１４０Ｗ、すなわち約６０％の電力が起動しているだけで消費しており、この消費電力を削減する効果がある。

配備実行部１４は、評価された結果、立案された移動計画の終了時刻が現在実行中の仮想マシンの移動計画の終了時刻よりも早い場合には、立案された移動計画を実行する。具体的には、配備実行部１４は、評価部１３から配備要求を受け付けると、配備計画の中から実行可能なライブマイグレーションをＶＭ制御部１７を通じて実行するとともに、全体進捗監視部１６に監視追加要求を通知する。

例えば、配備実行部１４は、図４の配備計画の移動対象ＶＭを上から検索し、まずＶＭ３２について、まだどのＶＭも移動していないため移動条件が成立し、また、前提条件も存在しないため実行可能であると判定する。そして、配備実行部１４は、Ｓｖｒ１、Ｓｖｒ３使用中として使用中ＰＭリストに加えるとともに、ＶＭ３１の移動をＶＭ制御部１７を通じて実行するとともに、全体進捗監視部１６に監視追加要求を通知する。

ここで、使用中ＰＭリストについて図６を用いて説明する。図６は、使用中ＰＭリストの一例を示す図である。図６に示すように、使用中ＰＭリストは、現在移動中のＶＭを載せているサーバを「使用中ＰＭ」として記憶している。

また、配備実行部１４は、移動終了報告をサーバ２０Ａ、２０Ｂから受信すると、次のライブマイグレーションを試み、配備中止要求が来れば実行中のライブマイグレーションはそのままに、配備計画を破棄して終了する。

全体進捗監視部１６は、所定のサーバで稼動する仮想マシンに関する情報を監視する。具体的には、全体進捗監視部１６は、ライブマイグレーション中のＶＭの転送量、メモリ変更量、経過時間を動的に取得して集計する。また、全体進捗監視部１６は、監視追加要求を受け付けると、対象ＶＭを全体監視リストに追加するとともに、対象のＶＭ管理部２２の進捗監視部２３に監視開始要求を出す。

ここで、図７を用いて全体監視リストについて説明する。図７は、全体監視リストの一例を示す図である。図７に示すように、全体監視リストは、監視対象である「監視対象ＶＭ」、移動元のＰＭである「移動元ＰＭ」、移動先のＰＭである「移動先ＰＭ」、移動を開始する時刻である「開始時刻」を記憶する。また、全体監視リストは、転送の予定量である「転送予定量」、転送する必要がある残りの転送量である「転送量」、メモリ変更量である「変更量」を記憶する。なお、初期の転送予定量は、対象ＶＭのＶＭ要求単位に等しいが、次の段の事前コピーに入ったときは値が変わるので、転送予定量を変更すると共に、開始時刻も現時刻に更新する。この監視リストを全体進捗監視部に進捗報告として出し、全体進捗監視部はそれを受けて、進捗報告に含まれるVMの情報を全体監視リストに反映する。

また、全体進捗監視部１６は、所要時間推計部１５から進捗報告要求を受け付けると、進捗報告を所要時間推計部１５に返す。ここで、図８を用いて進捗報告について説明する。図８は、進捗報告の一例を示す図である。図８に示すように、進捗報告は、「移動元ＰＭ」、「移動先ＰＭ」、「開始時刻」、「転送予定量」が全体監視リストと内容が同様であり、現時点での残り「転送量」とメモリ「変更量」がデータとして含まれている。

また、全体進捗監視部１６は、移動終了報告を受け付けると、全体監視リストから対象を削除するとともに、評価部１３に配備要求を配備実行部１４に移動終了報告を通知する。また、全体進捗監視部１６は、移動中止要求を受け付けると、対象を管理するＶＭ管理部２２の進捗監視部２３に移動中止要求を通知する。また、全体進捗監視部１６は、移動中止報告を受け付けると、全体監視リストから対象を削除する。

所要時間推計部１５は、立案された移動計画を実行した場合に、仮想マシンが現在稼動しているサーバ２０Ａから他のサーバ２０Ｂへ移動するために要する時間である移動所要時間を推計する。具体的には、所要時間推計部１５は、予想所要時間要求を受けると、全体進捗監視部１６に進捗報告要求を通知し、全体進捗監視部１６から進捗報告を受けて、それぞれのＶＭについて転送量、転送スループット、メモリ変更量を用いて、予想所要時間を推計し、予想所要時間表を評価部１３に通知する。

そして、所要時間推計部１５は、所定のトリガによって予想所要時間を再計算する。例えば、所要時間推計部１５は、所定のトリガとして、定期的に予想所要時間を再計算してもよいし、管理者からの新規ＶＭ配置の要求時に予想所要時間を再計算してもよいし、ＶＭ移動完了時に予想所要時間を再計算してもよい。つまり、配備計画全ての実行終了を待つことなく、所定のトリガが発生した場合に、予想所要時間を再計算して現状のまま配備計画を進めた場合における全配備の終了時刻を推計し、それと同時に配備計画を再立案し、全配備終了予想時刻を推計する。

ここで、図９を用いて予想所要時間表について説明する。図９に示すように、監視対象である「監視対象ＶＭ」、移動元のＰＭである「移動元ＰＭ」、移動先のＰＭである「移動先ＰＭ」、移動を開始する時刻である「開始時刻」を記憶する。また、全体監視リストは、転送の予定量である「転送予定量」、転送する必要がある残りの転送量である「転送量」、メモリ変更量である「変更量」、転送スループットである「移動ＴＰ」、メモリの変更率である「変更率」、配備計画にかかる予想時間である「予想所要時間」、配備計画が終了する予想時刻である「予想終了時刻」を記憶する。

また、ここで、転送量、転送スループット、メモリ変更量を用いて、予想所要時間を推計する方法について具体的に説明する。ここでは、転送元ＶＭのメモリが「２ＧＢ」で、ライブマイグレーション中にメモリが変更される率であるメモリ変更率が「２５％」で、転送スループットが「１Ｇｂｐｓ」の場合について説明する。例えば、所要時間推計部１５は、転送対象は全てのメモリ「２ＧＢ」であるため、最初の転送に掛かる転送時間１が「２［ＧＢ］／１［Ｇｂｐｓ］＝１６［ｓ］」であると推計し、転送中のメモリ変更量が「２［ＧＢ］＊２５［％］＝５１２［ＭＢ］」であると推計する。

そして、所要時間推計部１５は、転送対象は前の転送処理中でのメモリ変更量が「５１２ＭＢ」となるため、次に掛かる転送時間２が「５１２［ＭＢ］／１［Ｇｂｐｓ］＝４［ｓ］」であると推計し、転送中のメモリ変更量が「５１２［ＭＢ］＊２５［％］＝１２８［ＭＢ］」であると推計する。

そして、所要時間推計部１５は、転送対象は前の転送処理中でのメモリ変更量が「１２８ＭＢ」となるため、次に掛かる転送時間３が「１２８［ＭＢ］／１［Ｇｂｐｓ］＝１［ｓ］」であると推計し、転送中のメモリ変更量が「１２８［ＭＢ］＊２５［％］＝３２［ＭＢ］」であると推計する。

続いて、所要時間推計部１５は、転送対象は前の転送処理中でのメモリ変更量が「３２ＭＢ」となるため、次に掛かる転送時間４が「３２［ＭＢ］／１［Ｇｂｐｓ］＝０．２５［ｓ］」であると推計し、転送中のメモリ変更量が「３２［ＭＢ］＊２５［％］＝８［ＭＢ］」であると推計する。なお、メモリ変更量が十分小さくなった場合には、移動元ＶＭを停止して変更分をまとめて転送するので、推計処理をここまでとする。上記の例では、予想所要時間は、転送時間１〜４の和である「１６＋４＋１＋０．２５＝２１．２５［ｓ］」となる。

予想所要時間算出方法を一般化した場合について説明する。まず、現時点における残り転送量をＭｒ１、転送スループットをｔｐ、メモリ変更率をｒとする。この場合に、１回目の転送時間ｔ１は、ｔ１＝Ｍｒ１／ｔｐとなる。このときのメモリ変更量Ｍｒ２は、Ｍｒ２＝Ｍｒ１＊ｒとなる。続いて、2回目の転送時には、残りの転送量がＭｒ２であり、転送時間ｔ２がｔ２＝Ｍｒ２／ｔｐとなる。このときのメモリ変更量Ｍｒ３は、Ｍｒ３＝Ｍｒ２＊ｒ＝Ｍｒ１＊ｒ＾２となる。

同様にして、転送時間ｔｉ＝Ｍｒｉ／ｔｐとなり、このときのメモリ変更量Ｍｒｉ＝Ｍｒ（ｉ−１）＊ｒ＝Ｍｒ（ｉ−２）＊ｒ＊ｒ＝・・・＝ Ｍｒ１＊ｒ＾（ｉ−１）なので、ｔｉは、下記（１）式で算出される。また、予想所要時間Ｔは、転送時間ｔ１・・・ｔｉの合計なので、下記（２）式で算出され、ｎが∞のとき、予想所要時間Ｔは、下記（３）式で算出される。このように、予想所要時間Ｔ＝初期転送量／転送スループット／（１−メモリ変更率）を用いることで、繰り返しコピーを考慮した所要時間を推計できる。なお、転送スループットとメモリ変更率は所与でなく、ライブマイグレーション中に動的に変わっていくものである。ここで、転送スループットとは、転送量を経過時間で除算した値であり、メモリ変更率とは、メモリ変更量を転送量で除算した値である。

ＶＭ制御１７は、配備実行部１４、全体進捗監視部１６と各ＶＭ管理部１７の間の各要求、報告を中継し、各ＶＭ２１Ａ〜２１Ｄの各種制御を行う。

このように、ＶＭ移動制御装置１０は、仮想マシンの移動時において、仮想マシンの移動状況を動的に監視して、仮想マシンの移動に掛かる所要時間の見積もりを推計し、仮想マシンの移動計画を状況に応じて変更する。この結果、ユーザ数やサービスの利用量の変動が激しい状況下であっても、仮想マシンの移動にかかる所要時間を短縮することができる。

ここで、配備計画を実行した配備計画を実行した場合における配備所要時間について図１２〜１４を用いて説明する。図１２〜１４は、配備計画を実行した場合における配備所要時間について説明する図である。図１２の図は、図４に例示した配備計画を実行する場合の例である。なお、図１２の図において、縦軸が時間軸を示しており、ＶＭライフラインとは、各ＶＭから下に伸びる実線であり、実線が伸びている時間については、ＶＭが活動していることを意味する。また、ＶＭ利用リソース量とは、ＶＭがＳｖｒ上で利用するリソースの量であり、全リソース量とは、Ｓｖｒが保持するリソースの量である。

図１２に示すように、ＶＭ移動制御装置１０は、配備計画として、サーバＳｖｒ１〜４上で動作する各ＶＭ１１、１２、２１、２２、３１、４１、４２のうち、ＶＭ３１をＳｖｒ１に移動するとともに、ＶＭ４１をＳｖｒ２に移動させ、ＶＭ４１を移動した後にＶＭ４２をＳｖｒ１に移動させる。

具体的には、ＶＭ移動制御装置１０は、ＶＭ３１を移動するために約３分の移動処理期間が掛かる見積もりを推計し、また、ＶＭ移動制御装置１０は、ＶＭ４１を移動するために約２分の移動処理期間が掛かると推計し、さらにＶＭ４２を移動するために約２分の移動処理期間が掛かると推計している。この結果、ＶＭ移動制御装置１０は、配備計画の全体の配備所要時間として、見積もりを約５分と算出する。なお、ＶＭ移動制御装置１０は、移動が完了すると、移動元のＶＭを削除する。

次に、図１３に示すように、ＶＭ移動制御装置１０は、配備計画を開始してから２分が経過して、ＶＭ４１をＳｖｒ４からＳｖｒ２へ移動が完了した場合に、各サーバから転送量、変更量、所要時間を収集し、リソース状態表を更新する。例えば、ＶＭ移動制御装置１０は、図５に例示する初期状態のリソース状態表から図１０に例示するリソース状態表に更新する。図１０に例示するように、更新されたリソース状態表は、ＶＭ４１がＳｖｒ４からＳｖｒ２に移動しており、ＶＭ３１のＶＭ移動時間見積もりが「６００」秒となっている。

そして、ＶＭ移動制御装置１０は、リソース状態表を更新した後、このまま当初の配備計画を実行し続けた場合の配備所要時間（見積もり２）を推計する。この結果、ＶＭ移動制御装置１０は、ＶＭ３１の移動が完了するのが１０分後、ＶＭ４２の移動が完了するのが２分後であると推計し、合計１２分後に全配備計画が完了すると推計する。

次に、図１４に示すように、ＶＭ移動制御装置１０は、現況に応じて新たな配備計画を立案する。例えば、ＶＭ移動制御装置１０は、図１１に例示する配備計画を立案する。図１１に例示するように、図４に例示する配備計画と比較して、移動対象ＶＭ「ＶＭ４２」の移動先が「Ｓｖｒ１」から「Ｓｖｒ２」に変更となり、移動条件が「Ｓｖｒ１，Ｓｖｒ４」から「Ｓｖｒ２，Ｓｖｒ４」に変更となり、前提条件が無くなっている点が変更となっている。

つまり、ＶＭ移動制御装置１０は、「ＶＭ４２」の移動先が「Ｓｖｒ１」から「Ｓｖｒ２」に変更したことでＶＭ「ＶＭ４１」が「Ｓｙｒ１」の移動が完了するのを待つことなく、「ＶＭ４２」を「Ｓｖｒ２」に移動することができる。このため、新配備計画でＳｖｒの空いている時間が増えるとともに、さらに、新配備計画で配備が完了する時間を削減することができる。

図３の説明に戻って、サーバ２０Ａは、仮想マシンであるＶＭ２１ＡおよびＶＭ２１Ｂと、仮想マシンを管理するＶＭ管理部２２Ａを有する。また、ＶＭ管理部２２Ａは、進捗監視部２３Ａを有する。なお、サーバ２０Ｂは、サーバ２０Ａと同様の構成であり、説明を省略する。

進捗監視部２３Ａは、移動中のＶＭの転送量、メモリ変更量、経過時間を動的に取得し、ＶＭ移動制御装置１０の全体進捗監視部１６に通知する。具体的には、進捗監視部２３Ａは、ＶＭ移動制御装置１０から監視開始監視開始要求を受信すると、監視対象のＶＭを監視リストに追加する。また、進捗監視部２３Ａは、監視対象のＶＭの移動が終了した場合には、監視リストから削除し、ＶＭ移動制御装置１０の全体進捗監視部１６に移動終了報告を通知する。

また、進捗監視部２３Ａは、移動中止要求を受け付けると、ＶＭ管理部２２Ａを介して、対象ＶＭの移動中止処理を行い、監視リストから対象を削除し、ＶＭ移動制御装置１０の全体進捗監視部１６に移動中止報告を通知する。また、進捗監視部２３Ａは、進捗報告要求を受け付けると、監視リスト内のＶＭそれぞれの進捗データを集計し、ＶＭ移動制御装置１０の全体進捗監視部１６に進捗報告を通知する。

［ＶＭ移動制御装置による処理］
次に、図１６〜図２０を用いて、実施例２に係るＶＭ移動制御装置１０による処理を説明する。図１６は、実施例２に係るＶＭ移動制御装置の全体の処理動作を示すフローチャートである。図１７は、実施例２に係るＶＭ移動制御装置の評価処理の動作を示すフローチャートである。図１８は、実施例２に係るＶＭ移動制御装置の配備実行処理の動作を示すフローチャートである。図１９は、実施例２に係るＶＭ移動制御装置の所要時間推計処理の動作を示すフローチャートである。図２０は、実施例２に係るＶＭ移動制御装置の進捗情報更新処理の動作を示すフローチャートである。

図１６に示すように、ＶＭ移動制御装置１０は、管理インタフェース１１により起動指示を受け付けると起動し（ステップＳ１０１）、配備計画Ｐを立案する（ステップＳ１０２）。そして、ＶＭ移動制御装置１０は、以前の配備計画Ｐ´があるか判定し（ステップＳ１０３）、以前の配備計画Ｐ´がない場合には（ステップＳ１０３否定）、そのままＰを実行する（ステップＳ１０７）。

また、ＶＭ移動制御装置１０は、以前の配備計画Ｐ´がある場合には（ステップＳ１０３肯定）、配備計画Ｐと配備計画Ｐ´を比較して評価する処理（後に図１７を用いて詳述）を行う（ステップＳ１０４）。そして、ＶＭ移動制御装置１０は、配備計画Ｐ´より配備計画Ｐがよいか判定し（ステップＳ１０５）、ＶＭ移動制御装置１０は、配備計画Ｐ´より配備計画Ｐがよくない場合には（ステップＳ１０５否定）、ステップＳ１０８に移行する。また、配備計画Ｐ´より配備計画Ｐがよい場合には（ステップＳ１０５肯定）、中止すべきＶＭ移動を中止し（ステップＳ１０６）、配備計画Ｐを実行する（ステップＳ１０７）。

そして、ＶＭ移動制御装置１０は、所定のトリガが発生したか判定し（ステップＳ１０８）、所定のトリガが発生した場合には（ステップＳ１０８肯定）、予想所要時間を推計する処理（後に図１８を用いて詳述）を行う（ステップＳ１０９）。

次に、図１７を用いて、実施例２に係るＶＭ移動制御装置の評価処理の動作を説明する。図１７に示すように、ＶＭ移動制御装置１０は、以前の配備計画Ｐ´をこのまま進めた場合の全配備終了時刻（ｉ）を推計する（ステップＳ２０１）。そして、ＶＭ移動制御装置１０は、立案された配備計画Ｐの全配備終了時刻（ｉｉ）と配備計画Ｐ´をこのまま進めた場合の全配備終了時刻（ｉ）とを比較して（ステップＳ２０２）、（ｉ）よりも（ｉｉ）が良いか判定する（ステップＳ２０３）。

この結果、ＶＭ移動制御装置１０は、（ｉ）よりも（ｉｉ）が良い場合（ステップＳ２０３肯定）には、図１６のステップＳ１０６に移行し、（ｉ）よりも（ｉｉ）が良くない場合（ステップＳ２０３否定）には、図１６のステップＳ１０８に移行する。

次に、図１８を用いて、実施例２に係るＶＭ移動制御装置の配備実行処理の動作を説明する。図１８に示すように、ＶＭ移動制御装置１０は、移動手順を一つ取り出し（ステップＳ３０１）、手順がすでに実行中か判定する（ステップＳ３０２）。この結果、ＶＭ移動制御装置１０は、ＶＭ制御部１７を通してｉ番目のＶＭであるＶＭｉのライブマイグレーションを実行する（ステップＳ３０３）。

そして、ＶＭ移動制御装置１０は、全体監視リストにＶＭｉを追加する（ステップＳ３０４）。続いて、ＶＭ移動制御装置１０は、実行可能な手順があるか判定し（ステップＳ３０５）、実行可能な手順がある場合には（ステップＳ３０５肯定）、ステップＳ３０１に戻る。また、ＶＭ移動制御装置１０は、実行可能な手順がない場合には（ステップＳ３０５否定）、配備計画Ｐが全て終了したか判定する（ステップＳ３０６）。

この結果、ＶＭ移動制御装置１０は、配備計画Ｐが全て終了した場合には（ステップＳ３０６肯定）、配備実行処理を終了する。また、ＶＭ移動制御装置１０は、配備計画Ｐが全て終了していない場合には（ステップＳ３０６否定）、移動終了が終了したか判定する（ステップＳ３０７）。この結果、ＶＭ移動制御装置１０は、移動が終了したと判定した場合には（ステップＳ３０７肯定）、ステップＳ３０５に戻る。

また、ＶＭ移動制御装置１０は、移動が終了していないと判定した場合には（ステップＳ３０７否定）、配備を中止するか判定する（ステップＳ３０８）。その結果、ＶＭ移動制御装置１０は、配備を中止しない場合には（ステップＳ３０８否定）、ステップＳ３０７に戻り、配備を中止する場合には（ステップＳ３０８肯定）、配備実行処理を終了する。

次に、図１９を用いて、実施例２に係るＶＭ移動制御装置の所要時間推計処理の動作を説明する。図１９に示すように、ＶＭ移動制御装置１０は、ｉの値を「０」に初期化し、進捗報告のサイズをＬとして（ステップＳ４０１）、進捗報告内のｉ版目のＶＭについて、予想所要時間を推計する（ステップＳ４０２）。

そして、ＶＭ移動制御装置１０は、ｉに「１」を加算して（ステップＳ４０３）、進捗報告のサイズＬがｉの値よりも大きいか判定する（ステップＳ４０４）。この結果、ＶＭ移動制御装置１０は、進捗報告のサイズＬがｉの値よりも大きい場合には（ステップＳ４０４肯定）、ステップＳ４０２に戻る。また、ＶＭ移動制御装置１０は、進捗報告のサイズＬがｉの値よりも大きくない場合には（ステップＳ４０４否定）、全ての所要時間推計処理を終了する。

次に、図２０を用いて、実施例２に係るＶＭ移動制御装置の進捗情報更新処理の動作を説明する。図２０に示すように、ＶＭ移動制御装置１０は、全体監視リストサイズが０よりも大きいか判定し（ステップＳ５０１）、全体監視リストサイズが０よりも大きいと判定した場合には（ステップＳ５０１肯定）、ｉを０に初期化して、全体のリストサイズをＬとする（ステップＳ５０２）。そして、ＶＭ移動制御装置１０は、全体監視リスト内ｉ番目のＶＭについて、対象ＶＭ管理部に進捗報告要求を行い（ステップＳ５０３）、ｉに「１」を加算して（ステップＳ５０４）、進捗報告のサイズＬがｉの値よりも大きいか判定する（ステップＳ５０５）。

この結果、ＶＭ移動制御装置１０は、進捗報告のサイズＬがｉの値よりも大きい場合には（ステップＳ５０５肯定）、ステップＳ５０３に戻る。また、ＶＭ移動制御装置１０は、進捗報告のサイズＬがｉの値よりも大きくない場合には（ステップＳ５０５否定）、しばらく待機して（ステップＳ５０６）、ステップＳ５０１に戻る。

[実施例２の効果]
上述してきたように、ＶＭ移動制御装置１０は、サーバ２０で稼動するＶＭ２１の移動状況を監視し、監視された移動状況に応じて、ＶＭ２１が現在稼動しているサーバ２０から他のサーバ２０へ移動するための計画である移動計画を立案する。そして、ＶＭ移動制御装置１０は、立案された移動計画を実行した場合に、ＶＭ２１が現在稼動しているサーバ２０から他のサーバ２０へ移動するために要する時間である移動所要時間を推計する。続いて、ＶＭ移動制御装置１０は、推計された移動所要時間と現在実行中のＶＭ２１の移動計画を実行した場合に要する移動所要時間とを比較し、立案された移動計画と現在実行中のＶＭ２１の移動計画とではどちらの移動計画の終了時刻が早いかを評価する。その後、立案された移動計画の終了時刻が現在実行中のＶＭ２１の移動計画の終了時刻よりも早い場合には、立案された移動計画を実行する。このため、ユーザ数やサービスの利用量の変動が激しい状況下であっても、仮想マシンの移動にかかる所要時間を短縮することが可能である。

また、実施例２によれば、ＶＭ移動制御装置１０は、ＶＭ２１の移動状況として、ＶＭ２１として移動すべき転送量、ＶＭ２１の移動中にメモリの内容が書き換わる率であるメモリ変更率、転送スループットのいずれか一つまたは複数を動的に監視する。そして、ＶＭ移動制御装置１０は、監視されたＶＭ２１の移動状況として、転送量、メモリ変更率、転送スループットのいずれか一つまたは複数を用いて、仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するための計画である移動計画を立案する。このため、ライブマイグレーションに関するパラメータを動的に監視し、現状に即した移動計画を立案することで、仮想マシンの移動にかかる所要時間を適切に短縮することが可能である。

また、実施例２によれば、ＶＭ移動制御装置１０は、所定のトリガが発生した場合に、移動所要時間を再計算するので、現状に即した移動所要時間を動的に見積もることが可能である。

また、実施例２によれば、ＶＭ移動制御装置１０は、所定のトリガとして、所定の時間が経過した場合、新規の仮想マシン配置の要求を受け付けた場合、または、仮想マシンの移動が完了した場合のいずれかの条件を満たした場合に記移動所要時間を再計算する。このため、より現状に即した移動所要時間を動的に見積もることが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例３として本発明に含まれる他の実施例を説明する。

（１）システム構成等
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、配備計画立案部１２と評価部１３を統合してもよい。

（２）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをコンピュータで実行することによって実現することができる。そこで、以下では、図２１を用いて、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図２１は、仮想マシン移動制御プログラムを実行するコンピュータを示す図である。

同図に示すように、仮想マシン移動制御装置としてのコンピュータ６００は、ＨＤＤ６１０、ＲＡＭ６２０、ＲＯＭ６３０およびＣＰＵ６４０をバスで接続して構成される。

そして、ＲＯＭ６３０には、上記の実施例と同様の機能を発揮する仮想マシン移動制御プログラム、つまり、図２１に示すように、仮想マシン監視プログラム６３１、移動計画立案プログラム６３２、所要時間推計プログラム６３３、評価プログラム６３４および計画実行プログラム６３５が予め記憶されている。なお、プログラム６３１〜６３５については、図３に示した仮想マシン移動制御装置の各構成要素と同様、適宜統合または分散してもよい。

そして、ＣＰＵ６４０が、これらのプログラム６３１〜６３５をＲＯＭ６３０から読み出して実行することで、図２１に示すように、各プログラム６３１〜６３５は、仮想マシン監視プロセス６４１、移動計画立案プロセス６４２、所要時間推計プロセス６４３、評価プロセス６４４および計画実行プロセス６４５として機能するようになる。各プロセス６４１〜６４５は、図３に示した全体進捗部１６、配備計画立案部１２、所要時間推計部１５、評価部１３、配備実行部１４にそれぞれ対応する。

１ 仮想マシン移動制御装置
２ 仮想マシン監視部
３ 移動計画立案部
４ 所要時間推計部
５ 評価部
６ 計画実行部
７Ａ、７Ｂ 物理マシン
８Ａ、８Ｂ、８Ｃ、８Ｄ 仮想マシン
１０ ＶＭ移動制御装置
１１ 管理インタフェース
１２ 配備計画立案部
１３ 評価部
１４ 配備実行部
１５ 所要時間推計部
１６ 全体進捗監視部
１７ ＶＭ制御部
２０Ａ、２０Ｂ サーバ
２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ ＶＭ
２２Ａ、２２Ｂ ＶＭ管理部
２３Ａ、２３Ｂ 進捗監視部
３０ 管理ネットワーク
４０ サービスネットワーク
５０ インターネット
６０ 利用者端末

Claims (6)

1. 物理マシンで稼動する仮想マシンの移動状況を監視する仮想マシン監視部と、
   前記仮想マシン監視部によって監視された移動状況に応じて、該仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するための計画である移動計画を立案する移動計画立案部と、
   前記移動計画立案部によって立案された移動計画を実行した場合に、前記仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するために要する時間である移動所要時間を推計する所要時間推計部と、
   前記所要時間推計部によって推計された移動所要時間と現在実行中の仮想マシンの移動計画を実行した場合に要する移動所要時間とを比較し、前記移動計画立案部によって立案された移動計画と現在実行中の仮想マシンの移動計画とではどちらの移動計画の終了時刻が早いかを評価する評価部と、
   前記評価部によって評価された結果、前記移動計画立案部によって立案された移動計画の終了時刻が現在実行中の仮想マシンの移動計画の終了時刻よりも早い場合には、前記移動計画立案部によって立案された移動計画を実行する計画実行部と
   を有することを特徴とする仮想マシン移動制御装置。
2. 前記仮想マシン監視部は、仮想マシンの移動状況として、仮想マシンとして移動すべきデータ量である転送量、仮想マシンの移動中にメモリの内容が書き換わる率であるメモリ変更率、転送スループットのいずれか一つまたは複数を動的に監視し、
   前記移動計画立案部は、前記仮想マシン監視部によって監視された仮想マシンの移動状況として、仮想マシンとして移動すべきデータ量である転送量、仮想マシンの移動中にメモリの内容が書き換わる率であるメモリ変更率、転送スループットのいずれか一つまたは複数を用いて、該仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するための計画である移動計画を立案することを特徴とする請求項１に記載の仮想マシン移動制御装置。
3. 前記所要時間推計部は、所定のトリガが発生した場合に、前記移動所要時間を再計算することを特徴とする請求項１または２に記載の仮想マシン移動制御装置。
4. 前記所要時間推計部は、所定のトリガとして、所定の時間が経過した場合、新規の仮想マシン配置の要求を受け付けた場合、または、仮想マシンの移動が完了した場合のいずれかの条件を満たした場合に、前記移動所要時間を再計算する請求項３に記載の仮想マシン移動制御装置。
5. 物理マシンで稼動する仮想マシンの移動状況を監視する仮想マシン監視ステップと、
   前記仮想マシン監視ステップによって監視された移動状況に応じて、該仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するための計画である移動計画を立案する移動計画立案ステップと、
   前記移動計画立案ステップによって立案された移動計画を実行した場合に、前記仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するために要する時間である移動所要時間を推計する所要時間推計ステップと、
   前記所要時間推計ステップによって推計された移動所要時間と現在実行中の仮想マシンの移動計画を実行した場合に要する移動所要時間とを比較し、前記移動計画立案ステップによって立案された移動計画と現在実行中の仮想マシンの移動計画とではどちらの移動計画の終了時刻が早いかを評価する評価ステップと、
   前記評価ステップによって評価された結果、前記移動計画立案ステップによって立案された移動計画の終了時刻が現在実行中の仮想マシンの移動計画の終了時刻よりも早い場合には、前記移動計画立案ステップによって立案された移動計画を実行する計画実行ステップと
   を含んだことを特徴とする仮想マシン移動制御方法。
6. 物理マシンで稼動する仮想マシンの移動状況を監視する仮想マシン監視手順と、
   前記仮想マシン監視手順によって監視された移動状況に応じて、該仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するための計画である移動計画を立案する移動計画立案手順と、
   前記移動計画立案手順によって立案された移動計画を実行した場合に、前記仮想マシンが現在稼動している物理マシンから他の物理マシンへ移動するために要する時間である移動所要時間を推計する所要時間推計手順と、
   前記所要時間推計手順によって推計された移動所要時間と現在実行中の仮想マシンの移動計画を実行した場合に要する移動所要時間とを比較し、前記移動計画立案手順によって立案された移動計画と現在実行中の仮想マシンの移動計画とではどちらの移動計画の終了時刻が早いかを評価する評価手順と、
   前記評価手順によって評価された結果、前記移動計画立案手順によって立案された移動計画の終了時刻が現在実行中の仮想マシンの移動計画の終了時刻よりも早い場合には、前記移動計画立案手順によって立案された移動計画を実行する計画実行手順と
   をコンピュータに実行させることを特徴とする仮想マシン移動制御プログラム。

Images