JP2010061278A - 仮想サーバシステムの管理装置 - Google Patents
仮想サーバシステムの管理装置 Download PDFInfo
- Publication number
- JP2010061278A JP2010061278A JP2008224806A JP2008224806A JP2010061278A JP 2010061278 A JP2010061278 A JP 2010061278A JP 2008224806 A JP2008224806 A JP 2008224806A JP 2008224806 A JP2008224806 A JP 2008224806A JP 2010061278 A JP2010061278 A JP 2010061278A
- Authority
- JP
- Japan
- Prior art keywords
- server
- information
- virtual server
- virtual
- management table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Power Sources (AREA)
Abstract
【課題】
仮想サーバシステム全体としての消費電力量を低減してリソースを配置する。
【解決手段】
サーバ装置やストレージ装置のハードウェア情報やサーバ装置上に構築された仮想サーバ情報を管理するサーバ情報管理部と、使用中のリソース情報及び未使用リソース情報を管理する仮想サーバシステム管理部と、顧客の要求したサーバの仕様の管理を行う顧客サーバ管理部と、サーバ情報管理部で管理されるハードウェア情報及び仮想サーバ情報を元に、CPUコア数とメモリ容量のリソースに適している仮想サーバを検索する手段とを有し、仮想サーバシステム全体の総消費電力を低減するように仮想サーバのリソースを配置する。
【選択図】図1
仮想サーバシステム全体としての消費電力量を低減してリソースを配置する。
【解決手段】
サーバ装置やストレージ装置のハードウェア情報やサーバ装置上に構築された仮想サーバ情報を管理するサーバ情報管理部と、使用中のリソース情報及び未使用リソース情報を管理する仮想サーバシステム管理部と、顧客の要求したサーバの仕様の管理を行う顧客サーバ管理部と、サーバ情報管理部で管理されるハードウェア情報及び仮想サーバ情報を元に、CPUコア数とメモリ容量のリソースに適している仮想サーバを検索する手段とを有し、仮想サーバシステム全体の総消費電力を低減するように仮想サーバのリソースを配置する。
【選択図】図1
Description
本発明は、仮想サーバシステムの管理装置に係り、特に仮想サーバシステムにおけるリソースの再配置の管理に関する。
物理サーバ上に1または複数の仮想サーバが構築された仮想サーバシステムにおいて、ハードウェアリソースを効率的に使用するため、或いは新たな仮想サーバを形成する場合に、仮想サーバを再配置することが行われる。
例えば、特許文献1には、アプリケーションプログラムの負荷状態を監視し、パフォーマンスが最大になるようにリソースの再配置を行う仮想マシンの管理装置が開示されている。
例えば、特許文献1には、アプリケーションプログラムの負荷状態を監視し、パフォーマンスが最大になるようにリソースの再配置を行う仮想マシンの管理装置が開示されている。
上記従来技術は、アプリケーションプログラムの資源使用状況を把握し、所定の資源に過不足が生じていないかを判断してリソースの再配置を行っている。然し乍ら、上記特許文献1には、資源の省電力化については言及されていない。
本発明の目的は、仮想サーバシステム全体としての消費電力を低減してリソースの配置を実現することにある。
上記目的を達成するため、本発明は、好ましくは、サーバ装置やストレージ装置等のリソースを使用して仮想サーバを構築する仮想サーバシステムの該リソースの配置を管理する管理装置であって、該装置のハードウェア情報や該サーバ装置上に構築された仮想サーバ情報を管理するサーバ情報管理部と、使用中のリソース情報及び未使用リソース情報を管理する仮想サーバシステム管理部と、顧客の要求したサーバの仕様の管理を行う顧客サーバ管理部と、該サーバ情報管理部で管理される該ハードウェア情報及び仮想サーバ情報を元に、CPUコア数とメモリ容量のリソースに適している仮想サーバを検索する手段とを有し、該仮想サーバシステム全体の総消費電力を低減するように該仮想サーバのリソースの配置を行うことを特徴とする仮想サーバシステムの管理装置として構成する。
本発明によれば、仮想サーバシステムの消費電力を低減するように、必要な構成サーバを仮想サーバシステムのリソースに自動的に配置することが可能となり、かつサーバ管理者の管理工数を削減することができる。
以下、図面を参照して本発明の実施例について説明する。
図1は、計算機システムの構成を示す。
計算機システムは例えばデータセンタとして構築され、ハードウェアリソース上に複数の仮想サーバ18,19が形成された仮想サーバシステム28と、仮想サーバ及びリソースの配置を管理する管理装置30が、ネットワークを介して接続して構成される。
図1は、計算機システムの構成を示す。
計算機システムは例えばデータセンタとして構築され、ハードウェアリソース上に複数の仮想サーバ18,19が形成された仮想サーバシステム28と、仮想サーバ及びリソースの配置を管理する管理装置30が、ネットワークを介して接続して構成される。
仮想サーバシステム28において、1〜4はサーバ装置、サーバ装置群を仮想サーバとしたとき5はCPUプール、6はメモリプール、7〜11はストレージ装置、ストレージ装置群を仮想ストレージとしたとき12はストレージプール、13〜16はネットワーク装置、ネットワーク装置群を仮想ネットワークとしたとき17はネットワークプールである。
また、18〜19は仮想サーバ、20、21は仮想サーバ18、19にそれぞれ割り当てられたCPUコア群、22、23は仮想サーバ18,19にそれぞれ割り当てられたメモリ群、24,25は仮想サーバ18,19にそれぞれ割り当てられたストレージ群、26,27は仮想サーバ18,19にそれぞれ割り当てられたネットワーク群である。仮想サーバシステム28は、CPUプール5、メモリプール6、ストレージプール12、ネットワークプール17のリソースを使用して、必要な仕様の仮想サーバを構築することが可能である。
管理装置30は主に、サーバ情報管理部31、仮想サーバシステム管理部34、顧客サーバ情報管理部38を有する。これら各部の機能は、コンピュータが備えるプロセッサで所定のプログラムが実行されることで、実現される。管理装置30は、管理者が操作する、顧客サーバ情報を入力するためのキーボード・マウスなどの入力部41、及びモニター等の出力部42を有する。
サーバ情報管理部31は、各サーバ装置のハードウェアの情報を管理する物理サーバ総合情報管理表32と、物理サーバ上に構築された仮想サーバの情報を管理する仮想サーバ総合情報管理表33を管理する。
サーバ情報管理部31は、各サーバ装置のハードウェアの情報を管理する物理サーバ総合情報管理表32と、物理サーバ上に構築された仮想サーバの情報を管理する仮想サーバ総合情報管理表33を管理する。
物理サーバ総合情報管理表32は、図5に示すように、各物理サーバの製造番号、使用されるOS名称、利用されるCPUコア数、メモリ容量、消費電力量に関する情報を登録して管理する。物理サーバ総合情報管理表32は、図2の物理サーバ情報管理表103(図3参照)に対して定期的に問い合わせして、その情報を更新する。なお、図中の「Windows」は米国マイクロソフト社の登録商標である。
仮想サーバ総合情報管理表33は、図6に示すように、各物理サーバの製造番号に対応して、仮想サーバ番号、使用されるOS名称、各サーバ装置上で仮想サーバに割り当てられているCPUコア数、メモリ容量、に関する情報を登録して管理する。
仮想サーバ総合情報管理表33は、図2の仮想サーバ情報管理表104(図4参照)に対して定期的に問い合わせして、その情報を更新する。
仮想サーバ総合情報管理表33は、図2の仮想サーバ情報管理表104(図4参照)に対して定期的に問い合わせして、その情報を更新する。
仮想サーバシステム管理部34は、仮想サーバシステム総合情報管理表35、使用リソース情報管理表36、未使用リソース情報管理表37を有し、これらの管理表を用いて、物理サーバと仮想サーバの総合的な情報を管理する。
仮想サーバシステム総合情報管理表35は、サーバ情報管理部31の物理サーバ総合情報管理表32や仮想サーバ総合情報管理表33の情報を元に、図7に示すように、物理サーバと仮想サーバの各々のサーバ台数、総CPUコア数、総メモリ容量と物理サーバの総消費電力量を管理する。
仮想サーバシステム総合情報管理表35は、サーバ情報管理部31の物理サーバ総合情報管理表32や仮想サーバ総合情報管理表33の情報を元に、図7に示すように、物理サーバと仮想サーバの各々のサーバ台数、総CPUコア数、総メモリ容量と物理サーバの総消費電力量を管理する。
使用リソース情報管理表36は、図10に示すように、仮想サーバが割り当てられた使用中のリソース情報を管理する。これらの情報は、顧客サーバ情報管理部38の顧客サーバ情報管理表39や仮想サーバ総合情報管理表33からのサーバ情報を書き込むことで更新される。
未使用リソース情報管理表37は、図11に示すように、仮想サーバが割り当てられていない未使用のリソース情報を管理する。未使用リソース情報管理表37はサーバ情報管理部31の物理サーバ総合情報管理表32や仮想サーバ総合情報管理表33を元に、物理サーバにおける未使用リソースを更新する。
未使用リソース情報管理表37は、図11に示すように、仮想サーバが割り当てられていない未使用のリソース情報を管理する。未使用リソース情報管理表37はサーバ情報管理部31の物理サーバ総合情報管理表32や仮想サーバ総合情報管理表33を元に、物理サーバにおける未使用リソースを更新する。
顧客サーバ情報管理部38は、顧客サーバ情報管理表39を用いて、顧客の要求したサーバの仕様の管理を行う。顧客サーバ情報管理表39は、図8に示すように、顧客が使用しているサーバの情報を管理する。顧客サーバ総合情報管理表40は、図9に示すように、顧客サーバ情報管理表39を元に合計値の情報を管理する。
図2は、サーバ装置の構成を示す。
サーバ装置1は、ハードウェアリソースとして、マネージメントバスに接続された、CPU20´、メモリ22´、BMC(ベースボードマネージメントコントローラ)111、及びパワーオンリセットスイッチ112、通信コントローラ113、電力計測部108、ドライバ114を有する。このハードウェアを使用して、ハイパバイザと称する管理OS107によって形成される仮想サーバ18,19、及びサーバ管理ソフトウェア102を有する。BMC111は、サーバ装置のハードウェアの障害情報を管理及び検知する機能を有する。BMC111はまた、サーバ装置の電源管理を行い、管理装置30から通信コントローラ113を介して受信した指示を、BMC111がPowerON、Resetスイッチ112に対して実行する。
サーバ装置1は、ハードウェアリソースとして、マネージメントバスに接続された、CPU20´、メモリ22´、BMC(ベースボードマネージメントコントローラ)111、及びパワーオンリセットスイッチ112、通信コントローラ113、電力計測部108、ドライバ114を有する。このハードウェアを使用して、ハイパバイザと称する管理OS107によって形成される仮想サーバ18,19、及びサーバ管理ソフトウェア102を有する。BMC111は、サーバ装置のハードウェアの障害情報を管理及び検知する機能を有する。BMC111はまた、サーバ装置の電源管理を行い、管理装置30から通信コントローラ113を介して受信した指示を、BMC111がPowerON、Resetスイッチ112に対して実行する。
サーバ管理ソフトウェア102はサーバ装置1自身のハードウェア、ソフトウェアを管理するソフトウェアであり、それは、物理サーバ情報管理表103及び仮想サーバ情報管理表104を管理している。
物理サーバ情報管理表103は物理サーバの情報を管理するものであり、図3に示すように、サーバ自身の製造番号、CPU20´のコア数、メモリ22´の容量、OS107の情報、消費電力量を管理し、サーバの電源ON時や再起動時にそれらの情報を更新する。消費電力量については、定期的に電力計測部108の情報を更新している。
仮想サーバ情報管理表104は仮想サーバの情報を管理するものであり、図4に示すように、各仮想サーバ18,19の使用CPUコア数、使用メモリ容量、OS情報を管理している。サーバの電源ON時や再起動時に情報の更新を実施する。
物理サーバ情報管理表103は物理サーバの情報を管理するものであり、図3に示すように、サーバ自身の製造番号、CPU20´のコア数、メモリ22´の容量、OS107の情報、消費電力量を管理し、サーバの電源ON時や再起動時にそれらの情報を更新する。消費電力量については、定期的に電力計測部108の情報を更新している。
仮想サーバ情報管理表104は仮想サーバの情報を管理するものであり、図4に示すように、各仮想サーバ18,19の使用CPUコア数、使用メモリ容量、OS情報を管理している。サーバの電源ON時や再起動時に情報の更新を実施する。
以下、図3〜11を参照して、各管理表の詳細について説明する。
図3に示す、物理サーバ情報管理表103は物理サーバの情報を管理し、製造番号セル201、搭載しているCPUコア数セル202、搭載しているメモリ容量セル203、OS情報204、消費電力量205を登録する。製造番号セル201に登録される数値は、ユニークな値である。同じ種類のサーバ装置が存在しても、サーバを特定することができる番号である。
図3に示す、物理サーバ情報管理表103は物理サーバの情報を管理し、製造番号セル201、搭載しているCPUコア数セル202、搭載しているメモリ容量セル203、OS情報204、消費電力量205を登録する。製造番号セル201に登録される数値は、ユニークな値である。同じ種類のサーバ装置が存在しても、サーバを特定することができる番号である。
図4の、仮想サーバ情報管理表104は仮想サーバの情報を管理し、物理サーバの製造番号301、各仮想サーバの使用CPUコア数302、使用メモリ容量303、OS情報304を登録する。
図5の、物理サーバ総合情報管理表32は、各サーバ装置(管理対象装置)におけるサーバ管理ソフトウェア102の物理サーバ情報管理表103の情報を纏めるものであり、各物理サーバにおける製造番号401、使用OS名称402、使用コア数403、使用メモリ容量404、消費電力量405を登録する。物理サーバ総合情報管理表32は、定期的に各サーバのサーバ管理ソフトウェアに対して情報の要求を行い、内容を更新する。
図6の、仮想サーバ総合情報管理表33は、各サーバ装置(管理対象装置)におけるサーバ管理ソフトウェア102の仮想サーバ情報管理表104の情報を纏めるものであり、各物理サーバにおける製造番号501、物理サーバ上の各仮想サーバにおける番号502、使用OS名称503、使用コア数504、使用メモリ容量505を登録する。仮想サーバ総合情報管理表33は、定期的に各サーバのサーバ管理ソフトウェアに対して情報の要求を行い、内容を更新する。
図7の、仮想サーバシステム総合情報管理表38は、物理サーバ総合情報管理表32と仮想サーバ総合情報管理表33の情報を仮想サーバシステム全体の合計値として纏めるものであり、物理サーバにおけるサーバ台数601、総CPUコア数602、総メモリ容量603、総消費電力量604と仮想サーバにおけるサーバ台数605、総CPUコア数606、総メモリ容量607を登録する。
図8の、顧客サーバ情報管理表39は、顧客の要求するサーバの情報を管理するものであり、顧客名701、システム名702、用途703、使用CPUコア数704、使用メモリ容量705を登録する。
図9の、顧客サーバ総合情報管理表40は、顧客サーバ情報管理表039を顧客サーバ全体の合計値として纏めるものであり、顧客サーバのサーバ台数801、総CPUコア数802、総メモリ容量803を登録する。
図10の、使用リソース情報管理表36は、顧客の要求仕様サーバを仮想サーバシステムのリソースを確認しながら割り当てるための管理表であり、物理サーバ製造番号901、仮想サーバ番号902、使用CPUコア数903、使用メモリ容量904、顧客名905、システム名906、用途907を登録する。
図11の、未使用リソース情報管理表37は、物理サーバ総合情報管理表32と仮想サーバ総合情報管理表33の情報の照合や、使用リソース情報管理表36により、サーバ装置(管理対象装置)の未使用リソースの状況を管理するものであり、未使用リソース情報管理表37は、物理サーバ製造番号1001、CPUコア数1002、メモリ容量1003、使用CPUコア数1004、使用メモリ容量1005、CPUコアリソース使用率1006、メモリリソース使用率1007を登録する。CPUコアリソース使用率1006は、CPUコア数1002に対する使用CPUコア数1004の割合を示している。メモリリソース使用率1007は、メモリ容量1003に対する使用メモリ容量1005の割合を示している。
次に、図12〜図18を参照して、初期設定時に、仮想サーバシステムのリソースに対して顧客サーバを割り当てる動作について説明する。
図12は、管理対象装置であるサーバ装置の物理サーバ情報を管理装置30で収集する動作フローを示す。
管理装置30のサーバ情報管理部31が、各サーバ装置1〜4(以下、総じてサーバ装置1を引用する)に対して物理サーバ情報103を要求すると(S1101)、各サーバ装置1は、管理装置30から要求を受信する(S1102)。サーバ装置1は、サーバ管理ソフトウェア102の物理サーバ情報103(製造番号セル201、CPUコア数202、メモリ容量203、OS情報204、消費電力量205)を管理装置30側に送信する(S1103)。
図12は、管理対象装置であるサーバ装置の物理サーバ情報を管理装置30で収集する動作フローを示す。
管理装置30のサーバ情報管理部31が、各サーバ装置1〜4(以下、総じてサーバ装置1を引用する)に対して物理サーバ情報103を要求すると(S1101)、各サーバ装置1は、管理装置30から要求を受信する(S1102)。サーバ装置1は、サーバ管理ソフトウェア102の物理サーバ情報103(製造番号セル201、CPUコア数202、メモリ容量203、OS情報204、消費電力量205)を管理装置30側に送信する(S1103)。
サーバ情報管理部31は、各サーバ装置1から送信された物理サーバ情報103を受信し(S1104)、その受信した情報を物理サーバ総合情報管理表32(物理サーバ製造番号401、CPUコア数403、メモリ容量404、OS情報402、消費電力量405)に書き込む(S1105)。そして、仮想サーバシステム管理部34にその物理サーバ総合情報管理表32の情報を転送する(S1106)。
仮想サーバシステム管理部34は、受信した物理サーバ総合情報管理表32の情報から、仮想サーバシステム全体の各合計値(サーバ台数601:15、総CPUコア数602:120、総メモリ容量603:480、総消費電力量604:7500)を、仮想サーバシステム総合情報管理表35に書き込む。
また、未使用リソース管理表37に対して、物理サーバ総合情報管理表31を元に、各物理サーバの未使用リソース情報(物理サーバ番号1001:5、CPUコア数1002:8、メモリ容量1003:32、使用CPUコア数1004:0、使用メモリ容量1005:0、CPUコアリソース使用率1006:0%、メモリリソース使用率1007:0%)を書き込む。
また、未使用リソース管理表37に対して、物理サーバ総合情報管理表31を元に、各物理サーバの未使用リソース情報(物理サーバ番号1001:5、CPUコア数1002:8、メモリ容量1003:32、使用CPUコア数1004:0、使用メモリ容量1005:0、CPUコアリソース使用率1006:0%、メモリリソース使用率1007:0%)を書き込む。
図13は、顧客サーバの情報が仮想サーバに割り当てられる前に、リソース不足でないか確認するための動作フローを示す。
管理者が管理装置30の入力部41から、顧客サーバ情報管理部38の顧客サーバ情報管理表39に情報(顧客名701:a社、システム名702:オンライン受注システム、用途703:受注処理、使用CPUコア数704:4、使用メモリ容量705:16)を入力する(S1201)。これらの情報は、顧客サーバ総合情報表40に顧客サーバ群の合計値の情報(サーバ台数801:20、総CPUコア数802:160、総メモリ容量803:320)として書き込まれる(S1202)。
管理者が管理装置30の入力部41から、顧客サーバ情報管理部38の顧客サーバ情報管理表39に情報(顧客名701:a社、システム名702:オンライン受注システム、用途703:受注処理、使用CPUコア数704:4、使用メモリ容量705:16)を入力する(S1201)。これらの情報は、顧客サーバ総合情報表40に顧客サーバ群の合計値の情報(サーバ台数801:20、総CPUコア数802:160、総メモリ容量803:320)として書き込まれる(S1202)。
その後、顧客サーバ情報管理部38は、顧客サーバ総合情報表40の総CPUコア数802と総メモリ容量803が仮想サーバシステム総合情報管理表35の仮想サーバの総CPUコア数606と総メモリ容量607より小さいかを確認する(S1203)。その結果、小さいことが確認されると、顧客サーバ情報管理表39の情報を仮想サーバシステム管理部34に送る(S1204)。そして、仮想サーバシステム管理部34は、使用リソース情報管理表36に、管理情報(CPUコア数904:4、メモリ容量905:16、顧客名906:a社、システム名907:オンライン受注システム、用途908:受注処理)を書き込む(S1206)。
一方、ステップS1203の結果、小さくない場合には、出力部42に、「設定可能なサーバ数を超えている」旨を表示する(S1205)。
一方、ステップS1203の結果、小さくない場合には、出力部42に、「設定可能なサーバ数を超えている」旨を表示する(S1205)。
図14〜図17は、顧客サーバの情報を仮想サーバに割り当てる動作フローを示す。この動作は、可能な限りリソースを利用するように短い時間でリソースに割り当てる。
物理サーバの最大コア数を「8」、最大メモリ容量を「32」の場合において、物理サーバに構築する各仮想サーバの組合せを検索する。CPUコア数8、メモリ容量32GBの顧客サーバAと、CPUコア数4、メモリ容量24GBの顧客サーバBと、CPUコア数2、メモリ容量4GBの顧客サーバCについて実施する。
物理サーバの最大コア数を「8」、最大メモリ容量を「32」の場合において、物理サーバに構築する各仮想サーバの組合せを検索する。CPUコア数8、メモリ容量32GBの顧客サーバAと、CPUコア数4、メモリ容量24GBの顧客サーバBと、CPUコア数2、メモリ容量4GBの顧客サーバCについて実施する。
仮想サーバシステム管理部34は、使用リソース情報管理表36において、コア数最大値8、メモリ容量最大値32で設定されている顧客サーバがあるか検索する(S1300)。検索の結果、コア数最大値8、メモリ容量最大値32で設定されている顧客サーバAがあれば(S1301)、未使用リソース管理表37において、リソース未使用のサーバ装置I(製造番号:500)に顧客サーバAの情報を割り当てる。更に、使用リソース情報管理表36にサーバAの情報(物理サーバ製造番号901:500)を書き込み、サーバ装置Iに対して、顧客サーバAの構成で仮想サーバを構築するよう指示を送信する(S1302)。サーバ装置Iは該当サーバの構成を受信し、顧客サーバAのための仮想サーバの構築を実行する(S1303)。
仮想サーバシステム管理部34は、使用リソース情報を元に、未使用リソース情報管理表37のサーバ装置Iの未使用リソース情報(使用CPUコア数1005:0、使用メモリ容量16:0)を更新する(S1304)。更に、仮想サーバシステム管理部34は、使用リソース情報管理表36においてコア数が7から5までで設定されている顧客サーバがあるか、コア数が大きい順に検索を実行する(S1305)。その結果、該当サーバがあれば、先のステップS1302,S1303、S1304と同様の処理を行う(S1305〜S1307)。一方、該当サーバが無ければ、次の検索条件(A2)へ進む。
次に、図15において、仮想サーバシステム管理部34は、使用リソース情報管理表36において、コア数4、メモリ容量16GB以上で設定されている顧客サーバがあるかの検索を実行する(S1401)。その結果、顧客サーバBが該当する(該当サーバあり)と、未使用リソース管理表37において、リソース未使用のサーバ装置II(製造番号:501)に顧客サーバBの情報を割り当てる。更に、使用リソース情報管理表36にサーバIIの情報(物理サーバ製造番号901:501)を書き込み、サーバ装置IIに対して、顧客サーバBの構成で仮想サーバを構築するよう指示を送信する(S1402)。サーバ装置IIは該当サーバの構成を受信して、顧客サーバBのための仮想サーバの構築を実行する(S1403)。
また、仮想サーバシステム管理部34は、使用リソース情報管理表36を元に、未使用リソース情報管理表37のサーバ装置IIの未使用リソース情報(使用CPUコア数15:4、使用メモリ容量16:16)を更新する(S1404)。
また、仮想サーバシステム管理部34は、使用リソース情報管理表36を元に、未使用リソース情報管理表37のサーバ装置IIの未使用リソース情報(使用CPUコア数15:4、使用メモリ容量16:16)を更新する(S1404)。
次に、図16に移って、仮想サーバシステム管理部034は、使用リソース情報管理表36において、コア数が4、メモリ要領16GB未満で設定されているサーバがあるかの検索を実行する(S1501)。その結果、該当サーバが無ければ、次の検索条件(A4)に進む。一方、該当サーバが有れば、
未使用リソース情報管理表37において、リソース使用サーバの中で未使用リソース情報(使用CPUコア数、使用メモリ容量)に割り当て可能な物理サーバがあるか、検索する(S1502)。その結果の処理(S1503〜S1508)は、前述した動作と同様である。
未使用リソース情報管理表37において、リソース使用サーバの中で未使用リソース情報(使用CPUコア数、使用メモリ容量)に割り当て可能な物理サーバがあるか、検索する(S1502)。その結果の処理(S1503〜S1508)は、前述した動作と同様である。
次に、図17に移って、仮想サーバシステム管理部34は、使用リソース情報管理表36において、コア数が3から1までで設定されているサーバがあるか、メモリ容量が大きい順に検索を実行する(S1601)。その結果、サーバCが該当すると(該当サーバあり)、未使用リソース管理表37において、サーバCを割り当て可能なサーバ装置条件で、リソースが使用されているサーバ情報(メモリ容量14:4以上、CPUコア数13:2以上)を割り当て可能なサーバ装置があるか、を検索する(S1602)。
その結果、サーバ装置II(製造番号:501)が該当するため、使用リソース管理表36において、サーバ装置II(製造番号:501)に顧客サーバCの情報を割り当てる行に追加し、サーバ装置IIに対して顧客サーバCの構成で仮想サーバを構築するよう指示を送信する(S1603)。サーバ装置IIはその指示を受信して、顧客サーバCのための仮想サーバの構築を実行する(S1604)。そして、使用リソース情報を元に、未使用リソース情報管理表37のサーバ装置IIの未使用リソース情報(使用CPUコア数15:2、使用メモリ容量16:12)を更新する。なお、他の処理動作は、前述と同様である。
次に、図18の処理に移る。この処理は、顧客サーバをサーバ装置に割り当てた後に、サーバ装置(管理対象装置)の仮想サーバ情報を管理装置で収集する動作である。
各サーバ装置に仮想サーバの構築が終了すると、サーバ情報管理部31は、管理対象の各サーバ装置に対して仮想サーバ情報104を要求する(S1701)。各サーバ装置は、管理装置30から要求を受信すると(S1702)、管理対象のサーバ装置は、サーバ管理ソフトウェア102の各仮想サーバ情報104(物理サーバ製造番号情報301:5、使用CPUコア数302:4、使用メモリ容量303:16、OS情報304:Windows Server 23)を管理装置30に送信する(S1703)。
各サーバ装置に仮想サーバの構築が終了すると、サーバ情報管理部31は、管理対象の各サーバ装置に対して仮想サーバ情報104を要求する(S1701)。各サーバ装置は、管理装置30から要求を受信すると(S1702)、管理対象のサーバ装置は、サーバ管理ソフトウェア102の各仮想サーバ情報104(物理サーバ製造番号情報301:5、使用CPUコア数302:4、使用メモリ容量303:16、OS情報304:Windows Server 23)を管理装置30に送信する(S1703)。
サーバ情報管理部31は、管理対象のサーバ装置から仮想サーバ情報104を受信すると(S1704)、受信した情報を仮想サーバ総合情報管理表33(物理サーバ製造番号501:5、各仮想サーバ番号502:1、OS情報503:Windows Server 23、CPUコア数504:4、メモリ容量505:32)に書き込む(S1705)。そして、仮想サーバシステム管理部34へ仮想サーバ総合情報管理表33の情報を送る(S1706)。
仮想サーバシステム管理部34は、受信した仮想サーバ総合情報管理表33の情報から、仮想サーバシステム全体の各合計値(サーバ台数605:20、総CPUコア数606:160、総メモリ容量607:320)を、仮想サーバシステム総合情報管理表35に書き込む(S1707)。
仮想サーバシステム管理部34は、受信した仮想サーバ総合情報管理表33の情報から、仮想サーバシステム全体の各合計値(サーバ台数605:20、総CPUコア数606:160、総メモリ容量607:320)を、仮想サーバシステム総合情報管理表35に書き込む(S1707)。
次に、図19〜図21を参照して、顧客サーバの使用期間が終了した場合に、使用状態が解除された仮想サーバシステムのリソースに対して、効率よくリソースを使用するように再配置する動作について説明する。
図19は、サーバ装置III(管理対象装置)で稼動中の顧客サーバDの使用を終了する時の動作フローである。顧客サーバ情報管理部38は、顧客サーバ情報管理表39から使用期間の終了したサーバを顧客サーバDの情報(顧客名701:D社、システム名702:受注システム、用途703:受注処理、使用CPUコア数704:4、使用メモリ容量数705:16)を削除する(S1801)。更に、仮想サーバシステム管理部34へ顧客サーバDの情報を削除する旨の指示を送る。
図19は、サーバ装置III(管理対象装置)で稼動中の顧客サーバDの使用を終了する時の動作フローである。顧客サーバ情報管理部38は、顧客サーバ情報管理表39から使用期間の終了したサーバを顧客サーバDの情報(顧客名701:D社、システム名702:受注システム、用途703:受注処理、使用CPUコア数704:4、使用メモリ容量数705:16)を削除する(S1801)。更に、仮想サーバシステム管理部34へ顧客サーバDの情報を削除する旨の指示を送る。
仮想サーバシステム管理部34は、顧客サーバ情報管理部38から送られた顧客サーバDの削除指示を受信すると、使用リソース管理表36及び未使用リソース管理表37を更新する(S1803)。即ち、使用リソース管理表36から顧客サーバDの情報(顧客名906:D社、システム名907:受注システム、用途908:受注処理)を検索し、該当するサーバ装置III(物理サーバ製造番号:503、仮想サーバ番号:1)を特定して更新する。そして、サーバ装置IIIに対して、顧客サーバD用の仮想サーバの削除の指示を送信する(S1803)。
サーバ装置IIIは、管理装置30の仮想サーバシステム管理部34からの要求を受信すると(S1804)、顧客サーバD用の仮想サーバの構成を削除し、サーバ管理ソフトウェア102の物理サーバ情報(消費電力量205:350)、仮想サーバ情報を更新する(S1805)。そして、サーバ管理ソフトウェア102の物理サーバ情報(消費電力量205:350)、仮想サーバ情報を管理装置30のサーバ情報管理部31へ送信する(S1806)。
サーバ情報管理部31は、サーバ装置Dから送信された物理サーバ情報と仮想サーバ情報を受信して(S1807)、物理サーバ総合情報管理表32と仮想サーバ総合情報管理表33を更新して、仮想サーバシステム管理部34へ情報を送る(S1808)。
仮想サーバシステム管理部34は、受信した情報を元に仮想サーバシステム総合情報表35と、使用リソース情報管理表36と、未使用リソース情報管理表37を更新する(S1809)。
仮想サーバシステム管理部34は、受信した情報を元に仮想サーバシステム総合情報表35と、使用リソース情報管理表36と、未使用リソース情報管理表37を更新する(S1809)。
図20〜図21は、仮想サーバシステムにおいて、仮想サーバを構築している物理サーバの空きリソースを減少させ、仮想サーバシステム全体の消費電力量を減少さるための再配置を行う動作フローである。
仮想サーバシステム管理部34は、使用リソース情報管理表36において、削除した顧客サーバDのCPUコア数:4以下とメモリ容量:16以下を満たす顧客サーバを検索する(S1901)。その結果、該当する顧客サーバが複数台あった場合、該当顧客サーバの未使用リソース情報管理表37において、リソース使用率が低いサーバを検索して、条件を満たすものがあるかを判断する(S1902)。即ち、CPUコアリソース使用率16:50%以下(4コア/8 lコア)と、メモリリソース使用率17:50%(16GB/32GB)以下を満たすサーバ装置を検索する。
仮想サーバシステム管理部34は、使用リソース情報管理表36において、削除した顧客サーバDのCPUコア数:4以下とメモリ容量:16以下を満たす顧客サーバを検索する(S1901)。その結果、該当する顧客サーバが複数台あった場合、該当顧客サーバの未使用リソース情報管理表37において、リソース使用率が低いサーバを検索して、条件を満たすものがあるかを判断する(S1902)。即ち、CPUコアリソース使用率16:50%以下(4コア/8 lコア)と、メモリリソース使用率17:50%(16GB/32GB)以下を満たすサーバ装置を検索する。
その結果、該当するサーバ装置IVがあった場合、仮想サーバシステム管理部34は、使用リソース情報管理表36の顧客サーバEの物理サーバ製造番号をサーバ装置IVの物理サーバ製造番号:503に変更する。そして、顧客サーバEが構築されているサーバ装置IVに対して、サーバIIIの空きリソースに顧客サーバEの構成を複製するための指示を送信する(S1903)。
サーバ装置IVは、管理装置30から送られた指示を受信すると、顧客サーバEのための仮想サーバの構築を実行する(S1904)。その結果、顧客サーバEがサーバ装置IIIに移り稼動を開始する。稼動を開始した後、サーバ装置IIIのサーバ管理ソフトウェア102の物理サーバ情報(消費電力量205)と仮想サーバ情報を更新する(S1905)。サーバ管理ソフトウェア102の物理サーバ情報(消費電力量205)、仮想サーバ情報を管理装置のサーバ情報管理部31に送信する(S1906)。
サーバ情報管理部31は、サーバ装置IVから物理サーバ情報と仮想サーバ情報を受信して(S1907)、物理サーバ総合情報管理表32と仮想サーバ総合情報管理表33を更新し、仮想サーバシステム管理部34に情報を送る(S1908)。
仮想サーバシステム管理部34は、受信した情報を元に仮想サーバシステム総合情報表35と、使用リソース情報管理表36と、未使用リソース情報管理表37を更新する。(S1090)。
仮想サーバシステム管理部34は、受信した情報を元に仮想サーバシステム総合情報表35と、使用リソース情報管理表36と、未使用リソース情報管理表37を更新する。(S1090)。
次に図21に移って、仮想サーバシステム管理部34は、使用リソース管理表36からサーバ装置IV上で稼動している顧客サーバEの情報を削除の指示を送信する(S2001)。サーバ装置IVは、仮想サーバシステム管理部34から送られた削除の要求を受信すると(S2003)、顧客サーバEの構成を削除し、サーバ管理ソフトウェア102の物理サーバ情報(消費電力量2005)、仮想サーバ情報を更新する(S2003)。そして、サーバ管理ソフトウェア102の物理サーバ情報(消費電力量)、仮想サーバ情報を管理装置のサーバ情報管理部31に送信する(S2004)。
サーバ情報管理部31は、サーバ装置IVから送られた物理サーバ情報と仮想サーバ情報を受信して(S2005)、物理サーバ総合情報管理表32と仮想サーバ総合情報管理表33を更新し、更に仮想サーバシステム管理部34に情報を送る(S2006)。
仮想サーバシステム管理部34は、受信した情報を元に仮想サーバシステム総合情報表35と、使用リソース情報管理表36と、未使用リソース情報管理表37を更新する。(S2007)。そして、未使用リソース情報管理表37において、サーバ装置IVの使用CPUコア数リソース14が「0」、使用メモリリソース15が「0」であるかを確認する(S2008)。最後に、仮想サーバシステム管理部34は、サーバ装置IVに電源OFFの指示を送信し(S2009)、サーバ装置IVは、管理装置から送られた要求を受信して、自身の電源をOFFして、一連の動作を終了する。
以上説明したように、本実施例によれば、顧客サーバの情報を仮想サーバに割り当てるに際して、ステップS1301、S1305、S1401、S1501、S1601、の順に、使用リソース情報管理表36において、コア数およびメモリ容量が大きい順に、該当するサーバがあるかを検索するようにしたので、該当するサーバが存在すれば、そのサーバにユーザのサーバを構築することができる。そのため、リソースの使用率の低い(例えば、リソースが半分以上使用されてない)サーバ装置からリソースを割当てることができるので、電源がONとなっているサーバ装置を優先的に使用し続けることができ、これによりサーバ装置の省電力を図ることができる。
また、顧客サーバの使用期間が終了した場合に、仮想サーバを構築している物理サーバの空きリソースを減少させ、仮想サーバシステム全体の消費電力量を減少させるように、リソースの再配置を行うことができる。
また、仮想サーバシステムが巨大になると、必要な構成サーバのリソース割り振りにかかる時間が増大するが、本実施例の簡易的な割り振り方法によれば、管理装置のCPUパワーを多く必要とせずに、仮想サーバシステムの運用導入時間を短縮することができる。
1〜4:サーバ装置、5:CPUプール、6:メモリプール、7〜9:ストレージ装置、
13〜16:ネットワーク装置、17:ネットワークプール、18〜19:仮想サーバ、20,21:CPUコア群、22、23:メモリ群、24,25:ストレージ群、26,27:ネットワーク群、28:仮想サーバシステム、
30:管理装置、31:サーバ情報管理部、32:物理サーバ総合情報管理表、33:仮想サーバ総合情報管理表、34:仮想サーバシステム管理部、35:仮想サーバシステム総合情報管理表、36:使用リソース情報管理表、37:未使用リソース情報管理表、38:顧客サーバ情報管理部、39:顧客サーバ情報管理表、40:顧客サーバ総合情報管理表、41:入力部、42:出力部、
102:サーバ管理ソフトウェア、103:物理サーバ情報管理表、104:仮想サーバ情報管理表、20´:CPU、22´:メモリ、107:OS、108:電力計測部、109:仮想OS1、110:仮想OS2、111:BMC、112:PowerON Resetスイッチ、113:通信コントローラ、114:ドライバ。
13〜16:ネットワーク装置、17:ネットワークプール、18〜19:仮想サーバ、20,21:CPUコア群、22、23:メモリ群、24,25:ストレージ群、26,27:ネットワーク群、28:仮想サーバシステム、
30:管理装置、31:サーバ情報管理部、32:物理サーバ総合情報管理表、33:仮想サーバ総合情報管理表、34:仮想サーバシステム管理部、35:仮想サーバシステム総合情報管理表、36:使用リソース情報管理表、37:未使用リソース情報管理表、38:顧客サーバ情報管理部、39:顧客サーバ情報管理表、40:顧客サーバ総合情報管理表、41:入力部、42:出力部、
102:サーバ管理ソフトウェア、103:物理サーバ情報管理表、104:仮想サーバ情報管理表、20´:CPU、22´:メモリ、107:OS、108:電力計測部、109:仮想OS1、110:仮想OS2、111:BMC、112:PowerON Resetスイッチ、113:通信コントローラ、114:ドライバ。
Claims (3)
- サーバ装置やストレージ装置等のリソースを使用して仮想サーバを構築する仮想サーバシステムの該リソースの配置を管理する管理装置であって、
該装置のハードウェア情報や該サーバ装置上に構築された仮想サーバ情報を管理するサーバ情報管理部と、使用中のリソース情報及び未使用リソース情報を管理する仮想サーバシステム管理部と、顧客の要求したサーバの仕様の管理を行う顧客サーバ管理部と、該サーバ情報管理部で管理される該ハードウェア情報及び仮想サーバ情報を元に、CPUコア数とメモリ容量のリソースに適している仮想サーバを検索する手段とを有し、
該仮想サーバシステム全体の総消費電力を低減するように該仮想サーバのリソースの配置を行うことを特徴とする仮想サーバシステムの管理装置。 - 前記検索手段は、使用終了し削除した仮想サーバ情報を元に、空きリソースに割り振ることが可能なサーバを検索して、該仮想サーバシステム全体の総消費電力を低減するように、仮想サーバのリソースの配置することを特徴とする請求項1記載の仮想サーバシステムの管理装置。
- 前記仮想サーバシステム管理部は、使用リソースを管理する使用リソース情報管理表を有し、前記検索手段は該使用リソース情報管理表を検索して、CPUのコア数およびメモリ容量が大きい順に、該当するサーバを選んで、リソースを配置することを特徴とする請求項1又は2記載の仮想サーバシステムの管理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008224806A JP2010061278A (ja) | 2008-09-02 | 2008-09-02 | 仮想サーバシステムの管理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008224806A JP2010061278A (ja) | 2008-09-02 | 2008-09-02 | 仮想サーバシステムの管理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010061278A true JP2010061278A (ja) | 2010-03-18 |
Family
ID=42188026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008224806A Pending JP2010061278A (ja) | 2008-09-02 | 2008-09-02 | 仮想サーバシステムの管理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010061278A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013003946A (ja) * | 2011-06-20 | 2013-01-07 | Nippon Telegr & Teleph Corp <Ntt> | 仮想マシン制御システム、仮想マシン制御装置、仮想マシン制御方法及びプログラム |
| KR101240811B1 (ko) | 2011-01-24 | 2013-03-11 | 주식회사 엘지씨엔에스 | 가상 서버 할당 시스템 및 방법 |
| JP2014235628A (ja) * | 2013-06-04 | 2014-12-15 | 富士通株式会社 | 情報処理システム、管理装置および情報処理システムの制御方法 |
| JP2015185078A (ja) * | 2014-03-26 | 2015-10-22 | 株式会社Nttドコモ | ノード検索装置及びノード検索方法 |
| JP2017146791A (ja) * | 2016-02-17 | 2017-08-24 | 日本電信電話株式会社 | クラスタ内マイグレーション管理システム、クラスタ内マイグレーション管理方法、管理サーバ及びプログラム |
| US9846480B2 (en) | 2013-08-08 | 2017-12-19 | Fujitsu Limited | Selecting method, computer product, selecting apparatus, and recording medium |
| US9910709B2 (en) | 2014-03-20 | 2018-03-06 | Fujitsu Limited | Allocation control method and apparatus |
| JP2025101168A (ja) * | 2023-12-25 | 2025-07-07 | 日立ヴァンタラ株式会社 | 仮想システムの管理システム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003507817A (ja) * | 1999-08-23 | 2003-02-25 | テラスプリング・インコーポレーテッド | 拡張可能なコンピューティング・システム |
| JP2005332223A (ja) * | 2004-05-20 | 2005-12-02 | Ntt Data Corp | 仮想マシン管理システム |
| JP2007506169A (ja) * | 2003-09-17 | 2007-03-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 仮想マシンの始動を含むコンピューティング環境内の管理処理方法、管理システム、およびコンピュータプログラム |
| JP2007272297A (ja) * | 2006-03-30 | 2007-10-18 | Nec Corp | オンデマンドクライアントサービスシステム、その管理方法、及びプログラム |
| JP2008152594A (ja) * | 2006-12-19 | 2008-07-03 | Hitachi Ltd | マルチコアプロセッサ計算機の高信頼化方法 |
-
2008
- 2008-09-02 JP JP2008224806A patent/JP2010061278A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003507817A (ja) * | 1999-08-23 | 2003-02-25 | テラスプリング・インコーポレーテッド | 拡張可能なコンピューティング・システム |
| JP2007506169A (ja) * | 2003-09-17 | 2007-03-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 仮想マシンの始動を含むコンピューティング環境内の管理処理方法、管理システム、およびコンピュータプログラム |
| JP2005332223A (ja) * | 2004-05-20 | 2005-12-02 | Ntt Data Corp | 仮想マシン管理システム |
| JP2007272297A (ja) * | 2006-03-30 | 2007-10-18 | Nec Corp | オンデマンドクライアントサービスシステム、その管理方法、及びプログラム |
| JP2008152594A (ja) * | 2006-12-19 | 2008-07-03 | Hitachi Ltd | マルチコアプロセッサ計算機の高信頼化方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101240811B1 (ko) | 2011-01-24 | 2013-03-11 | 주식회사 엘지씨엔에스 | 가상 서버 할당 시스템 및 방법 |
| JP2013003946A (ja) * | 2011-06-20 | 2013-01-07 | Nippon Telegr & Teleph Corp <Ntt> | 仮想マシン制御システム、仮想マシン制御装置、仮想マシン制御方法及びプログラム |
| JP2014235628A (ja) * | 2013-06-04 | 2014-12-15 | 富士通株式会社 | 情報処理システム、管理装置および情報処理システムの制御方法 |
| US9846480B2 (en) | 2013-08-08 | 2017-12-19 | Fujitsu Limited | Selecting method, computer product, selecting apparatus, and recording medium |
| US9910709B2 (en) | 2014-03-20 | 2018-03-06 | Fujitsu Limited | Allocation control method and apparatus |
| JP2015185078A (ja) * | 2014-03-26 | 2015-10-22 | 株式会社Nttドコモ | ノード検索装置及びノード検索方法 |
| JP2017146791A (ja) * | 2016-02-17 | 2017-08-24 | 日本電信電話株式会社 | クラスタ内マイグレーション管理システム、クラスタ内マイグレーション管理方法、管理サーバ及びプログラム |
| JP2025101168A (ja) * | 2023-12-25 | 2025-07-07 | 日立ヴァンタラ株式会社 | 仮想システムの管理システム |
| JP7772767B2 (ja) | 2023-12-25 | 2025-11-18 | 日立ヴァンタラ株式会社 | 仮想システムの管理システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11425194B1 (en) | Dynamically modifying a cluster of computing nodes used for distributed execution of a program | |
| US8260840B1 (en) | Dynamic scaling of a cluster of computing nodes used for distributed execution of a program | |
| US11263084B2 (en) | Saving program execution state | |
| US9276987B1 (en) | Identifying nodes already storing indicated input data to perform distributed execution of an indicated program in a node cluster | |
| US8321558B1 (en) | Dynamically monitoring and modifying distributed execution of programs | |
| JP2010061278A (ja) | 仮想サーバシステムの管理装置 | |
| JP5577412B2 (ja) | 計算機システム、マイグレーション方法及び管理サーバ | |
| US9207975B2 (en) | Managing distributed execution of programs | |
| US9280390B2 (en) | Dynamic scaling of a cluster of computing nodes | |
| US9218196B2 (en) | Performing pre-stage replication of data associated with virtual machines prior to migration of virtual machines based on resource usage | |
| JP5858151B2 (ja) | データベース管理システム、計算機、データベース管理方法 | |
| JP5651772B2 (ja) | ジョブ管理サーバ及びジョブ管理方法 | |
| CN103970520A (zh) | MapReduce架构中的资源管理方法、装置和架构系统 | |
| JP6501694B2 (ja) | 計算機システム及び計算機システムのタスク実行方法 | |
| Huang et al. | Achieving load balance for parallel data access on distributed file systems | |
| CN103716372A (zh) | 一种数字图书馆即服务的云计算平台构建方法 | |
| US20170371707A1 (en) | Data analysis in storage system | |
| JP6272556B2 (ja) | 共有リソース更新装置及び共有リソース更新方法 | |
| US9722855B1 (en) | Capabilities service framework | |
| JP2022110929A (ja) | 管理計算機、管理システム、及び管理プログラム | |
| CN119513069A (zh) | 一种基于单元化架构数据迁移的数据验证方法及相关装置 | |
| JP2013080346A (ja) | 情報処理装置、保守作業支援方法および保守作業支援用プログラム | |
| HK40038804B (zh) | 多场景下的数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121002 |