JP2012094030A - 計算機システム及び処理制御方法 - Google Patents
計算機システム及び処理制御方法 Download PDFInfo
- Publication number
- JP2012094030A JP2012094030A JP2010241892A JP2010241892A JP2012094030A JP 2012094030 A JP2012094030 A JP 2012094030A JP 2010241892 A JP2010241892 A JP 2010241892A JP 2010241892 A JP2010241892 A JP 2010241892A JP 2012094030 A JP2012094030 A JP 2012094030A
- Authority
- JP
- Japan
- Prior art keywords
- computer
- task
- physical resource
- time
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/485—Resource constraint
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
【課題】定期的なタスクを目標とする完了時刻までに完遂させる。
【解決手段】管理サーバが、計算機に業務を割り当てて実行させ、前記業務に対する処理の開始時刻と当該処理の終了時刻とをタスク実行情報に設定し、前記処理の実行に必要な前記計算機の物理資源の量を第1の物理資源量としてタスクリソース情報に設定し、前記計算機の物理資源の使用量を第2の物理資源量として取得し、第1の物理資源量と第2の物理資源量の和を前記計算機の物理資源が有するときには、前記業務に対する処理の開始時刻を現在の時刻側に更新し、現在の時刻が前記処理の開始時刻となったときに、前記計算機へ前記処理の開始を指令する。
【選択図】図1
【解決手段】管理サーバが、計算機に業務を割り当てて実行させ、前記業務に対する処理の開始時刻と当該処理の終了時刻とをタスク実行情報に設定し、前記処理の実行に必要な前記計算機の物理資源の量を第1の物理資源量としてタスクリソース情報に設定し、前記計算機の物理資源の使用量を第2の物理資源量として取得し、第1の物理資源量と第2の物理資源量の和を前記計算機の物理資源が有するときには、前記業務に対する処理の開始時刻を現在の時刻側に更新し、現在の時刻が前記処理の開始時刻となったときに、前記計算機へ前記処理の開始を指令する。
【選択図】図1
Description
本発明は、サーバ仮想化機構を備える計算機システムに係り、特にサーバ上で稼動する処理の制御方法を決定する技術に関する。
1つの物理サーバ上で複数の仮想的なサーバ(以下、仮想サーバ)を稼動させる方法として、サーバ仮想化機構が存在する。サーバ仮想化機構の例としてVMware(登録商標)が挙げられる。サーバ仮想化機構を備えたシステム環境における、物理資源の有効活用に関する方法として、バッチジョブ、バックアップなど定期的に発生する処理(以下、定期業務)への割当がある(例えば、特許文献1)。特許文献1に記載の方法では、仮想サーバのリソース要求の変化を、仮想サーバ上で稼動するアプリケーションの活動よりモニタし、仮想サーバへのリソース割当を動的に調整している。
しかし、サーバ仮想化環境においては、ある仮想サーバ上の負荷(例えば、ネットワーク転送やディスクI/O(Input/Output)効率)の影響を、同じ物理サーバ上で稼動する他の仮想サーバが受けてしまう。これは、仮想サーバ間で物理資源(CPU、メモリ、ネットワークデバイス、HBA(Host Bus Adapter)など)を共有するからである。
上記は、業務に対して行われる定期的なタスクの処理効率に影響を与えることとなる。例えば、仮想サーバ上でバックアップなどネットワーク帯域を必要とする定期的なタスクを実行しようとした場合、その実行時間は、同じ物理サーバ上で稼動する他の仮想サーバがネットワーク帯域を大量に使用しているかどうかで変わる。これにより、設計時に見積もった実行時間内でタスクを終わらせることができず、定期的なタスクの終了後に実行すべき業務やタスクを予定の時刻に開始できない恐れが発生する。
そこで、本発明が解決しようとする課題は、定期的なタスクを目標とする完了時刻までに完遂させられるようにするために、物理資源に余裕がある状況にて、事前にタスクを実行させることである。
本発明は、プロセッサとメモリを備えた計算機と、前記業務と、前記業務に対する処理と、前記計算機の物理資源を管理する管理サーバとを備えて、前記業務に対する処理を制御する処理制御方法であって、前記管理サーバが、前記計算機に前記業務を割り当てて実行させる第1の手順と、前記管理サーバが、前記業務に対する処理の開始時刻と、当該処理の終了時刻とをタスク実行情報に設定する第2の手順と、前記管理サーバが、前記処理の実行に必要な前記計算機の物理資源の量を第1の物理資源量としてタスクリソース情報に設定する第3の手順と、前記管理サーバが、前記計算機の物理資源の使用量を第2の物理資源量として取得する第4の手順と、前記管理サーバが、前記計算機の物理資源の利用状況を示す第2の物理資源量と、前記処理の実行に必要な前第1の物理資源量とを比較して、前記第1の物理資源量と第2の物理資源量の和を前記計算機の物理資源が有するか否かを判定する第5の手順と、前記管理サーバが、前記第1の物理資源量と第2の物理資源量の和を前記計算機の物理資源が有すると判定したときには、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を現在の時刻側に更新する第6の手順と、前記管理サーバが、前記タスク実行情報を監視して、現在の時刻が前記処理の開始時刻となったときに、前記計算機へ前記処理の開始を指令する第7の手順と、を含む。
したがって、本発明によれば、計算機の物理資源に余裕がある状況にて、業務に必要な処理(タスク)を本来の開始時刻よりも早めて実行させることで、タスクが目標とする完了時刻までに処理を終わらせる事ができないリスクを低減できる。
以下、本発明の一実施形態を添付図面に基づいて説明する。
図1は、本発明の第1の実施形態を示し、サーバ仮想化機構を備えた計算機システムのブロック図である。
計算機システムは、管理サーバ201、1つ以上の物理サーバ111、1つ以上のネットワークスイッチ108、1つ以上のストレージスイッチ112、ディスクアレイ装置116を有する。
管理サーバ201は、プログラム制御により稼動するコンピュータであり、ネットワークスイッチ108に接続するNIC205を備える。管理サーバ201は、ネットワークスイッチ207を介して、物理サーバ111及びディスクアレイ装置116に接続する。管理サーバ201は、資源管理部102、タスク制御部103、業務管理部104、サーバ管理部105を実行し、これらの処理に必要なテーブル群として、資源利用状況テーブル119、タスク実行テーブル(タスク実行情報)107、実行パターンテーブル(タスクリソース情報)108、業務テーブル118を有する。各テーブルは、図5以降のテーブルの構成例を用いて後述する。
物理サーバ111は、プログラム制御により稼動するコンピュータであり、ネットワークスイッチ207に接続するNIC、及びストレージスイッチ112に接続するHBAを備える。物理サーバ111は、ネットワークスイッチ207を介して、他の物理サーバ111、管理サーバ201、ディスクアレイ装置116に接続する。物理サーバ111は、ストレージスイッチ112を介して、ディスクアレイ装置116に接続する。なお、ストレージスイッチ112は、SAN(Storage Area Network)112Aを構成する。物理サーバ111上では、サーバ仮想化機構110(またはサーバ仮想化部)と、仮想サーバ109が実行される。
ネットワークスイッチ207は、ネットワーク207Aを構成する1つ以上のネットワーク機器である。ネットワーク機器は、具体的にはネットワークスイッチやルータ、ロードバランサまたはファイアウォールなどである。
ディスクアレイ装置116は、FC(Fiber Channel)及びLANインタフェースを備え、管理サーバ201及び物理サーバ111が使用する1つ以上のディスクまたは不揮発性の半導体記憶装置を含む記憶装置システムである。ディスクアレイ装置116は、サーバ仮想化機構110、仮想サーバ109の実行に必要なディスクとして、仮想サーバイメージ格納ディスク114、定義情報格納ディスク115を有する。仮想サーバイメージ格納ディスク114は、仮想サーバ109を構成するディスクイメージを有するディスクボリューム(または論理ボリューム)である。
定義情報格納ディスク115は、仮想サーバ109にインストールされるOS(Operating System)や業務320、仮想サーバ109に割り当てられた仮想的なデバイス(仮想プロセッサ、仮想メモリ、仮想I/Oデバイスなど)の内容を記述したメタデータを有するディスクボリューム(または論理ボリューム)である。
ディスクアレイ装置116は、仮想サーバ109上で実行する業務が使用する業務データを格納する論理ボリュームとしてデータディスク3201を含む。データディスク3201は、業務ごとに生成されてもよいし、一つの論理ボリュームを複数の業務(または仮想サーバ109)で共有する共有ボリュームとして利用することができる。
図2は、管理サーバ201の構成を示す。管理サーバ201は、資源管理部102、タスク制御部103、業務管理部104、サーバ管理部105を有する。尚、本実施形態では、資源管理部102、タスク制御部103、業務管理部104、サーバ管理部105は、CPU(プロセッサ)203により実行されるプログラムとして説明するが、管理サーバ201に搭載するハードウェアやファームウェア、またはそれらの組み合わせにより実装しても良い。また、資源管理部102、タスク制御部103、業務管理部104、サーバ管理部105は、管理サーバ201が備える補助記憶装置に格納され、実行時にはメモリ202にロードされてから、プロセッサ203によって実行される。
資源管理部102は、各物理サーバ111の負荷情報(CPU使用率、メモリ使用量など)を、物理サーバ111より収集して保持する。タスク制御部103は、仮想サーバ109で実行する業務に必要なタスクの実行状態の管理及び、仮想サーバ109へのタスクの実行命令の送信を行う。
業務管理部104は、物理サーバ111と、当該物理サーバ111上の仮想サーバ109で稼動する業務を関連付ける情報を保持する。サーバ管理部105は、各物理サーバ111に関する構成情報(ホスト名、オペレーティングシステムの種別、デバイス情報など)を、物理サーバ111より収集して保持する。そして、サーバ管理部105は、管理者などの指令に基づいて物理サーバ111のサーバ仮想機構110に仮想サーバ109の生成、移動または削除を指令して、物理サーバ111上の仮想サーバ109を制御する。また、サーバ管理部105は、仮想サーバ109で実行する業務320を制御することができる。例えばサーバ管理部105は、業務320を何れの物理サーバ111で行うかを選択し、当該選択した物理サーバ111上の仮想サーバ109で業務320を割り当てる。仮想サーバ109は、業務320を実行することで図示しないクライアント端末などへ当該業務320を提供することができる。
管理サーバ201は、ネットワーク207Aに接続するためのNIC205を備える。管理サーバ201はネットワーク207Aを通じて、物理サーバ111、ディスクアレイ装置116と接続する。管理サーバ201は、複数のNICを有しても良い。
図3は、物理サーバ111の構成を示す。物理サーバ111は、メモリ301、CPU303を有する。メモリ301は、サーバ仮想化機構110及び仮想サーバ109を実行するためのプログラムを保持する。
物理サーバ111は、ネットワーク207Aに接続するためのNIC305を備える。物理サーバ111はネットワーク207Aを通じて、管理サーバ201、他の物理サーバ111と接続する。物理サーバ111は、SAN112Aを介してディスクアレイ装置116に接続するためのHBA304を備える。物理サーバ111は、複数のNIC及びHBAを有しても良い。
サーバ仮想化機構110は、仮想サーバ管理部310、制御I/F(Interface)302を有する。サーバ仮想化機構110は、物理サーバ111の計算機リソースを仮想化して複数の仮想サーバ109を提供する。サーバ仮想化機構110は、例えば、VMM(Virtual Machine Monitor)やハイパーバイザなどで構成することができる。本実施形態では、サーバ仮想化機構110としてVMMを採用した例を示す。
仮想サーバ管理部310は、仮想サーバ109の負荷情報(CPU使用率、メモリ使用量など)、構成情報(OS種別、割り当てた仮想デバイスなど)、状態情報(電源、デバイスの有効または無効、デバイスの障害の有無など)を収集、保持、更新する。制御I/F302は、外部(管理サーバ201、他の物理サーバ111など)への、仮想サーバ管理部310に対するアクセスを行うユーザインターフェースを提供する。
サーバ仮想化機構110上では、1つ以上の仮想サーバ109が実行される。仮想サーバ109は、サーバ仮想化機構110によって物理サーバ111の計算機の資源が割り当てられて機能する仮想的なサーバである。仮想サーバ109では、OS302、業務320を提供する処理(ソフトウェアプログラムなど)が実行される。
図4は、管理サーバ201と、1つ以上の物理サーバ111間での処理の流れの例を示す。この例では、計算機の物理資源に余裕がある状況にて、事前に定期的な業務320を実行させるための方法を示す。
管理サーバ201は、第1の処理として、資源管理部102より低負荷の物理サーバ111を選択する。この処理は、後述するように、各物理サーバ111から資源管理部102が収集した負荷情報と、予め設定されたしきい値を比較し、負荷情報が閾値未満の物理サーバ111を低負荷の物理サーバ111として選択する。
第2の処理として、サーバ管理部105が、第1の処理で資源管理部102が選択した物理サーバ111上で、定期的な業務320用の仮想サーバ109を稼動させる。定期的な業務320を実行させる仮想サーバ109は、選択された物理サーバ111上で既に起動している仮想サーバ109のうち定期的な業務320を実行可能な仮想サーバ109がない場合には、サーバ管理部105が新たな仮想サーバ109を生成する。既に起動している仮想サーバ109で定期的な業務320が実行可能であれば、サーバ管理部105は当該仮想サーバ109に定期的な業務320を実行させる。
第3の処理として、タスク制御部103は、第2の処理で稼動させた仮想サーバ109に対し定期的な業務320を遂行するための所定のタスクの実行を指令する。上記処理によって、定期的な業務320に対して予め設定されたタスクが低負荷の物理サーバ111上の仮想サーバ109で実行される。
ここで、定期的な業務320とタスクの関係は、次の通りとなる。業務320は、WEBサーバやアップリケーションサーバまたはデータベースサーバなど、ネットワーク207Aを介してアクセするクライアント計算機(図示省略)に対してサービスを提供する処理を指す。
一方、タスクは、各業務320ごとに実行する処理を示し、例えば、業務320で利用するデータディスク3201のバックアップや予め設定されたバッチ処理(例えば、日次更新や月次更新)など、業務320ごとに予め設定されたデータディスク3201に格納された業務データに対する処理である。さらに、タスクには、当該タスクを開始すべき開始時刻と、当該タスクを完了させておくべき終了時刻とが設定される。ただし、開始時刻よりも前にタスクを開始することは許容するが、終了時刻を越えてタスクの実行を継続することは許容せず、終了時刻は当該時刻までに当該タスクを完了させておくべき時刻とする。
図5は、タスク実行テーブル107の例を示す。タスク実行テーブル107は、定期的な業務320に必要なタスクとその実行に関する情報を保持する。カラム501は、タスクの内容を識別するための識別子が格納される。カラム502は、カラム501に示すタスクの実行対象の業務320を識別するための識別子が格納される。本実施形態では、この識別子を、業務320を識別するための識別子として説明するが、仮想サーバ109を識別するための識別子を用いても良い。
カラム503は、カラム501で指定されたタスクの実行を開始する時刻である。カラム504は、カラム501の実行が完遂されている必要がある時刻である。カラム503、カラム504の初期値はユーザ(業務管理者など)がSLA(Service Level Agreement)などに基づいて予め設定しておく。カラム505は、カラム501で指定されたタスクの実行状況を示す。本実施形態では、未実行、実行中、実行完了として説明するが、処理の進捗度合い(%、タスクを構成するステップの数)などを用いても良い。
タスク制御部103は、定期的(所定の周期)にタスク実行テーブル107を監視し、カラム505が未実行のもので、かつカラム503の開始時刻と、現在の時刻とを比較し、現在の時刻が実行開始時刻以降となった場合はタスクを実行するよう仮想サーバ109に指令する。尚、カラム503と現在の時刻との比較には、仮想サーバ109の処理など、タスクが実行可能状態になるまでの時間を加味しても良い。
図6は、資源利用状況テーブル119の例を示す。資源利用状況テーブル119は、物理サーバ111の物理資源の使用度合いに関する情報を保持する。資源利用状況テーブル119には、資源管理部102が収集した計算機資源毎の負荷情報を、予め設定したしきい値と比較して、各計算機資源毎の利用の度合いを算出した結果が格納される。
カラム601は、物理サーバ111を識別するための識別子である。カラム602は、物理サーバ111が持つ各物理コンポーネント(プロセッサ(CPU)、メモリ、ネットワーク(図中、N/W、以下同様)帯域など)の使用度合いを示す。この使用度合いは、物理サーバ111で実行されている処理が使用している物理資源の量を示す。本実施形態では、カラム602は、サブカラムとして、カラム603、カラム604、カラム605を備える。カラム603はプロセッサ303の利用度合いを格納し、カラム604はメモリ301の利用度合いを格納し、カラム605はNIC305のネットワーク帯域の利用率を使用度合いとして格納している。
なお、カラム603、カラム604、カラム605とは別に、ディスクI/O帯域、ディスク領域、などを備えても良い。カラム603、カラム604、カラム605の値は、サーバ仮想化機構110の仮想サーバ管理部310より得た、サーバ仮想化機構110及び仮想サーバ109の負荷情報を元に、資源管理部102が定期的に演算して更新する。
例えば、図6に示す各利用度合いは、物理サーバ111のサーバ仮想化機構110が測定した物理的な計算機資源の負荷情報から利用率(または使用量)を求め、各計算器資源の利用率を所定のしきい値(図示の例では、2つのしきい値)で比較して、「高」、「中」、「低」の3段階の利用度合いとした例を示す。つまり、利用率が第1のしきい値未満であれば利用度合いは「低」とし、利用率が第1の閾値以上、かつ第2のしきい値未満であれば利用度合いは「中」とし、利用率が第2の閾値以上であれば利用度合いは「高」とする。なお、図示の例では2つのしきい値から3つの利用度合いを求める例を示したが、管理者が所望の数のしきい値を設定することができる。
ここで、プロセッサ303の利用率は、資源管理部102がサーバ仮想化機構110から取得したプロセッサ303の利用率から、資源管理部102がしきい値を用いて求めた利用度合いを示す。
メモリ301の使用度合いは、物理サーバ111に実装されたメモリ301の量に対して、サーバ仮想化機構110が実際に使用しているメモリ301の量の比率としきい値から資源管理部102が求めた利用度合いを示す。また、ネットワークの利用度合いは、NIC305の最大転送速度に対してサーバ仮想化機構110が利用した実際の通信量の比率を利用率として求め、資源管理部102がしきい値を用いて利用度合いを算出したものである。
尚、上記利用率の演算方法として、本実施形態では、閾値を用いたレベライズとして説明するが、物理資源量に対する使用物理資源量の比率などを用いても良い。
図7は、実行パターンテーブル108の例を示す。実行パターンテーブル108は、定期業務320に必要なタスクの種類と、タスクを実行する際に必要とする計算機資源の特徴に関する情報を保持する。
カラム701は、タスクの内容(種類)を識別するための識別子である。この識別子には、図5に示したタスク実行テーブル107のカラム501に関連付けられる値を使用する。カラム702は、カラム701に示すタスクを実行した場合に必要となる物理資源の使用度合いに関する情報を保持する。この使用度合いは、物理サーバ111でタスクを実行する際に使用する物理資源の量を示す。
カラム702は、サブカラムとして、カラム703、カラム704、カラム705を備え、それぞれが、物理サーバ111が持つ各物理的な計算機資源(プロセッサ、メモリ、ネットワーク帯域など)の使用度合いを示す。カラム703、カラム704、カラム705とは別に、ディスクI/O帯域、ディスク領域、などを備えても良い。カラム703、カラム704、カラム705の計算機資源の使用の度合いの値は、管理者による設定や、過去のタスク実行時に収集した負荷情報、などを元に決定する。なお、管理者が計算機資源の使用の度合いを設定する際には、管理サーバ201の図示しないコンソールから入力することができる。
図8は、業務テーブル118の例を示す。業務テーブル118は、物理サーバ111上で稼動する業務320の特徴を示す情報を保持する。カラム801は、業務を識別するための識別子である。この識別子には、図5に示したタスク実行テーブル107のカラム501に関連付けられる値を使用する。カラム802は、カラム801の業務が稼動する物理サーバ111を識別するための識別子である。この識別子には、図6に示した資源利用状況テーブル119のカラム601に関連付けられる値を使用する。
図15は、タスク制御部103で行われる処理の一例を示すフローチャートである。タスク制御部103は、図4の第1の処理で示したように、物理サーバ111の物理資源に余裕がある状況にて、事前に定期的な業務320を実行させることが可能か否かを判定する際に実行される。この際には、管理サーバ201が、複数の仮想サーバ109の少なくともひとつに業務320を割り当てて、当該業務320が実行されているものとする。
タスク制御部103は、タスク実行テーブル107を参照し、ステータス505が未実行のものがあるか否かをチェックする(ステップ1501)。未実行のタスクがある場合は当該タスクを選択してステップ1503へ進み、未実行のタスクが無い場合は処理を終了する(ステップ1502)。
タスク制御部103は、業務テーブル118と、実行パターンテーブル108と、資源利用状況テーブル119とを参照し、ステップ1501で選択したタスクが物理サーバ111上で現在実行可能であるか否かを判定する(ステップ1503)。このチェックは、まずタスクの対象となる業務が実行される物理サーバ111について、タスク実行テーブル107のカラム502から対象の業務を選択し、図8の業務テーブル118からカラム801の業務識別子が選択された業務と一致するサーバ識別子802を取得する。
次に、タスク制御部103は、取得したサーバ識別子802の物理サーバ111について物理資源の使用度合いを、業務テーブル118のカラム802のサーバ識別子802と、資源利用状況テーブル119のカラム601のサーバ識別子とが一致したカラム602の資源利用状態より取得する。また、タスク制御部103は、ステップ1501で選択したタスクの実行に必要な物理資源を図7の実行パターンテーブル108からカラム701のタスク識別子をキーとして、カラム702の使用資源(物理資源の使用度合い)を取得する。
次に、タスク制御部103は、取得した現在の物理資源の使用度合いと、タスクが必要とする物理資源の度合いを、カラム602、カラム701、カラム702より比較し、タスクの実行に必要な物理資源が物理サーバ111上に存在するか否かを判定する(ステップ1504)。この判定は、現在の物理資源の使用度合いを示す資源利用状況602が、選択したタスクで必要とする使用資源(物理資源の使用度合い)702を受け付け可能か否かで行われる。例えば、タスク制御部103は、資源利用状況602と使用資源702の度合いを数値化し、これらの和が管理者やシステムが設定した閾値未満の物理サーバ111があれば、タスクを実行可能な物理資源があると判定してステップ1505へ進む。
一方、タスク制御部103は、資源利用状況602と使用資源702の和が閾値未満となる物理サーバ111がなければ、タスクを実行可能な物理資源がないと判定して処理を終了する。
すなわち、ステップ1504の判定では、物理サーバ111の物理資源が、資源利用状況602と使用資源702の和を満たすか否かを判定し、物理サーバ111の物理資源が、資源利用状況602と使用資源702の和を満たせば、当該物理サーバ111でタスクを実行可能であると判定する。ここで、資源利用状況602と使用資源702は、計算機資源の使用の度合い603〜605と703〜705の「低」、「中」、「高」を所定の数値に変換し、計算機資源の使用の度合い603〜605と703〜705の和が、所定の閾値以下であればタスク制御部130は、当該タスクを現在選択した物理サーバ111で実行可能であると判定し、そうでない場合には実行不可であると判定することができる。
ステップ1505では、タスク制御部103が、ステップ1501で選択したタスクについて、タスク実行テーブル107の実行開始時間503を現時刻に変更する。
タスク制御部103は、定期的にタスク実行テーブル107を監視し、現在の時刻が実行開始時刻503以降となったタスクを実行するよう仮想サーバ109に指令するので、上記ステップ1505で開始時間503を変更されたタスクを即座に実行することができる。
本実施形態によれば、タスク制御部103は、物理サーバ111の物理資源に余裕がある状況にて、定期的な業務320のタスクを即時に仮想サーバ109で実行させることで、定期的な業務320に対して割り当てられたタスクが目標とする完了時刻までに処理を終わらせる事ができないリスクを軽減する事ができる。
なお、上記第1の実施形態では、物理サーバ111の物理資源に余裕がある場合には、即座にタスクを実行する例を示したが、タスクの開始時刻を現在時刻側に早めることで、実現してもよい。
<第2実施形態>
前記第1の実施形態では、現時点で物理サーバ111の物理資源に余裕がある状況にて、定期業務320のタスクを即時に実行させるためのステップを含む処理制御方法について述べた。本第2の実施形態では、現時点以降で物理サーバ111の物理資源に余裕がある状況にて、定期業務320のタスクの実行開始を予約させるためのステップを含む処理制御方法について述べる。
前記第1の実施形態では、現時点で物理サーバ111の物理資源に余裕がある状況にて、定期業務320のタスクを即時に実行させるためのステップを含む処理制御方法について述べた。本第2の実施形態では、現時点以降で物理サーバ111の物理資源に余裕がある状況にて、定期業務320のタスクの実行開始を予約させるためのステップを含む処理制御方法について述べる。
図20は、本発明の第2の実施形態を示し、計算機システムの構成を示すブロック図である。第2の実施形態の計算機システムでは、前記第1実施形態の資源利用状況テーブル119と業務テーブル118を変更し、資源利用状況テーブル119Aと業務テーブル118Aを含む。その他の構成については前記第1実施形態と同様である。
図9は、本第2実施形態における資源利用状況テーブル119Aの例である。図9では、前記第1実施形態の図6に示した資源利用状況テーブルに、現時刻からの資源利用状況の推移を示す情報として、新たにカラム901、カラム902が追加されている。カラム901は、カラム601、カラム602が示す物理サーバ111の資源利用状況が、開始する時刻を示す。カラム902は、カラム601、カラム602が示す物理サーバ111の資源利用状況が、終了する時刻を示す。図9の資源利用状況テーブル119Aは、物理サーバ111(601)毎に所定の期間(例えば、24時間)の資源利用状況602の推定値(例えば、各時間帯の統計値など)を管理者などが予め設定しておくものである。なお、カラム901、カラム902の値は、図10にて後述する各業務320の業務特性(カラム1001)より決定する。
図10は、本第2実施形態における業務テーブル118Aの例である。図10では、前記第1実施形態の図8に示した業務テーブル118に、現時刻からの各業務の負荷の推移を示す情報として、新たにカラム1001、カラム1002、カラム1003、カラム1004、カラム1005、カラム1006、カラム1007を追加したものである。
カラム1001は、各業務320の負荷特性を示す。カラム1001はサブカラムとしてカラム1002、カラム1006、カラム1007を備える。カラム1002は、業務320の負荷特性として、業務320が使用する物理サーバ111の資源(CPU、メモリ、N/W)の使用度合いをそれぞれ示す。カラム1002は、サブカラムとしてカラム1003、カラム1004、カラム1005を備え、それぞれが、物理サーバ111が持つ各物理コンポーネント(CPU、メモリ、N/W帯域など)の使用度合いを示す。カラム1003、カラム1004、カラム1005とは別に、ディスクI/O帯域、ディスク領域、などを備えても良い。
上記カラム1003、カラム1004、カラム1005の値は、管理者による設定や、過去のタスク実行時に収集した負荷の情報などを元に、時間(開始時刻1006から終了時刻1007)帯毎に予め設定したものである。カラム1006は、カラム1002が示す負荷特性が、開始する時刻(時間帯の始点)を示す。カラム1007は、カラム1002が示す負荷特性が終了する時刻(時間帯の終点)を示す。
図10の業務テーブル118Aで設定された時間帯(カラム1006、カラム1007)と負荷特性1002は、図9の時間帯(カラム901、カラム902)と資源利用状況602に反映される。すなわち、第2実施形態の資源利用状況テーブル119Aと業務テーブル118Aは、現在以降の負荷特性及び資源利用状況の推定値(または予測値)を時間帯毎に設定したものである。
図16は、本第2実施形態におけるタスク制御部103で行われる処理の一例を示すフローチャートである。図16は、前記第1実施形態の図15に示したタスク制御部103の処理の一部を変更した処理である。すなわち、
図16は、前記第1実施形態の図15に示したステップ1503、ステップ1504、ステップ1505を、ステップ1603、ステップ1604、ステップ1605に置き換えたものである。なお、その他の処理については前記第1実施形態と同様である。
図16は、前記第1実施形態の図15に示したステップ1503、ステップ1504、ステップ1505を、ステップ1603、ステップ1604、ステップ1605に置き換えたものである。なお、その他の処理については前記第1実施形態と同様である。
タスク制御部130は、業務テーブル118A、実行パターンテーブル108、資源利用状況テーブル119を参照し、ステップ1501で選択したタスクが物理サーバ111上で実行可能な時間帯があるか否かを判定する(ステップ1603)。この判定は、まずタスクの対象となる業務320が実行される物理サーバ111を、図5に示したタスク実行テーブル107のカラム502で対象となる業務320を特定し、図10の業務テーブル118Aのカラム801の業務識別子がカラム502で特定した業務と一致するカラム802より物理サーバ111のサーバ識別子802を取得する。
次に、タスク制御部130は、取得したサーバ識別子802に対応する物理サーバ111の物理資源の使用度合いを、図9の資源利用状況テーブル119Aのカラム601のサーバ識別子が一致するカラム602の資源利用状況を取得する。このとき、タスク制御部130は、資源利用状況テーブル119Aのカラム901、カラム902が示す時間帯が、タスク実行テーブル107のカラム503(開始時刻)と、カラム504(終了時刻)が示す時間帯を含むものを選択して、当該レコードについて資源利用状況の取得を行う。
次に、タスク制御部130は、上記取得した物理資源の使用度合いと、タスクが必要とする物理資源の度合いを、図9の資源利用状況テーブル119Aのカラム602の資源利用状況と、実行パターンテーブル108のカラム701(タスク識別子)が現在着目しているタスクに一致するカラム702(使用資源量)を取得する。
そして、タスク制御部130は、資源利用状況テーブル119Aのカラム602の資源利用状況と、実行パターンテーブル108のカラム702の使用資源を比較して、タスクの実行に必要な物理資源が物理サーバ111上に存在するか否かを判定する。この判定は、カラム602の資源利用状況とカラム702の使用資源の和が、予め設定した閾値以下であれば、資源利用状況テーブル119Aのカラム901、カラム902が示す時間帯で当該タスクを実行可能と判定することができる。この判定は、例えば、前記第1実施形態と同様に、計算機資源の使用の度合い603〜605と703〜705の「低」、「中」、「高」を所定の数値に変換し、計算機資源の使用の度合い603〜605と703〜705の和が、所定の閾値以下であればタスク制御部130は、当該タスクを現在選択した物理サーバ111で実行可能であると判定し、そうでない場合には実行不可であると判定することができる。
タスク制御部103は、ステップ1603でタスクの実行に必要な物理資源があると判定した場合はステップ1605へ進み、タスクの実行に必要な物理資源がないと判定した場合は処理を終了する(ステップ1604)。ここで、タスク制御部103は、当該タスクを現在選択した物理サーバ111で実行可能であると判定した資源利用状況テーブル119Aのレコードのうち最も開始時刻901が早いレコードを選択する。なお、タスク制御部103は、前記選択した開始時刻901がタスクの開始時刻503よりも遅い場合には、物理サーバ111で実行不可であると判定して、ステップ1605の更新を禁止してもよい。
タスク制御部103は、ステップ1501で選択したタスクを実行するために、タスク実行テーブル107で当該タスクの開始時刻503を上記ステップ1604で選択したレコードに含まれる開始時刻901で変更する(ステップ1605)。
タスク制御部103は、定期的にタスク実行テーブル107を監視し、時刻が実行開始時刻503以降となったタスクを実行するよう仮想サーバ109に指令するので、上記ステップ1605で開始時間503を変更されたタスクを物理サーバ111の物理資源に余裕のある時間帯で前もって実行することができる。
本実施形態に拠れば、タスク制御部103は、現時点以降で物理サーバ111の物理資源に余裕がある状況にて、定期的な業務320に対して割り当てられたタスクの実行開始を予約することで、タスク実行テーブル107で計画されたタスクの実行計画よりも事前に実行可能なタスクを増加させることができる。
<第3実施形態>
前記第2の実施形態では、現時点以降で物理サーバ111に物理資源に余裕がある状況にて、定期的な業務320に対するタスクを予約させるためのステップを含む処理制御方法について述べた。本第3実施形態では、実行可能な物理サーバが複数存在する場合における処理制御方法について述べる。
前記第2の実施形態では、現時点以降で物理サーバ111に物理資源に余裕がある状況にて、定期的な業務320に対するタスクを予約させるためのステップを含む処理制御方法について述べた。本第3実施形態では、実行可能な物理サーバが複数存在する場合における処理制御方法について述べる。
図21は、本発明の第3の実施形態を示し、計算機システムの構成を示すブロック図である。第3の実施形態の計算機システムは、前記第2実施形態の管理サーバ201に実行可能サーバテーブル121を加え、第1及び第2の実施形態に変更を加えたタスク実行テーブル107Aに置き換えたもので、その他の構成については前記第2実施形態と同様である。
図12は、タスク実行テーブル107Aの一例を示す説明図である。タスク実行テーブル107Aは、前記第1及び第2実施形態の図5に示したタスク実行テーブル107に、タスクを実行する物理サーバ111の識別子を格納する実行場所1201を加えたものである。その他の構成は、前記第1及び第2実施形態の図5に示したタスク実行テーブル107と同一である。
図11は、実行可能サーバテーブル121の一例を示す説明図である。実行可能サーバテーブル121は、タスク実行テーブル107Aが示す各タスクと、各タスクが対象とする業務と、そのタスクを実行できる物理サーバ111の関係を示す。
カラム1101はタスクの内容を示す識別子である。この識別子には、タスク実行テーブル107Aのカラム501のタスク識別子と関連付けられるものを使用する。
カラム1102は、カラム1101の実行対象を示す識別子である。この識別子には、タスク実行テーブル107Aのカラム502に格納された対象となる業務320の識別子と関連付けられるものを使用する。
カラム1103は、タスク実行テーブル107Aのカラム501のタスクを実行できる物理サーバの識別子を格納する。カラム1103は、サブカラムとしてカラム1104、カラム1105を備える。カラム1104、カラム1105は、物理サーバ111を識別する識別子毎に設定される。本実施形態では、カラム1103は、2つのサブカラムを持つこととして説明するが、計算機システム上に存在する1つ以上の物理サーバ111の数だけサブカラムを持っても良い。図11の例では、カラム1104は、物理サーバAに関して、カラム1101のタスク識別子毎に、カラム1102の対象業務に関するタスクが実行可能であれば「○」が設定され、タスクが実行不能であれば「−」が設定される。同様に、カラム1105は、物理サーバBで実行可能なタスク(1101)と業務(1102)の組み合わせには「○」が設定され、タスクと業務の組み合わせが実行不能であれば「−」が設定される。
カラム1104、カラム1105の値は、管理サーバ201が、サーバ管理部105及び仮想サーバ管理部310から収集した構成情報より決定することができる。例えば、バックアップタスクの場合、そのバックアップがネットワークを介したファイル転送で行われる場合、カラム1102の対象業務の物理サーバ111がネットワーク207Aに接続されていれば、タスクは実行可能と判定し、ネットワーク207Aに接続されていなければ実行不能と判定し、実行可能サーバテーブル121を設定することができる。
図11の実行可能サーバテーブル121のタスク識別子(1101)と対象業務320(1102)の関係は、管理サーバ201を利用する管理者が設定することができる。
図17は、本実施形態におけるタスク制御部103の処理フローチャートの例を示す。図17は、前記第2実施形態の図16に示したタスク制御部103のステップ1603、1605を、ステップ1703〜1705に変更した処理である。図17が図16と異なる箇所は、ステップ1703、ステップ1705であり、その他の処理は、前記第2実施形態と同様である。
タスク制御部130は、ステップ1501、1502を前記第1実施形態と同様に行って未実行のタスクを選択する。そして、タスク制御部103は、ステップ1703において、ステップ1501で選択したタスクが物理サーバ111上で実行可能な時間帯があるか否かを判定する。ここで、タスク制御部103は、実行可能サーバテーブル121を参照し、選択したタスクを実行可能な物理サーバ111の識別子を取得する。ここで、タスク制御部103は、実行可能サーバ1103を図11の”○”で示されているサーバ識別子を取得して、前記第2実施形態と同様に資源利用状況テーブル119Aを参照し、選択したタスクを実行可能な時間帯を検索する。すなわち、資源利用状況テーブル119Aにおいて、取得したサーバ識別子の開始時刻901と終了時刻902の時間帯で、ステップ1502で選択したタスクの開始時刻503と終了時刻504を含む時間帯を抽出する。
そして、タスク制御部103は、前記第2実施形態のステップ1604と同様にして、抽出した時間帯で、タスクの実行に必要な物理資源を満たす資源利用状況602の時間帯が存在するか否かを判定する。
タスク制御部103は、タスクの実行に必要な物理資源を満たす資源利用状況602の時間帯が存在する場合には、ステップ1604にて選択した資源利用状況テーブル119Aの該当レコードで物理資源を満たす時間帯の物理サーバ111の識別子を、タスク実行テーブル107Aの実行場所1201に格納する。そして、タスク制御部103は、前記第2実施形態と同様にして、選択したタスクのエントリの開始時刻に利用状況テーブル119Aで選択したレコードの開始時刻901でタスク実行テーブル107Aの開始時刻503を更新する。
タスク制御部103は、定期的にタスク実行テーブル107を監視し、時刻が実行開始時刻503以降となったタスクを、実行場所1201の物理サーバ111上の仮想サーバ109で実行するように指令するので、上記ステップ1705で開始時間503を変更され、実行場所1201が設定されたタスクを、物理資源に余裕のある時間帯のうち、最も開始時刻901が早い物理サーバ111で前もって実行することができる。
本実施形態に拠れば、タスク制御部103は、実行可能な物理サーバが複数存在する場合にて、定期業務320に対するタスクの実行を物理資源に余裕のある時間帯の物理サーバ111に予約させることで、事前に実行可能なタスクを増加させることができる。
なお、上記第3実施形態では、複数の物理サーバ111毎に複数の時間帯毎を設定した例を示したが、前記第1実施形態と同様に、現在時刻で物理資源に余裕のある物理サーバ111を選択してタスクを実行させてもよい。
<第4実施形態>
前記第3の実施形態では、実行可能な物理サーバ111が複数存在する場合における処理制御方法について述べた。本第4実施形態では、タスクの実施パターンが複数存在する場合における処理制御方法について述べる。例えば、タスクがバックアップの場合、仮想サーバ109のエージェントソフトウェアと連携したファイルシステムレベルでのバックアップや、仮想化ソフトウェア(サーバ仮想化機構110)のスナップショット機能と連携した仮想サーバレベルでのバックアップ、ディスクアレイ装置116(ストレージ装置)のボリュームコピー機能と連携した論理ボリュームレベルでのバックアップ、などがある。これらのバックアップタスクの実現方法は、実行時間や、適用範囲、アプリケーションの整合性、必要とする物理資源といった点で違いがある。
前記第3の実施形態では、実行可能な物理サーバ111が複数存在する場合における処理制御方法について述べた。本第4実施形態では、タスクの実施パターンが複数存在する場合における処理制御方法について述べる。例えば、タスクがバックアップの場合、仮想サーバ109のエージェントソフトウェアと連携したファイルシステムレベルでのバックアップや、仮想化ソフトウェア(サーバ仮想化機構110)のスナップショット機能と連携した仮想サーバレベルでのバックアップ、ディスクアレイ装置116(ストレージ装置)のボリュームコピー機能と連携した論理ボリュームレベルでのバックアップ、などがある。これらのバックアップタスクの実現方法は、実行時間や、適用範囲、アプリケーションの整合性、必要とする物理資源といった点で違いがある。
例えば、ファイルシステムレベルでのバックアップは、アプリケーションの整合性は最も高いが、業務320への性能の影響が発生する。論理ボリュームレベルでのバックアップは、ストレージ装置にてバックアップ処理を実行できるため業務320への影響は少ないが、業務320の稼働中にバックアップできない可能性がある。
本第4実施形態では、図22で示すように、新たに、タスク充足テーブル120を用いる。図22は、本発明の第4の実施形態を示し、計算機システムの構成を示すブロック図である。第4の実施形態の計算機システムは、前記第3実施形態の管理サーバ201にタスク充足テーブル120を加え、前記第1の実施形態の実行パターンテーブル108に変更を加えた実行パターンテーブル108Aと、前記第3実施形態のタスク実行テーブル107Aに変更を加えたタスク実行テーブル107Bを備えたもので、その他の構成については前記第3実施形態と同様である。
図13は、タスク充足テーブル120の例を示す。タスク充足テーブル(タスク情報テーブル)120は、各タスクの実行がカバーできる業務320の対象範囲を示す情報を持つ。タスク充足テーブル120は、タスク識別子501の分だけ用意される。図13は、バックアップに関するタスク充足テーブルとして説明する。カラム1301は、タスクの具体的(詳細)な実行パターンを示す内容である。図示の例では、「ファイルシステムのバックアップ」が、仮想サーバ109のエージェントソフトウェアと連携したファイルシステムレベルでのバックアップを示し、「論理ボリュームのコピー」がディスクアレイ装置116(ストレージ装置)のボリュームコピー機能を用いた論理ボリュームレベルでのバックアップを示し、「スナップショット」作成が、サーバ仮想化機構110のスナップショット機能を用いた仮想サーバ109レベルでのバックアップを示す。
カラム1302は、カラム1301のタスクの実行パターンの実行対象となる業務320を示す識別子である。この識別子には、図12のタスク実行テーブル107Aのカラム502(対象業務)と関連付けられるものを使用する。カラム1306は、カラム1301で示された実行パターンの優先度を示す。カラム1306の値は、実行パターンの特徴に応じて管理者が設定する。例えば、ファイルシステムのバックアップは、アプリケーション整合性の面で、論理ボリュームのコピーより優れているため、優先度が高い。なお、図13の適用範囲2001は、後述の第5実施形態で用いるので、ここでは説明を省略する。
図14はタスク実行テーブル107Bの一例を示す説明図である。タスク実行テーブル107Bは、図12に示したタスク実行テーブル107Aにタスクの詳細な内容を示す実行パターン1401を加えたもので、その他の構成は前記第3実施形態のタスク実行テーブル107Aと同様である。
図18は実行パターンテーブル108Aの一例を示す説明図である。図示の例は、バックアップに関する実行パターンテーブル108Aの例を示す。
実行パターンテーブル108Aは、前記第1実施形態の図7に示した実行パターンテーブル108に、パターン1801のカラムを追加したもので、その他の構成は前記第1実施形態と同様である。パターン1801はタスク識別子701で識別されるタスクの実施パターンが格納される。図示の例では、「ファイルシステムのバックアップ」が、仮想サーバ109のエージェントソフトウェアと連携したファイルシステムレベルでのバックアップを示し、「論理ボリュームのコピー」がディスクアレイ装置116(ストレージ装置)のボリュームコピー機能を用いた論理ボリュームレベルでのバックアップを示し、「スナップショット」作成が、サーバ仮想化機構110のスナップショット機能を用いた仮想サーバ109レベルでのバックアップを示す。
図19は、本第4実施形態におけるタスク制御部103の処理フローチャートの例を示す。図19のフローチャートは、前記第3実施形態の図17に示したステップ1703、ステップ1705を、ステップ1903とステップ1905に置き換えたもので、その他の処理は前記第3実施形態と同様である。
タスク制御部130は、ステップ1903において、ステップ1501、1502で選択した未実行のタスクが物理サーバ111上で実行可能な時間帯が有るか否かを判定する。ここでタスク制御部130は、図17のステップ1703の内容に加えて、タスク充足テーブル120を参照する。ここで参照するタスク充足テーブル120は、タスク実行テーブル107Bのカラム501が示すタスク識別子(ここでは、バックアップ)に該当するものである。タスク制御部130は、本処理にて一度も選択されていないもので、最もカラム1306の優先度が高いパターン1301を選択する。選択したパターン1301に対し、タスク制御部130は、実行パターンテーブル108Aのパターン1801(図18)のレコードで、選択したパターン1301の実行に必要な物理資源量702を取得する。
そして、タスク制御部130は、必要な物理資源量702が、物理サーバ111上で確保できる時間帯があるか否かを前記第2実施形態と同様に判定する。物理資源量702を確保できる時間帯が無い場合は、選択したパターン1301は実行できないものとし、次に優先度の高いカラム1306に対応するパターン1301を選択する(ステップ1903)。この処理は、優先度が高い順から低い順に行い、物理資源量702を確保できる時間帯が無い場合は本処理を終了することができる。
タスク制御部130は、前記第2実施形態と同様にしてステップ1604にて選択した資源利用状況テーブル119Aの該当レコード(タスクの実行に必要な物理資源を満たす資源利用状況602の時間帯が存在する)の開始時刻901とサーバ識別子601を取得し、タスク充足テーブル120で選択したパターン1301からタスク実行テーブル107Bを更新する。
この更新は、タスク制御部103が、タスク実行テーブル107Bのタスク識別子501と対象業務502に、ステップ1501、1502で選択したタスク識別子と業務320を格納し、資源利用状況テーブル119Aの該当レコードの開始時刻901をタスク実行テーブル107Bの開始時刻503に格納し、資源利用状況テーブル119Aのサーバ識別子601を、タスク実行テーブル107Bの実行場所1201に格納し、タスク充足テーブル120で選択したパターン1301をタスク実行テーブル107Bのパターン1401に格納し、ステータス505を「未実行」に設定する(ステップ1905)。
タスク制御部103は、定期的にタスク実行テーブル107を監視し、時刻が実行開始時刻503以降となったタスクを、実行場所1201の物理サーバ111上の仮想サーバ109でパターン1301の処理を実行するように指令するので、上記ステップ1905で開始時刻503を変更され、実行場所1201が設定されたパターン1401のタスクを、物理資源に余裕のある時間帯の物理サーバ111で前もって実行することができる。
本実施形態に拠れば、タスク制御部103は、タスク充足テーブル120の実施パターンの優先度が高いタスクの実行パターンを選択し、本来の開始時刻よりも前に実行可能なタスクを増加させることができる。
<第5実施形態>
前記実施形態4では、タスクの実施パターンが複数存在する場合における処理制御方法について述べた。しかし、仮想サーバ109のマイグレーションなど、システム構成が動的に変化する環境においては、第4実施形態で決定した優先度は適切でない可能性がある。
前記実施形態4では、タスクの実施パターンが複数存在する場合における処理制御方法について述べた。しかし、仮想サーバ109のマイグレーションなど、システム構成が動的に変化する環境においては、第4実施形態で決定した優先度は適切でない可能性がある。
本第5実施形態では、各実施パターンの優先度を動的に決定するための情報として、タスクの実行時間に影響するタスクの各実施パターンの適用範囲を用いた処理制御方法について述べる。なお、第5の実施形態は、図22に示した前記第4実施形態と同様の構成を用いる。
タスクの複数の実施パターンの適用範囲は、例えば、ファイルシステムレベル、仮想サーバレベルでのバックアップは、仮想サーバ109の数だけバックアップを行う必要があるが、論理ボリュームレベルでのバックアップは、ボリュームを共有する複数の仮想サーバ109を一度にバックアップできる。
本第5実施形態では、図13に示したタスク充足テーブル120に、新たにカラム2001の適用範囲を追加する。カラム2001は、タスク制御部130が、数値計算などによって、カラム1306の優先度を決定または更新するために用いる。本第5実施形態では、カラム2001の適用範囲は、パターン1301が示すタスクの詳細なパターンの適用範囲となる業務320を示す。カラム2001は適用範囲のサブカラムとしてカラム2002、カラム2003を有する。カラム2002、カラム2003は、業務を識別する識別子毎に生成され、パターン1301のタスクを実行か否かを示す情報が格納される。なお、カラム2002、カラム2003の識別子には、タスク実行テーブル107Bのカラム502と関連付けられる識別子を使用する。
図13の例では、カラム2002が「業務A」を示し、カラム2003が「業務B」を示す。パターン1301のタスクを実行か否かを示す情報としては「○」または「−」が設定される。これらの値は管理者が設定する。この情報は、パターン1301が実行可能であれば「○」が設定され、実行不能であれば「−」が設定される。
図示の例では、パターン1301が「ファイルシステムのバックアップ」では、対象業務1302が「業務A」のとき、適用範囲は業務Aのカラム2002のみが実行可能であることを示す。一方、パターン1301が「論理ボリュームのコピー」では、対象業務1302が「業務A」のとき、適用範囲は業務Aのカラム2002と2003の双方の業務A、業務Bでタスクの実行パターン1301が行われることを示す。なお、この例では、業務Aと業務Bがディスクアレイ装置116の同一の論理ボリュームを使用する場合である。論理ボリュームのコピーでは、同一の論理ボリューム上のブロック単位でコピーが行われるため、業務ごとのファイルシステム等にかかわらずコピーが実行される。このため同一の論理ボリューム上に業務Aのデータと、業務Bのデータが格納されていれば、一方の業務について論理ボリュームのコピーを行えば、他方の業務Bのデータもコピーされることになる。
カラム1301のパターンに格納される各値は、サーバ管理部105が、資源管理部102、業務管理部104から取得した情報を元に設定する。本第5実施形態では、カラム2001は、2つのサブカラムを持つこととして説明するが、システム上に存在する1つ以上の業務の数だけサブカラムを持っても良い。
タスク制御部130は、図19に示したステップ1903の処理として、カラム2001の値よりカラム1306の優先度の決定または更新を行う。この決定または更新方法として、例えば、カラム2001の適用範囲とカラム1306の優先度を数値化し、さらに重み付けを行い、数値計算を行う方法が挙げられるが、別の計算方法を用いても良い。例えば、カラム2002、2003のパターン1301を実行か否かを示す情報が「○」のとき「1」、「−」のとき「0」とし、さらにカラム1306の優先度が「高」、「中」、「低」の順に「3」、「2」、「1」とし、パターン1301と対象業務1302のレコード単位でカラム2001と1306の和を求め、この和の大きい順に優先度を再設定するなどの数値計算を行うことができる。
本第5実施形態によれば、タスク制御部130は、システム構成が動的に変化する状況にて、複数のタスク実施パターンの間で発生する優先度を決定することができる。
なお、上記第1〜第5の実施形態では、業務320を仮想サーバ109上で実行する例について述べたが、物理サーバ111上で業務320とタスクを実行する計算器システムに本発明を適用することができる。
以上のように、本発明は仮想サーバ上で業務を提供し、業務ごとにバックアップやバッチ処理などのタスクを実行する仮想計算機システムに適用することができる。
103 タスク制御部
107 タスク実行テーブル
108 実行パターンテーブル
109 仮想サーバ
110 サーバ仮想機構
111 物理サーバ
118 業務テーブル
119 資源利用状況テーブル
116 ディスクアレイ装置
201 管理サーバ
207A ネットワーク
107 タスク実行テーブル
108 実行パターンテーブル
109 仮想サーバ
110 サーバ仮想機構
111 物理サーバ
118 業務テーブル
119 資源利用状況テーブル
116 ディスクアレイ装置
201 管理サーバ
207A ネットワーク
Claims (12)
- プロセッサとメモリを備えた計算機と、
前記業務と、前記業務に対する処理と、前記計算機の物理資源を管理する管理サーバとを備えて、前記業務に対する処理を制御する処理制御方法であって、
前記管理サーバが、前記計算機に前記業務を割り当てて実行させる第1の手順と、
前記管理サーバが、前記業務に対する処理の開始時刻と、当該処理の終了時刻とをタスク実行情報に設定する第2の手順と、
前記管理サーバが、前記処理の実行に必要な前記計算機の物理資源の量を第1の物理資源量としてタスクリソース情報に設定する第3の手順と、
前記管理サーバが、前記計算機の物理資源の使用量を第2の物理資源量として取得する第4の手順と、
前記管理サーバが、前記計算機の物理資源の利用状況を示す第2の物理資源量と、前記処理の実行に必要な前第1の物理資源量とを比較して、前記第1の物理資源量と第2の物理資源量の和を前記計算機の物理資源が有するか否かを判定する第5の手順と、
前記管理サーバが、前記第1の物理資源量と第2の物理資源量の和を前記計算機の物理資源が有すると判定したときには、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を現在の時刻側に更新する第6の手順と、
前記管理サーバが、前記タスク実行情報を監視して、現在の時刻が前記処理の開始時刻となったときに、前記計算機へ前記処理の開始を指令する第7の手順と、
を含むことを特徴とする処理制御方法。 - 請求項1に記載の処理制御方法であって、
前記第2の物理資源量は、複数の時間帯毎に前記業務を実行する計算機で使用される物理資源の使用量の推定値を含み、
前記第6の手順は、
前記管理サーバが、前記第1の物理資源量の前記推定値と第2の物理資源量の前記推定値の和を満たす物理資源を有する前記計算機の前記時間帯を抽出し、前記抽出した時間帯のうち最も開始時刻の早い時間帯を選択し、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を前記選択した時間帯の開始時刻に更新することを特徴とする処理制御方法。 - 請求項2に記載の処理制御方法であって、
前記計算機は複数の計算機で構成され、
前記第2の物理資源量は、前記複数の計算機のそれぞれについて、複数の時間帯毎に設定した物理資源の使用量の推定値を含み、
前記第1の手順は、
前記管理サーバが、前記複数の計算機のうちの少なくともひとつに前記業務を割り当てて実行させ、
前記第2の手順は、
前記管理サーバが、前記業務に対する処理の開始時刻と、当該処理の終了時刻と、前記処理を実行する前記計算機をタスク実行情報に設定し、
前記第6の手順は、
前記管理サーバが、前記第1の物理資源量と第2の物理資源量の前記推定値の和を満たす物理資源を有する前記計算機の前記時間帯を抽出し、前記抽出した時間帯のうち最も開始時刻の早い時間帯と計算機を選択し、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を前記選択した開始時刻に更新し、前記タスク実行情報に設定された処理を実行する計算機を前記選択した計算機に更新することを特徴とする処理制御方法。 - 請求項3に記載の処理制御方法であって、
前記管理サーバは、計算機毎に実行可能な前記処理と前記業務の関係を設定した実行可能計算機情報をさらに有し、
前記第6の手順は、
前記管理サーバが、前記第1の物理資源量と第2の物理資源量の前記推定値の和を満たす物理資源を有する前記計算機の前記時間帯を抽出する際に、前記実行可能計算機情報から当該処理を実行可能な計算機を選択し、当該選択したから前記時間帯を抽出することを特徴とする処理制御方法。 - 請求項3に記載の処理制御方法であって、
前記管理サーバは、前記処理を実現する複数のパターンのそれぞれについて当該パターンを実行可能な前記業務と前記計算機の関係と優先度を設定したタスクパターン情報をさらに有し、
前記第2の手順は、
前記管理サーバが、前記業務に対する処理の開始時刻と、当該処理の終了時刻と、前記処理を実行する前記計算機と、前記処理の詳細なパターンと、をタスク実行情報に設定し、
前記第6の手順は、
前記管理サーバが、前記第1の物理資源量と第2の物理資源量の前記推定値の和を満たす物理資源を有する前記計算機の前記時間帯を抽出する際に、前記タスクパターン情報のパターンのうち、前記優先度の高いパターンを実行可能な計算機の前記時間帯を抽出し、前記抽出した時間帯のうち最も開始時刻の早い時間帯と計算機と前記パターンを選択し、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を前記選択した開始時刻に更新し、前記タスク実行情報に設定された処理を実行する計算機を前記選択した計算機に更新し、前記タスク実行情報に設定されたパターンを前記タスクパターン情報で選択したパターンに更新することを特徴とする処理制御方法。 - 請求項1または請求項3に記載の処理制御方法であって、
前記計算機は、物理資源を仮想化する仮想化部によって生成された仮想サーバで構成されたことを特徴とする処理制御方法。 - プロセッサとメモリを備えた計算機と、
前記計算機に接続されてプロセッサとメモリを備えた管理サーバと、を備えて、前記管理サーバが、前記計算機で実行する業務と、前記業務に対する処理と、前記計算機の物理資源と、前記業務に対する処理を管理する計算機システムであって、
前記管理サーバは、
前記計算機に割り当てて実行させる業務を管理する業務情報と、
前記業務に対する処理の開始時刻と、当該処理の終了時刻とを格納したタスク実行情報と、
前記処理の実行に必要な前記計算機の物理資源量を第1の物理資源量として設定したタスクリソース情報と、
前記計算機の物理資源の使用量を第2の物理資源量として取得する資源管理部と、
前記タスク実行情報を監視して、現在の時刻が前記処理の開始時刻となったときに、前記計算機へ前記処理の開始を指令するタスク制御部と、
を備え、
前記タスク制御部は、
前記計算機の物理資源の利用状況を示す第2の物理資源量と、前記処理の実行に必要な前第1の物理資源量とを比較して、前記第1の物理資源量と第2の物理資源量の和を前記計算機の物理資源が有するか否かを判定し、
前記第1の物理資源量と第2の物理資源量の和を前記計算機の物理資源が有すると判定したときには、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を現在の時刻側に更新することを特徴とする計算機システム。 - 請求項7に記載の計算機システムであって、
前記第2の物理資源量は、複数の時間帯毎に前記業務を実行する計算機で使用される物理資源の使用量の推定値を含み、
前記タスク制御部は、
前記第1の物理資源量の前記推定値と第2の物理資源量の前記推定値の和を満たす物理資源を有する前記計算機の前記時間帯を抽出し、前記抽出した時間帯のうち最も開始時刻の早い時間帯を選択し、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を前記選択した時間帯の開始時刻に更新することを特徴とする計算機システム。 - 請求項8に記載の計算機システムであって、
前記計算機は複数の計算機で構成され、
前記第2の物理資源量は、前記複数の計算機のそれぞれについて、複数の時間帯毎に設定した物理資源の使用量の推定値を含み、
前記管理サーバは、前記複数の計算機のうちの少なくともひとつに前記業務を割り当てて実行させ、
前記タスク制御部は、
前記業務に対する処理の開始時刻と、当該処理の終了時刻と、前記処理を実行する前記計算機をタスク実行情報に設定し、
前記第1の物理資源量と第2の物理資源量の前記推定値の和を満たす物理資源を有する前記計算機の前記時間帯を抽出し、前記抽出した時間帯のうち最も開始時刻の早い時間帯と計算機を選択し、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を前記選択した開始時刻に更新し、前記タスク実行情報に設定された処理を実行する計算機を前記選択した計算機に更新することを特徴とする計算機システム。 - 請求項9に記載の計算機システムであって、
前記管理サーバは、計算機毎に実行可能な前記処理と前記業務の関係を設定した実行可能計算機情報をさらに有し、
前記タスク制御部は、
前記第1の物理資源量と第2の物理資源量の前記推定値の和を満たす物理資源を有する前記計算機の前記時間帯を抽出する際に、前記実行可能計算機情報から当該処理を実行可能な計算機を選択し、当該選択したから前記時間帯を抽出することを特徴とする計算機システム。 - 請求項9に記載の計算機システムであって、
前記管理サーバは、前記処理を実現する複数のパターンのそれぞれについて当該パターンを実行可能な前記業務と前記計算機の関係と優先度を設定したタスクパターン情報をさらに有し、
前記タスク制御部は、
前記業務に対する処理の開始時刻と、当該処理の終了時刻と、前記処理を実行する前記計算機と、前記処理の詳細なパターンと、をタスク実行情報に設定し、
前記第1の物理資源量と第2の物理資源量の前記推定値の和を満たす物理資源を有する前記計算機の前記時間帯を抽出する際に、前記タスクパターン情報のパターンのうち、前記優先度の高いパターンを実行可能な計算機の前記時間帯を抽出し、前記抽出した時間帯のうち最も開始時刻の早い時間帯と計算機と前記パターンを選択し、前記タスク実行情報に設定された前記業務に対する処理の開始時刻を前記選択した開始時刻に更新し、前記タスク実行情報に設定された処理を実行する計算機を前記選択した計算機に更新し、前記タスク実行情報に設定されたパターンを前記タスクパターン情報で選択したパターンに更新することを特徴とする計算機システム。 - 請求項7または請求項9に記載の計算機システムであって、
前記計算機は、物理資源を仮想化する仮想化部によって生成された仮想サーバで構成されたことを特徴とする計算機システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010241892A JP2012094030A (ja) | 2010-10-28 | 2010-10-28 | 計算機システム及び処理制御方法 |
| US13/877,696 US9396026B2 (en) | 2010-10-28 | 2010-12-16 | Allocating a task to a computer based on determined resources |
| PCT/JP2010/072637 WO2012056596A1 (ja) | 2010-10-28 | 2010-12-16 | 計算機システム及び処理制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010241892A JP2012094030A (ja) | 2010-10-28 | 2010-10-28 | 計算機システム及び処理制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012094030A true JP2012094030A (ja) | 2012-05-17 |
Family
ID=45993346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010241892A Pending JP2012094030A (ja) | 2010-10-28 | 2010-10-28 | 計算機システム及び処理制御方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9396026B2 (ja) |
| JP (1) | JP2012094030A (ja) |
| WO (1) | WO2012056596A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021043684A (ja) * | 2019-09-11 | 2021-03-18 | 富士通株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8640137B1 (en) * | 2010-08-30 | 2014-01-28 | Adobe Systems Incorporated | Methods and apparatus for resource management in cluster computing |
| KR20120076859A (ko) * | 2010-12-30 | 2012-07-10 | 삼성전자주식회사 | 휴대단말에서 킵 얼라이브 패킷 동기화 방법 및 장치 |
| JP5193327B2 (ja) * | 2011-02-28 | 2013-05-08 | シャープ株式会社 | 画像形成装置 |
| US20150081400A1 (en) * | 2013-09-19 | 2015-03-19 | Infosys Limited | Watching ARM |
| JP2015119472A (ja) * | 2013-11-18 | 2015-06-25 | 株式会社リコー | 選択システム、通信管理システム、通信システム、プログラム、及び選択方法 |
| US9871741B2 (en) | 2014-03-10 | 2018-01-16 | Microsoft Technology Licensing, Llc | Resource management based on device-specific or user-specific resource usage profiles |
| US9552228B2 (en) * | 2014-09-08 | 2017-01-24 | Empire Technology Development Llc | Instruction set extension concealment in data centers |
| US10140188B2 (en) * | 2014-11-26 | 2018-11-27 | ArcServe (USA) LLC | Snapshot management |
| US10108459B2 (en) * | 2016-09-12 | 2018-10-23 | Bmc Software, Inc. | System and method to dynamically allocate varying processing capacity entitlements based on workload importance |
| US10826841B2 (en) * | 2016-12-06 | 2020-11-03 | Microsoft Technology Licensing, Llc | Modification of queue affinity to cores based on utilization |
| CN108427602B (zh) * | 2017-02-14 | 2021-10-29 | 全球能源互联网研究院有限公司 | 一种分布式计算任务的协同调度方法及装置 |
| US11500663B1 (en) * | 2017-06-07 | 2022-11-15 | Amazon Technologies, Inc. | Predictive virtual machine launch-based capacity management |
| CN109697121B (zh) * | 2017-10-20 | 2023-05-05 | 伊姆西Ip控股有限责任公司 | 用于向应用分配处理资源的方法、设备和计算机可读介质 |
| CN109697115B (zh) * | 2017-10-20 | 2023-06-06 | 伊姆西Ip控股有限责任公司 | 用于调度应用的方法、装置以及计算机可读介质 |
| US11636014B2 (en) | 2017-10-31 | 2023-04-25 | SK Hynix Inc. | Memory system and data processing system including the same |
| KR102714157B1 (ko) | 2019-01-15 | 2024-10-08 | 에스케이하이닉스 주식회사 | 메모리 시스템, 데이터 처리 시스템 및 데이터 처리 시스템의 동작방법 |
| KR102455880B1 (ko) | 2018-01-12 | 2022-10-19 | 에스케이하이닉스 주식회사 | 메모리 시스템 및 메모리 시스템의 동작 방법 |
| KR102387181B1 (ko) | 2017-10-31 | 2022-04-19 | 에스케이하이닉스 주식회사 | 컴퓨팅 디바이스 및 그것의 동작방법 |
| KR102394695B1 (ko) | 2017-11-08 | 2022-05-10 | 에스케이하이닉스 주식회사 | 메모리 시스템 및 그것의 동작방법 |
| EP3547127A1 (en) * | 2018-03-27 | 2019-10-02 | Siemens Aktiengesellschaft | Method for configuration of an automation system |
| KR20190113437A (ko) | 2018-03-28 | 2019-10-08 | 에스케이하이닉스 주식회사 | 메모리 시스템, 그것의 동작방법 및 메모리 시스템을 포함하는 컴퓨팅 시스템 |
| CN112000457B (zh) * | 2019-05-27 | 2024-07-30 | 伊姆西Ip控股有限责任公司 | 管理处理系统中的任务的方法、设备和计算机程序产品 |
| JP7297200B2 (ja) * | 2019-06-17 | 2023-06-26 | 株式会社野村総合研究所 | ブロックチェーンを利用するシステム |
| US10999403B2 (en) | 2019-09-27 | 2021-05-04 | Red Hat, Inc. | Composable infrastructure provisioning and balancing |
| CN111580966B (zh) * | 2020-04-30 | 2022-11-04 | 西安石油大学 | 一种基于内存利用率的云任务调度方法 |
| CN115168014A (zh) * | 2022-08-03 | 2022-10-11 | 中国银行股份有限公司 | 一种作业调度方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3003440B2 (ja) | 1993-01-19 | 2000-01-31 | 株式会社日立製作所 | 負荷分散制御方法および分散処理システム |
| JPH10198643A (ja) * | 1997-01-09 | 1998-07-31 | Hitachi Ltd | 分散計算機システム |
| US7082606B2 (en) * | 2001-05-01 | 2006-07-25 | The Regents Of The University Of California | Dedicated heterogeneous node scheduling including backfill scheduling |
| JP4597488B2 (ja) | 2003-03-31 | 2010-12-15 | 株式会社日立製作所 | プログラム配置方法及びその実施システム並びにその処理プログラム |
| US8412822B1 (en) * | 2004-01-27 | 2013-04-02 | At&T Intellectual Property Ii, L.P. | Optimized job scheduling and execution in a distributed computing grid |
| JP2006065658A (ja) * | 2004-08-27 | 2006-03-09 | Nec Corp | 並列計算機システムおよびジョブ投入方法 |
| JP4629587B2 (ja) * | 2006-01-18 | 2011-02-09 | 富士通株式会社 | 予約管理プログラム |
| CN101499021A (zh) | 2008-01-31 | 2009-08-05 | 国际商业机器公司 | 在多个虚拟机上动态分配资源的方法和装置 |
-
2010
- 2010-10-28 JP JP2010241892A patent/JP2012094030A/ja active Pending
- 2010-12-16 US US13/877,696 patent/US9396026B2/en active Active
- 2010-12-16 WO PCT/JP2010/072637 patent/WO2012056596A1/ja not_active Ceased
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021043684A (ja) * | 2019-09-11 | 2021-03-18 | 富士通株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
| US11762691B2 (en) | 2019-09-11 | 2023-09-19 | Fujitsu Limited | Information processing system of task scheduling, method of task scheduling, and non-transitory computer-readable storage medium for storing program of task scheduling |
Also Published As
| Publication number | Publication date |
|---|---|
| US9396026B2 (en) | 2016-07-19 |
| WO2012056596A1 (ja) | 2012-05-03 |
| US20130227585A1 (en) | 2013-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012094030A (ja) | 計算機システム及び処理制御方法 | |
| JP4519098B2 (ja) | 計算機の管理方法、計算機システム、及び管理プログラム | |
| JP5417287B2 (ja) | 計算機システム、及び、計算機システムの制御方法 | |
| JP4920391B2 (ja) | 計算機システムの管理方法、管理サーバ、計算機システム及びプログラム | |
| US10873623B2 (en) | Dynamically modifying a cluster of computing nodes used for distributed execution of a program | |
| US9977689B2 (en) | Dynamic scaling of management infrastructure in virtual environments | |
| US9405563B2 (en) | Resource management method and apparatus for virtual machine system, and virtual machine system | |
| US10108460B2 (en) | Method and system for integrated deployment planning for virtual appliances | |
| US7979862B2 (en) | System and method for replacing an inoperable master workload management process | |
| US7752624B2 (en) | System and method for associating workload management definitions with computing containers | |
| EP3036625B1 (en) | Virtual hadoop manager | |
| US9588789B2 (en) | Management apparatus and workload distribution management method | |
| US8046764B2 (en) | Redistribution of unused resources assigned to a first virtual computer having usage below a predetermined threshold to a second virtual computer | |
| US8078824B2 (en) | Method for dynamic load balancing on partitioned systems | |
| US10191771B2 (en) | System and method for resource management | |
| US10684878B1 (en) | Virtual machine management | |
| US20170017511A1 (en) | Method for memory management in virtual machines, and corresponding system and computer program product | |
| CN114389955B (zh) | 嵌入式平台异构资源池化管理方法 | |
| AU2004266019A2 (en) | On demand node and server instance allocation and de-allocation | |
| JPWO2015045046A1 (ja) | 計算機システムおよび計算機システムのメモリ割当調整方法 | |
| JP2006350780A (ja) | キャッシュ割当制御方法 | |
| EP3921729B1 (en) | Hosting virtual machines on a secondary storage system | |
| JP2013127685A (ja) | 情報処理システムおよび運用管理方法 | |
| JP2010026828A (ja) | 仮想計算機の制御方法 | |
| US20230185632A1 (en) | Management system, data rebalancing management method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120322 |