[go: up one dir, main page]

JP2012089049A - Computer system and server - Google Patents

Computer system and server Download PDF

Info

Publication number
JP2012089049A
JP2012089049A JP2010237182A JP2010237182A JP2012089049A JP 2012089049 A JP2012089049 A JP 2012089049A JP 2010237182 A JP2010237182 A JP 2010237182A JP 2010237182 A JP2010237182 A JP 2010237182A JP 2012089049 A JP2012089049 A JP 2012089049A
Authority
JP
Japan
Prior art keywords
data
file
data center
divided
requested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010237182A
Other languages
Japanese (ja)
Inventor
Ryoichi Katagiri
亮一 片桐
Hiroshi Nishii
浩士 西井
Shinsuke Shimizu
真輔 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2010237182A priority Critical patent/JP2012089049A/en
Publication of JP2012089049A publication Critical patent/JP2012089049A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】バックアップデータの量及びトラヒック量に応じて、分割数及び分割バックアップ先を動的に決定する。
【解決手段】サーバ及びストレージシステムを備えるデータセンタを複数備える計算機システムであって、前記サーバは、ファイルの複製を転送する優先順序が定められた転送順情報及びファイルの分割サイズの情報を保持する制御部と、書き込みが要求されたデータを分割するデータ分割部と、前記分割されたデータを送信する送信部とを有し、前記制御部は、前記ユーザ端末から受信したデータの分割数を定め、前記転送順情報を参照して、前記各分割されるデータを転送するデータセンタを決定し、前記データ分割部は、前記書き込みが要求されたファイルを前記定められた数のデータに分割し、前記送信部は、前記分割されたデータを前記決定されたデータセンタに並列に送信することを特徴とする。
【選択図】図1
A division number and a division backup destination are dynamically determined according to the amount of backup data and the amount of traffic.
A computer system including a plurality of data centers each including a server and a storage system, wherein the server holds transfer order information in which a priority order for transferring a copy of a file is determined and information on a division size of the file. A control unit; a data division unit that divides data requested to be written; and a transmission unit that transmits the divided data. The control unit determines the number of divisions of data received from the user terminal. , Referring to the transfer order information, determining a data center to which the divided data is transferred, and the data dividing unit divides the file requested to be written into the predetermined number of data, The transmission unit transmits the divided data to the determined data center in parallel.
[Selection] Figure 1

Description

本発明は、データを格納するストレージシステム(データセンタ)間のファイルバックアップ方法に関し、特に、バックアップ先となるデータセンタを動的に変更する技術に関する。   The present invention relates to a file backup method between storage systems (data centers) for storing data, and more particularly to a technique for dynamically changing a data center as a backup destination.

近年、データセンタに保存されるデータの量が増大している。また、データセンタに保存されるデータが消失するリスクを回避するため、データを定期的にバックアップしている。このバックアップの方法は、主に、保存されたデータが書き込まれた磁気テープをオフサイトに搬送し、災害発生に備えて、磁気テープを安全に保管している。磁気テープへのデータのバックアップは時間がかかり、データ量の増大によって、データバックアップに必要な時間がされに増大している。   In recent years, the amount of data stored in data centers has increased. In order to avoid the risk of losing data stored in the data center, data is backed up regularly. In this backup method, a magnetic tape on which stored data is written is mainly transported off-site, and the magnetic tape is safely stored in preparation for a disaster. Data backup to magnetic tape takes time, and the time required for data backup has been increased due to an increase in the amount of data.

このようなデータのバックアップ時間の増大を解決する方法として、例えば、バックアップする際にデータが過去のデータと重複する場合は実データを参照するポインタ情報のみをバックアップする方法が提案されている(特許文献1参照)。   As a method for solving such an increase in the backup time of data, for example, a method of backing up only pointer information referring to actual data when data overlaps with past data at the time of backup (patent) Reference 1).

同様に、バックアップ時間の増大を解決し、データ消失のリスクを回避する手段として、バックアップすべきデータを固定数に分割し、分割されたデータを別装置に保存する方法が提案されている(特許文献2参照)。   Similarly, as a means for solving the increase in backup time and avoiding the risk of data loss, a method of dividing the data to be backed up into a fixed number and storing the divided data in another device has been proposed (patent) Reference 2).

特開2009−205201号公報JP 2009-205201 A 特開2007−42027号公報JP 2007-42027 A

保存されるデータの増大に伴い、磁気テープによるデータのバックアップのためのジョブの実行時間が長くなる。また、バックアップジョブが一度では成功しない場合に、バックアップジョブを最初から再実行することになり、バックアップジョブの完了までの時間はさらに長くなる。このため、バックアップ頻度を高めることが難しく、バックアップテープがオフサイトに適切なスケジュールで搬送されず、損壊からの保護が十分でない等の問題があった。   As the stored data increases, the execution time of a job for backing up data on a magnetic tape becomes longer. Further, when the backup job is not successful once, the backup job is re-executed from the beginning, and the time until the backup job is completed is further increased. For this reason, it is difficult to increase the backup frequency, and there is a problem that the backup tape is not transported to the off-site on an appropriate schedule and the protection from damage is not sufficient.

前述した特許文献1に記載された技術では、過去の実データが消失した場合、ポインタ情報によって参照するデータが消失しており、データ消失のリスク回避には十分ではない。   In the technique described in Patent Document 1 described above, when past actual data is lost, data referred to by pointer information is lost, which is not sufficient for avoiding the risk of data loss.

また、前述した特許文献2に記載された技術では、分割数及び分割データの送付先が固定的なので、バックアップデータが巨大であった場合、分割データも大きくなり、バックアップ時間増大の問題を解決することができない。   Further, in the technique described in Patent Document 2 described above, since the number of divisions and the transmission destination of the divided data are fixed, if the backup data is huge, the divided data also becomes large and the problem of increase in backup time is solved. I can't.

また、別装置にオンラインでバックアップする場合、バックアップデータの増大に伴い、バックアップデータを転送する時間が増大し、データを分割してバックアップする場合でも、トラヒック量などに応じて、分割数及び分割バックアップ先を決定することが望ましい。   In addition, when backing up to another device online, the backup data transfer time increases as the backup data increases, and even if the data is backed up by dividing it, the number of divisions and the divided backup will depend on the traffic volume, etc. It is desirable to determine the destination.

本発明は、バックアップデータの量及びトラヒック量に応じて、分割数及び分割バックアップ先を動的に決定することができる計算機システム及びストレージシステムを提供することを目的とする。   It is an object of the present invention to provide a computer system and a storage system that can dynamically determine the number of divisions and the division backup destination according to the amount of backup data and the amount of traffic.

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、少なくとも第1のデータセンタ、第2のデータセンタ及び第3のデータセンタを含むデータセンタを複数備える計算機システムであって、前記データセンタは、プロセッサ、メモリ、ストレージインターフェース及びネットワークインターフェースを備えるサーバと、ストレージ制御装置、記憶装置及びインターフェースを備えるストレージシステムを有し、前記第1のデータセンタのサーバは、ユーザ端末に接続されており、前記第1のデータセンタのサーバは、前記ストレージシステムへ書き込まれるファイルの複製を格納する他のデータセンタへのデータの転送の優先順序が定められた転送順情報及び前記書き込みが要求されたファイルの分割サイズの情報を保持する制御部と、前記ユーザ端末から書き込みが要求されたデータを分割するデータ分割部と、前記分割されたデータを送信する送信部とを有し、前記制御部は、前記ユーザ端末からファイルの書込要求を受信した場合、前記書き込みが要求されたファイルのサイズ及び前記分割サイズの情報に基づいて、前記受信したデータの分割数を定め、前記転送順情報を参照して、前記各分割されるデータを転送するデータセンタを決定し、前記データ分割部は、前記書き込みが要求されたファイルを前記定められた数のデータに分割し、前記送信部は、前記分割されたデータを前記決定されたデータセンタに並列に送信することを特徴とする。   A typical example of the invention disclosed in the present application is as follows. That is, a computer system including a plurality of data centers including at least a first data center, a second data center, and a third data center, wherein the data center includes a processor, a memory, a storage interface, and a network interface. And a storage system comprising a storage control device, a storage device, and an interface, wherein the first data center server is connected to a user terminal, and the first data center server is connected to the storage system. A control unit for holding transfer order information in which a priority order of data transfer to another data center storing a copy of a file to be written and information on a division size of the file requested to be written; and the user terminal The write requested from A data dividing unit that divides the data, and a transmission unit that transmits the divided data. When the control unit receives a file write request from the user terminal, the file requested to be written The data division unit determines the number of divisions of the received data based on the size and the division size information, determines the data center to which the divided data is transferred with reference to the transfer order information, and the data division unit Divides the file requested to be written into the predetermined number of data, and the transmission unit transmits the divided data in parallel to the determined data center.

本発明の代表的な実施の形態によれば、データサイズが大きい場合でもバックアップ時間の延長を抑制することができる。   According to the exemplary embodiment of the present invention, it is possible to suppress the extension of the backup time even when the data size is large.

本発明の第1の実施の形態のネットワークシステムを示すブロック図である。1 is a block diagram illustrating a network system according to a first embodiment of this invention. 本発明の第1の実施の形態のサーバの構成を示すブロック図である。It is a block diagram which shows the structure of the server of the 1st Embodiment of this invention. 本発明の第1の実施の形態の転送順テーブルの構成を説明する図である。It is a figure explaining the structure of the transfer order table of the 1st Embodiment of this invention. 本発明の第1の実施の形態の元ファイル管理テーブルの構成を説明する図である。It is a figure explaining the structure of the original file management table of the 1st Embodiment of this invention. 本発明の第1の実施の形態の分割ファイル管理テーブルの構成を説明する図である。It is a figure explaining the structure of the division | segmentation file management table of the 1st Embodiment of this invention. 本発明の第1の実施の形態の分割バックアップする処理のシーケンス図である。FIG. 6 is a sequence diagram of processing for performing split backup according to the first embodiment of this invention. 本発明の第1の実施の形態の分割バックアップする処理のシーケンス図である。FIG. 6 is a sequence diagram of processing for performing split backup according to the first embodiment of this invention. 本発明の第1の実施の形態の分割データの再構築処理のシーケンス図である。It is a sequence diagram of the reconstruction process of the divided data according to the first embodiment of this invention. 本発明の第2の実施の形態の転送順テーブルの設定処理のシーケンス図である。It is a sequence diagram of the setting process of the transfer order table of the 2nd Embodiment of this invention. 本発明の第2の実施の形態のトラフィックデータ集計表の構成を説明する図である。It is a figure explaining the structure of the traffic data total table of the 2nd Embodiment of this invention.

まず、本発明の実施の形態の概要について説明する。   First, an outline of an embodiment of the present invention will be described.

本発明の実施の形態では、ユーザ端末101から送信されたデータを、所定のサイズ(短時間に保管可能なサイズ)に分割し、ネットワーク(例えば、WAN)104を介して、他のデータセンタに保管する。また、ユーザ端末101から当該データの参照要求があった場合、通常は自データセンタに保存されたデータを送信するが、自データセンタに保存していたデータが破損している場合、他のデータセンタに分割保存されているデータを収集し、分割されたデータを統合し、統合されたデータをユーザ端末101に送信する。   In the embodiment of the present invention, the data transmitted from the user terminal 101 is divided into a predetermined size (size that can be stored in a short time), and is transmitted to another data center via the network (for example, WAN) 104. store. When there is a reference request for the data from the user terminal 101, data stored in the own data center is normally transmitted. However, if the data stored in the own data center is damaged, other data Data divided and stored in the center is collected, the divided data are integrated, and the integrated data is transmitted to the user terminal 101.

具体的には、データセンタは、ユーザ端末101と接続される送信部205及び受信部201、他データセンタと接続される送信部203及び受信部207、制御部204、データ分割部202、及びデータ結合部206を有するサーバ102と、記憶装置を有するストレージ装置103を備える。   Specifically, the data center includes a transmission unit 205 and a reception unit 201 connected to the user terminal 101, a transmission unit 203 and a reception unit 207 connected to another data center, a control unit 204, a data division unit 202, and data A server 102 having a coupling unit 206 and a storage apparatus 103 having a storage device are provided.

PC側受信部201がユーザ端末101から受信したデータは、制御部204からの指示に従って、データ分割部によって分割され、分割されたデータはデータセンタ側送信部203から並列に送信される。   Data received by the PC-side receiving unit 201 from the user terminal 101 is divided by the data dividing unit in accordance with an instruction from the control unit 204, and the divided data is transmitted in parallel from the data center-side transmitting unit 203.

一方、ユーザ端末101からのデータ参照要求を受信すると、自データセンタにデータが格納されているかを判定する。自データセンタに格納されているデータが破損している場合、当該データの分割データを格納しているデータセンタに、分割データの送信を要求する。他データセンタから受信した分割データを結合し、結合されたデータをPC側送信部205からデータを送信する。   On the other hand, when a data reference request is received from the user terminal 101, it is determined whether data is stored in the own data center. When the data stored in the own data center is damaged, the data center storing the divided data of the data is requested to transmit the divided data. The divided data received from the other data centers are combined, and the combined data is transmitted from the PC side transmission unit 205.

更に、制御部204に保持される転送順テーブル208は、時間帯毎の転送先のデータセンタを決定する際に、保守端末204から設定される情報に代えて、過去の各データセンタへ転送されたデータ量の統計値、転送データ量に影響する情報などに基づいた重回帰分析結果を用いて転送順テーブルを作成することによって、自動的に、時間帯毎のトラフィックに従った転送順テーブルを生成する。   Further, the transfer order table 208 held in the control unit 204 is transferred to each past data center instead of the information set from the maintenance terminal 204 when determining the transfer destination data center for each time period. By creating a transfer order table using multiple regression analysis results based on statistics on the amount of data transferred and information that affects the amount of transferred data, the transfer order table according to traffic for each time zone is automatically created. Generate.

以下、本発明の実施の形態について、図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

<実施形態1>
図1は、本発明の実施の形態のネットワークシステムを示すブロック図である。
<Embodiment 1>
FIG. 1 is a block diagram illustrating a network system according to an embodiment of this invention.

第1の実施の形態のネットワークシステムは、データセンタW100、データセンタX105、データセンタY108及びデータセンタZ111を備える。   The network system according to the first embodiment includes a data center W100, a data center X105, a data center Y108, and a data center Z111.

データセンタW100は、ネットワーク104を介して、データセンタX105、データセンタY108及びデータセンタZ111と接続されている。なお、データセンタ間はネットワークではなく、専用線によって接続されてもよい。また、データセンタ間を接続するネットワークと、データセンタW100とユーザ端末との間を接続するネットワークとは、同じネットワークでも、別なネットワークでもよい。また、データセンタW100は、ユーザ端末(例えば、パーソナルコンピュータ)101を収容している。   The data center W100 is connected to the data center X105, the data center Y108, and the data center Z111 via the network 104. The data centers may be connected not by a network but by a dedicated line. Also, the network connecting the data centers and the network connecting the data center W100 and the user terminal may be the same network or different networks. The data center W100 accommodates a user terminal (for example, a personal computer) 101.

データセンタX105、データセンタY108及びデータセンタZ111は、データセンタW100から離れた場所(遠隔地)に設けられても、データセンタW100と同一の建屋に設けられてもよい。なお、データセンタ間の距離が長い方が、データを転送するために長い時間が必要なので、本発明がより効果的である。   Data center X105, data center Y108, and data center Z111 may be provided at a location (remote location) away from data center W100 or in the same building as data center W100. Note that the present invention is more effective when the distance between data centers is longer because a longer time is required to transfer data.

データセンタW100は、サーバ102及びストレージ装置103を有する。サーバ102は、プログラムを実行するプロセッサ1021、プロセッサ1021によって実行されるプログラムを記憶するメモリ1022、ネットワーク104と接続されるネットワークインターフェース1023、及びストレージ装置103と接続されるストレージインターフェース1024を有し、ユーザとのインターフェースを提供する計算機である。なお、一つのネットワークインターフェースをサーバ102に実装し、データセンタ間の通信と、ユーザ端末101との通信との両方を制御してもよい。   The data center W100 includes a server 102 and a storage device 103. The server 102 includes a processor 1021 that executes a program, a memory 1022 that stores a program executed by the processor 1021, a network interface 1023 connected to the network 104, and a storage interface 1024 connected to the storage apparatus 103. It is a computer that provides an interface with. Note that one network interface may be mounted on the server 102 to control both communication between data centers and communication with the user terminal 101.

ストレージ装置103は、記憶装置1033へのデータの入出力を制御するストレージ制御装置1031、サーバ102と接続されるストレージインターフェース1032、及び不揮発性記憶装置1033(例えば、磁気ディスク装置、フラッシュメモリ)を有し、サーバ102からの要求に従って、格納すべきデータを記憶装置1033に格納し、参照すべきデータを記憶装置1033から読み出す。   The storage device 103 has a storage control device 1031 that controls input / output of data to / from the storage device 1033, a storage interface 1032 connected to the server 102, and a nonvolatile storage device 1033 (for example, a magnetic disk device, flash memory). Then, in accordance with a request from the server 102, data to be stored is stored in the storage device 1033, and data to be referred to is read from the storage device 1033.

データセンタW100には、管理端末200が接続されている。管理端末200は、プログラムを実行するプロセッサ、プロセッサによって実行されるプログラムを記憶するメモリ、ネットワーク104と接続されるネットワークインターフェース、及びユーザインターフェース(例えば、キーボード、表示装置など)を有する計算機である。システム管理者は、保守端末200から、データの分割サイズを設定し、転送順テーブル208を入力することによって、データの送付先となるデータセンタを設定する。   A management terminal 200 is connected to the data center W100. The management terminal 200 is a computer having a processor that executes a program, a memory that stores a program executed by the processor, a network interface connected to the network 104, and a user interface (for example, a keyboard and a display device). The system administrator sets the data division size from the maintenance terminal 200 and inputs the transfer order table 208 to set the data center to which the data is to be sent.

以上、データセンタW100について説明したが、同様に、データセンタX105はサーバ106及びストレージ装置107を有し、データセンタY108はサーバ109及びストレージ装置110を有し、データセンタZ111はサーバ112及びストレージ装置113を有する。また、各サーバ及び各ストレージ装置の構成は、データセンタW100のサーバ102及びストレージ装置103と同一である。   The data center W100 has been described above. Similarly, the data center X105 includes the server 106 and the storage device 107, the data center Y108 includes the server 109 and the storage device 110, and the data center Z111 includes the server 112 and the storage device. 113. The configuration of each server and each storage device is the same as that of the server 102 and the storage device 103 of the data center W100.

図2は、本発明の実施の形態のサーバの構成を示すブロック図である。   FIG. 2 is a block diagram showing a configuration of the server according to the embodiment of this invention.

サーバ102は、前述したように、プロセッサ1021、メモリ1022、ネットワークインターフェース1023及びストレージインターフェース1024を有する計算機であり、PC側受信部201、データ分割部202、データセンタ側送信部203、制御部204、PC側送信部205、データ結合部206及びデータセンタ側受信部207を有する。   As described above, the server 102 is a computer having the processor 1021, the memory 1022, the network interface 1023, and the storage interface 1024. The PC side receiving unit 201, the data dividing unit 202, the data center side transmitting unit 203, the control unit 204, A PC-side transmitting unit 205, a data combining unit 206, and a data center-side receiving unit 207 are included.

PC側受信部201は、ユーザ端末101から送信されたデータを受信する。データ分割部202は、制御部204から指定されるデータ分割サイズに従って、PC側受信部201が受信したデータを分割する。   The PC-side receiving unit 201 receives data transmitted from the user terminal 101. The data dividing unit 202 divides the data received by the PC-side receiving unit 201 according to the data division size designated by the control unit 204.

データセンタ側送信部203は、データ分割部202によって分割されたデータを、予め定められた転送順テーブル208(図3A参照)に従って、分割されたデータを遠隔地のデータセンタに並列に送信する。この際、データセンタ側送信部203(ネットワークインターフェース1023)の能力によって、分割された全てのデータを並列に送信してもよいし、分割された一部のデータを並列に送信してもよい。そして、データセンタ側送信部203は、分割されたデータの送信実績を制御部204に通知する。   The data center side transmission unit 203 transmits the data divided by the data division unit 202 in parallel to the remote data center in accordance with a predetermined transfer order table 208 (see FIG. 3A). At this time, all the divided data may be transmitted in parallel or a part of the divided data may be transmitted in parallel depending on the capability of the data center side transmission unit 203 (network interface 1023). Then, the data center side transmission unit 203 notifies the control unit 204 of the transmission result of the divided data.

制御部204は、保守端末200とのインターフェース機能を有し、保守端末200から設定されるデータ分割サイズを保持し、分割データ送信先が格納される元ファイル管理テーブル209及び、分割データの送信先を決定するために保守端末200から設定された転送順テーブル208を保持する。制御部204は、データセンタ側送信部203から送信された転送実績に基づいて、元ファイル管理テーブル209(図3B参照)を更新する。   The control unit 204 has an interface function with the maintenance terminal 200, holds the data division size set from the maintenance terminal 200, and stores the divided data transmission destination, the original file management table 209, and the divided data transmission destination The transfer order table 208 set from the maintenance terminal 200 is stored. The control unit 204 updates the original file management table 209 (see FIG. 3B) based on the transfer record transmitted from the data center side transmission unit 203.

データセンタ側受信部207は、遠隔地のデータセンタから送信された分割データを並列に受信する。この際、データセンタ側受信部207(ネットワークインターフェース1023)の能力によって、分割された全てのデータを並列に受信してもよいし、分割された一部のデータを並列に受信してもよい。また、制御部204に保持される元ファイル管理テーブル209を参照し、登録されていないデータセンタからのデータの受信を拒否してもよい。また、元ファイル管理テーブル209に分割データのサイズが登録されている場合、正しいサイズの分割データのみを受信するようにしてもよい。   The data center side receiving unit 207 receives in parallel the divided data transmitted from the remote data center. At this time, depending on the capability of the data center side receiving unit 207 (network interface 1023), all the divided data may be received in parallel, or some of the divided data may be received in parallel. Further, referring to the original file management table 209 held in the control unit 204, reception of data from an unregistered data center may be rejected. Further, when the size of the divided data is registered in the original file management table 209, only the divided data having the correct size may be received.

PC側受信部201、データセンタ側送信部203、PC側送信部205及びデータセンタ側受信部207は、一つ又は複数のネットワークインターフェース1023で構成される。なお、一つの物理的ネットワークインターフェース1023を論理的に分割したものでもよい。データ分割部202及びデータ結合部206は、ハードウェアによって実装されても、プロセッサ1021が実行するソフトウェアによって実装されてもよい。また、制御部204は、プロセッサ1021が実行するソフトウェアによって実装される。   The PC-side receiving unit 201, the data center-side transmitting unit 203, the PC-side transmitting unit 205, and the data center-side receiving unit 207 are configured with one or a plurality of network interfaces 1023. Note that one physical network interface 1023 may be logically divided. The data dividing unit 202 and the data combining unit 206 may be implemented by hardware or software executed by the processor 1021. Further, the control unit 204 is implemented by software executed by the processor 1021.

図3Aは、本発明の実施の形態の転送順テーブル208の構成を説明する図である。   FIG. 3A is a diagram illustrating the configuration of the transfer order table 208 according to the embodiment of this invention.

転送順テーブル208は、制御部204によって保持され、時間帯A300、時間帯B301等の時間帯毎送付先データセンタが登録される。すなわち、転送順テーブル208には、データの送付先となるデータセンタが、保守端末200から、予め設定される。   The transfer order table 208 is held by the control unit 204, and a destination data center for each time zone such as a time zone A300 and a time zone B301 is registered. That is, in the transfer order table 208, a data center that is a data transmission destination is set in advance from the maintenance terminal 200.

図3Bは、本発明の実施の形態の元ファイル管理テーブル209の構成を説明する図である。   FIG. 3B is a diagram illustrating the configuration of the original file management table 209 according to the embodiment of this invention.

元ファイル管理テーブル209は、データセンタW100に格納されたファイルの情報が登録されており、送付元アドレス310、ファイル名311、サイズ312、ファイル格納場所322、更新日時313、CRC324、完了フラグ314及び分割配置先315を含む。元ファイル管理テーブル209は、制御部204に保持される。   In the original file management table 209, information on files stored in the data center W100 is registered. A divided arrangement destination 315 is included. The original file management table 209 is held in the control unit 204.

送付元アドレス310は、ファイルの保存を要求したユーザ端末101のIPアドレスである。なお、IPアドレスではなく、ネットワークにおいて使用されるアドレスを使用してもよい。   The sender address 310 is the IP address of the user terminal 101 that has requested the file storage. An address used in the network may be used instead of the IP address.

ファイル名311は、格納されたファイルの名称である。サイズ312は、格納されたファイルの大きさである。ファイル格納場所322は、当該ファイルが格納されている場所(パス)である。更新日時313は、当該ファイルが格納された時刻である。CRC324は、格納されたファイルの誤り検出符号である。   The file name 311 is the name of the stored file. The size 312 is the size of the stored file. The file storage location 322 is a location (path) where the file is stored. The update date and time 313 is the time when the file is stored. CRC 324 is an error detection code of the stored file.

完了フラグ314には、”0”又は”1”が格納され、”0”が分割データの送信開始を意味し、”1”が分割データの送信完了を意味する。分割配置先315は、当該ファイルを分割したデータが格納されるデータセンタの識別子であり、分割数(転送順)に応じた欄に登録される。なお、分割配置先315に、分割データのサイズを登録してもよい。   In the completion flag 314, “0” or “1” is stored, “0” means start of transmission of divided data, and “1” means completion of transmission of divided data. The division arrangement destination 315 is an identifier of a data center in which data obtained by dividing the file is stored, and is registered in a column corresponding to the number of divisions (transfer order). Note that the size of the divided data may be registered in the divided arrangement destination 315.

元ファイル管理テーブル209に格納されるデータのうち、送付元アドレス310、ファイル名311、サイズ312、ファイル格納場所322、更新日時313及び分割配置先315は、データセンタ側送信部203から送信される転送実績に基づいて、制御部204が更新する。   Of the data stored in the original file management table 209, the transmission source address 310, the file name 311, the size 312, the file storage location 322, the update date and time 313, and the divided arrangement destination 315 are transmitted from the data center side transmission unit 203. Based on the transfer record, the control unit 204 updates.

図3Cは、本発明の実施の形態の分割ファイル管理テーブル210の構成を説明する図である。   FIG. 3C is a diagram illustrating the configuration of the divided file management table 210 according to the embodiment of this invention.

分割ファイル管理テーブル210には、分割ファイルの情報が登録されており、送付元データセンタ316、分割ファイル名317、サイズ318、ファイル格納場所323、分割ファイル番号319、更新日時320及び完了フラグ321を含む。分割ファイル管理テーブル210は、分割ファイルが格納される遠隔地のデータセンタによって保持される。   In the divided file management table 210, information on the divided file is registered, and a transmission source data center 316, a divided file name 317, a size 318, a file storage location 323, a divided file number 319, an update date 320, and a completion flag 321 are displayed. Including. The divided file management table 210 is held by a remote data center where the divided files are stored.

送付元データセンタ316は、分割データを送信した(すなわち、当該分割データの分割元のファイルを格納している)データセンタの識別子である。分割ファイル名317は、当該分割データのファイル名である。サイズ318は、当該分割データの大きさである。ファイル格納場所323は、当該分割データが格納されている場所(パス)である。分割ファイル番号319は、元ファイル中で当該分割データの順序である。更新日時320は、当該分割データが格納された時刻である。完了フラグ321には、分割データ送信開始を意味する’0’、又は、分割データ送信完了を意味する’1’が設定される。   The transmission source data center 316 is an identifier of a data center that has transmitted the divided data (that is, stores a file from which the divided data is divided). The divided file name 317 is a file name of the divided data. The size 318 is the size of the divided data. The file storage location 323 is a location (path) where the divided data is stored. The division file number 319 is the order of the division data in the original file. The update date and time 320 is the time when the divided data is stored. In the completion flag 321, “0” indicating start of divided data transmission or “1” indicating completion of divided data transmission is set.

分割ファイル管理テーブル210に格納されるデータのうち、送付元データセンタ316、分割ファイル名317、サイズ318、ファイル格納場所323、分割ファイル番号319、更新日時320及び完了フラグ321は、データセンタ側送信部203から送信される転送実績に基づいて、制御部204が更新する。   Of the data stored in the divided file management table 210, the transmission source data center 316, the divided file name 317, the size 318, the file storage location 323, the divided file number 319, the update date 320, and the completion flag 321 are transmitted on the data center side. Based on the transfer record transmitted from the unit 203, the control unit 204 updates.

次に、本実施の形態のネットワークシステムの動作について、図4A、図4B及び図5を用いて説明する。   Next, the operation of the network system according to the present embodiment will be described with reference to FIGS. 4A, 4B, and 5. FIG.

図4A及び図4Bは、ユーザ端末101からのファイル保存要求に従って、自データセンタへのデータの保存、及び、他データセンタへのデータの分割バックアップする処理のシーケンス図である。   4A and 4B are sequence diagrams of processing for storing data in the local data center and dividing and backing up data to another data center in accordance with a file storage request from the user terminal 101. FIG.

まず、ユーザ端末101からデータセンタW100にファイル保存要求400があった場合、データセンタW100は、保存が要求されたファイルを自データセンタ内のストレージ装置に保存した後(401)、保存が要求されたファイルのCRCを計算する(402)。なお、CRC以外の誤り検出方法、誤り訂正方法を用いてもよい。   First, when there is a file saving request 400 from the user terminal 101 to the data center W100, the data center W100 saves the file requested to be saved in the storage device in its own data center (401), and then the saving is requested. The CRC of the selected file is calculated (402). An error detection method and error correction method other than CRC may be used.

そして、保存が要求されたファイルのファイル名と同一のファイル名が既に元ファイル管理テーブル209に登録されているか否かを判定する(403)。具体的には、保存が要求されたファイルのファイル名が元ファイル管理テーブル209に既に登録されているか否かを判定し、さらに、当該ファイル名が元ファイル管理テーブル209に既に登録されている場合、当該ファイルのサイズ及びCRCが、元ファイル管理テーブル209に登録されたサイズ318及びCRC324と同一であるか否かを判定する。   Then, it is determined whether the same file name as the file name of the file requested to be saved is already registered in the original file management table 209 (403). Specifically, it is determined whether or not the file name of the file requested to be saved is already registered in the original file management table 209, and when the file name is already registered in the original file management table 209. Then, it is determined whether or not the size and CRC of the file are the same as the size 318 and CRC 324 registered in the original file management table 209.

その結果、ファイル名、サイズ及びCRCが同じであると判定された場合、上書き要否を確認するためのメッセージをユーザ端末101に送信し、ユーザの指示に従って上書きをするか否かを決定する(404)。   As a result, when it is determined that the file name, size, and CRC are the same, a message for confirming whether or not overwriting is necessary is transmitted to the user terminal 101, and it is determined whether or not to overwrite according to the user's instruction ( 404).

その結果、ファイルを上書きすると決定された場合、元ファイル管理テーブル209の当該ファイル名の行に新しいファイルのデータ(サイズ318及び更新日時320)を登録することによって、ファイルを上書きする。一方、ファイルを上書きしない場合、同一名のファイルを更新日時によって別ファイルとして管理する。   As a result, when it is determined that the file is to be overwritten, the file is overwritten by registering the data (size 318 and update date / time 320) of the new file in the line of the file name in the original file management table 209. On the other hand, if the file is not overwritten, the file with the same name is managed as a different file according to the update date.

保存が要求されたファイルのファイル名と同一のファイル名が元ファイル管理テーブル209に登録されていない場合、元ファイル管理テーブル209の送付元IPアドレス310に、ユーザ端末101のIPアドレスをとして登録し、保存が要求されたファイルのファイル名311、サイズ312、ファイル格納場所322及び更新日時313を元ファイル管理テーブル209に登録する(405)。次に、当該ファイル名の行の完了フラグ314に分割データ送信開始を意味する’0’をセットする(406)。   If the same file name as the file name of the file requested to be saved is not registered in the original file management table 209, the IP address of the user terminal 101 is registered in the source IP address 310 of the original file management table 209. The file name 311, the size 312, the file storage location 322, and the update date / time 313 of the requested file are registered in the original file management table 209 (405). Next, '0' indicating the start of divided data transmission is set in the completion flag 314 in the file name row (406).

更に、当該ファイルのファイルサイズを取得する(407)。ファイルサイズは、当該ファイルのヘッダに格納されている及び/又はファイルの保存要求に含まれている。   Further, the file size of the file is acquired (407). The file size is stored in the header of the file and / or included in the file save request.

そして、保守端末200から制御部204に予め設定された分割データサイズに従って、ファイルの分割数を決定する(408)。具体的には、ステップ407で取得したファイルサイズを予め設定された分割データサイズで除することによって、分割数を決定することができる。   Then, the number of file divisions is determined according to the division data size preset in the control unit 204 from the maintenance terminal 200 (408). Specifically, the number of divisions can be determined by dividing the file size obtained in step 407 by a preset division data size.

次に、転送順テーブル208を参照して、決定された分割数に従って、現在時刻において分割ファイルの送付先となるデータセンタを決定する(409)。   Next, referring to the transfer order table 208, the data center that is the destination of the divided file at the current time is determined according to the determined number of divisions (409).

ステップ405から407において、CRC、分割数、及び送付先が決定したので、CRC324及び分割配置先315を元ファイル管理テーブル209に登録した後(410)、データセンタW100において、当該ファイルを指定サイズで分割する(411)。この指定サイズは、分割データが等しいサイズとなるように設定してもよい。また、他のデータセンタに転送可能な最大サイズを用いてもよく、この場合、分割元のファイルの先頭から指定サイズで分割することによって、分割データを生成する。   In steps 405 to 407, since the CRC, the number of divisions, and the transmission destination are determined, after registering the CRC 324 and the division arrangement destination 315 in the original file management table 209 (410), the data center W100 sets the file in the specified size. Divide (411). The specified size may be set so that the divided data has the same size. In addition, the maximum size that can be transferred to another data center may be used. In this case, the divided data is generated by dividing the file at the specified size from the beginning of the division source file.

さらに、転送順テーブル208に登録された順序に従ったシーケンシャルな分割ファイル番号を元ファイル名の後に付して、分割されたデータのファイル名を決定する。   Further, a sequential division file number according to the order registered in the transfer order table 208 is added after the original file name to determine the file name of the divided data.

次に、分割されたデータを分割バックアップファイルとして、分割ファイル番号と共に、データ送付先として決定されたデータセンタへ送信する(412)。この分割ファイル番号と分割バックアップファイルとは、別のパケットで送信しても、分割バックアップファイルのヘッダに分割ファイル番号を含めて送信してもよい。分割ファイル番号と分割バックアップファイルとを別のパケットで送信する場合、両者の整合性のチェックがより強固となる。   Next, the divided data is transmitted as a divided backup file together with the divided file number to the data center determined as the data transmission destination (412). The divided file number and the divided backup file may be transmitted in different packets, or may be transmitted by including the divided file number in the header of the divided backup file. When the divided file number and the divided backup file are transmitted in different packets, the consistency check between them is further strengthened.

最後に、元ファイル管理テーブル209の当該ファイル名の行の完了フラグ314に、分割データ送信完了を意味する’1’を設定する(413)。   Finally, '1' indicating completion of divided data transmission is set in the completion flag 314 in the row of the file name in the original file management table 209 (413).

次に、分割データの送信先となる他データセンタが、受信した分割データを保存する処理について説明する。   Next, a process in which another data center that is a transmission destination of divided data stores the received divided data will be described.

分割データの送信先となるデータセンタX105は、分割ファイル番号及び分割ファイルを受け取ると、分割ファイル名に含まれる番号と分割ファイル番号とが一致しているか否かを判定する(414)。   Upon receiving the divided file number and the divided file, the data center X 105 that is the transmission destination of the divided data determines whether the number included in the divided file name matches the divided file number (414).

判定の結果、分割ファイル番号と分割ファイル名に含まれる番号とが一致していない場合、受信すべき分割ファイルが誤っている可能性がある。このため、データセンタW100に対し、分割ファイル及び分割ファイル番号の再送を要求する(415)。一方、分割ファイル番号と分割ファイル名に含まれる番号とが一致している場合、分割データの送付元のデータセンタの識別子を分割ファイル管理テーブル210の送付元データセンタ316に登録し、分割ファイル名317を分割ファイル管理テーブル210に登録する(416)。   As a result of the determination, if the divided file number and the number included in the divided file name do not match, there is a possibility that the divided file to be received is incorrect. Therefore, the data center W100 is requested to retransmit the divided file and the divided file number (415). On the other hand, if the division file number and the number included in the division file name match, the identifier of the data center that is the transmission source of the division data is registered in the transmission source data center 316 of the division file management table 210, and the division file name is registered. 317 is registered in the divided file management table 210 (416).

次に、当該分割ファイル名の行の完了フラグ321に分割データの保存開始を意味する’0’を設定する(417)。次に、分割ファイルのファイルサイズと、分割ファイル番号を受信データから取得し(418、419)、分割データを保存する(420)。   Next, '0' indicating the start of saving of the divided data is set in the completion flag 321 of the row of the divided file name (417). Next, the file size of the divided file and the divided file number are acquired from the received data (418, 419), and the divided data is saved (420).

そして、サイズ318、ファイル格納場所323、分割ファイル番号319及び更新日時320を、分割ファイル管理テーブル210に登録する(421)。最後に、当該ファイル名の行の完了フラグ321に、分割データ保存完了を意味する’1’を設定する(422)。   Then, the size 318, the file storage location 323, the divided file number 319, and the update date / time 320 are registered in the divided file management table 210 (421). Finally, '1' indicating completion of saving of the divided data is set in the completion flag 321 of the line of the file name (422).

以上、分割データを受信したデータセンタX105の処理について説明したが、分割データを受信した他のデータセンタ(例えば、データセンタY108)も同じ処理を実行する。   The process of the data center X105 that has received the divided data has been described above, but the other data center (for example, the data center Y108) that has received the divided data also executes the same process.

以上説明した手順によって、ユーザ端末101からのファイル保存要求による、自データセンタへの保存、及び、他データセンタへの分割バックアップを完了する。   By the procedure described above, the storage to the own data center and the divided backup to another data center by the file storage request from the user terminal 101 are completed.

次に、ファイル参照要求に対する処理について説明する。   Next, processing for a file reference request will be described.

図5は、本発明の実施の形態において、ユーザ端末101からのファイル参照要求に対し、自データセンタに格納されたデータの確認、他データセンタへの分割バックアップデータの送信要求、及び、分割データの再構築の処理のシーケンス図である。   FIG. 5 shows confirmation of data stored in its own data center, transmission request of divided backup data to another data center, and divided data in response to a file reference request from the user terminal 101 in the embodiment of the present invention. It is a sequence diagram of the process of reconstruction.

まず、ユーザ端末101からデータセンタW100にファイル参照要求(500)があった場合、データセンタW100のサーバ102は、自装置内の元ファイル管理テーブル209を参照し(501)、参照が要求されたファイル名と一致するファイル名が、テーブル上に存在するかによって、当該ファイルがデータセンタW100に格納されているか否かを判定する(502)。そして、ファイルが存在する場合、ストレージ装置103から当該ファイルを読み出し、読み出したファイルのサイズ及びCRCを確認する。   First, when there is a file reference request (500) from the user terminal 101 to the data center W100, the server 102 of the data center W100 refers to the original file management table 209 in its own device (501), and the reference is requested. It is determined whether the file is stored in the data center W100 based on whether a file name that matches the file name exists on the table (502). If the file exists, the file is read from the storage apparatus 103, and the size and CRC of the read file are confirmed.

そして、サイズ及びCRCの両方が元ファイル管理テーブル209に格納された値と同一である場合、ファイルは正常だと判定し、ストレージ装置103から読み出したファイルをユーザ端末101に送信する(503)。一方、サイズ及びCRCの少なくとも一方が一致しない場合、ファイルが破損していると判定し、以下の手順によって、他データセンタから分割バックアップファイルを取得する。   If both the size and CRC are the same as the values stored in the original file management table 209, it is determined that the file is normal, and the file read from the storage apparatus 103 is transmitted to the user terminal 101 (503). On the other hand, if at least one of the size and CRC does not match, it is determined that the file is damaged, and a divided backup file is obtained from another data center by the following procedure.

まず、サーバ102は、ファイルが破損していると判定した場合、元ファイル管理テーブル209の分割配置先315を参照し、当該ファイルの分割配置先であるデータセンタと、特定された各データセンタにバックアップされている分割ファイル番号とを取得する(504)。サーバ102は、分割ファイル番号とファイル名とから分割ファイル名を生成し、当該ファイルの分割バックアップであるデータセンタに分割ファイルのファイル名、分割ファイル番号を送信し、分割データの送信を要求する(505)。なお、本実施の形態では、分割ファイル名に分割ファイル番号が含まれているので、分割ファイル名を送信すれば、分割ファイル番号を送信しなくても、要求するファイルを特定することができる。   First, when the server 102 determines that the file is damaged, the server 102 refers to the divided arrangement destination 315 of the original file management table 209, and determines the data center that is the divided arrangement destination of the file and each identified data center. The division file number being backed up is acquired (504). The server 102 generates a divided file name from the divided file number and the file name, transmits the file name and the divided file number of the divided file to the data center which is the divided backup of the file, and requests transmission of the divided data ( 505). In this embodiment, since the divided file number is included in the divided file name, if the divided file name is transmitted, the requested file can be specified without transmitting the divided file number.

分割データ送信要求を受信したデータセンタX105のサーバ106は、分割ファイル管理テーブル210を参照し、要求元データセンタが送付元データセンタ316と一致するか、要求された分割ファイル名が分割ファイル名317と一致するか、分割ファイル番号が分割ファイル番号319と一致するかを確認する(506)。その後、全てのデータが分割ファイル管理テーブル210に登録されたデータと一致することが確認された場合、分割ファイルをストレージ装置107から読み出して、データセンタW100に送信する(507)。一方、いずれかのデータが一致しないと判定された場合、データセンタW100には、要求された分割ファイルを送信できない旨の応答を送信する。   The server 106 of the data center X 105 that has received the divided data transmission request refers to the divided file management table 210, and the request source data center matches the sending source data center 316, or the requested divided file name is the divided file name 317. Or whether the divided file number matches the divided file number 319 (506). Thereafter, when it is confirmed that all data matches the data registered in the divided file management table 210, the divided file is read from the storage apparatus 107 and transmitted to the data center W100 (507). On the other hand, when it is determined that any of the data does not match, a response indicating that the requested divided file cannot be transmitted is transmitted to the data center W100.

データセンタW100のサーバ102は、データセンタX105から送信された分割データのファイル名が要求したファイル名と一致するか否かを判定する。そして、分割データのファイル名の末尾の番号と分割ファイル番号とが一致しているか、分割データのファイル名の末尾の番号以外の部分と元ファイル名とが一致しているかを判定する。そして、受信した全ての分割ファイルについて前述した判定の後、全ての分割ファイルが揃っているか否かを判定する。具体的には、元ファイル管理テーブル209を参照し、元ファイル名の行に登録された分割配置先のデータセンタからの全ての分割ファイルを受信したか否かを判定する。これらの判定によって、受信した分割ファイルが正しいものであることが確認された場合、分割ファイルを結合する(508)。   The server 102 of the data center W100 determines whether the file name of the divided data transmitted from the data center X 105 matches the requested file name. Then, it is determined whether the number at the end of the file name of the divided data matches the divided file number, or whether the portion other than the number at the end of the file name of the divided data matches the original file name. Then, after the above-described determination for all received divided files, it is determined whether all the divided files are prepared. Specifically, the original file management table 209 is referred to, and it is determined whether or not all the divided files from the divided arrangement destination data center registered in the original file name line have been received. If these determinations confirm that the received divided file is correct, the divided files are combined (508).

そして、結合されたファイルのサイズと元ファイル管理テーブル209のサイズ312とを比較し、結合されたファイルのサイズが正しいか否かを判定する。また、結合されたファイルのCRCを計算し、計算されたCRCと元ファイル管理テーブル209のCRC324とが一致するか否かを判定する(509)。   Then, the size of the combined file is compared with the size 312 of the original file management table 209, and it is determined whether or not the size of the combined file is correct. Further, the CRC of the combined file is calculated, and it is determined whether or not the calculated CRC matches the CRC 324 of the original file management table 209 (509).

サイズ及びCRCが正しい場合、元データファイルが正しく再構築されたので、消失したファイルの代わりに結合されたファイルをストレージ装置103に保存する(510)。これによって、破損したファイルを補完することができる。一方、サイズ及びCRCの少なくとも一方が正しくない場合、元データファイルが正しく再構築されていないので、システムに異常が生じている旨をシステム管理者に通知する(511)。   If the size and CRC are correct, the original data file has been correctly reconstructed, and the combined file is saved in the storage apparatus 103 instead of the lost file (510). As a result, the damaged file can be complemented. On the other hand, if at least one of the size and CRC is not correct, the system administrator is notified that the system has an abnormality because the original data file has not been correctly reconstructed (511).

その後、再構築されたファイルをユーザ端末101に送信し(509)、処理を終了する。   Thereafter, the reconstructed file is transmitted to the user terminal 101 (509), and the process is terminated.

本発明の第1の実施の形態によれば、大きなデータも予め設定したデータサイズに分割し、元ファイルのデータ量に合わせた数のデータセンタを選択し、選択された他のデータセンタに並列に分割データを送信しバックアップを行なうので、データサイズが大きい場合でもバックアップ時間の延長を抑制することができる。また、時間帯によって、分割データを送信するデータセンタを変更するので、ネットワーク及びデータセンタの負荷に応じて、適切な送信先のデータセンタを選択することができる。さらに、データが分割してバックアップされているので、データの秘匿性を高めることができる。   According to the first embodiment of the present invention, large data is also divided into preset data sizes, the number of data centers matching the data amount of the original file is selected, and the selected data center is parallel to the selected data center. Since the divided data is transmitted to perform backup, the extension of the backup time can be suppressed even when the data size is large. Further, since the data center for transmitting the divided data is changed depending on the time zone, an appropriate transmission destination data center can be selected according to the load on the network and the data center. Furthermore, since the data is divided and backed up, the confidentiality of the data can be improved.

<実施形態2>
次に、本発明の第2の実施の形態について説明する。
<Embodiment 2>
Next, a second embodiment of the present invention will be described.

前述した第1の実施の形態では、保守端末200から転送順テーブル208を設定した。しかし、時間帯に応じて適切なデータセンタを登録する作業は煩雑であり、データセンタのトラヒック量の時刻及び日による変化に適切なデータセンタを選択し、登録することが困難である。   In the first embodiment described above, the transfer order table 208 is set from the maintenance terminal 200. However, the task of registering an appropriate data center according to the time zone is complicated, and it is difficult to select and register an appropriate data center for the change of the traffic volume of the data center according to time and date.

そこで、第2の実施の形態では、データセンタのトラヒックデータの統計量、関連情報(トラフィックに影響する情報)を用いた重回帰分析結果に基づいて、分割データの転送先データセンタを転送順テーブル208に設定する。但し、第2の実施の形態では、分割データの送信元データセンタと送信先データセンタとの間のトラヒックデータを用いて転送順テーブル208生成する。よって、送信先データセンタと他のデータセンタとの間のトラヒックデータを考慮する必要がある場合は、これらのデータも含めた重回帰分析をすればよく、また、管理者が転送順テーブル208を設定してもよい。   Therefore, in the second embodiment, based on the multiple regression analysis result using the statistics of traffic data of the data center and the related information (information affecting traffic), the transfer destination data center of the divided data is transferred to the transfer order table. Set to 208. However, in the second embodiment, the transfer order table 208 is generated using the traffic data between the transmission source data center and the transmission destination data center of the divided data. Therefore, when it is necessary to consider the traffic data between the destination data center and another data center, a multiple regression analysis including these data may be performed. It may be set.

なお、第2の実施の形態は、サーバ102が転送順テーブル208を設定する処理が異なるのみで、他の装置の構成及び処理は、前述した第1の実施の形態と同じであるため、これらの説明は省略する。   Note that the second embodiment is different only in the processing in which the server 102 sets the transfer order table 208, and the configuration and processing of other devices are the same as those in the first embodiment described above. Description of is omitted.

第2の実施の形態のサーバ102は、前述した第1の実施の形態と同様に、PC側受信部201、データ分割部202、データセンタ側送信部203、制御部204、PC側送信部205、データ結合部206及びデータセンタ側受信部207を有し、制御部204が転送順テーブル208の設定処理を実行する。この設定処理は、プロセッサがメモリに記憶されたプログラムを実行することによって実装される。   As in the first embodiment, the server 102 according to the second embodiment includes a PC-side receiving unit 201, a data dividing unit 202, a data center-side transmitting unit 203, a control unit 204, and a PC-side transmitting unit 205. The data combination unit 206 and the data center side reception unit 207, and the control unit 204 executes the setting process of the transfer order table 208. This setting process is implemented by the processor executing a program stored in the memory.

また、データセンタX105のサーバ106、データセンタY108のサーバ109及びデータセンタZ111のサーバ112のネットワークインターフェースにトラフィック量測定部を設け、各データセンタが受信するデータの量を測定する。   Further, a traffic amount measuring unit is provided in the network interface of the server 106 of the data center X105, the server 109 of the data center Y108, and the server 112 of the data center Z111, and measures the amount of data received by each data center.

図6Aは、第2の実施の形態の転送順テーブル208の設定処理のシーケンス図である。   FIG. 6A is a sequence diagram of setting processing of the transfer order table 208 according to the second embodiment.

まず、図6Aに示すように、データセンタW100のサーバ102は、他のデータセンタが計測したトラフィック量を定期的に取得し、取得したトラフィック量をトラフィックデータ集計表に記録する(611)。   First, as shown in FIG. 6A, the server 102 of the data center W100 periodically acquires the traffic volume measured by another data center, and records the acquired traffic volume in the traffic data tabulation table (611).

具体的には、分割されたデータの送付先候補となる各データセンタ向けの過去のトラフィック量の統計値を所定のフォーマットにて集計し、各データセンタ向けトラフィックデータ集計表601に記録する。   Specifically, the statistical values of the past traffic volume for each data center that is a candidate for the destination of the divided data are aggregated in a predetermined format and recorded in the traffic data aggregation table 601 for each data center.

図6Bに示すように、トラフィックデータ集計表601は、日付602、曜日603、時間帯604、トラフィック量605、天候606、祝日607、イベント608及びフラグ609を含む。曜日603、時間帯604、天候606及び祝日607は、経験的に、トラフィック量に影響を及ぼす要因となる。また、これらの項目でカバーできないトラフィック量の変動の要因となる事象を必要に応じて登録するためにフラグ609が設けられており、このデータセンタ向けに特定日時に分割データを送信することが必要な場合に用いられる。なお、トラフィックデータ集計表601の項目は、前述した項目に限らず、トラフィック量に影響を及ぼす可能性のある項目を用いるとよい。   As shown in FIG. 6B, the traffic data tabulation table 601 includes a date 602, a day of the week 603, a time zone 604, a traffic volume 605, a weather 606, a holiday 607, an event 608, and a flag 609. The day of the week 603, the time zone 604, the weather 606, and the holiday 607 are empirically factors that affect the traffic volume. In addition, a flag 609 is provided for registering, as necessary, events that cause fluctuations in traffic volume that cannot be covered by these items, and it is necessary to transmit divided data at a specific date and time for this data center. Used in any case. The items in the traffic data summary table 601 are not limited to the items described above, and items that may affect the traffic volume may be used.

トラフィック量605は、過去の当該時間帯における平均トラフィック量でも、当該時間帯のある時点のトラフィック量でもよく、統計的に定められるトラフィック量を用いることができる。   The traffic amount 605 may be an average traffic amount in the past time zone or a traffic amount at a certain point in the time zone, and a statistically determined traffic amount can be used.

なお、この処理によって更新されたトラフィックデータ集計表601は、保守端末200から、いつでも、必要に応じて、各データを修正することができる(612)。   Note that the traffic data totaling table 601 updated by this process can be corrected from the maintenance terminal 200 at any time as needed (612).

次に、システム管理者は、転送順テーブル208を自動生成する必要が生じた場合、保守端末200から、制御部204に転送順テーブル自動生成を指示する(613)。   Next, when it becomes necessary to automatically generate the transfer order table 208, the system administrator instructs the control unit 204 to automatically generate the transfer order table (613).

制御部204は、転送順テーブル自動生成指示613を受けると、ステップ611で生成したデータセンタY用のトラフィックデータ集計表601を参照して重回帰分析を行ない、ある日の各データセンタ用の重回帰分析式(下式)を生成する(614)。具体的には、各データセンタ用のトラフィックデータ集計表601を参照して過去の特定日(1月11日)のデータを抽出し、トラフィック量を目的変数とし、その他の変数を説明変数として、重回帰分析を行なう。重回帰分析方法における説明変数の係数の求め方は、変数減少法、変数増加法など様々な方法があるが、いずれの方法を採用することもできる。

トラフィック量(予想値)=係数A×トラヒック量+係数B×天候+係数C×祝日+係数D×イベント+係数E×フラグ
Upon receiving the transfer order table automatic generation instruction 613, the control unit 204 performs a multiple regression analysis with reference to the traffic data summary table 601 for the data center Y generated in step 611, and performs a multiple regression analysis for each data center on a certain day. A regression analysis formula (the following formula) is generated (614). Specifically, referring to the traffic data summary table 601 for each data center, data of the past specific date (January 11) is extracted, the traffic volume is set as a target variable, and other variables are set as explanatory variables. Perform multiple regression analysis. There are various methods for obtaining the coefficient of the explanatory variable in the multiple regression analysis method, such as a variable reduction method and a variable increase method, and any method can be adopted.

Traffic volume (expected value) = coefficient A × traffic volume + coefficient B × weather + coefficient C × holiday + coefficient D × event + coefficient E × flag

次に、ステップ614で生成した各データセンタ用の重回帰分析式を用いて、目的の日のトラフィック量の予想値を計算する(615)。具体的には、予想値を計算すべき日の曜日、時間帯、天候、祝日、イベントの有無などの情報を、重回帰分析式に代入し、トラフィック量の予想値を計算する(615)。   Next, using the multiple regression analysis formula for each data center generated in step 614, an expected value of the traffic volume on the target day is calculated (615). Specifically, information such as the day of the week on which the predicted value is to be calculated, the time zone, the weather, holidays, and the presence / absence of an event is substituted into the multiple regression analysis formula to calculate the predicted value of traffic volume (615).

その後、ステップ615で計算した各データセンタ向けのトラフィック量の予想値を比較し、トラフィック量の予想値の小さい順に、データセンタの識別子を転送順テーブル208に登録する(616)。   Thereafter, the predicted traffic volume values for the respective data centers calculated in step 615 are compared, and the data center identifiers are registered in the transfer order table 208 in ascending order of the predicted traffic volume values (616).

最後に、制御部204から保守端末200に、転送順テーブル作成完了通知を発行し(617)、転送順テーブルの設定処理を完了する。   Finally, a transfer order table creation completion notification is issued from the control unit 204 to the maintenance terminal 200 (617), and the transfer order table setting process is completed.

以上説明したように、本発明の第2の実施の形態では、過去の各データセンタ向けの統計的トラフィックデータ量、トラフィックデータ量に影響する情報などを用いた重回帰分析結果に基づいて転送順テーブル208を設定することによって、分割データの転送先のデータセンタの順序を実際のトラフィック量に柔軟に対応させることが可能となる。   As described above, in the second embodiment of the present invention, the order of transfer is based on the results of multiple regression analysis using the statistical traffic data amount for each past data center, information that affects the traffic data amount, and the like. By setting the table 208, it is possible to flexibly correspond to the actual traffic amount in the order of the data center to which the divided data is transferred.

100、105、108、111 データセンタ
101 ユーザ端末
102、106、109、112 サーバ
103、107、110、113 ストレージ装置
104 ネットワーク
200 保守端末
201 PC側受信部
202 データ分割部
203 データセンタ側送信部
204 制御部
205 PC側送信部
206 データ結合部
207 データセンタ側受信部
208 転送順テーブル
209 元ファイル管理テーブル
210 分割ファイル管理テーブル
100, 105, 108, 111 Data center 101 User terminal 102, 106, 109, 112 Server 103, 107, 110, 113 Storage device 104 Network 200 Maintenance terminal 201 PC side receiving unit 202 Data dividing unit 203 Data center side transmitting unit 204 Control unit 205 PC side transmission unit 206 Data combination unit 207 Data center side reception unit 208 Transfer order table 209 Original file management table 210 Split file management table

Claims (12)

少なくとも第1のデータセンタ、第2のデータセンタ及び第3のデータセンタを含むデータセンタを複数備える計算機システムであって、
前記データセンタは、プロセッサ、メモリ、ストレージインターフェース及びネットワークインターフェースを備えるサーバと、ストレージ制御装置、記憶装置及びインターフェースを備えるストレージシステムを有し、
前記第1のデータセンタのサーバは、ユーザ端末に接続されており、
前記第1のデータセンタのサーバは、
前記ストレージシステムへ書き込まれるファイルの複製を格納する他のデータセンタへのデータの転送の優先順序が定められた転送順情報及び前記書き込みが要求されたファイルの分割サイズの情報を保持する制御部と、
前記ユーザ端末から書き込みが要求されたデータを分割するデータ分割部と、
前記分割されたデータを送信する送信部とを有し、
前記制御部は、
前記ユーザ端末からファイルの書込要求を受信した場合、前記書き込みが要求されたファイルのサイズ及び前記分割サイズの情報に基づいて、前記受信したデータの分割数を定め、
前記転送順情報を参照して、前記各分割されるデータを転送するデータセンタを決定し、
前記データ分割部は、前記書き込みが要求されたファイルを前記定められた数のデータに分割し、
前記送信部は、前記分割されたデータを前記決定されたデータセンタに並列に送信することを特徴とする計算機システム。
A computer system comprising a plurality of data centers including at least a first data center, a second data center, and a third data center,
The data center includes a server including a processor, a memory, a storage interface, and a network interface, and a storage system including a storage control device, a storage device, and an interface.
The server of the first data center is connected to a user terminal;
The server of the first data center is
A control unit for holding transfer order information in which a priority order of data transfer to another data center storing a copy of a file to be written to the storage system and information on a division size of the file requested to be written; ,
A data dividing unit for dividing data requested to be written by the user terminal;
A transmission unit for transmitting the divided data;
The controller is
When a file write request is received from the user terminal, the division number of the received data is determined based on the size of the file requested to be written and the division size information.
Referring to the transfer order information, determine a data center to transfer the divided data,
The data dividing unit divides the file requested to be written into the predetermined number of data,
The transmission system transmits the divided data to the determined data center in parallel.
前記制御部は、
前記書き込みが要求されたファイルの情報が登録されるファイル管理情報を保持し、
前記分割されたデータを送信した後、前記分割されたデータの転送先のデータセンタを前記ファイル管理情報に登録することを特徴とする請求項1に記載の計算機システム。
The controller is
Holding file management information in which information of the file requested to be written is registered;
2. The computer system according to claim 1, wherein after the divided data is transmitted, a data center of a transfer destination of the divided data is registered in the file management information.
前記ファイル管理情報は、データの書き込みを要求したユーザ端末のアドレス、転送されたファイルの名前、及び、分割されたデータの転送先のデータセンタの識別子を含むことを特徴とする請求項2に記載の計算機システム。   The file management information includes an address of a user terminal that has requested data writing, a name of a transferred file, and an identifier of a data center to which the divided data is transferred. Computer system. 前記第1のデータセンタのサーバは、
前記ユーザ端末からのファイル参照要求を受信した場合、前記参照が要求されたファイルを前記第1のデータセンタのストレージ装置から提供できるか否かを判定し、
前記第1のデータセンタのストレージ装置からデータが提供できないと判定した場合、前記参照が要求されたファイルが分割されたデータを格納しているデータセンタを特定し、
前記特定されたデータセンタに前記分割されたデータを要求し、
前記受信した分割されたデータを結合することによって、前記参照が要求されたファイルを再構築し、
前記再構築されたファイルを前記ユーザ端末に送信することを特徴とする請求項1に記載の計算機システム。
The server of the first data center is
When receiving a file reference request from the user terminal, it is determined whether the file requested for reference can be provided from the storage device of the first data center;
If it is determined that the data cannot be provided from the storage device of the first data center, the data center storing the data obtained by dividing the file requested for reference is specified;
Request the divided data from the identified data center;
Reconstructing the file for which the reference was requested by combining the received split data;
The computer system according to claim 1, wherein the reconstructed file is transmitted to the user terminal.
前記転送順情報は、時間帯によって、異なるデータセンタへの転送の優先順序が定められることを特徴とする請求項1に記載の計算機システム。   The computer system according to claim 1, wherein the transfer order information includes a priority order of transfer to different data centers according to a time zone. 前記制御部は、過去の各データセンタに転送されたデータ量及び前記データ量に影響する情報に基づいた重回帰分析結果を用いて、前記転送順情報を作成することを特徴とする請求項1記載の計算機システム。   The said control part produces the said transfer order information using the multiple regression analysis result based on the data amount transferred to each past data center, and the information which influences the said data amount. The computer system described. 少なくとも2以上の他のデータセンタと接続されたデータセンタに設けられたサーバであって、
プロセッサ、メモリ、ストレージインターフェース及びネットワークインターフェースを備え、
前記ストレージインターフェースを介してストレージシステムと接続され、ユーザ端末と接続されており、
前記ストレージシステムへ書き込まれるファイルの複製を格納する他のデータセンタへのデータの転送の優先順序が定められた転送順情報及び前記書き込みが要求されたファイルの分割サイズの情報を保持する制御部と、
前記ユーザ端末から書き込みが要求されたデータを分割するデータ分割部と、
前記分割されたデータを送信する送信部とを有し、
前記制御部は、
前記ユーザ端末からファイルの書込要求を受信した場合、前記書き込みが要求されたファイルのサイズ及び前記分割サイズの情報に基づいて、前記受信したデータの分割数を定め、
前記転送順情報を参照して、前記各分割されるデータを転送するデータセンタを決定し、
前記データ分割部は、前記書き込みが要求されたファイルを前記定められた数のデータに分割し、
前記送信部は、前記分割されたデータを前記決定されたデータセンタに並列に送信することを特徴とするサーバ。
A server provided in a data center connected to at least two other data centers,
With processor, memory, storage interface and network interface,
Connected to the storage system via the storage interface, connected to the user terminal,
A control unit for holding transfer order information in which a priority order of data transfer to another data center storing a copy of a file to be written to the storage system and information on a division size of the file requested to be written; ,
A data dividing unit for dividing data requested to be written by the user terminal;
A transmission unit for transmitting the divided data;
The controller is
When a file write request is received from the user terminal, the division number of the received data is determined based on the size of the file requested to be written and the division size information.
Referring to the transfer order information, determine a data center to transfer the divided data,
The data dividing unit divides the file requested to be written into the predetermined number of data,
The server, wherein the transmission unit transmits the divided data to the determined data center in parallel.
前記制御部は、
前記書き込みが要求されたファイルの情報が登録されるファイル管理情報を保持し、
前記分割されたデータを送信した後、前記分割されたデータの転送先のデータセンタを前記ファイル管理情報に登録することを特徴とする請求項7に記載のサーバ。
The controller is
Holding file management information in which information of the file requested to be written is registered;
8. The server according to claim 7, wherein after the divided data is transmitted, a data center to which the divided data is transferred is registered in the file management information.
前記ファイル管理情報は、データの書き込みを要求したユーザ端末のアドレス、転送されたファイルの名前、及び、分割されたデータの転送先のデータセンタの識別子を含むことを特徴とする請求項8に記載のサーバ。   9. The file management information includes an address of a user terminal that has requested data writing, a name of a transferred file, and an identifier of a data center to which the divided data is transferred. Server. 前記サーバは、
前記ユーザ端末からのファイル参照要求を受信した場合、前記参照が要求されたファイルを前記第1のデータセンタのストレージ装置から提供できるか否かを判定し、
前記ユーザ端末からのファイル参照要求を受信したデータセンタのストレージ装置からデータが提供できないと判定した場合、前記参照が要求されたファイルが分割されたデータを格納しているデータセンタを特定し、
前記特定されたデータセンタに前記分割されたデータを要求し、
前記受信した分割されたデータを結合することによって、前記参照が要求されたファイルを再構築し、
前記再構築されたファイルを前記ユーザ端末に送信することを特徴とする請求項7に記載のサーバ。
The server
When receiving a file reference request from the user terminal, it is determined whether the file requested for reference can be provided from the storage device of the first data center;
When it is determined that data cannot be provided from the storage device of the data center that has received the file reference request from the user terminal, the data center storing the data obtained by dividing the file requested for reference is identified,
Request the divided data from the identified data center;
Reconstructing the file for which the reference was requested by combining the received split data;
The server according to claim 7, wherein the reconstructed file is transmitted to the user terminal.
前記転送順情報は、時間帯によって、異なるデータセンタへの転送の優先順序が定められることを特徴とする請求項7に記載のサーバ。   8. The server according to claim 7, wherein in the transfer order information, a priority order of transfer to different data centers is determined according to a time zone. 前記制御部は、過去の各データセンタに転送されたデータ量及び前記データ量に影響する情報に基づいた重回帰分析結果を用いて、前記転送順情報を作成することを特徴とする請求項7記載のサーバ。   The said control part produces the said transfer order information using the multiple regression analysis result based on the data amount transferred to each past data center, and the information which affects the said data amount, The transfer order information is characterized by the above-mentioned. The listed server.
JP2010237182A 2010-10-22 2010-10-22 Computer system and server Pending JP2012089049A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010237182A JP2012089049A (en) 2010-10-22 2010-10-22 Computer system and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010237182A JP2012089049A (en) 2010-10-22 2010-10-22 Computer system and server

Publications (1)

Publication Number Publication Date
JP2012089049A true JP2012089049A (en) 2012-05-10

Family

ID=46260584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010237182A Pending JP2012089049A (en) 2010-10-22 2010-10-22 Computer system and server

Country Status (1)

Country Link
JP (1) JP2012089049A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014175004A (en) * 2013-03-12 2014-09-22 Hon Hai Precision Industry Co Ltd Storage space extension system and method therefor
JP2014232449A (en) * 2013-05-29 2014-12-11 富士通株式会社 Server, data center, system, and control method
JP2016200912A (en) * 2015-04-08 2016-12-01 富士通株式会社 Computer system, computer, job execution time prediction method, and job execution time prediction program
JP2019506668A (en) * 2016-01-05 2019-03-07 サムスン エレクトロニクス カンパニー リミテッド User device and cloud storage server in wireless communication system supporting cloud storage service
CN110865985A (en) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 Data synchronization method and device, electronic equipment and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09146812A (en) * 1995-11-27 1997-06-06 Sanyo Electric Co Ltd Data base device
JP2003345640A (en) * 2002-05-28 2003-12-05 Mitsubishi Electric Corp Database backup system
JP2004005068A (en) * 2002-05-30 2004-01-08 Internatl Business Mach Corp <Ibm> Backup technique of data using network
JP2005115524A (en) * 2003-10-06 2005-04-28 Techfirm Kk Information processing system and program
JP2007249760A (en) * 2006-03-17 2007-09-27 Nec Corp Distributed mutual backup system, information processor, distributed mutual backup method and program
JP2008299695A (en) * 2007-06-01 2008-12-11 Hitachi Ltd Database management system to control power consumption of storage system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09146812A (en) * 1995-11-27 1997-06-06 Sanyo Electric Co Ltd Data base device
JP2003345640A (en) * 2002-05-28 2003-12-05 Mitsubishi Electric Corp Database backup system
JP2004005068A (en) * 2002-05-30 2004-01-08 Internatl Business Mach Corp <Ibm> Backup technique of data using network
JP2005115524A (en) * 2003-10-06 2005-04-28 Techfirm Kk Information processing system and program
JP2007249760A (en) * 2006-03-17 2007-09-27 Nec Corp Distributed mutual backup system, information processor, distributed mutual backup method and program
JP2008299695A (en) * 2007-06-01 2008-12-11 Hitachi Ltd Database management system to control power consumption of storage system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014175004A (en) * 2013-03-12 2014-09-22 Hon Hai Precision Industry Co Ltd Storage space extension system and method therefor
JP2014232449A (en) * 2013-05-29 2014-12-11 富士通株式会社 Server, data center, system, and control method
JP2016200912A (en) * 2015-04-08 2016-12-01 富士通株式会社 Computer system, computer, job execution time prediction method, and job execution time prediction program
JP2019506668A (en) * 2016-01-05 2019-03-07 サムスン エレクトロニクス カンパニー リミテッド User device and cloud storage server in wireless communication system supporting cloud storage service
CN110865985A (en) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 Data synchronization method and device, electronic equipment and storage medium
CN110865985B (en) * 2018-08-28 2024-04-16 阿里巴巴新加坡控股有限公司 Data synchronization method, device, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
US11907561B2 (en) Data backup method and apparatus
US20200104404A1 (en) Seamless migration of distributed systems
CN114077518B (en) Data snapshot method, device, equipment and storage medium
CN111324668B (en) Database data synchronous processing method, device and storage medium
US10033796B2 (en) SAAS network-based backup system
JP2004038516A (en) Business processing system, operation management method, and program for performing operation management
CN108762984B (en) Method and device for continuous data backup
US20080086658A1 (en) Backup control device and system for data processing system
JP2012089049A (en) Computer system and server
CN111818145B (en) File transmission method, device, system, equipment and storage medium
US9146816B2 (en) Managing system image backup
CN108418859A (en) The method and apparatus for writing data
US11816000B2 (en) Virtual recovery of unstructured data
CN110191182A (en) Distributed file batch processing method, apparatus, device and readable storage medium
CN107094085A (en) A kind of signaling methods and device
US10620872B2 (en) Replicating data in a data storage system
JP2013178685A (en) Data processing system with asynchronous backup function, front system, backup method and program therefor
CN112434050B (en) Data synchronization method and device of power grid business processing system and business processing system
JP5884566B2 (en) Batch processing system, progress confirmation device, progress confirmation method, and program
US8655845B2 (en) Reducing duplicate information when reporting system incidents
CN109656936A (en) Method of data synchronization, device, computer equipment and storage medium
CN111078418B (en) Operation synchronization method, device, electronic equipment and computer readable storage medium
US20220129446A1 (en) Distributed Ledger Management Method, Distributed Ledger System, And Node
CN109241110A (en) Order management method and system, electronic equipment, storage medium
JP6496849B1 (en) Verification system and program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140408