JP2012238125A - データの保存を制御する装置及び方法 - Google Patents
データの保存を制御する装置及び方法 Download PDFInfo
- Publication number
- JP2012238125A JP2012238125A JP2011105734A JP2011105734A JP2012238125A JP 2012238125 A JP2012238125 A JP 2012238125A JP 2011105734 A JP2011105734 A JP 2011105734A JP 2011105734 A JP2011105734 A JP 2011105734A JP 2012238125 A JP2012238125 A JP 2012238125A
- Authority
- JP
- Japan
- Prior art keywords
- storage
- data
- unit
- feature information
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】ストレージノード20では、メタデータ抽出部21が、クライアント10からの保存対象データからメタデータを抽出し、ノード決定部24が、容量情報記憶部22に記憶された各ストレージノードの容量情報と、サマリデータ記憶部23に記憶された各ストレージノードの保存データのメタデータを統合したサマリデータとに基づいて、保存対象データを保存すべきストレージノードを決定する。そして、決定したストレージノードが自ノードであれば、データ転送部25が、データ保存部27に保存対象データを保存し、サマリデータ登録部26が、抽出したメタデータを自ノードのサマリデータに登録し、決定したストレージノードが他のノードであれば、データ転送部25が、そのノードに保存対象データを転送する。
【選択図】図1
Description
ここで、ストレージの利用効率化を図る方法として以下の2つの方法がある。
(1)ファイルを圧縮する方法
(2)ストレージシステムの重複排除機能を用いる方法
このうち、(1)は、ファイル単位で圧縮を行う方法であり、従来から行われている方法であるが、近年では、ストレージが一般利用者により広く利用されるようになったのに伴い、別々の利用者が同様のデータを格納することも多くなり、特に(2)の重複排除機能の重要性が増してきている。この重複排除機能では、(1)のファイル単位の圧縮で対応できなかったJPEGやMPEG等の既に圧縮されたデータの異なるインスタンス間での重複排除も図られるため、ストレージの更なる利用効率化を図ることができる。
しかしながら、このような流れの中では、複数のストレージにデータを保存した場合に、これらのストレージ全体としての利用効率化を図ることができないという問題がある。
また、決定部は、一致度と、複数のストレージのそれぞれに保存されている保存データの容量とに基づいて、特定のストレージを決定する、ものであってよい。
更に、抽出部は、複数のストレージの一のストレージに保存されている保存データから、保存データの特徴を示す第1特徴情報を抽出し、抽出部により抽出された第1特徴情報と、記憶部に記憶された複数の第2特徴情報のそれぞれとの一致度を求めることにより、複数のストレージのうち保存データを保存するストレージを改めて決定し、転送部は、決定部により決定されたストレージが一のストレージ以外の他のストレージである場合に、他のストレージに保存データを転送する、ものであってよい。
[第1の実施の形態]
図1は、第1の実施の形態が適用されるコンピュータシステムの構成例を示したブロック図である。
図示するように、このコンピュータシステムは、クライアント10a〜10cと、ストレージノード20a〜20cとが、ネットワーク80を介して接続されることにより構成されている。
ストレージノード20a〜20cは、それぞれ、クライアント10a〜10cから受信した保存対象データを保存するストレージを含むノードである。尚、図では、ストレージノード20a〜20cを示したが、これらを区別する必要がない場合は、ストレージノード20と称することもある。また、図では、3つのストレージノード20を示したが、ストレージノード20の数はこれに限らない。
ストレージノード20は、メタデータ抽出部21と、容量情報記憶部22と、サマリデータ記憶部23と、ノード決定部24と、データ転送部25と、サマリデータ登録部26と、データ保存部27とを備えている。尚、図では、ストレージノード20の構成要素の符号にa、bを付しているが、以降の説明では、符号にa、bを付さないこととする。
サマリデータ記憶部23は、ストレージノード20a〜20cのノードIDと、そのノードIDのストレージノード20内のストレージに保存されているデータのメタデータ及びそのメタデータの重要度を組み合わせたサマリデータとの対応を記憶する。メタデータがキーワードである場合は、例えばキーワードの出現頻度を重要度とすればよい。本実施の形態では、保存データの特徴をそれぞれ示す複数の第2特徴情報の一例として、サマリデータを用いており、複数の第2特徴情報を記憶する記憶部の一例として、サマリデータ記憶部23を設けている。
図2は、サマリデータ記憶部23に記憶される情報の一例を示した図である。
図示するように、サマリデータ記憶部23には、ノードIDと、メタデータ及び重要度の複数の組との対応が記憶されている。
ノードIDは、上述したように、ストレージノード20を識別する識別子である。
メタデータは、対応するノードIDのストレージノード20のデータ保存部27に保存されたデータのメタデータである。そのデータがテキストデータであれば、メタデータとしてはキーワードを用いればよく、そのデータがイメージデータ等であれば、メタデータとしては各ブロックのハッシュ値を用いればよい。本実施の形態では、保存データから抽出された抽出情報の一例として、サマリデータ内のメタデータを用いている。
重要度は、保存対象データのメタデータとの一致度を算出する際に、対応するメタデータをどの程度重視すればよいかを示す情報である。例えば、テキストデータについては、キーワードの出現頻度を重要度とすればよい。そして、出現頻度としては、例えば、全てのキーワードの出現回数に対する割合を採用すればよい。本実施の形態では、抽出情報の重みを示す重み情報の一例として、重要度を用いている。
図3は、このときのストレージノード20の動作例を示したフローチャートである。
動作が開始すると、ストレージノード20では、まず、メタデータ抽出部21が、クライアント10から受信した保存対象データからメタデータを抽出する(ステップ201)。この抽出されたメタデータは、保存対象データと共にノード決定部24へ出力される。
そして、ノード決定部24は、ここで求めた最大一致度が予め定めた閾値を超えているかどうかを判定する(ステップ204)。
その結果、最大一致度が閾値を超えていると判定されれば、ノード決定部24は、容量情報記憶部22に記憶された容量情報を参照して、ステップ203で求めたノードIDに対応する使用容量が予め定めた閾値を超えているかどうかを判定する(ステップ205)。使用容量が閾値を超えていると判定されれば、そのノードIDを除外したノードIDを新たに比較対象に設定し(ステップ206)、ステップ203〜205の処理を繰り返す。
また、ステップ204で最大一致度が閾値を超えていないと判定されれば、保存対象データに類似するデータがどのストレージノード20にも保持されていないことになる。従って、このような場合、ノード決定部24は、コンシステントハッシング等の既存の割り振り方法を用いて、保存対象データを転送すべきストレージノード20を決定する(ステップ208)。
尚、このように求められたノードIDと、保存対象データと、メタデータとは、データ転送部25に出力される。
その結果、保存対象データを転送すべきストレージノード20が自ノードであると判定されれば、データ転送部25は、自ノードのデータ保存部27に保存対象データを保存する(ステップ210)。そして、メタデータはサマリデータ登録部26に渡され、サマリデータ登録部26が、サマリデータ記憶部23に記憶された自ノードのノードIDに対応するサマリデータを、データ転送部25から渡されたメタデータで更新する(ステップ211)。具体的には、自ノードのノードIDに対応するサマリデータの中に、データ転送部25から渡されたメタデータが含まれていなければ、そのメタデータを追加すると共にそのメタデータに対応する重要度を新たに登録する。また、自ノードのノードIDに対応するサマリデータの中に、データ転送部25から渡されたメタデータが含まれていれば、そのメタデータに対応する重要度に、データ転送部25から渡されたメタデータの重要度を反映させる。
図4は、ストレージノード20aが数学論文集を保存し、ストレージノード20bが小説文集を保存している場合にサマリデータ記憶部23a,23bに記憶されるサマリデータの具体例を示したものである。上述したように、ストレージノード20a,20bはサマリデータを交換するので、サマリデータ記憶部23a,23bに記憶されるサマリデータは同じであるとし、一種類のサマリデータのみを示している。
また、保存対象データがテキストデータであるので、サマリデータ記憶部23は、メタデータとしてキーワードを、重要度としてキーワードの出現頻度を記憶している。具体的には、ストレージノード20aは数学論文集を保存しているので、ノードID「A」に対応するメタデータとしてキーワード「微分」「非ユークリッド幾何」、「群論」、「焦点」等が記憶され、メタデータの重要度として各キーワードの出現頻度「8」、「2」、「3」、「3」等が記憶されている。一方、ストレージノード20bは小説文集を保存しているので、ノードID「B」に対応するメタデータとしてキーワード「風」、「歌」、「森」、「焦点」等が記憶され、メタデータの重要度として各キーワードの出現頻度「3」、「2」、「2」、「1」等が記憶されている。
この場合、ノードID「A」に対応するサマリデータにおけるメタデータ「非ユークリッド幾何」の重要度が、物理論文から抽出されたメタデータとこのサマリデータとの一致度になるので、一致度は「2」となる。一方、ノードID「B」に対応するサマリデータにメタデータ「非ユークリッド幾何」が記憶されていないとすると、一致度は「0」となる。従って、前者の一致度の方が後者の一致度よりも高いため、物理論文はストレージノード20aに保存されることになる。
この場合、ノードID「A」に対応するサマリデータにメタデータ「風」が記憶されていないとすると、一致度は「0」となる。一方、ノードID「B」に対応するサマリデータにおけるメタデータ「風」の重要度が、国語教科書から抽出されたメタデータとこのサマリデータとの一致度になるので、一致度は「3」となる。従って、後者の一致度の方が前者の一致度よりも高いため、国語教科書はストレージノード20bに保存されることになる。
この場合、ノードID「A」に対応するサマリデータにおけるメタデータ「焦点」の重要度が、物理論文から抽出されたメタデータとこのサマリデータとの一致度になるので、一致度は「3」となる。一方、ノードID「B」に対応するサマリデータにおけるメタデータ「焦点」の重要度が、物理論文から抽出されたメタデータとこのサマリデータとの一致度になるので、一致度は「1」となる。従って、前者の一致度の方が後者の一致度よりも高いため、物理論文はストレージノード20aに保存されることになる。
他のストレージノード20から保存対象データ及びメタデータを受信すると、まず、データ転送部25が、保存対象データをデータ保存部27に保存する。そして、メタデータはサマリデータ登録部26に渡され、サマリデータ登録部26が、サマリデータ記憶部23に記憶された自ノードのノードIDに対応するサマリデータを、データ転送部25から渡されたメタデータで更新する。具体的には、自ノードのノードIDに対応するサマリデータの中に、データ転送部25から渡されたメタデータが含まれていなければ、そのメタデータを追加すると共にそのメタデータに対応する重要度を新たに登録する。また、自ノードのノードIDに対応するサマリデータの中に、データ転送部25から渡されたメタデータが含まれていれば、そのメタデータに対応する重要度に、データ転送部25から渡されたメタデータの重要度を反映させる。
他のストレージノード20からサマリデータを受信すると、まず、データ転送部25が、そのストレージノード20のノードIDとサマリデータとをサマリデータ登録部26に渡す。そして、サマリデータ登録部26が、サマリデータ記憶部23に記憶されたそのノードIDに対応するサマリデータを、データ転送部25から渡されたサマリデータで更新する。具体的には、そのノードIDに対応するサマリデータの中に、データ転送部25から渡されたサマリデータ内のメタデータが含まれていなければ、そのメタデータを追加すると共にそのメタデータに対応する重要度を新たに登録する。また、そのノードIDに対応するサマリデータの中に、データ転送部25から渡されたサマリデータ内のメタデータが含まれていれば、そのメタデータに対応する重要度に、データ転送部25から渡されたメタデータの重要度を反映させる。
具体的には、クライアント10から受信した保存対象データに対してではなく、データ保存部27に保存されているデータに対して、図3に示したのと同様の処理を行う。但し、ステップ204で最高一致度が閾値を超えていないと判定された場合、データを敢えて移動する必要はないので、そのままステップ209へ進む。また、ステップ209で保存対象データを転送すべきストレージノード20が自ノードであると判定された場合も、データは移動しないので、そのまま処理を終了する。尚、この機能は、全てバックグラウンドで動作するものとする。そして、この機能は、新たなストレージノード20が追加された場合にデータを適切なノードへ移動する役割も担っている。
図5は、第2の実施の形態が適用されるコンピュータシステムの構成例を示したブロック図である。第1の実施の形態では、全てのストレージノード20のサマリデータを各ストレージノード20で分散保持し定期的にサマリデータを交換していたのに対し、この第2の実施の形態では、全てのストレージノード20のサマリデータを保持する専用ノードである制御ノード30を別途設けている。
図示するように、このコンピュータシステムは、クライアント10a〜10cと、ストレージノード20a〜20cと、制御ノード30とが、ネットワーク80を介して接続されることにより構成されている。
ストレージノード20a〜20cは、クライアント10a〜10cの何れかから受信した保存対象データを保存するストレージを含むノードである。尚、図では、ストレージノード20a〜20cを示したが、これらを区別する必要がない場合は、ストレージノード20と称することもある。また、図では、3つのストレージノード20を示したが、ストレージノード20の数はこれに限らない。
制御ノード30は、ストレージノード20a〜20cでのデータの保存を制御するノードであり、クライアント10a〜10cから受信した保存対象データを、ストレージノード20a〜20cに振り分ける。
制御ノード30は、メタデータ抽出部31と、容量情報記憶部32と、サマリデータ記憶部33と、ノード決定部34と、データ転送部35と、サマリデータ登録部36とを備えている。
ストレージノード20は、データ保存部27を備えている。尚、図では、ストレージノード20の構成要素の符号にa、b、cを付しているが、以降の説明では、符号にa、b、cを付さないこととする。
動作が開始すると、制御ノード30では、まず、メタデータ抽出部31が、クライアント10から受信した保存対象データからメタデータを抽出する(ステップ301)。この抽出されたメタデータは、保存対象データと共にノード決定部34へ出力される。
そして、ノード決定部34は、ここで求めた最大一致度が予め定めた閾値を超えているかどうかを判定する(ステップ304)。
その結果、最大一致度が閾値を超えていると判定されれば、ノード決定部34は、容量情報記憶部32に記憶された容量情報を参照して、ステップ303で求めたノードIDに対応する使用容量が予め定めた閾値を超えているかどうかを判定する(ステップ305)。使用容量が閾値を超えていると判定されれば、そのノードIDを除外したノードIDを新たに比較対象に設定し(ステップ306)、ステップ303〜305の処理を繰り返す。
また、ステップ304で最大一致度が閾値を超えていないと判定されれば、保存対象データに類似するデータがどのストレージノード20にも保持されていないことになる。従って、このような場合、ノード決定部34は、コンシステントハッシング等の既存の割り振り方法を用いて、保存対象データを転送すべきストレージノード20を決定する(ステップ308)。
尚、このように求められたノードIDと、保存対象データと、メタデータとは、データ転送部35に出力される。
具体的には、クライアント10から受信した保存対象データに対してではなく、データ保存部27に保存されているデータに対して、図6に示したのと同様の処理を行う。但し、ステップ304で最高一致度が閾値を超えていないと判定された場合、データを敢えて移動する必要はないので、そのままステップ310へ進む。また、ステップ310でデータを転送すべきストレージノード20が自ノードである場合も、データは移動しないので、ステップ310及びステップ311をスキップして処理を終了する。尚、この機能は、全てバックグラウンドで動作するものとする。そして、この機能は、新たなストレージノード20が追加された場合にデータを適切なノードへ移動する役割も担っている。
Claims (10)
- 複数のストレージノードでデータを保存するシステムであって、
前記複数のストレージノードのそれぞれは、
同一又は類似の特徴を有するデータの重複を排除した状態でデータを保存する保存部と、
自ストレージノードに入力された入力データから、当該入力データの特徴を示す第1特徴情報を抽出する抽出部と、
前記複数のストレージノードの前記保存部に保存されている保存データの特徴をそれぞれ示す複数の第2特徴情報であって、当該保存データからそれぞれ抽出された複数の抽出情報と、当該複数の抽出情報のそれぞれの重みを示す重み情報とをそれぞれが含む複数の第2特徴情報を記憶する記憶部と、
前記抽出部により抽出された前記第1特徴情報と、前記記憶部に記憶された前記複数の第2特徴情報のそれぞれとの一致度を、当該複数の第2特徴情報にそれぞれ含まれる前記複数の抽出情報のうち当該第1特徴情報と同一又は類似の特徴を有する抽出情報の重みを示す前記重み情報に基づいて求めることにより、前記複数のストレージノードのうち前記入力データを保存する特定のストレージノードを決定する決定部と、
前記決定部により決定された前記特定のストレージノードが自ストレージノードである場合に、自ストレージノードの前記保存部に前記入力データを転送し、前記決定部により決定された前記特定のストレージノードが他のストレージノードである場合に、当該他のストレージノードに前記入力データを転送する転送部と、
前記転送部により自ストレージノードの前記保存部に前記入力データが転送された場合に、前記抽出部により抽出された前記第1特徴情報に基づいて、前記記憶部に記憶された前記複数の第2特徴情報のうち自ストレージノードの前記保存部に保存されている前記保存データの特徴を示す第2特徴情報を更新する更新部と
を含む、システム。 - 前記更新部は、他のストレージノードの前記保存部に保存されているデータの特徴を示す他の第2特徴情報が当該他のストレージノードから転送された場合に、当該他の第2特徴情報に基づいて、前記記憶部に記憶された前記複数の第2特徴情報のうち当該他のストレージノードの前記保存部に保存されているデータの特徴を示す第2特徴情報を更新する、請求項1のシステム。
- 複数のストレージノードにおけるデータの保存を制御ノードで制御するシステムであって、
前記複数のストレージノードのそれぞれは、
同一又は類似の特徴を有するデータの重複を排除した状態でデータを保存する保存部
を含み、
前記制御ノードは、
前記システムに入力された入力データから、当該入力データの特徴を示す第1特徴情報を抽出する抽出部と、
前記複数のストレージノードの前記保存部に保存されている保存データの特徴をそれぞれ示す複数の第2特徴情報であって、当該保存データからそれぞれ抽出された複数の抽出情報と、当該複数の抽出情報のそれぞれの重みを示す重み情報とをそれぞれが含む複数の第2特徴情報を記憶する記憶部と、
前記抽出部により抽出された前記第1特徴情報と、前記記憶部に記憶された前記複数の第2特徴情報のそれぞれとの一致度を、当該複数の第2特徴情報にそれぞれ含まれる前記複数の抽出情報のうち当該第1特徴情報と同一又は類似の特徴を有する抽出情報の重みを示す前記重み情報に基づいて求めることにより、前記複数のストレージノードのうち前記入力データを保存する特定のストレージノードを決定する決定部と、
前記決定部により決定された前記特定のストレージノードの前記保存部に前記入力データを転送する転送部と、
前記抽出部により抽出された前記第1特徴情報に基づいて、前記記憶部に記憶された前記複数の第2特徴情報のうち前記特定のストレージノードの前記保存部に保存されている前記保存データの特徴を示す第2特徴情報を更新する更新部と
を含む、システム。 - 同一又は類似の特徴を有するデータの重複を排除した状態でデータを保存可能な複数のストレージにおけるデータの保存を制御する装置であって、
前記複数のストレージの何れかに保存すべきデータとして入力された入力データから、当該入力データの特徴を示す第1特徴情報を抽出する抽出部と、
前記複数のストレージに保存されている保存データの特徴をそれぞれ示す複数の第2特徴情報を記憶する記憶部と、
前記抽出部により抽出された前記第1特徴情報と、前記記憶部に記憶された前記複数の第2特徴情報のそれぞれとの一致度を求めることにより、前記複数のストレージのうち前記入力データを保存する特定のストレージを決定する決定部と、
前記決定部により決定された前記特定のストレージに前記入力データを転送する転送部と、
前記抽出部により抽出された前記第1特徴情報に基づいて、前記記憶部に記憶された前記複数の第2特徴情報のうち前記特定のストレージに保存されている前記保存データの特徴を示す第2特徴情報を更新する更新部と
を含む、装置。 - 前記複数の第2特徴情報のそれぞれは、前記複数のストレージに保存されている前記保存データからそれぞれ抽出された複数の抽出情報を含み、
前記決定部は、前記記憶部に記憶された前記複数の第2特徴情報にそれぞれ含まれる前記複数の抽出情報のうち、前記抽出部により抽出された前記第1特徴情報と同一又は類似の特徴を有する抽出情報の個数に基づいて、前記一致度を求める、請求項4の装置。 - 前記複数の第2特徴情報のそれぞれは、前記複数のストレージに保存されている前記保存データからそれぞれ抽出された複数の抽出情報と、当該複数の抽出情報のそれぞれの重みを示す重み情報とを含み、
前記決定部は、前記記憶部に記憶された前記複数の第2特徴情報にそれぞれ含まれる前記複数の抽出情報のうち、前記抽出部により抽出された前記第1特徴情報と同一又は類似の特徴を有する抽出情報の重みを示す前記重み情報に基づいて、前記一致度を求める、請求項4の装置。 - 前記決定部は、前記一致度と、前記複数のストレージのそれぞれに保存されている前記保存データの容量とに基づいて、前記特定のストレージを決定する、請求項4乃至請求項6の何れかの装置。
- 前記抽出部は、前記複数のストレージの一のストレージに保存されている前記保存データから、当該保存データの特徴を示す前記第1特徴情報を抽出し、
前記抽出部により抽出された前記第1特徴情報と、前記記憶部に記憶された前記複数の第2特徴情報のそれぞれとの一致度を求めることにより、前記複数のストレージのうち前記保存データを保存するストレージを改めて決定し、
前記転送部は、前記決定部により決定された前記ストレージが前記一のストレージ以外の他のストレージである場合に、当該他のストレージに前記保存データを転送する、請求項4乃至請求項7の何れかの装置。 - 同一又は類似の特徴を有するデータの重複を排除した状態でデータを保存可能な複数のストレージにおけるデータの保存を制御する方法であって、
前記複数のストレージの何れかに保存すべきデータとして入力された入力データから、当該入力データの特徴を示す第1特徴情報を抽出するステップと、
前記複数のストレージに保存されている保存データの特徴をそれぞれ示す複数の第2特徴情報を記憶する記憶部から、当該複数の第2特徴情報のそれぞれを読み出すステップと、
抽出された前記第1特徴情報と、読み出された前記複数の第2特徴情報のそれぞれとの一致度を求めることにより、前記複数のストレージのうち前記入力データを保存する特定のストレージを決定するステップと、
決定された前記特定のストレージに前記入力データを転送するステップと、
抽出された前記第1特徴情報に基づいて、前記記憶部に記憶された前記複数の第2特徴情報のうち前記特定のストレージに保存されている前記保存データの特徴を示す第2特徴情報を更新するステップと
を含む、方法。 - 同一又は類似の特徴を有するデータの重複を排除した状態でデータを保存可能な複数のストレージにおけるデータの保存を制御する装置として、コンピュータを機能させるプログラムであって、
前記コンピュータを、
前記複数のストレージの何れかに保存すべきデータとして入力された入力データから、当該入力データの特徴を示す第1特徴情報を抽出する抽出部と、
前記複数のストレージに保存されている保存データの特徴をそれぞれ示す複数の第2特徴情報を記憶する記憶部から、当該複数の第2特徴情報のそれぞれを読み出す読出し部と、
前記抽出部により抽出された前記第1特徴情報と、前記読出し部により読み出された前記複数の第2特徴情報のそれぞれとの一致度を求めることにより、前記複数のストレージのうち前記入力データを保存する特定のストレージを決定する決定部と、
前記決定部により決定された前記特定のストレージに前記入力データを転送する転送部と、
前記抽出部により抽出された前記第1特徴情報に基づいて、前記記憶部に記憶された前記複数の第2特徴情報のうち前記特定のストレージに保存されている前記保存データの特徴を示す第2特徴情報を更新する更新部と
して機能させる、プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011105734A JP5681558B2 (ja) | 2011-05-10 | 2011-05-10 | データの保存を制御する装置及び方法 |
| US13/463,103 US9357007B2 (en) | 2011-05-10 | 2012-05-03 | Controlling storing of data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011105734A JP5681558B2 (ja) | 2011-05-10 | 2011-05-10 | データの保存を制御する装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012238125A true JP2012238125A (ja) | 2012-12-06 |
| JP5681558B2 JP5681558B2 (ja) | 2015-03-11 |
Family
ID=47142681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011105734A Expired - Fee Related JP5681558B2 (ja) | 2011-05-10 | 2011-05-10 | データの保存を制御する装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9357007B2 (ja) |
| JP (1) | JP5681558B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014203329A (ja) * | 2013-04-08 | 2014-10-27 | 日本電気株式会社 | ストレージシステム、ノード装置及びデータ管理方法 |
| WO2015145661A1 (ja) * | 2014-03-27 | 2015-10-01 | 株式会社日立製作所 | ストレージシステム及び重複データ排除方法 |
| WO2015162758A1 (ja) * | 2014-04-24 | 2015-10-29 | 株式会社日立製作所 | ストレージシステム |
| JP2018159999A (ja) * | 2017-03-22 | 2018-10-11 | 日本電気株式会社 | ストレージシステム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102380979B1 (ko) * | 2015-01-05 | 2022-04-01 | 삼성전자 주식회사 | 이미지의 메타데이터 관리 방법 및 장치 |
| CN107015985B (zh) * | 2016-01-27 | 2021-03-30 | 创新先进技术有限公司 | 一种数据存储与获取方法及装置 |
| US10719483B2 (en) | 2017-11-20 | 2020-07-21 | International Business Machines Corporation | Remote copy with data deduplication functionality |
| CN110851416B (zh) * | 2018-08-03 | 2023-10-27 | 阿里巴巴集团控股有限公司 | 数据存储性能分析方法和装置、宿主机确定方法和装置 |
| JP7253007B2 (ja) * | 2021-05-28 | 2023-04-05 | 株式会社日立製作所 | ストレージシステム |
| CN117806529A (zh) * | 2022-09-26 | 2024-04-02 | 戴尔产品有限公司 | 存储装置之间的数据布局选择 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008310450A (ja) * | 2007-06-12 | 2008-12-25 | Canon Inc | データ管理装置及び方法 |
| JP2009181479A (ja) * | 2008-01-31 | 2009-08-13 | Japan Digital Laboratory Co Ltd | データ管理システムおよび方法並びにプログラム |
| JP2010170475A (ja) * | 2009-01-26 | 2010-08-05 | Nec Corp | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
| JP2011507100A (ja) * | 2007-12-14 | 2011-03-03 | マイクロソフト コーポレーション | 共同オーサリングモード |
| WO2012124178A1 (ja) * | 2011-03-16 | 2012-09-20 | 日本電気株式会社 | 分散記憶システムおよび分散記憶方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3221308A (en) * | 1960-12-30 | 1965-11-30 | Ibm | Memory system |
| JPS61198369A (ja) | 1985-02-28 | 1986-09-02 | Nec Corp | サマリデ−タ生成装置およびサマリデ−タ生成処理方式 |
| US6330621B1 (en) * | 1999-01-15 | 2001-12-11 | Storage Technology Corporation | Intelligent data storage manager |
-
2011
- 2011-05-10 JP JP2011105734A patent/JP5681558B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-03 US US13/463,103 patent/US9357007B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008310450A (ja) * | 2007-06-12 | 2008-12-25 | Canon Inc | データ管理装置及び方法 |
| JP2011507100A (ja) * | 2007-12-14 | 2011-03-03 | マイクロソフト コーポレーション | 共同オーサリングモード |
| JP2009181479A (ja) * | 2008-01-31 | 2009-08-13 | Japan Digital Laboratory Co Ltd | データ管理システムおよび方法並びにプログラム |
| JP2010170475A (ja) * | 2009-01-26 | 2010-08-05 | Nec Corp | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム |
| WO2012124178A1 (ja) * | 2011-03-16 | 2012-09-20 | 日本電気株式会社 | 分散記憶システムおよび分散記憶方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014203329A (ja) * | 2013-04-08 | 2014-10-27 | 日本電気株式会社 | ストレージシステム、ノード装置及びデータ管理方法 |
| WO2015145661A1 (ja) * | 2014-03-27 | 2015-10-01 | 株式会社日立製作所 | ストレージシステム及び重複データ排除方法 |
| US9600201B2 (en) | 2014-03-27 | 2017-03-21 | Hitachi, Ltd. | Storage system and method for deduplicating data |
| WO2015162758A1 (ja) * | 2014-04-24 | 2015-10-29 | 株式会社日立製作所 | ストレージシステム |
| US10089033B2 (en) | 2014-04-24 | 2018-10-02 | Hitachi, Ltd. | Storage system |
| JP2018159999A (ja) * | 2017-03-22 | 2018-10-11 | 日本電気株式会社 | ストレージシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| US9357007B2 (en) | 2016-05-31 |
| JP5681558B2 (ja) | 2015-03-11 |
| US20120290801A1 (en) | 2012-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5681558B2 (ja) | データの保存を制御する装置及び方法 | |
| US11663166B2 (en) | Post-processing global deduplication algorithm for scaled-out deduplication file system | |
| EP2757521B1 (en) | Image search apparatus, image search method, program, and computer-readable recording medium | |
| KR102007070B1 (ko) | 메모리 관리 시의 중복 제거를 위해서 기준 세트로 기준 블록을 취합하는 기법 | |
| JP6026738B2 (ja) | 重複排除記憶システムのスケーラビリティを向上させるシステムおよび方法 | |
| US8972358B2 (en) | File storage apparatus, file storage method, and program | |
| US10552044B2 (en) | Storage apparatus, data processing method and storage system wherein compressed data is read in parallel, said data stored in buffer by size and read from said buffer, in order of when said data is stored in said buffer | |
| US20180081565A1 (en) | Data Access Method and Related Apparatus and System | |
| CN111292225A (zh) | 对图形数据进行分区以进行大规模图形处理 | |
| WO2021012162A1 (zh) | 存储系统数据压缩的方法、装置、设备及可读存储介质 | |
| US20210011634A1 (en) | Methods and systems for managing key-value solid state drives (kv ssds) | |
| EP3042316B1 (en) | Music identification | |
| US9811526B2 (en) | Computing resource provisioning based on deduplication | |
| CN102282545A (zh) | 存储系统 | |
| JP5444728B2 (ja) | ストレージシステム、ストレージシステムにおけるデータ書込方法及びデータ書込プログラム | |
| CN114385596A (zh) | 数据处理方法及装置 | |
| US20220360458A1 (en) | Control method, information processing apparatus, and non-transitory computer-readable storage medium for storing control program | |
| CN114153845B (zh) | 数据存储及读取的方法、装置、设备及介质 | |
| CN113868440B (zh) | 特征库的管理方法、装置、设备及介质 | |
| WO2019119336A1 (zh) | 一种通用数据gz格式的多线程压缩与解压方法及装置 | |
| US10963186B2 (en) | Latent multiplicity detection | |
| KR102289411B1 (ko) | 가중치 기반의 피처 벡터 생성 장치 및 방법 | |
| JP4718351B2 (ja) | データ管理装置及びデータ管理方法及びプログラム | |
| JP2025172645A (ja) | ストレージ装置及びその制御方法 | |
| CN119719022A (zh) | 区块链归档方法、装置、存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140624 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141216 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20141216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5681558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |