JP2013033306A - データ分割装置、データ分割方法およびデータ分割プログラム - Google Patents
データ分割装置、データ分割方法およびデータ分割プログラム Download PDFInfo
- Publication number
- JP2013033306A JP2013033306A JP2011167784A JP2011167784A JP2013033306A JP 2013033306 A JP2013033306 A JP 2013033306A JP 2011167784 A JP2011167784 A JP 2011167784A JP 2011167784 A JP2011167784 A JP 2011167784A JP 2013033306 A JP2013033306 A JP 2013033306A
- Authority
- JP
- Japan
- Prior art keywords
- data
- bucket
- information
- group
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】データ分割装置は、ストリームデータ発生装置からストリームデータを受信し、前後のデータを特定する前後情報を対応付けた複数のデータを記憶する。そして、データ分割装置は、記憶されるデータが予め定めたグループ数に分割されるグループごとに、当該グループ内の先頭に位置するデータを特定する先頭情報と当該グループ内の末尾に位置するデータを特定する末尾情報とを記憶する。その後、データ分割装置は、新たにデータを格納する場合に、当該データが有する項目に基づいて当該データの前後となるデータを特定し、当該前後のデータを特定する前後情報を対応付けて格納する。そして、データ分割装置は、データが挿入された場合に、各グループに属するデータ数の差が1つ以下となるように、グループごとの先頭情報と末尾情報とを更新する。
【選択図】図1
Description
図1は、実施例1に係るシステムの全体構成例を示す図である。図1に示すように、このシステムは、ストリームデータ発生装置1とデータ分割装置10とユーザ端末5とを有する。ストリームデータ発生装置1とデータ分割装置10とはネットワークを介して接続され、同様に、ユーザ端末5とデータ分割装置10とはネットワークを介して接続される。
図2は、実施例1に係るデータ分割装置の構成を示す機能ブロック図である。図2に示すように、このデータ分割装置10は、通信制御I/F(Inter Face)部11と、記憶部12と、制御部13とを有する。なお、記憶部12は、半導体メモリ素子やハードディスクなどの記憶装置である。制御部13は、FPGA(Field-Programmable Gate Array)などの集積回路やCPU(Central Processing Unit)などの電子回路である。データ分割装置10が有する処理部等はあくまで例示でありこれに限定されるものではなく、例えば、マウスなどの入力装置やディスプレイなどの表示装置を有していてもよい。
次に、図13から図16を用いてデータ分割装置10が実行する処理の流れを説明する。まず、全体的な処理の流れを説明し、次に、サブフローなどの各処理について説明する。
図13は、データ分割装置によるデータ分割から出力までの一連の流れを示すフローチャートである。なお、ここでは、受信部16が、受信したストリームデータを順番に記憶部12の作業領域等に格納している例で説明する。また、記憶されるストリームデータをS[i](iは自然数)とする。
図14は、データ分割装置による分割境界更新処理の流れを示すフローチャートである。図14に示すように、バケット判定部19は、新たなデータ(以下、挿入データ(d)と呼ぶ)がバケット(Dp)の内部に挿入されたか否かを判定する(S201)。
図15は、分割境界更新処理のサブフロー1の流れを示すフローチャートである。図15に示すように、バケット(Dp)が小バケットであると、バケット判定部19によって判定された場合(S301肯定)、更新部20は、「処理3」を実行する(S302)。すなわち、更新部20は、分割境界DB12bに記憶されるバケット(Dp)の末尾情報を挿入データ(d)の情報に修正して、データ数を1増やす。
図16は、分割境界更新処理のサブフロー2の流れを示すフローチャートである。図16に示すように、バケット判定部19は、受信済みDB12aを参照して挿入データ(d)の挿入位置が全データの先頭であると判定した場合(S401肯定)、先頭バケット(D1)が大バケットであるか否かを判定する(S402)。
次に、図17から図28を用いて、ストリームデータを受信して分割境界を更新する一連の処理の具体例を説明する。まず、具体例の説明に用いるデータ例等について説明する。図17は、具体例として取り上げるストリームデータの例を示す図である。図18は、具体例として取り上げる分割境界の例を示す図である。
次に、図29から図32を用いて、データ出力の具体例を説明する。図29は、データ分割装置がデータ分割を実行した結果を示す図である。図29に示すように、データ分割装置10が、時刻1から時刻10までのデータを5つのバケットに均等分割したとする。具体的には、データ分割装置10は、時刻9と時刻4のデータをバケット(D1)に分割し、時刻5と時刻8のデータをバケット(D2)に分割し、時刻7と時刻2のデータをバケット(D3)に分割したとする。同様に、データ分割装置10は、時刻10と時刻1のデータをバケット(D4)に分割し、時刻6と時刻3のデータをバケット(D5)に分割したとする。
このように、実施例1に係るデータ分割装置10は、バケット数を固定したまま1レコードごとに動的に分割境界を変更するような整列均等分割を実現することができる。つまり、データ分割装置10は、ストリームデータを受信するたびにデータをソートして格納するとともに、データ分割を行うことができる。このとき、データ分割装置10は、ソートした順序を示す連番をデータに割り振ることなく、グループ分けすることができるので、データの分割にかかる時間を短縮できる。つまり、実施例で示す「時刻」のように、レコードを識別する番号を示す「通番」は与えられているが、「連番」が与えられていないデータを、「連番」を与えることなく高速に分割することができる。
実施例1では、データ分割とデータ出力とを1つのフローチャートで説明したが、これに限定されるものではない。例えば、データ分割とデータ出力とは全く別の契機で実行させることもできる。つまり、データ分割処理した後にデータ出力処理を実行するのではなく、全く別の処理として実行することができる。また、データ分割装置10は、ユーザ端末5にデータを出力するだけでなく、例えばディスプレイなどの表示部に表示させることもでき、記憶媒体等に書き込むこともできる。
実施例1で説明したストリームデータやデータの構成はあくまで例であり、これに限定するものではない。また、データ分割装置10は、ストリームデータに限ったものではなく、様々なデータに適用することができる。例えば、データ分割装置10は、ストレージ等に格納されるデータや、記憶媒体等から読み出されたデータに対しても同様に分割することができる。
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。
5 ユーザ端末
10 データ分割装置
11 通信制御I/F部
12 記憶部
12a 受信済みDB
12b 分割境界DB
13 制御部
14 分割数設定部
15 分割処理部
16 受信部
17 位置特定部
18 格納制御部
19 バケット判定部
20 更新部
20a 拡張実行部
20b 縮退実行部
20c スライド実行部
21 出力部
Claims (7)
- 前後のデータを特定する前後情報を対応付けた複数のデータを記憶するデータ記憶部と、
前記データ記憶部に記憶されるデータが予め定めたグループ数に分割されるグループごとに、当該グループ内の先頭に位置するデータを特定する先頭情報と当該グループ内の末尾に位置するデータを特定する末尾情報とを記憶する情報記憶部と、
前記データ記憶部にデータを格納する場合に、当該データが有する項目に基づいて当該データの前後となるデータを特定し、当該前後のデータを特定する前後情報を対応付けて前記データ記憶部に格納する格納制御部と、
前記格納制御部によってデータが格納された場合に、前記各グループに属するデータ数の差が1つ以下となるように、前記情報記憶部に記憶される前記グループごとの先頭情報と末尾情報とを更新する更新部と
を有することを特徴とするデータ分割装置。 - 前記更新部は、前記格納制御部によってデータが格納されたグループに属するデータ数と他のグループに属するデータ数との差分が所定値を超える場合に、前記データが格納されたグループについて、前記データが格納されたグループの先頭情報と末尾情報との間に位置するデータ数が1つ減るように、前記先頭情報または末尾情報を更新することを特徴とする請求項1に記載のデータ分割装置。
- 前記更新部は、前記格納制御部によってデータが格納されたグループに属するデータ数との差分が前記所定値を超える他のグループについて、当該他のグループの先頭情報と末尾情報との間に位置するデータ数が1つ増えるように、前記先頭情報または末尾情報を更新することを特徴とする請求項2に記載のデータ分割装置。
- 前記更新部は、前記格納制御部によってデータが格納されたグループに属するデータ数との差分が前記所定値を超える他のグループと、前記格納されたグループとの間に位置する各グループについて、前記先頭情報と末尾情報との間に位置するデータ数を変えることなく、当該各グループの先頭情報および末尾情報を前記格納したグループの方向に1つずつスライドさせたデータを特定する情報に更新することを特徴とする請求項3に記載のデータ分割装置。
- 前記データ記憶部に記憶されるデータが分割されるグループのうち、ユーザに指定されたグループの先頭情報と末尾情報とを前記情報記憶部から読み出し、読み出した先頭情報に該当するデータから末尾情報に該当するデータまでのデータを前記データ記憶部から読み出して、所定の装置に出力する出力部をさらに有することを特徴とする請求項1から4のいずれか一つに記載のデータ分割装置。
- コンピュータが、
前後のデータを特定する前後情報を対応付けた複数のデータを記憶するデータ記憶部にデータを格納する場合に、当該データが有する項目に基づいて当該データの前後となるデータを特定し、当該前後のデータを特定する前後情報を対応付けて前記データ記憶部に格納し、
前記データが格納された場合に、前記各グループに属するデータ数の差が1つ以下となるように、前記データ記憶部に記憶されるデータが予め定めたグループ数に分割されるグループごとに当該グループ内の先頭に位置するデータを特定する先頭情報と当該グループ内の末尾に位置するデータを特定する末尾情報とを記憶する情報記憶部における前記グループごとの先頭情報と末尾情報とを更新する
処理を含んだことを特徴とするデータ分割方法。 - コンピュータに、
前後のデータを特定する前後情報を対応付けた複数のデータを記憶するデータ記憶部にデータを格納する場合に、当該データが有する項目に基づいて当該データの前後となるデータを特定し、当該前後のデータを特定する前後情報を対応付けて前記データ記憶部に格納し、
前記データが格納された場合に、前記各グループに属するデータ数の差が1つ以下となるように、前記データ記憶部に記憶されるデータが予め定めたグループ数に分割されるグループごとに当該グループ内の先頭に位置するデータを特定する先頭情報と当該グループ内の末尾に位置するデータを特定する末尾情報とを記憶する情報記憶部における前記グループごとの先頭情報と末尾情報とを更新する
処理を実行させることを特徴とするデータ分割プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011167784A JP5712851B2 (ja) | 2011-07-29 | 2011-07-29 | データ分割装置、データ分割方法およびデータ分割プログラム |
| US13/473,345 US9235578B2 (en) | 2011-07-29 | 2012-05-16 | Data partitioning apparatus and data partitioning method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011167784A JP5712851B2 (ja) | 2011-07-29 | 2011-07-29 | データ分割装置、データ分割方法およびデータ分割プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013033306A true JP2013033306A (ja) | 2013-02-14 |
| JP5712851B2 JP5712851B2 (ja) | 2015-05-07 |
Family
ID=47598096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011167784A Active JP5712851B2 (ja) | 2011-07-29 | 2011-07-29 | データ分割装置、データ分割方法およびデータ分割プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9235578B2 (ja) |
| JP (1) | JP5712851B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9471657B1 (en) * | 2013-05-20 | 2016-10-18 | Amazon Technologies, Inc. | Range query capacity allocation |
| WO2014207481A1 (en) * | 2013-06-28 | 2014-12-31 | Qatar Foundation | A method and system for processing data |
| DE112016003013T5 (de) | 2015-07-02 | 2018-05-30 | Google Llc | Verteiltes speichersystem mit replika-standortauswahl |
| CN114867787B (zh) | 2020-07-22 | 2022-12-06 | 株式会社有泽制作所 | 热固性树脂组合物、覆盖膜、粘接片材及柔性印刷布线板 |
| CN115878688A (zh) * | 2022-10-31 | 2023-03-31 | 东风商用车有限公司 | 车辆有界无尽指标序列分析方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0267648A (ja) * | 1988-09-02 | 1990-03-07 | Hitachi Ltd | ツリー構造データベースのレコード追加方式 |
| JP2006228060A (ja) * | 2005-02-18 | 2006-08-31 | Tokyo Institute Of Technology | ディレクトリ更新方法及びディレクトリ更新プログラム、並びに、木構造型データ記憶装置 |
| JP2007011784A (ja) * | 2005-06-30 | 2007-01-18 | Fujitsu Ltd | データソート処理プログラム、データソート処理方法およびデータソート処理装置 |
| US7809892B1 (en) * | 2006-04-03 | 2010-10-05 | American Megatrends Inc. | Asynchronous data replication |
| JP2011100359A (ja) * | 2009-11-06 | 2011-05-19 | Nippon Telegr & Teleph Corp <Ntt> | 蓄積データの再構成システム、再構成方法およびプログラム |
| JP2011128818A (ja) * | 2009-12-16 | 2011-06-30 | Hitachi Ltd | ストリームデータ処理装置及び方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5625811A (en) * | 1994-10-31 | 1997-04-29 | International Business Machines Corporation | Method and system for database load balancing |
| US20040088513A1 (en) * | 2002-10-30 | 2004-05-06 | Biessener David W. | Controller for partition-level security and backup |
| US7580879B2 (en) * | 2002-11-05 | 2009-08-25 | Hartford Fire Insurance Company | Financial system that provides investment funds and a death benefit |
| AU2003901454A0 (en) * | 2003-03-28 | 2003-04-10 | Secure Systems Limited | Security system and method for computer operating systems |
| JP2005301590A (ja) * | 2004-04-09 | 2005-10-27 | Hitachi Ltd | ストレージシステム及びデータ複製方法 |
| JP4476683B2 (ja) * | 2004-04-28 | 2010-06-09 | 株式会社日立製作所 | データ処理システム |
| US7836266B2 (en) * | 2005-09-19 | 2010-11-16 | International Business Machines Corporation | Managing snapshot history in a data storage system |
| JP4800031B2 (ja) * | 2005-12-28 | 2011-10-26 | 株式会社日立製作所 | ストレージシステム及びスナップショット管理方法 |
| US7991244B2 (en) * | 2007-04-30 | 2011-08-02 | Hewlett-Packard Development Company, L.P. | Variable skew correction system and method |
| US7949921B2 (en) * | 2007-09-21 | 2011-05-24 | Synopsys, Inc. | Method and apparatus for synthesis of augmented multimode compactors |
| US8392482B1 (en) * | 2008-03-31 | 2013-03-05 | Amazon Technologies, Inc. | Versioning of database partition maps |
| US8230077B2 (en) * | 2008-06-06 | 2012-07-24 | International Business Machines Corporation | Hypervisor-based facility for communicating between a hardware management console and a logical partition |
| US8364677B2 (en) * | 2008-08-01 | 2013-01-29 | International Business Machines Corporation | Method and apparatus for generating partitioning keys for a range-partitioned database |
| US9128602B2 (en) * | 2009-11-25 | 2015-09-08 | Yahoo! Inc. | Gallery application for content viewing |
| US8631000B2 (en) * | 2010-09-30 | 2014-01-14 | International Business Machines Corporation | Scan sharing for query predicate evaluations in column-based in-memory database systems |
-
2011
- 2011-07-29 JP JP2011167784A patent/JP5712851B2/ja active Active
-
2012
- 2012-05-16 US US13/473,345 patent/US9235578B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0267648A (ja) * | 1988-09-02 | 1990-03-07 | Hitachi Ltd | ツリー構造データベースのレコード追加方式 |
| JP2006228060A (ja) * | 2005-02-18 | 2006-08-31 | Tokyo Institute Of Technology | ディレクトリ更新方法及びディレクトリ更新プログラム、並びに、木構造型データ記憶装置 |
| JP2007011784A (ja) * | 2005-06-30 | 2007-01-18 | Fujitsu Ltd | データソート処理プログラム、データソート処理方法およびデータソート処理装置 |
| US7809892B1 (en) * | 2006-04-03 | 2010-10-05 | American Megatrends Inc. | Asynchronous data replication |
| JP2011100359A (ja) * | 2009-11-06 | 2011-05-19 | Nippon Telegr & Teleph Corp <Ntt> | 蓄積データの再構成システム、再構成方法およびプログラム |
| JP2011128818A (ja) * | 2009-12-16 | 2011-06-30 | Hitachi Ltd | ストリームデータ処理装置及び方法 |
Non-Patent Citations (2)
| Title |
|---|
| CSND199800647004; 飯沢 篤志: 'データベースおもしろ講座8' bit 第23巻,第13号, 19911201, p.50-61, 共立出版株式会社 * |
| JPN6014048400; 飯沢 篤志: 'データベースおもしろ講座8' bit 第23巻,第13号, 19911201, p.50-61, 共立出版株式会社 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5712851B2 (ja) | 2015-05-07 |
| US9235578B2 (en) | 2016-01-12 |
| US20130031048A1 (en) | 2013-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4782490B2 (ja) | データ集合分割プログラム、データ集合分割装置、およびデータ集合分割方法 | |
| JP5712851B2 (ja) | データ分割装置、データ分割方法およびデータ分割プログラム | |
| JP5427640B2 (ja) | 決定木生成装置、決定木生成方法、及びプログラム | |
| US11349824B2 (en) | Block sequencing method and system based on tree-graph structure, and data processing terminal | |
| US9235613B2 (en) | Flexible partitioning of data | |
| US20120303359A1 (en) | Dictionary creation device, word gathering method and recording medium | |
| CN102968503A (zh) | 数据库系统的数据处理方法以及数据库系统 | |
| JP6065844B2 (ja) | インデックス走査装置及びインデックス走査方法 | |
| US20190377774A1 (en) | Two-stage distributed estimation system | |
| Arge et al. | Cache-oblivious data structures | |
| CN113468107A (zh) | 数据处理方法、设备、存储介质及系统 | |
| JP2017204161A (ja) | クラスタリング装置、クラスタリング方法およびクラスタリングプログラム | |
| CN108833592A (zh) | 云主机调度器优化方法、装置、设备及存储介质 | |
| JP7041603B2 (ja) | 計算機システム及び業務フローのパターンの生成方法 | |
| JP5600694B2 (ja) | クラスタリング装置及び方法及びプログラム | |
| JP6668494B2 (ja) | データ分析装置およびデータ分析方法 | |
| JP2008225686A (ja) | 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム | |
| US11914603B2 (en) | Data layout model generation system | |
| US20120310944A1 (en) | Dictionary creation device | |
| CN111736899A (zh) | 一种网络处理器上寄存器的分配方法 | |
| US10671644B1 (en) | Adaptive column set composition | |
| US11775515B2 (en) | Dataset optimization framework | |
| JPH10303307A (ja) | 配置方式 | |
| CN117914824A (zh) | 一种基于多级关联策略的活跃IPv6地址探测方法及装置 | |
| CN114327418B (zh) | 电子设备和计算机实现的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140404 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150223 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5712851 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |