JP2017010376A - マートレス検証支援システムおよびマートレス検証支援方法 - Google Patents
マートレス検証支援システムおよびマートレス検証支援方法 Download PDFInfo
- Publication number
- JP2017010376A JP2017010376A JP2015126699A JP2015126699A JP2017010376A JP 2017010376 A JP2017010376 A JP 2017010376A JP 2015126699 A JP2015126699 A JP 2015126699A JP 2015126699 A JP2015126699 A JP 2015126699A JP 2017010376 A JP2017010376 A JP 2017010376A
- Authority
- JP
- Japan
- Prior art keywords
- data
- mart
- usage
- extraction
- martless
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能とする。
【解決手段】マートレス検証支援システム100において、データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによるデータマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、当該特定した負荷およびデータ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理を実行する演算装置104を含む構成とする。
【選択図】図2
【解決手段】マートレス検証支援システム100において、データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによるデータマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、当該特定した負荷およびデータ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理を実行する演算装置104を含む構成とする。
【選択図】図2
Description
本発明は、マートレス検証支援システムおよびマートレス検証支援方法に関するものであり、具体的には、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能とする技術に関する。
流通、小売業界や金融、証券業界等においては、その業務遂行に伴って高頻度に膨大なデータが発生・蓄積され、いわゆるビッグデータを保有する企業体が多数存在する。こうした企業体が保有するビッグデータは、データウェアハウス(以後、DWH)にて集約管理される。またDWHは、例えば部門や業務等の目的別に、ビッグデータからデータを切り出して構成した複数のデータマートから構成されている。
こうしたデータベースに関連する従来技術としては、例えば、作成済みERモデル図の統合・抽出、処理対象画面・帳票・機能仕様書の追加、削除を効率的且つ正確に行うことを目的とした、ERモデルを用いたデータベース設計システムであって、キー定義データと該キー定義データに対応するデータ項目とを含む複数の情報を、キー定義データと該キーデータに対応するデータ項目とに分類して仮エンティティを作成する仮エンティティ作成手段と、前記仮エンティティに共通するキー定義データを有する仮エンティティが存在する場合には1つのエンティティに集約して、正規化エンティティを作成する正規化エンティティ作成手段と、前記正規化エンティティのエンティティタイプを設定する設定手段と、前記正規化エンティティ作成手段により作成された正規化エンティティと前記情報との対応関係を示す第1のマトリックステーブルを作成する第1のテーブル作成手段と、前記第1のマトリックステーブルと、予め設定されている前記エンティティタイプに基づく正規化エンティティ間の関係とに基づいて、前記情報毎に、該情報に属する前記正規化エンティティ間の関係を示す第2のマトリックステーブルを作成する第2のテーブル作成手段と、前記第2のテーブル作成手段により作成された前記情報毎の第2のマトリックステーブルに基づいて、ERモデル図を作成するERモデル図作成手段と、を有するデータベース設計システム(特許文献1参照)などが提案されている。
一方、市場環境や顧客ニーズの変化を迅速に分析し、その結果を事業戦略に反映させるべく、上述したビッグデータを利活用する動きも顕著になってきた。他方、DWHで運用される各データマートの作成や修正には、多くの作業工数と時間が必要であり、そうして得られたデータマートとその分析結果の鮮度は良好とはならない。そこでこの点を根本的に解決すべく、新たな高速データアクセス基盤によってDWHを高速で直接分析する、いわゆるデータマートレスの技術が登場している。ところがデータマートレスの技術をDWHに適用する場合、その対象となるDWHが含む数多くのデータマート各間、および各データマートとこれを利用する各アプリケーションとの間の各関係性やデータ処理の性質などを適切に踏まえて、削減すべきデータマートを特定する作業自体が困難で工数も過大となりやすい。
そこで本発明の目的は、データウェアハウスにおけるデータマートレス化に際し、削減
対象として好適なデータマートを効率的に特定し、ユーザに提示可能とする技術を提供することにある。
対象として好適なデータマートを効率的に特定し、ユーザに提示可能とする技術を提供することにある。
上記課題を解決する本発明のマートレス検証支援システムは、データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによる前記データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、当該特定した前記負荷および前記データ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理とを実行する演算装置を含むことを特徴とする。
また、本発明のマートレス検証支援方法は、情報処理システムが、データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによる前記データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、当該特定した前記負荷および前記データ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理と、を実行することを特徴とする。
本発明によれば、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能となる。
−−−システム構成−−−
以下に本発明の実施形態について図面を用いて詳細に説明する。図1は、本実施形態のマートレス検証支援システム100を含むネットワーク構成図である。図1に示すマートレス検証支援システム100は、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能とするコンピュータシステムである。
こうしたマートレス検証支援システム100は、例えばサーバ装置により構成する。サ
ーバ装置であるマートレス検証支援システム100は、ネットワーク10を介してユーザ端末200と接続され、互いにデータ通信可能である。一方、ユーザ端末200は、DWHのマートレス化を予定するユーザが操作するPCである。このユーザ端末200が、マートレス化対象とするDWHの設計情報など、本実施形態におけるマートレス検証の処理に必要となる各種情報を、マートレス検証支援システム100に予め提供するものとする。またユーザ端末200は、マートレス検証支援システム100による処理結果を受信し、ディスプレイ等でユーザ向けに表示する。
−−−ハードウェア構成−−−
ーバ装置であるマートレス検証支援システム100は、ネットワーク10を介してユーザ端末200と接続され、互いにデータ通信可能である。一方、ユーザ端末200は、DWHのマートレス化を予定するユーザが操作するPCである。このユーザ端末200が、マートレス化対象とするDWHの設計情報など、本実施形態におけるマートレス検証の処理に必要となる各種情報を、マートレス検証支援システム100に予め提供するものとする。またユーザ端末200は、マートレス検証支援システム100による処理結果を受信し、ディスプレイ等でユーザ向けに表示する。
−−−ハードウェア構成−−−
本実施形態におけるマートレス検証支援システム100のハードウェア構成は以下の如くとなる。図2は本実施形態におけるマートレス検証支援システム100のハードウェア構成例を示す図である。マートレス検証支援システム100は、SSD(Solid State Drive)やハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶装置101、RAMなど揮発性記憶素子で構成されるメモリ103、記憶装置101に保持されるプログラム102をメモリ103に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうCPUなどの演算装置104、ユーザからのキー入力や音声入力を受け付ける入力装置105、処理データの表示を行うディスプレイ等の出力装置106、ネットワークと接続しユーザ端末200との通信処理を担う通信装置107、を備える。
なお、図1で例示したように、ユーザ端末200がユーザとの間での入出力処理を担う構成であれば、マートレス検証支援システム100において入力装置105および表示装置106を備えないとしてもよい。他方、ユーザとの間の入出力処理を担うユーザ端末200が存在せず、マートレス検証支援システム100がスタンドアロンのコンピュータとして存在する場合、通信装置107は不要となる。
また、記憶装置101内には、本実施形態のマートレス検証支援システムとして必要な機能を実装する為のプログラム102の他、設計情報125、テーブル条件パターン126、アプリ条件パターン127、および妥当性基準テーブル128の各テーブルが少なくとも記憶されている。これら各テーブルの具体的なデータ構成については後述する。
−−−機能例−−−
−−−機能例−−−
続いて、本実施形態のマートレス検証支援システム100が備える機能について説明する。上述したように、以下に説明する機能は、例えばマートレス検証支援システム100が備えるプログラム102を実行することで実装される機能と言える。
本実施形態におけるマートレス検証支援システム100は、マートレス化対象のDWHに関する設計情報125を記憶装置101から読み出し、当該設計情報125が示す各データマートの間の関係性と、データマートを利用して所定の業務処理を実行する各アプリケーションによる該当データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する機能を備えている。
なお、上述の設計情報125は、ユーザ端末200から予め取得して記憶装置101に格納しているものとする。この設計情報125には、データベース類の設計情報として一般的な、ER図、CRUD図、データ項目辞書、データフロー図といった各種情報が含まれている。これら設計情報125においては、対象となるDWHが含むデータマート各間での共通値を介した接続関係や、データマート各間の生成関係、データマートの格納値生成の処理に用いるSQLコマンドのリストが少なくとも記述されているものとする。
上述の負荷とデータ利用程度を特定する機能について、より具体的に説明する。この場合、マートレス検証支援システム100は、上述の設計情報125が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、後述するテーブル条件パターン126(第1のテーブル)を照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定する。
また、マートレス検証支援システム100は、上述の設計情報125が示す、データマートに対してデータ利用を行う各アプリケーションに関して、後述するアプリ条件パターン127(第2のテーブル)を照合し、各アプリケーションに関するデータ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じたデータ利用レベルを特定する。
また、本実施形態のマートレス検証支援システム100は、上述のように特定した負荷およびデータ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて、ユーザ端末200または表示装置106に出力する機能を備えている。
マートレス検証支援システム100は、この判定結果の出力処理に際し、設計情報125が示す各データマートに対応した描画オブジェクト(記憶装置101に該当データを予め保持)を、画面上に配置し、各描画オブジェクトの間を、データマート間の関係性(設計情報125が示すもの)に基づいて所定の線分オブジェクト(記憶装置101に該当データを予め保持)で接続し、各描画オブジェクトに対し、該当データマートに関する負荷およびデータ利用程度の高さに応じた所定の表示形態(例:表示色による強調表示等)を判定結果として設定して画面データを生成し、当該画面データをユーザ端末200または表示装置106に出力する。
−−−データ構造例−−−
−−−データ構造例−−−
次に、本実施形態のマートレス検証支援システム100が用いるテーブルにおけるデータ構造例について説明する。図3は本実施形態の設計情報125のデータ構成例を示す図である。本実施形態における設計情報125は、テーブル構造であるデータマートの各間の関連を示すER図、ER図の各データマートにおけるデータ(エンティティ)が、どの機能で作成(create)、参照(reed)、更新(update)、削除(delete)されるかをマトリクス形式で表現したCRUD図、DWHにおける各データ項目を定義したデータ項目辞書、データマート間でのデータの流れを示すデータフロー図、データマートの格納値生成の処理に用いるSQLコマンドのリスト、といった各種の設計情報を、例えばファイル形式で含むものである。よって、図3で例示する設計情報125において、設計情報の種類ごとに該当ファイルを格納した構造となっている。いずれにしても、設計情報125は、従来から存在する設計情報と同様の構成となっている。
図4は本実施形態のテーブル条件パターン126のデータ構成例を示す図である。図4で例示するテーブル条件パターン126(第1のテーブル)は、設計情報125のER図、CRUD図等でデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否に応じた負荷レベルを分類したテーブルである。
上述の負荷レベルとしては、該当データマートを削除して、そのデータマートのデータ源となっている他のデータマート等に対する直接検索を実行する構成とした場合のSQL
処理の時間長に応じたものを想定出来る。すなわち、マートレス化後におけるSQL処理時間がマートレス化前より増大する場合、負荷レベルは他のケースより高い値となる。換言すれば、該当マートレスがSQL処理の高速化に大きく貢献していることを示しており、削減対象としての妥当性は低いと言える。一方、マートレス化後におけるSQL処理時間がマートレス化前とほぼ変化しないか現象する場合、負荷レベルは他のケースより低い値となる。換言すれば、該当マートレスがSQL処理の高速化に貢献していないことを示しており、削減対象としての妥当性は高いと言える。
処理の時間長に応じたものを想定出来る。すなわち、マートレス化後におけるSQL処理時間がマートレス化前より増大する場合、負荷レベルは他のケースより高い値となる。換言すれば、該当マートレスがSQL処理の高速化に大きく貢献していることを示しており、削減対象としての妥当性は低いと言える。一方、マートレス化後におけるSQL処理時間がマートレス化前とほぼ変化しないか現象する場合、負荷レベルは他のケースより低い値となる。換言すれば、該当マートレスがSQL処理の高速化に貢献していないことを示しており、削減対象としての妥当性は高いと言える。
こうしたテーブル条件パターン126は、図4にて示すように、データマートに対するSQL処理の分類条件である、取得項目編集条件、特殊抽出条件、および集約要否と、これら分類条件に応じた負荷レベルとを対応付けた構成となっている。このうち、取得項目編集条件は、マートレス後に該当項目のデータを他のデータマート等から取得し編集する内容に応じて、SQLの処理負荷を規定した値である。この値が「大」の場合、編集内容として、[group by],[EXISTS],[DISTINCT]などの集約関数、文字の編集、計算後の四捨五入、といった高負荷の処理が含まれるものに対応する。また「中」の場合、編集内容として、計算処理のみ、或いはCase文と計算処理の組み合わせ、といった中負荷の処理が含まれるものに対応する。また「小」の場合、編集なし、もしくは条件分岐(Case文)のみ、といった低負荷の処理が含まれるものに対応する。
また、上述の分類条件のうち、特殊抽出条件は、マートレス後に該当項目のデータを他のデータマートから取得する場合の抽出条件の有無を規定した値である。ここで想定する抽出条件の例としては、NOT条件(<>!=)、BETWEEN条件、大小比較(不等号)、IN句(複数条件)、副問合せ、といった各条件である。こうした抽出条件がある場合、マートレス化後による負荷は抽出条件無しのケースより高くなる。
また、上述の分類条件のうち、集約有無は、マートレス後に該当項目のデータを他のデータマート等から取得する場合にテーブル集約の要否を規定した値である。こうしたテーブル集約が必要である場合、マートレス化後による負荷はテーブル集約不要のケースより高くなる。
図5は本実施形態のアプリ条件パターン127のデータ構成例を示す図である。図5に例示するアプリ条件パターン127(第2のテーブル)は、各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類したテーブルである。
図5で例示するアプリ条件パターン127では、検索対象(各アプリケーションが利用データの抽出対象とするデータマートの数)の値として、「単一」、「複数」のいずれかを規定している。データ抽出対象のデータマートが複数である場合、マートレス化後による負荷は単数のケースより高くなる。
また、アプリ条件パターン127では、抽出範囲の値として、「全件」、「部分抽出(条件指定での抽出)」のいずれかを規定している。データ抽出範囲が「部分抽出」である場合、条件判定等を伴うためマートレス化後による負荷は「全件」のケースより高くなる。
また、アプリ条件パターン127では、データの集計処理の有無の値として、「あり」、「なし」のいずれかを規定している。データ抽出後に集計処理が必要である(つまり、集計有無が「あり」の場合)、その集計有無を伴うためマートレス化後による負荷は「な
し」のケースより高くなる。
し」のケースより高くなる。
なお、本実施形態の妥当性基準テーブル128に関しては後述するものとする。
−−−処理手順例−−−
−−−処理手順例−−−
以下、本実施形態におけるマートレス検証支援方法の実際手順について図に基づき説明する。以下で説明するマートレス検証支援方法に対応する各種動作は、マートレス検証支援システム100がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
図6は、本実施形態におけるマートレス検証支援方法の処理手順例を示すフロー図である。まず、マートレス検証支援システム100は、マートレス化対象のDWHに関する設計情報125を記憶装置101から読み出す(s100)。
次にマートレス検証支援システム100は、上述のステップs100で得た設計情報125が示す各データマートの間の関係性において、データ抽出関係が規定されている各データマートの組を特定し、テーブル関連図を生成する(s101)。図7に本実施形態におけるテーブル関連図5の構成例を示す。
テーブル関連図5は、各データマート1の描画オブジェクト間を、そのデータ抽出関係に応じて線分オブジェクト2でリンクさせた図である。マートレス検証支援システム100は、このテーブル関連図5を、ユーザ端末200または表示装置106に出力するとしてもよい。こうしたテーブル関連図5で示されるDWHの構造については、図8に例示するDWHテーブル構造概念図6としても示すことができる。このDWHテーブル構造概念図6では、該当DWHが、0層、1層、2層の各テーブルで階層構造を成していることを示している。このうち0層は、IF(インターフェイス)を介して得たデータを直接ロードさせるテーブルである。また、1層は、0層のテーブルにロードしたデータについて、コードの変換、不要カラムの削除といった前処理を施して格納したテーブルである。また、2層は、1層のテーブルからデータを抽出して生成する「中間」、上述の1層および中間の各テーブルのデータを統合した「集約」、この「集約」からデータを抽出して生成する「中間」、上述の「集約」および中間の各テーブルのデータを抽出して生成する「分割」、および「分割」からデータを抽出して生成する「VIEW」の各テーブル(データマート)から構成される。なお、「分割」テーブル(データマート)はアプリ毎に参照用に作成されているデータマートである。
続いてマートレス検証支援システム100は、上述のステップs101で特定したデータマートの組のうち、データ抽出側のデータマートの格納データ生成に伴うSQLコマンドを、設計情報125のSQLコマンドリストから特定する(s102)。ここで特定したSQLコマンドの例を図9に示す。図9は本実施形態におけるSQLテーブル7の構成例を示す図である。
例えば上述のステップs101で特定した或るデータマートの組が、データ抽出側のデータマートは上述の「0層」、被データ抽出側のデータマートは「IF」であり、データ抽出側のデータマートを利用対象とする業務処理が「ABC0010」であったとする。その場合、マートレス検証支援システム100は、このデータマートの組に関する情報を、設計情報125に照合し、図9のSQLテーブル7における「#1」レコードの情報を、SQLコマンドとして特定する。なお、説明の簡便化のため、ここでは業務処理「ABC0010」に関するSQLコマンドに関しては、シーケンス「1」のものだけを示している。
この図9で例示するように、当該ステップs102で特定されるSQLコマンドに関する情報は、「分類」、「処理ID」、「SEQ」、「SQLタイプ」、「入力」、「条件」、および「出力」の各値を含むものとする。このうち「分類」は、DWHにおける各層のうちどの層間でのデータ抽出がなされるかを示す値となる。また、「処理ID」は、データ抽出側のデータマートを利用対象とする業務処理のIDとなる。また、「SEQ」は、該当業務処理に関するSQL処理の順序を示すものとなる。また、「SQLタイプ」は、当該SQLコマンドのタイプを示すものとなる。また、「入力」は、当該SQLコマンドがデータ抽出の対象とする被データ抽出側のデータマート名称、形式に関する情報となる。また、「条件」は、当該SQLコマンドが示す実行条件を示すものとなる。また、「出力」は、当該SQLコマンド実行により生成し、データマートの格納データとして出力するファイル名称と形式を示すものとなる。
次にマートレス検証支援システム100は、上述のステップs102で特定したSQLコマンドの情報を、テーブル条件パターン126に照合し(s103)、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の条件に応じた負荷レベルを特定する(s104)。
この場合、マートレス検証支援システム100は、図9で例示したSQLコマンドにおける「SQLタイプ」、「条件」の含む各値を、テーブル条件パターン126に照合し、例えば、取得項目編集条件「大」、特殊抽出条件「有」、集約「有」と特定して、その場合の負荷レベルを「20」、などと特定する。
続いてマートレス検証支援システム100は、上述の設計情報125に基づき得ている上述のSQLテーブル7(図9)を参照し、アプリケーションがデータ利用の対象とする各データマートの数、データ抽出範囲、集計処理の各値を取得する(s105)。例えば、SQLテーブル7のうち、「SQLタイプ」が「INSERT」のレコードで、「結合条件」に複数のマスタ等が規定されているものから、そのマスタの数を「抽出対象とするデータマートの数」として取得する。また、上述の「結合条件」にてマスタ間で規定された結合対象すなわち抽出対象のデータの指定がある場合に「データ抽出範囲」が「有」と特定する。また、上述の「結合条件」にて「集約列」に値が設定されている場合、「集計処理」が「有」などと特定する。
次にマートレス検証支援システム100は、上述のステップs105で得た、データマートの数、データ抽出範囲、および集計処理の各値を、アプリ条件パターン127に照合し(s106)、各アプリケーションに関するデータ利用程度を特定する(s107)。例えば、「データマートの数」が「1」で「検索対象」は「単一」、「データ抽出範囲」は「全件」、「集計処理」は「あり」であった場合、利用程度を「3」、などと特定する。
続いてマートレス検証支援システム100は、上述のステップs104、s107で特定した負荷レベルおよびデータ利用程度の各値を乗算し、その乗算値を所定基準値と比較することで、各データマートの削減妥当性を判定する(s108)。
マートレス検証支援システム100は、例えば、或るデータマートに関して、負荷レベル「2」およびデータ利用程度「1」の各値が得られたと場合、これらの乗算値rとして「2」を算定する。マートレス検証支援システム100は、この乗算値rを記憶装置101の妥当性基準テーブル128に照合し、該当データマートの削減妥当性について判定する。妥当性基準テーブル128は、図12にて示すように、乗算値の範囲に応じたデータマート削減妥当性について規定したテーブルとなる。図10の例では、100≧rの場合
に削減妥当性は「無」、50<r<100の場合に削減妥当性は「低」、20<r≦50の場合に削減妥当性は「検討要」、10<r≦20の場合に削減妥当性は「中」r≦10の場合に削減妥当性は「強」、と削減妥当性が規定されている。上述の乗算値「2」の場合、マートレス検証支援システム100は、該当データマートの削減妥当性について、「強」と判定することになる。
に削減妥当性は「無」、50<r<100の場合に削減妥当性は「低」、20<r≦50の場合に削減妥当性は「検討要」、10<r≦20の場合に削減妥当性は「中」r≦10の場合に削減妥当性は「強」、と削減妥当性が規定されている。上述の乗算値「2」の場合、マートレス検証支援システム100は、該当データマートの削減妥当性について、「強」と判定することになる。
続いてマートレス検証支援システム100は、上述のステップs108で得た削減妥当性に関する判定結果を、該当データマートの情報に対応付けて、ユーザ端末200または表示装置106に出力し(s109)、処理を終了する。この場合、マートレス検証支援システム100は、ステップs101にて既に生成してあるテーブル関連図が含む各描画オブジェクトに対し、該当データマートに関して判定した削減妥当性に応じた所定の表示形態(例:表示色による強調表示等)を判定結果として設定して画面データを生成し、これをユーザ端末200または表示装置106に出力する。
本実施形態における判定結果に対応したテーブル関連図の表示例を図11にて示す。図11は本実施形態における画面例1を示す図である。図11で例示するテーブル関連図の表示画面50では、描画オブジェクト51〜54に関してグレーの濃淡をつけて着色された表示形態を示している。つまり、この描画オブジェクト51〜54に対応したデータマートは、上述のステップs108での妥当性に関する判定にて、削減妥当性を有する結果が得られたものとなる。例えば、グレーの濃淡のうち淡い色調の描画オブジェクト51〜53については、削減妥当性「中」と判定されたデータマートに対応し、グレーの濃淡のうち濃い色調の描画オブジェクト54については、削減妥当性「強」と判定されたデータマートに対応している。これらデータマートは、削減つまりマートレスとしても、そのデータ源となっている集約テーブル等に対する直接検索を行ってもSQL処理のパフォーマンス低下は許容出来るもの、と判定されたことになる。ユーザはこの表示画面50をユーザ端末200等で閲覧し、DWHにおいて削減対象として妥当なデータマートについて確認し、マートレス化の実効性や効果について容易に検証することが出来る。
以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
こうした本実施形態によれば、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能となる。
本明細書の記載により、少なくとも次のことが明らかにされる。すなわち本実施形態のマートレス検証支援システムにおいて、前記演算装置は、前記判定結果を表示装置に出力する処理に際し、前記各データマートに対応した描画オブジェクトを画面上に配置し、各描画オブジェクトの間を、前記関係性に基づいて所定の線分オブジェクトで接続し、前記各描画オブジェクトに対し、該当データマートに関する前記負荷および前記データ利用程度の高さに応じた所定の表示形態を前記判定結果として設定して画面データを生成し、当該画面データを表示装置に出力するものである、としてもよい。
これによれば、データウェアハウスのデータマートレス化について検討・実行するユーザに対し、削除すべきデータマートとして、データマート削除後に該当データマートと同様のデータをDWHにおける集約データや他のデータマートなどから取得する際の処理負荷、より具体的にはSQLの処理速度が所定の基準以上であるものについて、情報を提示することが可能となる。つまりデータマート削除後にDWHに対する直接分析を行うとした場合に、処理速度の点でボトルネックにならないデータマートを削除候補としてユーザに提示することとなる。ひいては、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能となる。
また、本実施形態のマートレス検証支援システムにおいて、前記関係性においてデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを分類した第1のテーブルと、各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類した第2のテーブルと、を格納した記憶装置を更に備え、前記演算装置は、前記負荷と前記データ利用程度を特定する処理に際し、前記データウェアハウスの設計情報が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、前記第1のテーブルを照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定し、前記データウェアハウスの設計情報が示す、データマートに対してデータ利用を行う各アプリケーションに関して、前記第2のテーブルを照合し、各アプリケーションに関する前記データ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じたデータ利用レベルを特定するものである、としてもよい。
これによれば、データウェアハウスのデータマートレス化について検討・実行するユーザに対し、削除すべきデータマートの情報を、データマート間の関係性を踏まえた画面中で、認識が容易かつ確実な形態で提示することが可能となる。ひいては、データウェアハウスにおけるデータマートレス化に際し、削減対象として好適なデータマートを効率的に特定し、ユーザに提示可能となる。
また、本実施形態のマートレス検証支援方法において、前記情報処理システムが、前記判定結果を表示装置に出力する処理に際し、前記各データマートに対応した描画オブジェクトを画面上に配置し、各描画オブジェクトの間を、前記関係性に基づいて所定の線分オブジェクトで接続し、前記各描画オブジェクトに対し、該当データマートに関する前記負荷および前記データ利用程度の高さに応じた所定の表示形態を前記判定結果として設定して画面データを生成し、当該画面データを表示装置に出力する、としてもよい。
また、本実施形態のマートレス検証支援方法において、前記情報処理システムが、前記関係性においてデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを分類した第1のテーブルと、各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類した第2のテーブルと、を格納した記憶装置を備えて、前記負荷と前記データ利用程度を特定する処理に際し、前記データウェアハウスの設計情報が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、前記第1のテーブルを照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定し、前記データウェアハウスの設計情報が示す、データマートに対してデータ利用を行う各アプリケーションに関して、前記第2のテーブルを照合し、各アプリケーションに関する前記データ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともい
ずれかの条件に応じたデータ利用レベルを特定する、としてもよい。
ずれかの条件に応じたデータ利用レベルを特定する、としてもよい。
10 ネットワーク
100 マートレス検証支援システム
101 記憶装置
102 プログラム
103 メモリ
104 演算装置
105 入力装置
106 出力装置
107 通信装置
125 設計情報
126 テーブル条件パターン(第1のテーブル)
127 アプリ条件パターン(第2のテーブル)
128 妥当性基準テーブル
100 マートレス検証支援システム
101 記憶装置
102 プログラム
103 メモリ
104 演算装置
105 入力装置
106 出力装置
107 通信装置
125 設計情報
126 テーブル条件パターン(第1のテーブル)
127 アプリ条件パターン(第2のテーブル)
128 妥当性基準テーブル
Claims (6)
- データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによる前記データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、
当該特定した前記負荷および前記データ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理と、
を実行する演算装置を含むことを特徴とするマートレス検証支援システム。 - 前記演算装置は、
前記判定結果を表示装置に出力する処理に際し、前記各データマートに対応した描画オブジェクトを画面上に配置し、各描画オブジェクトの間を、前記関係性に基づいて所定の線分オブジェクトで接続し、前記各描画オブジェクトに対し、該当データマートに関する前記負荷および前記データ利用程度の高さに応じた所定の表示形態を前記判定結果として設定して画面データを生成し、当該画面データを表示装置に出力するものである、
ことを特徴とする請求項1に記載のマートレス検証支援システム。 - 前記関係性においてデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを分類した第1のテーブルと、
各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類した第2のテーブルと、
を格納した記憶装置を更に備え、
前記演算装置は、
前記負荷と前記データ利用程度を特定する処理に際し、
前記データウェアハウスの設計情報が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、前記第1のテーブルを照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定し、
前記データウェアハウスの設計情報が示す、データマートに対してデータ利用を行う各アプリケーションに関して、前記第2のテーブルを照合し、各アプリケーションに関する前記データ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じたデータ利用レベルを特定するものである、
ことを特徴とする請求項1に記載のマートレス検証支援システム。 - 情報処理システムが、
データウェアハウスの設計情報が示す各データマートの間の関係性と、所定アプリケーションによる前記データマートの利用内容とに基づき、各データマートの格納データ生成に伴う負荷と、各データマートに対する所定アプリケーションからのデータ利用程度とを特定する処理と、
当該特定した前記負荷および前記データ利用程度に応じて各データマートの削減妥当性を判定し、当該判定結果を該当データマートの情報に対応付けて表示装置に出力する処理と、
を実行することを特徴とするマートレス検証支援方法。 - 前記情報処理システムが、
前記判定結果を表示装置に出力する処理に際し、前記各データマートに対応した描画オブジェクトを画面上に配置し、各描画オブジェクトの間を、前記関係性に基づいて所定の線分オブジェクトで接続し、前記各描画オブジェクトに対し、該当データマートに関する前記負荷および前記データ利用程度の高さに応じた所定の表示形態を前記判定結果として設定して画面データを生成し、当該画面データを表示装置に出力する、
ことを特徴とする請求項4に記載のマートレス検証支援方法。 - 前記情報処理システムが、
前記関係性においてデータ抽出関係が規定されているデータマート間において、データ抽出側のデータマートの格納データとして被データ抽出側のデータマートからデータ抽出を行う際の、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを分類した第1のテーブルと、
各アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じた、各アプリケーションによるデータマートに対するデータ利用レベルを分類した第2のテーブルと、を格納した記憶装置を備えて、
前記負荷と前記データ利用程度を特定する処理に際し、
前記データウェアハウスの設計情報が示す各データマートの間の関係性において、データ抽出関係が規定されているデータマートの組に関して、前記第1のテーブルを照合し、データ抽出側のデータマートの格納データ生成に伴う負荷として、データの編集内容、抽出条件、および集約要否の少なくともいずれかの条件に応じた負荷レベルを特定し、
前記データウェアハウスの設計情報が示す、データマートに対してデータ利用を行う各アプリケーションに関して、前記第2のテーブルを照合し、各アプリケーションに関する前記データ利用程度として、該当アプリケーションが利用データの抽出対象とするデータマートの数、該当データマートにおけるデータ抽出範囲、および抽出したデータの集計処理の有無、の少なくともいずれかの条件に応じたデータ利用レベルを特定する、
ことを特徴とする請求項4に記載のマートレス検証支援方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015126699A JP2017010376A (ja) | 2015-06-24 | 2015-06-24 | マートレス検証支援システムおよびマートレス検証支援方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015126699A JP2017010376A (ja) | 2015-06-24 | 2015-06-24 | マートレス検証支援システムおよびマートレス検証支援方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017010376A true JP2017010376A (ja) | 2017-01-12 |
Family
ID=57763733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015126699A Pending JP2017010376A (ja) | 2015-06-24 | 2015-06-24 | マートレス検証支援システムおよびマートレス検証支援方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017010376A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019121181A (ja) * | 2018-01-05 | 2019-07-22 | 株式会社日立製作所 | データ管理システムおよびデータ管理方法 |
| US11842308B2 (en) | 2019-12-02 | 2023-12-12 | Hitachi, Ltd. | Computer system and method for managing data of an executed workflow |
-
2015
- 2015-06-24 JP JP2015126699A patent/JP2017010376A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019121181A (ja) * | 2018-01-05 | 2019-07-22 | 株式会社日立製作所 | データ管理システムおよびデータ管理方法 |
| US11842308B2 (en) | 2019-12-02 | 2023-12-12 | Hitachi, Ltd. | Computer system and method for managing data of an executed workflow |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11188537B2 (en) | Data processing | |
| US11698918B2 (en) | System and method for content-based data visualization using a universal knowledge graph | |
| US9747331B2 (en) | Limiting scans of loosely ordered and/or grouped relations in a database | |
| US10417265B2 (en) | High performance parallel indexing for forensics and electronic discovery | |
| US9104709B2 (en) | Cleansing a database system to improve data quality | |
| US10565201B2 (en) | Query processing management in a database management system | |
| CN112000773B (zh) | 基于搜索引擎技术的数据关联关系挖掘方法及应用 | |
| US8560499B2 (en) | Data reduction for optimizing and testing | |
| CN103631842A (zh) | 用于检测多列复合键列集合的方法和系统 | |
| US20180357278A1 (en) | Processing aggregate queries in a graph database | |
| CN110399431A (zh) | 一种关联关系构建方法、装置及设备 | |
| US20180357328A1 (en) | Functional equivalence of tuples and edges in graph databases | |
| US20240220876A1 (en) | Artificial intelligence (ai) based data product provisioning | |
| CN110941952A (zh) | 一种完善审计分析模型的方法及装置 | |
| US9678970B2 (en) | Database storage reclaiming program | |
| JP2017010376A (ja) | マートレス検証支援システムおよびマートレス検証支援方法 | |
| CN111400556A (zh) | 数据查询方法及装置、计算机设备、存储介质 | |
| US20230004873A1 (en) | System and method for artificial intelligence driven document analysis, including automated reuse of predictive coding rules based on management and curation of datasets or models | |
| CN114610804A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN113515522A (zh) | 一种基于数据挖掘技术的标签自动分类方法 | |
| US12493803B1 (en) | Optimized retreival using knowledge graph-enhanced retrieval augmented generation | |
| WO2025102109A1 (en) | Method and device for analysing structured data | |
| CN119988439A (zh) | 数据库的数据处理方法、装置和服务器 | |
| CN120930676A (zh) | 一种智能体的数据分析方法、系统、电子设备及存储介质 | |
| CN120508577A (zh) | 应用于ai副总系统的企业数据结构化存储及査询的方法、装置和设备 |