JP2017199358A - 視覚ベイジアンデータフュージョンのシステムおよび方法 - Google Patents

Abstract

【課題】視覚ベイジアンデータフュージョンのシステムおよび方法を提供すること。【解決手段】一実施例においては、トピックに関する複数のデータセットが、データレイクから取得される。複数のデータセットの各々は、トピックの様々な属性に対応する情報を含む。さらに、複数のデータセットが結合されて、結合データセットを取得する。さらには、ターゲット属性に関連する分布が、結合データセットにおけるターゲット属性との相互情報量に基づいて複数の属性（ｋ）を選択し、選択された属性およびターゲット属性を使用して最小全域木ベースのベイジアン構造を学習し、最小全域木ベースのベイジアン構造の各ノードにおいて条件付き確率表を学習し、条件付き確率表を照会することによって、ターゲット属性に関連する分布を予測し、それによって視覚ベイジアンデータフュージョンを促進することによって、ベイジアンモデリングを使用してターゲット属性に関連する分布が予測される。【選択図】図４

Description

本明細書における実施態様は、一般的にはデータフュージョンに関し、より具体的には、視覚ベイジアンデータフュージョン（visual Bayesian data fusion）のシステムおよび方法に関する。

関係出願と優先権の相互参照
本発明は、インドにおいて２０１６年３月１０日出願の、インド仮特許明細書（題名：Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｖｉｓｕａｌ Ｂａｙｅｓｉａｎ ｄａｔａ ｆｕｓｉｏｎ）第２０１６２１００８４１９号の優先権を主張するものである。

従来型ビジネスインテリジェンスからビッグデータ解析への進化によって、データが従来型データウェアハウス中ではなく、生の形態で吸収される、データレイク（data lake）が出現した。多くの場合に多様な情報源（ソーシャルメディア、モビリティ、モノのインターネット（internet-of-things））からの、それぞれの関心のあるエンティティ、例えば、顧客についての、より多くの情報またはデータの利用可能性が増大することによって、そのようなデータをフュージョンすること、可視化すること、およびそれから洞察を導くことには、多くの課題が生じることがある。これらの課題は、自然の結合キーのないことが多い、異種のデータセットによるものである。また、これらのデータセットは、異なるレベルの粒度における測度、例えば、個別データ対集合データを記述する場合があり、異なるデータセットが、物理的に別個の集団から導かれることがある。さらに、データがフュージョンされていると、照会（query）は、高次元データから洞察を導くのには、非効率的で、不正確な機構であることが多い。

以下に、本開示のいくつかの実施態様についての基本的な理解を図るために、これらの実施態様についての簡略された概要を提示する。この概要は、それらの実施態様についての網羅的な全体像ではない。また、それらの実施態様のキー要素／重要要素を識別すること、またはそれらの実施態様の範囲を境界線引きすることを意図するものではない。その唯一の目的は、以下で提示されるさらに詳細な説明に対する前置きとして、いくつかの実施態様を簡略化された形態で提示することである。

前述のことを考慮して、本明細書における一実施態様は、視覚ベイジアンデータフュージョンの方法およびシステムを提供する。一観点において、プロセッサ実装方法は、データレイクからトピックに関連する複数のデータセットを取得するステップであって、複数のデータセットのそれぞれは、トピックの様々な属性に対応する情報を含むステップと；複数のデータセットを結合して、結合データセットを取得するステップと；結合データセットにおけるターゲット属性との相互情報量に基づいて複数の属性（ｋ）を選択し、選択された属性およびターゲット属性を使用して最小全域木（minimum spanning tree）ベースのベイジアン構造を学習し、最小全域木ベースのベイジアン構造の各ノードにおいて条件付き確率表を学習し、条件付き確率表を照会することによって、ターゲット属性に関連する分布を予測し、それによって視覚ベイジアンデータフュージョンを促進することによって、ベイジアンモデリングを使用してターゲット属性に関連する分布を予測するステップとを含む。

別の観点においては、視覚ベイジアンデータフュージョンのシステムが開示される。このシステムは、１つまたは２つ以上のメモリ；および１つまたは２つ以上のハードウェアプロセッサを含み、前記１つまたは２つ以上のメモリは前記１つまたは２つ以上のハードウェアプロセッサに連結されており、前記１つまたは２つ以上のハードウェアプロセッサは：データレイクから、トピックに関連する複数のデータセットであって、それぞれがトピックの様々な属性に対応する情報を含む前記複数のデータセットを取得し、前記複数のデータセットを結合して、結合データセットを取得し；前記結合データセットにおいてターゲット属性との相互情報量に基づいて複数の属性（ｋ）を選択し；前記選択された属性および前記ターゲット属性を使用して、最小全域木ベースのベイジアン構造を学習し；前記最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表を学習し；前記条件付き確率表を照会することによって、前記ターゲット属性に関連する分布を予測し、それによって視覚ベイジアンデータフュージョンを促進することによってベイジアンモデリングを使用してターゲット属性に関連する分布を予測する、前記１つまたは２つ以上のメモリに記憶されたプログラム化された命令を実行することができる。

さらに別の観点では、視覚ベイジアンデータフュージョンの方法を実行するためのコンピュータプログラムがその上に具現化された、非一時的コンピュータ可読媒体が開示される。この方法には、データレイクからトピックに関連する複数のデータセットを取得するステップであって、複数のデータセットのそれぞれがトピックの様々な属性に対応する情報を含む、ステップと；前記複数のデータセットを結合して、結合データセットを取得するステップと；前記結合データセットにおける前記ターゲット属性との相互情報量に基づいて複数の属性（ｋ）を選択し、前記選択された属性および前記ターゲット属性を使用して、最小全域木ベースのベイジアン構造を学習し、前記最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表を学習し、前記条件付き確率表を照会することによって、前記ターゲット属性に関連する分布を予測し、それによって視覚ベイジアンデータフュージョンを促進することによって、ベイジアンモデリングを使用してターゲット属性に関連する分布を予測するステップとを含む。

本明細書のいずれのブロック図も、本発明主題の原理を具現化する、説明のためのシステムの概念図を表わすことを、当業者は気づくはずである。同様に、いずれのフローチャート、フロー図、状態遷移図、疑似コード、その他も、コンピュータ可読媒体に実質的に表わされ、コンピューティングデバイスまたはプロセッサが明示的に示されているか否かにかかわらず、そのようなコンピューティングデバイスまたはプロセッサによって実行される、様々なプロセスを表わすものと理解される。

添付の図を参照して、詳細な説明を記述する。図において、参照番号の左端の桁は、参照番号が最初に現われる図を識別する。図面を通して、同じ特徴およびモジュールを参照するのに、同一の番号が使用されている。

図１は、本主題の態様による、視覚ベイジアンデータフュージョンのシステムを示す図である。 図２は、本主題の態様による、特徴サブセットについて学習された、最小全域木ネットワークを示す図である。 図３Ａは、本主題の実施態様による、データセットに対する、「給与補完（salary imputation）」を示す。 図３Ｂは、本主題の実施態様による、データセットに対する、「給与補完」を示す。 図４は、本主題の実施態様による、視覚ベイジアンデータフュージョンの方法を示す、フローチャートである。

本明細における任意のブロック図は、本主題の原理を具現する説明用のシステムおよびデバイスの概念図を表わすものと当業者には理解されるべきである。同様に、いずれのフローチャート、フロー図、その他も、コンピュータ可読媒体に実質的に表わされ、コンピュータまたはプロセッサが明示的に示されているか否かにかかわらず、そのようなコンピュータまたはプロセッサによって実行される、様々なプロセスを表わすものと理解される。

本明細書の実施態様およびそれらの様々な特徴および有利な詳細を、添付の図面に図解されるとともに、以下の記述において詳述される、非限定の実施態様を参照してより完全に説明する。本明細書において使用される実施例は、本明細書に記載の実施態様を実施することのできる方法の理解を促進すること、および、当業者が本明細書に記載の実施態様を実施することをさらに可能にすることだけを意図している。したがって、これらの実施例は、本明細書における実施態様の範囲を限定するものと解釈すべきではない。

本技法は、視覚ベイジアンデータフュージョンについて記述する。この技法においては、ターゲット属性を予測するのに最も関連性の高い属性が学習される。次に、効率的に実行可能なベイジアンネットワークが、この特徴サブセットについて（ペア単位相互情報量値から導出されるグラフに埋め込まれた最小全域木を介して）学習される。次いで、この技法は厳密推論を使用して、ターゲット属性を予測する。

これらの方法およびシステムは、本明細書に記載される特定の実施態様に限定されるものではない。さらに、この方法およびシステムは、本明細書に記載されたその他のモジュールおよび方法と独立して、別個に実施することができる。各々のデバイス要素／モジュールおよび方法は、他の要素／モジュールおよび他の方法と組み合わせて使用することができる。

チェック画像データマスキング（cheque image data masking）のシステムおよび方法の実現の仕方を、図１から４について詳細に説明した。記載された視覚ベイジアンデータフュージョンの方法およびシステムの観点は、任意の数の異なるシステム、ユーティリティ環境、および／または構成において実現することができるが、本実施態様は、以下の例示的なシステム（複数を含む）の文脈において記述する。

図１は、例示的実施態様による、視覚ベイジアンデータフュージョンのシステム１００のブロック図を示す。例示的実施態様において、システム１００は、コンピューティングデバイスにおいて具現化するか、またはそれと直接的な通信状態にある。システム１００は、プロセッサ（複数を含む）１０２などの１つまたは２つ以上のハードウェアプロセッサ、メモリ１０４などの１つまたは２つ以上のメモリ、およびネットワークインターフェイスユニット１０６などのネットワークインターフェイスユニットを含むか、またはそうでない場合には、それらと通信状態にある。実施態様においては、プロセッサ１０２、メモリ１０４、およびネットワークインターフェイスユニット１０６は、システムバスなどシステムバス、または類似の機構によって連結されてもよい。図１は、システム１００の例示的構成要素を示すが、その他の実現形態においては、システム１００は、図１に記述されたよりも、より少ない構成要素、追加の構成要素、異なる構成要素、または異なる配設の構成要素を包含してもよい。

プロセッサ１０２には、とりわけ、通信と関連する、オーディオ機能および論理機能、ならびに撮像、表示、復号、描画の機能を実現する回路を含めてもよい。例えば、プロセッサ１０２には、それに限定はされないが、１つまたは２つ以上のディジタルシグナルプロセッサ（ＤＳＰ）、１つまたは２つ以上のマイクロプロセッサ、１つまたは２つ以上の専用コンピュータチップ、１つまたは２つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つまたは２つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つまたは２つ以上のコンピュータ、様々なアナログ‐ディジタルコンバータ、ディジタル‐アナログコンバータ、および／またはその他のサポート回路を含めてもよい。すなわち、プロセッサ１０２には、メッセージおよび／もしくはデータまたは情報を符号化するための機能も含めてもよい。プロセッサ１０２には、とりわけ、クロック、算術論理ユニット（ＡＬＵ）、およびプロセッサ１０２の動作をサポートするように構成された、論理ゲートを含めてもよい。さらに、プロセッサ１０２には、メモリ１０４に記憶されるか、またはその他の方法でプロセッサ１０２にアクセス可能な、１つまたは２つ以上のソフトウェアプログラムを実行する機能を含めてもよい。

「プロセッサ（複数を含む）」のラベルの付けられた任意の機能ブロックを含む、図に示された様々な要素の機能は、専用ハードウェア、ならびに適当なソフトウェアに関連するソフトウェアを実行することのできるハードウェア、を使用することによって提供してもよい。プロセッサによって提供されるときには、これらの機能は、単独の専用プロセッサによるか、単独の共用プロセッサによるか、またはその一部が共用されてもよい、複数の個々のプロセッサによって提供してもよい。さらに、「プロセッサ」という用語の明示的な使用は、ソフトウェアを実行することのできるハードウェアを網羅的に指すものと解釈されるべきではなく、暗示的には、限定されることなく、ＤＳＰハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ、ソフトウェアを記憶するための読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶装置を含むことがある。従来型、および／または特注型の、その他のハードウェアを含めてもよい。

インターフェイス（複数を含む）１０６には、多様なソフトウェアインターフェイスおよびハードウェアインターフェイス、例えば、キーボード、マウス、外部メモリ、およびプリンタなどの周辺デバイス（複数を含む）用のインターフェイスを含めてもよい。インターフェイス（複数を含む）１０６は、有線ネットワーク、例えば、ローカルエリアネットワーク（ＬＡＮ）、ケーブルなど、およびワイヤレスＬＡＮ（ＷＬＡＮ）、セルラー、またはサテライトなどのワイヤレスネットワークを含む、多様なネットワークおよびプロトコルタイプ内での多重通信を促進することができる。

メモリ１０４などの１つまたは２つ以上のメモリは、システムの機能を実現するのにシステムによって使用される、任意の数の情報、およびデータを記憶してもよい。メモリ１０４には、例えば、揮発性メモリおよび／または不揮発性メモリを含めてもよい。揮発性メモリの例としては、それに限定はされないが、揮発性ランダムアクセスメモリを挙げることができる。不揮発性メモリには追加的または代替的に、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードドライブ、その他を含めてもよい。揮発性メモリの例としては、それに限定はされないが、ランダムアクセスメモリ、ダイナミックランダムアクセスメモリ、スタティックランダムアクセスメモリ、その他を挙げることができる。不揮発性メモリの例としては、それに限定はされないが、ハードディスク、磁気テープ、光学ディスク、プログラマブル読取り専用メモリ、消去可能プログラマブル読取り専用メモリ、電気的消去可能プログラマブル読取り専用メモリ、フラッシュメモリ、その他を挙げることができる。メモリ１０４は、システム１００が、様々な例示的実施態様に関連する様々な機能を実行することを可能にするための、情報、データ、アプリケーション、命令、またはその他を記憶するように構成してもよい。追加的または代替的に、メモリ１０４は、プロセッサ１０２によって実行されると、様々な実施態様において記述されたようにシステムを挙動させる、命令を記憶するように構成してもよい。メモリ１０４は、データフュージョンモジュール１０８および／またはその他のモジュールを含む。モジュール１０８は、特定のタスクを実行するか、または特定の抽象データタイプを実現する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、などを含む。その他のモジュールには、システム１００のアプリケーションおよび機能を補う、プログラムまたはコード化された命令を含めてもよい。

動作において、データフュージョンモジュール１０８は、データレイクから、トピックに関連する、複数のデータセットを取得する。例えば、複数のデータセットの各々は、トピックの様々な属性に対応する、情報（すなわち、テキストまたは小売商記述（retailer description））を含む。さらに、データフュージョンモジュール１０８は、複数のデータセットを結合して、結合データセットを取得する。一実施例では、複数のデータセットは、あるタイプの結合に基づいて、結合される。データ結合の概念は、異なるデータセットからの関連する属性を併合して、これらのデータセットの間の相関を学習するための候補ファイルを作成することである。この実施例において、結合のタイプは、内部結合、外部結合、左結合、および右結合を含む。内部結合においては、データセットからの共通データが保持される。外部結合においては、データセットからのすべてのデータが保持される。左結合においては、両データセットからの共通データ、および第１のデータセットからのデータが保持される。右結合においては、両データセットからの共通データ、および第２のデータセットからのデータが保持される。

さらに、データフュージョンモジュール１０８は、データセットにわたり、キーワードベース探索を行う。データセットが追加されるときに、データフュージョンモジュール１０８は、カラムヘッダに基づき、索引付きファイル（indexing file）に使用される、タグを自動的に生成する。一実施例において、ユーザは、タグを追加して、後の検索のための探索キーワードとしてタグを入力することを可能にしてもよい。さらに、データフュージョンモジュール１０８は、ベイジアンモデリグを行うことができる前に、より良い理解のためのデータを得るために、探査的なデータ解析を実行する。データフュージョンモジュール１０８は、以下に記述される探査的解析のための多数のビジュアライゼーション（visualizations）を提供する。
・モーションチャート：円の位置、大きさ、および色を使用する、４つまでの経時的データ属性を視覚的に表わすことのできる、多次元ビジュアライゼーション。円のモーションアニメーションを使用して、時間経過に対するデータの変化を描写する。
・平行座標：多数のデータ属性を一緒に可視化することのできる、多次元データビジュアライゼーション。属性は、複数の平行な垂直軸または水平軸として表わされ、データポイントは、各属性軸（最後の２つの軸は、実際の給与（salary）と予測された給与の間の誤差を可視化する）上の点を接続する折れ線として表わされる。軸の順序は、ドラッギングによって変更してもよく、属性は、消去するか、またはプロットに追加することができる。
・バブルマップチャート：データ属性を、大きさおよび色などのバブルの特性にマッピングして、マップ上の地理的場所にバブルまたは円をプロットする。

・カートグラム（Cartogram）：マップを使用して、国および州などの地域についてのデータを可視化する。データ値に比例する部位における、色およびゴムシート歪みによって、空間データの比較を容易にする。ビジュアライゼーション設計は、それらに関連するビジュアライゼーションのための、データタイル（data tile）表示アイコンをさらに含む。単一のデータセットに対して複数のビジュアライゼーションを描画することができる場合には、各々に対するアイコンが表示されて、そのアイコンをクリックすることで、選択されたビジュアライゼーションを開く。すべてのビジュアライゼーションは、「比較ビュー」ページにおいて開く。サムネイルのリストが、ページの左側に表示され、それを使用して、ユーザは、ビジュアライゼーションを垂直方向に整理し直すか、全画面モードにおいてサムネイルを閉じるか、または開くことができる。

さらに動作において、データフュージョンモジュール１０８は、データセットについてモデル学習を行う。例示的な一実現形態において、データフュージョンモジュール１０８は、ベイジアンモデリングを使用して、ターゲット属性に関連する分布を予測する。例えば、データフュージョンモジュール１０８は、ユーザが、異なるデータセットから複数の属性を選択して、それらを属性カート（attribute-cart）に追加することを可能にする。ユーザが１つの変数をターゲット変数またはターゲット属性として選択した後に、ユーザは、ネットワークの自動作成を要求することができる。この実施例において、異なるデータセットからの属性間の依存性は、ベイジアンネットワークを使用して発見してもよい。ベイジアンネットワーク（ＢＮ）は、不確かなドメインについての表現と推論を可能にするグラフ構造である。それは、２つの構成要素からなる、結合確率分布（ＪＰＤ）の表現である。第１の構成要素Ｇは、その頂点がランダム変数に対応する、有向非循環グラフ（directed acyclic graph）である。第２の構成要素、条件付き確率表（ＣＰＴ）は、その親ノードを与えられたとして、各変数に対する条件付き分布を記述する。ノードのＣＰＴは、ノードの各値が、その親ノードの値のすべての組合せが与えられたとして、取ることのできる確率を示す。Ｎ個のランダム変数Ｘ＝（Ｘ_１，Ｘ_２，...，Ｘ_Ｎ）からなるＢＮを考えると、ＢＮの結合確率分布の一般形は、式１で表すことが可能であり、この式１は、その親を与えられたとして、各ノードが他のノードと独立であるという、ＢＮ特性を符号化し、ここでＰａ（Ｘ_ｉ）は、Ｘ_ｉの親の集合である。

さらに、データフュージョンモジュール１０８は、結合データセットにおけるターゲット属性との相互情報量に基づき、複数の属性（ｋ）を選択する。複数の属性およびターゲット属性は、離散変数および連続変数を含んでもよい。一実施態様においては、データフュージョンモジュール１０８は、ターゲット変数との、すべての特徴の相互情報量に基づいて、データセットから上位Ｋ個（top-K）の特徴を選択する。連続変数‐連続変数、および連続変数‐離散変数間の相互情報量を、ノンパラメトリックエントロピー推定ツールボックス（ＮＰＥＥＴ：non-parametric entropy estimation toolbox）を使用して計算してもよい。このツールは、相互情報量推定器を求めるアプローチを実現し、それは、ｋ最近傍距離（k-nearest neighbor distance）からのエントロピー推定値に基づいている。例えば、ｘ変数およびｙ変数間の相互情報量は、以下の式を使用して計算される：

さらに、データフュージョンモジュール１０８は、選択された属性およびターゲット属性（例えば、図２における「給与（salary）」）を使用する、最小全域木（ＭＳＴ）ベースのベイジアン構造（例えば、図２に示されるＭＳＴ２００）を学習する。例示的実施態様において、データフュージョンモジュール１０８は、ペア単位相互情報量を閾値として使用して、複数の属性およびターゲット属性について、最小全域木（ＭＳＴ）を学習する。例えば、データフュージョンモジュール１０８は、様々な特徴（例えば、変数または属性）間のペア単位相互情報量を計算するとともに、閾値よりも小さい、この相互情報量を有するエッジ（edge）を落とすことによって作成された、特徴グラフについて最小全域木を学習する。この実施例において、最小全域木は、パラメータの良好な推定（特に、高い基数変数（cardinality variable）を有するデータの場合）と迅速な推論を補助する、疎構造（sparse structure）を学習することを確実にする。

さらに、データフュージョンモジュール１０８は、最小全域木における各エッジを無作為な方向に初期化する。さらに、データフュージョンモジュール１０８は、各エッジ方向を反転させて、２＾（ｋ）有向グラフを演算する。「ｋ」は、ＭＳＴベース構造におけるエッジの数であるので、データフュージョンモジュール１０８が各エッジのエッジ方向を反転させると、２＾（ｋ）の異なる木またはグラフが演算される。さらに、データフュージョンモジュール１０８は、各グラフのクロスエントロピーを計算する。また、データフュージョンモジュール１０８は、最小クロスエントロピーを有するグラフを、最小全域木ベースのベイジアン構造として選択する。

さらに、データフュージョンモジュール１０８は、最小全域木ベースのベイジアン構造の各ノードにおける条件付き確率表（すなわち、各ノードのパラメータ）を学習する。一例において、データフュージョンモジュール１０８は、固定サイズビニング（fixed size binning）によって、連続変数を離散化する。データフュージョンモジュール１０８は、連続変数を離散化するときに、最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表を学習する。さらに、データフュージョンモジュール１０８は、条件付き確率表を照会することによって、ターゲット属性と関連する分布を予測し、それによって視覚べイジアンデータフュージョンを容易にする。データフュージョンモジュール１０８は、それらを関係表の集合と考えて、ＣＰＴを照会するために、ＳＱＬを使用する。

例示的実施態様において、データフュージョンモジュール１０８は、予測のためにベイジアンネットワークを使用する。まったく存在しない新規のデータセットに対して、属性を予測することが必要となることが多い。データフュージョンモジュール１０８は、この保存されたベイジアンネットワークを使用して、ターゲット変数が欠損していることのある新規のデータセットに対して、補完（imputation）を使用してターゲット変数を予測してもよい：ターゲット変数の期待値が、ベイジアン推論の後に得られた事後分布から演算され、予測値として使用される。

別の例示的実施態様においては、データフュージョンモジュール１０８は、ベイジアンネットワークを使用して、欠損データを特定する。データレイク内の構成データセットの特定の属性に対して、データ値が欠損していることが非常に多くあり、そのようなデータセットの有用性を低下させている。データフュージョンモジュール１０８は、ベイジアン補完を使用する、データ完成機能（data completion feature）を提供する。ベイジアンネットワークの一部である属性を、それらが部分的に欠損している、データセットに補完してもよい。このために、ユーザは、欠損値を含むデータセットに加えて、補完に使用されるネットワークベースタイル（network based tile）を選択することが可能になる。次いで、データフュージョンモジュール１０８は、転置索引（inverted-index）に含められて、さらなる視覚解析に利用可能にされた、完全なデータを備える新規のデータセットを生成する。

例えば、それが与えられなかった候補者の集合に対して、「給与（salary）」を予測するという課題を考える。データフュージョンモジュール１０８は、関係特徴サブセットについて学習したＭＳＴを使用して、ネットワーク内の残りの特徴を証拠として用いて、試験データセットにおける各候補者の「給与（salary）」を予測する。さらに、データフュージョンモジュール１０８は、ｐｏｌｙ−ｔｒｅｅベース厳密推論に類似する照会最適化を内部的に実行する、ＳＱＬエンジンによって加速された、厳密推論を使用して、「給与（salary）」を予測する。

いくつかの実施態様において、システム１００は、平行座標を使用する、モデルベース予測のための視覚インターフェイスを提供する。ユーザは、補完による予測のために使用するネットワークと、ターゲット変数が欠損するデータセットとを選択することが可能になる。この実施態様において、水平平行座標プロットが、それを探査的平行座標視覚化と区別するとともに、この場合にはエッジに方向性はないが、通常は、トップダウン順で描かれるネットワーク構造を示すために、使用される。補完しようとする属性の値は、図３Ａのグラフ３００Ａ（補完前のグラフ）に示されるように、最初は全データ点に対して０である。「補完」ボタンをクリックすることによって、バックエンドにおいて、データフュージョンモジュール１０８を発火させて、補完された値に対する線が、図３のグラフ３００Ｂ（補完後のグラフ）に示されるように、それらの位置へと軸に沿って移動される。７０−３０（％）比におけるトレーニングデータから作成された試験データについて、予測された「給与」のビジュアライゼーションが、図３Ａおよび３Ｂに示されている。予測における誤差を、最後の２つの軸‐実際「給与」および補完「給与」について、３００Ｂにおいて可視化することができる。

別の例示的実施態様において、データフュージョンモジュール１０８は、確率的結合のための、ＭＳＴベースベイジアン構造を使用する。例えば、異種の情報源からのデータは、共通の結合キーを有さないことがあるが、それらのフュージョンは、分析的推論に対して保証されることがある。これは、ベイジアン予測とテキスト類似度（textual similarity）のアンサンブルを使用して、全てのローカルプロダクトＩＤに対してグローバルプロダクトＩＤを予測することによって達成される。

グローバルな「情報および計測」会社からの、消費者製品の実生活データからなるデータレイクを考える。データレイクにおける利用可能なデータセットは以下のとおりである：
１）ローカルデータセット：アイテムの集合Ｉ＝｛Ｉｒ：ｒ＝１，２，...，ｍ｝を含む。各アイテムＩｒ∈Ｉに対して、ローカル属性、小売商記述、ならびに販売数値などの尺度が利用可能である。
２）グローバルデータセット：各アイテムのグローバルマーケットシェアを含み、ここでアイテムは、グローバル属性によって記述されている。
この例において、ローカル属性は、グローバルデータセットにおいて使用されるものと異なることがある（すなわち、これらはグローバルレベルにおいて使用されない属性を含むことがある）。類似の属性に対しても、ローカル属性は、グローバル命名慣行（global naming conventions）とは異なる、地理特異命名法を使用する。例えば、炭酸飲料の場合には、グローバルおよびローカルのデータセットの両方が、飲料のブランド、風味（flavour）などを含むことがあるが、使用される実際の値は、異なることがある：例えば、「コーク」対「コカ・コーラ」、または「加糖」対「砂糖含有」である。さらに、ローカル属性は、製品を記述する自由形式テキストを含むフィールドである、「小売商記述」を含む。そのようなテキストは、アイテムに対するグローバル属性への手がかり（clue）を指摘することが多い。

各ブランドの国別販売に対してグローバルマーケットシェアを比較する必要があるシナリオを考える。これらのデータセットは、これらの２つのデータセット間に自然結合キーがないために、比較することができない。しかしながら、ローカル属性（ベイジアンモデル）と小売商記述とを使用して、グローバル属性の値ｇ∀Ｉ_ｒ∈Ｉを予測することができる場合には、データセットを比較することができる。すなわち、データフュージョンモジュール１０８は、ローカルデータセットにおけるアイテムに対するｇの確率的な予測を行う。さらに、データフュージョンモジュール１０８は、ｇを結合キーとして、ローカルデータセットを、グローバルデータセットと結合して、それを確率的結合（probabilistic join）と呼ぶ。「ｇ」を、ｎ個の可能な状態、例えば、ｇｉ、但しｉ＝１，２，．．．，ｎを有する、グローバル属性とする。ｇ∀Ｉ_ｒ∈Ｉの値を予測するために、データフュージョンモジュール１０８は、２つの異なるモデル、ａ）ベイジアンモデル、およびｂ）ローカル属性と小売商記述をそれぞれ使用する、テキスト情報検索モデル（Text Information Retrieval Model）を使用する。データフュージョンモジュール１０８はまた、両モデルにおける予測の信頼度を計算する。さらに、データフュージョンモジュール１０８は、これらの２つのモデルのアンサンブルを行い、より高い予測精度を得る。

ベイジアンモデル（ＢＭ）：ＢＭにおいて、データフュージョンモジュール１０８は、は、ローカル属性だけを使用して、各アイテムに対するグローバル属性を予測する。グローバル属性ｇに対して、データフュージョンモジュール１０８は、ｇとの相互情報量に基づき、上位Ｋ個のローカル属性を選択する。さらに、データフュージョンモジュール１０８は、グローバル属性ｇおよび選択された上位Ｋ個のローカル属性を有する、最小全域木ベースの構造を学習する。さらに、データフュージョンモジュール１０８は、ローカル属性をＭＳＴＮにおける証拠として、グローバル属性ｇの各状態ｇ_ｉの確率｛ｐ_ｉ：ｉ＝１，...，ｎ｝を計算する。最終的に、全てのアイテムに対して、データフュージョンモジュール１０８は、最大確率ｐ_ｉを有する、状態ｇ_ｉを選ぶ。

ＢＭモデルにおける信頼度（ＣｏｎｆＢＭ）：各アイテムに対して、データフュージョンモジュール１０８はまた、ＢＭモデルの予測の信頼度も計算する。グローバル属性ｇに対して確率分布｛ｐ_ｉ：ｉ＝１，２，...ｎ｝を仮定する。ここで、理想分布
を考えると、信頼度は、
で与えられる。

各アイテムＩ_ｒに対して、データフュージョンモジュール１０８は、（その信頼度ｃ_Ｂとともに）ローカル属性と、小売商記述とをそれぞれ使用して、２つの値（例えば、ｇ_Ｂおよびｇ_Ｔ）を予測した。アイテムＩ_ｒに対して、データフュージョンモジュール１０８は、ｃ_Ｂ＞ｔである場合には、ｇの予測としてｇ_Ｂを選び、そうでない場合には、ｇの予測としてｇ_Ｔを選び、ここでｔはバリデーションセットについて学習された閾値である。ローカルデータセットの集合Ｉにおける、全てのアイテムのグローバル属性が予測されると、データフュージョンモジュール１０８は、ｇ_ｉをローカルデータセットのキーとして使用することによって、ローカルデータセットと集団後のグローバルデータセットを結合する。

例示的実施態様において、データフュージョンモジュール１０８は、推論を行うため、および「ｗｈａｔ−ｉｆ」分析のために、ベイジアンネットワークを使用する。データフュージョンモジュール１０８は、同分析に対して、「Ｌｉｎｋｅｄ Ｑｕｅｒｙ Ｖｉｅｗ」を提供する。データビジュアライゼーション語法（parlance）における「Ｌｉｎｋｅｄ Ｖｉｅｗ」とは、任意のチャートとの相互作用が、すべてを同期して更新するように、複数のチャートを包含するビューを指す。データフュージョンモジュール１０８は、ｌｉｎｋｅｄ ｖｉｅｗを使用して、ネットワークにおける属性についての条件付き照会を可視化する。ネットワークが保存されると、それを、「Ｌｉｎｋｅｄ Ｑｕｅｒｙ Ｖｉｅｗ」を使用する、視覚モデル推論を実行するのに使用することができる。データフュージョンモジュール１０８は、ユーザが、照会するネットワークから、ｎ個の属性を選択することを可能にして、これらは、属性を水平および垂直に繰り返し用いて、ｎ×ｎチャートグリッドとして可視化される。対角線に沿ったチャートは、対応する属性の確率分布を、バーチャートとして、示す。対角線より上のセルにおいて、プロットのｘ軸およびｙ軸上に行および列の属性をそれぞれ備える、データの散布図が示されている。これらは、ネットワークを構築するのに使用されるデータのビューを与えるとともに、属性間のペア単位相関を分析するのに使用することができる。

ネットワークを照会するために、ユーザは、バーチャートにおける適当なバーをクリックすることによって、複数属性に対する範囲を選択することができる。これによって、属性に対する条件が、ユーザによって選択された範囲内に設定される。照会ボタンを押すと、データフュージョンモジュール１０８は、ベイジアン推論を使用して、ネットワーク上での条件付きの照会を実行する。その他の属性の条件付き分布が演算されて、バーチャートが、それに応じて更新される。例えば、「Ｂａｙｅｓｉａｎ Ｓｔｕｄｅｎｔ Ａｄｖｉｓｏｒ」は、Ｌｉｎｋｅｄ Ｑｕｅｒｙ Ｖｉｅｗを使用して、推薦を行うように設計されている。オリジナル確率分布は、バーチャートを使用して、対角線上に示される。「給与（Salary）」がｌｏｇ１０スケールでプロットされている。候補者が、非常に高い給与を得ることに興味があり、それに対する理想的なプロフィールを知りたがっている場合を考える。「英語（English）」スコアの確率において大幅な上昇があり、候補者が高い給与を得るのには、高い「英語」スコアを有する必要があることを示すことがわかることがある。さらに、「論理テスト（logical test）」スコアおよびＣＧＰＡの分布は大きく変わらないが、高い範囲のビンに対して、「第１２パーセンテージ（12th percentage）」の確率が大幅に増加することが分かる。すなわち、非常に高い給与のためには、「英語」スコアおよび「第１２パーセンテージ」は高くなくてはならない。このようにして、候補者は、ネットワークにおける任意の数の変数について条件を課して、給与目標に合致するために、自身のプロフィールがどのように変化しなくてはならないかの答えを得ることができる。

図４は、本主題の実施態様による、視覚ベイジアンデータフュージョンのための方法を図解するフローチャートである。プロセッサ実装方法４００は、コンピュータ実行可能な命令の一般的な文脈で記述してもよい。一般的に、コンピュータ実行可能な命令には、特定の機能を実行するか、または特定のアブストラクトデータタイプを実現する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール、関数、その他を含めることができる。方法４００は、通信ネットワークを介してリンクされたリモート処理デバイスによって機能が実行される、分散コンピューティング環境において実施してもよい。方法４００が記述される順序は、限定として解釈されることを意図するものではなく、記載された任意の数の方法ブロックを、任意の順序で組み合わせて、方法４００、または代替的方法を実現することができる。さらに、方法４００は、任意の好適なハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せとして実現することができる。一実施態様においては、フローチャートに記載された方法４００は、システム、例えば、図１のシステム１００によって実行してもよい。

ブロック４０２において、トピックに関連する複数のデータセットが、データレイクから取得される。例えば、複数のデータセットのそれぞれは、トピックの様々な属性に対応する、情報（すなわち、テキストまたは小売商記述）を含む。ブロック４０４において、複数のデータセットが結合されて、結合データセットを取得する。一例において、複数のデータセットは、結合のタイプに基づいて結合される。この例においては、結合のタイプとしては、内部結合、外部結合、左結合、および右結合が挙げられる。ブロック４０６において、ターゲット属性に関連する分布が、ベイジアンモデリングを使用して予測される。一実施態様においては、複数の属性（ｋ）が、結合されたデータセットにおけるターゲット属性との相互情報量に基づいて選択される。複数の属性およびターゲット属性には、離散変数および連続変数を含めてもよい。

さらに、最小全域木ベースのベイジアン構造が、選択された属性とターゲット属性とを使用して学習される。例示的実施態様において、ペア単位相互情報量を閾値として使用して、複数の属性およびターゲット属性について、最小全域木が学習される。さらにこの実施態様において、最小全域木の各エッジは、無作為な方向に初期化される。さらに、各エッジ方向は、２＾（ｋ）有向グラフを演算するために反転される。さらに、各グラフのクロスエントロピーが計算される。また、最小クロスエントロピーを有するグラフが、最小全域木ベースのベイジアン構造として選択される。

さらに、最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表が学習される。一例においては、連続変数が、固定サイズビニングによって離散化される。次いで、連続変数を離散化するときに、最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表が学習される。さらに、ターゲット属性に関連する分布が、条件付き確率表を照会することによって予測され、それによって視覚べイジアンデータフュージョンを促進する。

いくつかの実施態様において、ターゲット属性に関連する分布の予測に対する信頼度スコアが、理想分布と確率分布と使用する条件付き確率表を照会することによって演算される。さらに、ターゲット属性に関連する分布は、テキスト類似度を使用して予測される。さらに、テキスト類似度を使用して予測された、ターゲット属性に関連する分布、または条件付き確率表を照会することによって予測された、ターゲット属性に関連する分布が、演算された信頼度スコアに基づいて選択される。

本書面による説明は、当業者が実施態様を製作して使用することを可能にするために、本明細書における主題を説明している。主題実施態様の範囲は、特許請求の範囲によって定義され、当業者が思いつくその他の修正形態を含めてもよい。そのような他の修正は、それらが特許請求の範囲の文言と異ならない類似の要素を有する場合、またはそれらが、特許請求の範囲の文言と実質的に差のない、等価な要素を含む場合には、特許請求の範囲に記載の範囲に含めることを意図するものである。

しかしながら、保護の範囲は、そのようなプログラムまで、その中にメッセージを有するコンピュータ可読手段に加えて、拡張され、そのような非一時的コンピュータ可読記憶手段は、サーバまたはモバイルデバイスまたは任意好適なプログラマブルデバイス上でプログラムが実行されるときに、方法の１つまたは２つ以上のステップを実現するためのプログラムコード手段を包含することを理解すべきである。ハードウェアデバイスは、例えば、サーバまたはパーソナルコンピュータのような任意の種類のコンピュータ、その他、またはそれらの任意の組合せを含む、プログラムすることのできる、任意の種類のデバイスとすることができる。このデバイスには、また、例えばハードウェア手段、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはハードウェア手段とソフトウェア手段の組合せ、例えば、ＡＳＩＣおよびＦＰＧＡ、または少なくとも１つのマイクロプロセッサと、その中にあるソフトウェアモジュールを備える、少なくとも１つのメモリとすることもできる、手段を含めてもよい。すなわち、これらの手段には、ハードウェア手段とソフトウェア手段の両方を含めることが可能である。本明細書に記載の方法実施態様は、ハードウェアおよびソフトウェアにおいて実現することもできる。デバイスにはまた、ソフトウェア手段を含めてもよい。代替的に、実施態様は、例えば、複数のＣＰＵを使用して、異なるハードウェアデバイス上で実現してもよい。

本明細書における実施態様は、ハードウェア要素およびソフトウェア要素を含むことができる。ソフトウェアとして実現されている実施態様としては、それには限定されないが、ファームウェア、レジデントソフトウェア、マイクロコード、その他が含まれる。本明細書に記載された様々なモジュールによって実行される機能は、その他のモジュールにおいて、またはその他のモジュールの組合せにおいて実現してもよい。この説明の目的で、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと関連して使用するためのプログラムを備える、記憶する、通信する、伝える、または移送することのできる、任意の装置とすることができる。

特定の実現形態および実施態様についての前述の説明により、本明細書における実現形態および実施態様の全体的性質が完全に明らかになるため、現在の知識を適用することによって、汎用概念から逸脱することなく、他者はそのような特定の実施態様を容易に修正し、かつ／または様々な応用に適合させることが可能であり、したがって、そのような適合形態および修正形態は、開示された実施態様の等価物の意味と範囲に含まれるものと理解されるべきであり、またそのように意図されている。本明細書において用いられる語句または用語は、説明のためのものであり、限定のためのものではないことを理解すべきである。したがって、本明細書における実施態様は、好ましい実施態様について記述したが、当業者は、本明細書における実施態様は、本明細書に記載された実施態様の趣旨と範囲内で修正して実施することができることを認識するであろう。

前述の説明は、様々な実施態様を参照して提示された。この出願が関係する当業者は、記載の構造および動作の方法における改変および変更は、原理、趣旨および範囲から意味のある逸脱をすることなく、実施することができることを理解するであろう。

Claims (13)

1. データレイクからトピックに関連する複数のデータセットを取得するステップであって、前記複数のデータセットのそれぞれは、前記トピックの様々な属性に対応する情報を含むステップと；
   前記複数のデータセットを結合して、結合データセットを取得するステップと；
   前記結合データセットにおけるターゲット属性との相互情報量に基づいて複数の属性（ｋ）を選択し、
   前記選択された属性および前記ターゲット属性を使用して、最小全域木ベースのベイジアン構造を学習し、
   前記最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表を学習し、
   前記条件付き確率表を照会することによって、前記ターゲット属性に関連する分布を予測し、それによって視覚ベイジアンデータフュージョンを促進することによって、
   ベイジアンモデリングを使用して前記ターゲット属性に関連する分布を予測するステップと
   を含む、プロセッサ実装方法。
2. 複数のデータセットが、結合のタイプに基づいて結合されるとともに、前記結合のタイプが、内部結合、外部結合、左結合、および右結合を含む、請求項１に記載の方法。
3. 選択された属性およびターゲット属性を使用して、最小全域木ベースのベイジアン構造を学習することが、
   ペア単位相互情報量を閾値として使用して、複数の属性および前記ターゲット属性について、最小全域木を学習すること；
   前記最小全域木における各エッジを無作為な方向に初期化すること；
   各エッジ方向を反転させて、２＾（ｋ）有向グラフを演算すること；
   各グラフのクロスエントロピーを計算すること；および
   最小クロスエントロピーを有するグラフを、前記最小全域木ベースのベイジアン構造として選択すること
   を含む、請求項１に記載の方法。
4. 複数の属性およびターゲット属性が、離散変数および連続変数を含む、請求項１に記載の方法。
5. 最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表を学習することが、
   固定サイズビニングによって連続変数を離散化すること；および
   前記連続変数を離散化すると、前記最小全域木ベースのベイジアン構造の各ノードにおいて、前記条件付き確率表を学習すること
   を含む、請求項４に記載の方法。
6. 理想分布および確率分布を使用する条件付き確率表を照会することによって予測されたターゲット属性に関連する分布に対する信頼度スコアを演算するステップ；
   テキスト類似度を使用して前記ターゲット属性に関連する分布を予測するステップ；および
   ａ）前記テキスト類似度を使用して予測された前記ターゲット属性と関連する分布、およびｂ）前記演算された信頼度スコアに基づいて前記条件付き確率表を照会することによって予測された前記ターゲット属性と関連する分布の内の１つを選択するステップ
   をさらに含む、請求項１に記載の方法。
7. １つまたは２つ以上のメモリ；および
   １つまたは２つ以上のハードウェアプロセッサを含む、システムであって、前記１つまたは２つ以上のメモリは前記１つまたは２つ以上のハードウェアプロセッサに連結されており、前記１つまたは２つ以上のハードウェアプロセッサは：
   データレイクから、トピックに関連する複数のデータセットであって、それぞれがトピックの様々な属性に対応する情報を含む前記複数のデータセットを取得し；
   前記複数のデータセットを結合して、結合データセットを取得し；
   前記結合データセットにおいてターゲット属性との相互情報量に基づいて、複数の属性（ｋ）を選択し、
   前記選択された属性および前記ターゲット属性を使用して、最小全域木ベースのベイジアン構造を学習し、
   前記最小全域木ベースのベイジアン構造の各ノードにおいて条件付き確率表を学習し、
   前記条件付き確率表を照会することによって、前記ターゲット属性と関連する分布を予測し、それによって視覚ベイジアンデータフュージョンを促進することによって、
   ベイジアンモデリングを使用してターゲット属性に関連する分布を予測する、前記１つまたは２つ以上のメモリに記憶されたプログラム化された命令を実行することができる、前記システム。
8. 複数のデータセットが、結合のタイプに基づいて結合され、前記結合のタイプには、内部結合、外部結合、左結合、および右結合が含まれる、請求項７に記載のシステム。
9. １つまたは２つ以上のハードウェアプロセッサが、
   ペア単位相互情報量を閾値として使用して、複数の属性およびターゲット属性について、最小全域木を学習し、
   前記最小全域木における各エッジを無作為な方向に初期化し；
   各エッジ方向を反転させて、２＾（ｋ）有向グラフを演算し；
   各グラフのクロスエントロピーを計算し、
   最小クロスエントロピーを有するグラフを、最小全域木ベースのベイジアン構造として選択する、
   プログラム化された命令を実行することができる、請求項７に記載のシステム。
10. 複数の属性およびターゲット属性が、離散変数および連続変数を含む、請求項７に記載のシステム。
11. １つまたは２つ以上のハードウェアプロセッサが、
    固定サイズビニングによって、連続変数を離散化し、
    前記連続変数を離散化すると、最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表学習する、
    プログラム化された命令を実行することができる、請求項１０に記載のシステム。
12. １つまたは２つ以上のハードウェアプロセッサが、
    理想分布および確率分布を使用する条件付き確率表を照会することによって予測された、ターゲット属性に関連する分布に対する信頼度スコアを演算し、
    テキスト類似度を使用して前記ターゲット属性に関連する分布を予測し、
    ａ）前記テキスト類似度を使用して予測された前記ターゲット属性と関連する分布、およびｂ）前記演算された信頼度スコアに基づいて前記条件付き確率表を照会することによって予測された前記ターゲット属性と関連する分布の内の１つを選択する
    プログラム化された命令を実行することがさらに可能である、請求項７に記載のシステム。
13. コンピューティングデバイスにおいて実行可能なプログラムを具現化する非一時的コンピュータ可読媒体であって、前記プログラムが：
    データレイクからトピックに関連する複数のデータセットを取得するためのプログラムコードであって、前記複数のデータセットのそれぞれは、前記トピックの様々な属性に対応する情報を含むプログラムコードと；
    前記複数のデータセットを結合して、結合データセットを取得するプログラムコードと；
    前記結合データセットにおけるターゲット属性との相互情報量に基づいて複数の属性（ｋ）を選択し、
    前記選択された属性および前記ターゲット属性を使用して、最小全域木ベースのベイジアン構造を学習し、
    前記最小全域木ベースのベイジアン構造の各ノードにおいて、条件付き確率表学習し、
    前記条件付き確率表を照会することによって、前記ターゲット属性に関連する分布を予測し、それによって視覚ベイジアンデータフュージョンを促進することによって、
    ベイジアンモデリングを使用して前記ターゲット属性に関連する分布を予測するプログラムコードと
    を含む、非一時的コンピュータ可読媒体。