TWI709086B

TWI709086B - 用於分析關係網路圖的神經網路系統和方法

Info

Publication number: TWI709086B
Application number: TW108133786A
Authority: TW
Inventors: 常曉夫; 樂宋
Original assignee: 開曼群島商創新先進技術有限公司
Priority date: 2018-12-07
Filing date: 2019-09-19
Publication date: 2020-11-01
Also published as: CN110009093A; WO2020114122A1; TW202032422A; CN110009093B

Abstract

本說明書實施例提供一種透過電腦執行的、用於分析關係網路圖的神經網路系統和方法，該神經網路系統包括：特徵提取層，用於提取關係網路圖中的節點的特徵向量；深度神經網路，用於對上述特徵向量進行第一處理，得到第一輸出；圖神經網路，用於結合關係網路圖的鄰接資訊，對上述特徵向量進行第二處理，得到第二輸出；其中鄰接資訊用於表示關係網路圖所包含的各個節點之間的連接關係；以及融合層，用於對第一輸出和第二輸出進行融合，基於融合結果輸出針對所述節點的預測結果。

Description

用於分析關係網路圖的神經網路系統和方法

本說明書一個或多個實施例涉及透過電腦執行的神經網路系統，尤其涉及用於分析關係網路圖的神經網路系統和方法。

圖是建模關係資料的有力工具，因此，目前往往是將存在關聯關係的資料用圖的形式表達和建模。另一方面，提出了基於圖的運用深度學習方法的神經網路，圖神經網路(Graph Neural Network，Graph NN或GNN)，用於對圖資訊進行學習。圖神經網路GNN可以有效地利用圖上的資訊傳遞以及融合節點或邊的特徵資訊，來完成圖上節點或邊的分類或者回歸等機器學習任務。然而，在真實的業務場景中，尤其是在業務的初始階段，例如邀請新用戶階段，關係資料不完整。從圖的角度來看，即存在很多的孤立節點。在這樣的情況下，圖神經網路GNN並不能達到預期的分析效果。因此，希望能有改進的方案，更加有效地對關係網路圖進行學習、分析和預測。

本說明書一個或多個實施例描述了透過電腦執行的、用於分析關係網路圖的神經網路系統和方法，可以更加有效地對關係網路圖進行學習、分析和預測。根據第一方面，提供了一種透過電腦執行的、用於分析關係網路圖的神經網路系統，包括：特徵提取層，用於提取關係網路圖中的節點的特徵向量；深度神經網路，用於對所述特徵向量進行第一處理，得到第一輸出；圖神經網路，用於結合所述關係網路圖的鄰接資訊，對所述特徵向量進行第二處理，得到第二輸出；其中所述鄰接資訊用於表示所述關係網路圖所包含的各個節點之間的連接關係；融合層，用於對所述第一輸出和所述第二輸出進行融合，基於融合結果輸出針對所述節點的預測結果。在一個實施例中，關係網路圖所包含的各個節點對應於各個用戶，所述各個節點之間的連接關係包括以下中的一種或多種：用戶之間的社交關係、媒介關係和資金關係。根據一種可能的實現方式，關係網路圖為有向圖，相應地，所述鄰接資訊包括，所述有向圖對應的鄰接表或十字鏈表。根據一種實施方式，鄰接資訊包括所述關係網路圖的鄰接矩陣。根據一個實施例，所述圖神經網路為圖卷積網路，所述圖卷積網路包含多個網路層以進行所述第二處理，所述第二處理至少包括，使用所述鄰接矩陣中的元素為權重因子，對所述節點及其鄰居節點的特徵向量進行加權求和操作。根據一種實施方式，上述融合層具體用於，對所述第一輸出和所述第二輸出進行加權求和，其中所述第一輸出對應第一權重因子，所述第二輸出對應第二權重因子。進一步的，在一個實施例中，第一權重因子是第一輸出的函數，第二權重因子是第二輸出的函數。在另一實施例中，第一權重因子與第二權重因子和為1，並且：所述第一權重因子是所述第一輸出的函數；或者，所述第二權重因子是所述第二輸出的函數。在又一實施例中，第一權重因子與第二權重因子和為1，並且：所述第一權重因子是所述第一輸出和第二輸出的函數；或者，所述第二權重因子是所述第一輸出和第二輸出的函數。根據一種實現方式，所述神經網路系統透過點對點方式訓練。根據第二方面，提供一種透過電腦執行的、用於分析關係網路圖的方法，包括：提取關係網路圖中的節點的特徵向量；採用深度神經網路，對所述特徵向量進行第一處理，得到第一輸出；採用圖神經網路，結合所述關係網路圖的鄰接資訊，對所述特徵向量進行第二處理，得到第二輸出；其中所述鄰接資訊用於表示所述關係網路圖所包含的各個節點之間的連接關係；對所述第一輸出和所述第二輸出進行融合，基於融合結果輸出針對所述節點的預測結果。根據第三方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行第二方面的方法。根據第四方面，提供了一種計算設備，包括儲存器和處理器，其特徵在於，所述儲存器中儲存有可執行代碼，所述處理器執行所述可執行代碼時，實現第二方面的方法。透過本說明書實施例提供的神經網路系統和方法，組合了深度神經網路DNN和圖神經網路GNN，將DNN的單節點特徵處理能力和GNN的關係特徵處理能力進行了融合，使得組合的神經網路系統可以對各種各樣的關係網路圖進行有效的分析和學習。在關係網路圖中關係特徵完善且有效的情況下，圖神經網路GNN可以發揮主要作用，深度神經網路DNN對單節點的分析作為補充；而如果關係特徵缺失或者效果有限，仍然可以透過深度神經網路DNN的分支，對圖中的節點進行有效分析處理，給出較為理想的預測結果。

下面結合圖式，對本說明書提供的方案進行描述。根據本說明書一個或多個實施例，提出一種用於處理關係資料的神經網路系統，該神經網路系統可以用於對關係網路圖進行學習和預測。下面首先對關係網路圖進行描述。圖1為本說明書揭露的一個實施例的關係網路圖的示意圖。可以看到，關係網路圖中包括多個節點，具有關聯關係的節點之間透過連接邊互相連接。與其他節點都沒有關聯關係的節點，形成孤立節點，例如圖1中的節點A，B和C。在一個實施例中，還可以對關聯關係的類型及/或強度進行區分，從而為連接邊賦予一定的屬性或權值。例如圖1中用粗線條示出強連接，細線條示出弱連接。然而，這並不是必須的。根據節點所代表的實體的不同，關係網路圖可以反映各種實體之間的關聯關係。例如，在一個實施例中，節點可以代表賣家或買家，節點之間的邊可以代表發生過交易，由此，透過關係網路圖反映實體之間的交易關係。在另一個實施例中，節點代表各個用戶，節點之間的邊代表用戶之間的關聯關係。更具體地，在不同例子中，可以基於用戶之間不同類型的關聯關係，對節點建立連接關係。在一個例子中，用戶之間的關聯關係可以包括，用戶之間的社交關係。在基於社交關係形成的關係網路中，若兩個用戶有共同關注對象(例如微博帳號共同關注了同一人)，或他們之前有來往聯繫，或加入了共同群組(例如QQ群，微信群等)，或在紅包、彩票等活動中有互動，那麼可以認為這兩個節點之間存在社交關係，可以建立一條邊進行連接。在另一個例子中，用戶之間的關聯關係可以包括，用戶之間的媒介關係。在基於媒介關係形成的關係網路中，若兩個用戶使用過同樣的媒介，例如加密後的銀行卡、身分證、郵箱、戶號、手機號、實體位址(例如MAC位址)、終端設備號(例如UMID、TID、UTDID)等，則這兩個用戶之間存在媒介關係的關聯，可以建立一條邊進行連接。在又一例子中，用戶之間的關聯關係可以包括，用戶之間的資金關係。在基於資金關係形成的關係網路中，如果兩個用戶之間至少存在資金交易中的一種，那麼兩節點之間存在一條邊。資金交易可以包括，代充、代付、條碼收款、條碼付款、AA收款、C2C手機當面付、送禮金、交房租、紅包、信用卡代還款、代購、親密付、代訂服務等等。在其他實施例中，關係網路圖中的節點還可以代表其他實體，節點之間的連接可以基於各種類型的關聯關係。對於圖1的關係網路圖，一般可以採用圖神經網路GNN進行學習和預測。學習的過程一般對應於圖神經網路GNN的訓練過程。在訓練圖神經網路GNN時，需要根據預測業務的目的，為圖1中至少部分節點添加標籤，從而進行監督學習。例如，假定圖1中關係網路圖中的節點對應於各個用戶，如果要學習和預測各個用戶的信用風險，那麼至少需要為部分節點添加“高風險用戶”(涉嫌詐欺的用戶)和“正常用戶”的標籤，將這些有標籤的節點，連同這些節點在圖中的連接關係提供給圖神經網路GNN，以供GNN進行訓練和學習。訓練完成之後，就可以將未知用戶輸入到圖神經網路GNN，使得圖神經網路GNN利用訓練好的網路參數，對該未知用戶進行預測。然而，在許多情況下，上述方案的效果不夠理想。一方面，關係網路圖是基於關聯關係進行構建。如前所述，節點之間存在各種各樣的關聯關係，如果在構建關係網路圖時，所選擇的關聯關係與業務目的匹配度不夠高，那麼基於這樣的關聯關係所構建的關係網路圖進行學習，效果往往不夠理想。例如，在業務目的是想要學習用戶對某類產品的購買意圖的情況下，如果關聯關係選擇為是否具有共同關注對象的社交關係，那麼這樣的關係資料對於判斷購買意圖的業務目的不一定有效。另一方面，在一些業務場景下，例如拉新、促銷等業務階段中，大量增加新用戶，此時新用戶的關係資料很不完整，在圖中形成大量孤立節點。對這些孤立節點的預測存在一定困難。因為在訓練階段，圖神經網路GNN通常是基於連接關係比較完善的關係圖進行學習的，訓練階段和預測階段樣本分佈差異較大，會影響圖神經網路GNN的預測效果。並且，孤立節點本身有關連接關係的特徵資料欠缺，也使得圖神經網路GNN無法達到其最優效果。基於以上的分析和研究，在本說明書的實施例中，提供一種組合式的神經網路系統，可以更有效地對關係網路圖進行學習。圖2示出根據一個實施例的神經網路系統的示意圖，該神經網路系統透過電腦執行，用於對關係網路圖進行學習，對關係資料進行處理。如圖2所示，該神經網路系統包括，特徵提取層21，用於提取關係網路圖中的節點的特徵向量；深度神經網路22，用於對所述特徵向量進行第一處理，得到第一輸出；圖神經網路23，用於結合所述關係網路圖的鄰接資訊，對所述特徵向量進行第二處理，得到第二輸出；融合層24，用於對所述第一輸出和所述第二輸出進行融合，基於融合結果輸出針對所述節點的預測結果。下面具體描述以上各個網路部分的執行方式。特徵提取層21用於提取關係網路圖中的節點的特徵向量。該關係網路圖例如是圖1所示的關係網路圖，其中包含多個節點，具有關聯關係的節點之間存在連接關係。特徵提取層21針對關係網路圖中的節點進行特徵提取，所提取的特徵是有關節點本身的特徵，如此提取的特徵構成特徵向量。在一個實施例中，上述關係網路圖中的各個節點對應於各個用戶，例如支付寶用戶。針對這樣的節點，特徵提取層21可以提取用戶的基本屬性特徵，用於構成特徵向量，上述基本屬性特徵例如包括，用戶ID，註冊時長，性別，年齡等等。在一個實施例中，特徵提取層21還根據業務目的，提取與業務目的相關的特徵。例如，在業務目的為，預測用戶的購買意圖的情況下，特徵提取層21還獲取用戶的購買記錄，基於購買記錄進行特徵提取，例如提取購買次數、購買品類、購買金額等多項特徵。又例如，在業務目的為，預測用戶的借貸風險的情況下，特徵提取層21還獲取用戶的借貸記錄，基於借貸記錄進行特徵提取，例如提取借貸次數、借貸金額、已還款金額、守信次數、逾期次數等多項特徵。在特徵提取層21提取得到節點的特徵向量後，將該特徵向量並行地分別輸入到深度神經網路22和圖神經網路23，分別進行處理。深度神經網路(Deep Neural Network，DNN)是一種多層全連接的前向結構的人工神經網路。圖3示出根據一個實施例的深度神經網路的示意圖。如圖3所示，深度神經網路DNN包含多個網路層，這些網路層可以分為輸入層，隱藏層和輸出層,輸入層與輸出層之間的都是隱藏層。一般的，當一個神經網路中隱藏層的層數較多時，我們才稱之為深度神經網路。DNN中各個網路層均包含若干神經元，除輸入層之外的神經元均透過啟用函數對輸入資料進行運算操作。在DNN中，網路層之間是全連接的，也就是說，第i層的任意一個神經元均與第i+1層的任意一個神經元相連。深度神經網路DNN可以被設計、訓練用於各種業務場景的分析和預測。根據本說明書一種實施方式，將深度神經網路DNN作為一個實施例的神經網路系統的一個分支部分。在特徵提取層21提取得到節點的特徵向量後，該特徵向量被提供給深度神經網路DNN 22的輸入層，經由隱藏層對其進行處理，並透過DNN的輸出層輸出處理結果。為了描述的簡單，將DNN隱藏層對特徵向量的處理過程稱為第一處理，將DNN輸出層輸出的處理結果稱為第一輸出。需要說明的是，本文中的“第一”、“第二”等描述僅僅是位於區分相似概念，以及為了描述的簡單和清楚，並不具有順序等其他方面的限定作用。另一方面，特徵提取層21提取的節點特徵向量還被輸入到圖神經網路GNN 23。可以理解，圖神經網路GNN用於對關係網路圖進行分析和學習。與常規神經網路類似的，圖神經網路GNN也具有多層的網路結構，透過神經元的函數映射對輸入資料進行操作和處理。特別的，作為專用於處理關係網路圖的神經網路，GNN在處理過程中，會結合關係網路圖中各個節點之間的連接關係資訊，對節點的特徵向量進行處理。上述關係網路圖中各個節點之間的連接關係資訊又稱為鄰接資訊。為了描述方便，將GNN中結合鄰接資訊對節點的特徵向量進行處理的過程稱為第二處理，將GNN處理的結果稱為第二輸出。如圖2所示，為了GNN處理的需要，預先獲取關係網路圖的鄰接資訊，提供給圖神經網路GNN 23。上述鄰接資訊可以體現為多種形式。典型的，可以透過鄰接矩陣來表示關係網路圖中節點之間的連接關係。假定關係網路圖中包含n個節點，那麼鄰接矩陣是一個n*n維的矩陣，在最簡單的情況下(節點之間的連接邊具有等同權值的情況下)，如果節點i和節點j之間有連接關係，則矩陣元素A _ij=1，否則，矩陣元素A _ij=0。此外，還可以採用度矩陣、拉普拉斯矩陣等形式，表示關係網路圖中節點之間的連接關係。在一個實施例中，上述關係網路圖是一個有向圖，即，節點之間的連接是有方向的。對於有向圖，在一些情況下，還採用鄰接表來記錄關係網路圖的鄰接資訊，其中鄰接表可以進一步包括正向鄰接表和逆鄰接表。在另一種示例中，基於正鄰接表和逆鄰接表生成十字鏈表，採用十字鏈表記錄有向圖中節點之間的連接關係。在其他實施例中，還可以採用其他形式記錄鄰接資訊。於是，圖神經網路GNN 23可以基於鄰接資訊，確定當前節點的鄰居節點，以及當前節點與這些鄰居節點之間的連接邊的資訊，將這些鄰居節點的節點資訊和連接邊的邊資訊與特徵提取層21輸入進來的當前節點的特徵向量進行綜合處理，從而得到第二輸出。具體的，在一個實施例中，圖神經網路GNN 23採用圖卷積網路GCN (Graph Convolutional Network)實現。圖4示出根據一個實施例的圖卷積網路GCN的示意圖。在一個實施例中，圖卷積網路GCN包含多個網路層，每個網路層透過其中的神經元定義了一個神經網路模型f(X,A)，其中X為輸入特徵向量，即前述的特徵提取層21輸入到GCN的、當前節點的特徵向量，A為關係網路圖的鄰接矩陣，該神經網路模型f(X,A)更具體的可以表示為：

其中，

為

的度矩陣，λ為超參數，用於控制節點相對於其鄰居節點的權重，在原始模型中被設定為1。

表示每一網路層的輸出。l=0時，

，即為輸入層接收到節點的特徵向量X的情況。d*d維向量

和d*1維的參數b均為可訓練的網路層參數，σ為非線性函數。在不同例子中，σ函數可以是Relu函數，sigmoid函數，tanh函數，softmax函數等等。透過上式可以看到，網路的第一層使用鄰接矩陣中的元素作為權重因子，對當前節點及其鄰居節點(有標籤或無標籤)的特徵向量進行求和，然後使用

和b進行線性變換操作，之後施加非線性啟用函數σ。後續的每個網路層的操作也至少包括，使用鄰接矩陣中的元素為權重因子，對上一網路層輸出的節點向量及其鄰居節點向量進行加權求和操作；此外還包括，使用

和b進行的線性變換操作，以及施加的非線性啟用函數σ操作。換而言之，對於節點

，第l層的輸出透過下式計算：

其中

和

為l層的可訓練的網路層參數，nhood(i)表示節點i的鄰居節點。如此，在圖卷積網路GCN中，結合鄰接矩陣所表達的鄰接資訊，對節點的特徵向量進行處理。在一個實施例中，上述鄰接矩陣可以是歸一化之後的矩陣，如此避免有些鄰接矩陣中元素分佈差異過大的情況。例如，在有些關係網路圖中包含一些超級節點，超級節點跟圖中的幾乎每個節點都有連接；另一方面，有一些節點非常孤立，連接極少，這就會造成鄰接矩陣中不同節點對應的連接邊的數目(例如對應於矩陣中某行或某列的元素之和)差異非常大。為此，可以對鄰接矩陣進行歸一化。在GCN中使用歸一化的鄰接矩陣進行加權求和，相當於對當前節點和鄰接節點進行了平均池化(average Pooling )操作。在其他實施例中，圖神經網路GNN 23還可以採用其他的網路結構和隱藏層演算法。然而，共同點是，圖神經網路GNN 23所進行的第二處理，需要結合關係網路圖的鄰接資訊，對當前節點的特徵向量進行綜合處理，從而得到第二輸出。對比深度神經網路DNN 22和圖神經網路GNN 23的處理過程可以理解，深度神經網路DNN 22所進行的第一處理僅針對當前節點的特徵向量，側重於分析節點本身的屬性特徵，即單點特徵；圖神經網路GNN 23所進行的第二處理需要結合關係網路圖的鄰接資訊，引入了當前節點與其他節點的關係特徵。接下來，透過融合層24將深度神經網路DNN 22的第一輸出和圖神經網路23的第二輸出進行融合，基於融合結果輸出針對當前節點的預測結果。為了表述方便，將第一輸出記為H1，將第二輸出記為H2。在不同實施例中，融合層24可以透過各種不同方式對H1和H2進行融合，得到融合結果H。在一個實施例中，融合層24透過一個融合函數F對第一輸出H1和第二輸出H2進行融合：

其中融合函數F可以是各種線性或非線性函數。在一個實施例中，融合層24對第一輸出H1和第二輸出H2進行加權求和(對應於融合函數為線性求和的情況)，即：

其中w1為第一輸出對應的第一權重因子，w2為第二輸出對應的第二權重因子。可以理解，第一輸出H1和第二輸出H2均為輸出向量的形式；而權重因子w1和w2可以是純量，也可以是向量，甚至是矩陣。權重因子w1和w2的值透過神經網路系統的訓練過程而優化、確定。在一個實施例中，進一步地，將上述權重因子設置為對應輸出的函數，例如，將第一權重因子w1設置為第一輸出H1的函數，將第二權重因子w2設置為第二輸出H2的函數：

更具體的，上述函數具體形式可以為：

其中函數g較佳為非線性函數，例如sigmoid函數，tanh函數。如此，訓練和確定權重因子w1和w2，即訓練和確定參數u1，b1，u2，b2。在以上方式中，權重因子w1和w2互相獨立訓練，並且不確保最終結果H的取值範圍。在另一實施例中，首先將第一權重因子與第二權重因子之和設為1，然後僅設置和調整其中一個。例如，將融合結果H設定為：

如此，僅需要設置和調整第一權重因子α，第二權重因子隨之確定。在一個實施例中，該第一權重因子α可以設置為第一輸出的函數，或者，第一輸出和第二輸出的函數，即：

當然，也可以設置和調整第二權重因子β，使得第一權重因子為(1-β)，即：

進一步地，也可以將第二權重因子設置為第二輸出的函數，或者，第一輸出和第二輸出的函數，即：

以上舉例了幾種典型的融合方式。在以上舉例的基礎上，本領域技術人員還可以聯想到其他類似的融合方式，這些方式均應涵蓋在本說明書的構思之內。透過各種融合方式，融合層24得到融合結果H，並基於融合結果H輸出針對當前節點的預測結果。該預測結果在訓練階段，是針對有標籤節點的預測值；在使用階段，是針對未知結果的最終分類預測。下面描述圖2所示的神經網路系統在訓練階段和使用階段的執行過程。對於圖2所示的組合了深度神經網路DNN和圖神經網路GNN的神經網路系統，可以採用點對點方式進行訓練。具體而言，在訓練階段，在整個神經網路系統的輸入側輸入帶標籤的節點資訊，即特徵提取層21提取若干帶標籤節點的特徵向量。如前所述，根據業務目的不同，標籤可以是各種類別標籤，例如用於表示風險等級的標籤，比如1表示高風險用戶，0表示普通用戶，等等。然後，在整個神經網路系統的輸出側獲取針對各個節點的預測結果。具體地，該預測結果是融合層24根據融合結果而輸出，可以體現為針對各個節點的預測值。將各個節點的預測值與其標籤進行比對，根據比對結果和預設的損失函數，得到這批樣本的誤差，然後透過誤差反向傳播，對整個神經網路系統的網路參數進行調整，並最終確定出使得誤差達到最小的網路參數。一旦確定出最優的網路參數，可以認為完成了神經網路系統的訓練，該神經網路系統可以用於未知節點的預測。在使用階段，將未知節點的節點資訊輸入到神經網路系統的輸入側，即，即特徵提取層21提取未知節點的特徵向量。然後採用神經網路系統中經由訓練階段而確定下來的網路參數，透過並列的深度神經網路DNN和圖神經網路GNN對該特徵向量進行處理，由融合層24基於融合結果輸出預測結果，該預測結果即針對該未知節點進行業務預測的輸出結果。綜合以上可以看到，圖2的神經網路系統，由於組合了深度神經網路DNN和圖神經網路GNN，將DNN的單節點特徵處理能力和GNN的關係特徵處理能力進行了融合，使得組合的神經網路系統可以對各種各樣的關係網路圖進行有效的分析和學習。在關係網路圖中關係特徵完善且有效的情況下，圖神經網路GNN可以發揮主要作用，深度神經網路DNN對單節點的分析作為補充；而如果關係特徵缺失或者效果有限，例如關係網路圖中存在大量孤立節點，或者關係網路圖的構建所基於的關聯關係對於業務並不十分有效，在這樣的情況下，仍然可以透過深度神經網路DNN的分支，對圖中的節點進行有效分析處理，給出較為理想的預測結果。根據另一方面的實施例，還提供一種透過電腦執行的、用於分析關係網路圖的方法。圖5示出根據一個實施例的分析關係網路圖的方法流程圖。可以理解，該方法可以透過任何具有計算、處理能力的裝置、設備、計算平臺、計算集群來執行。如圖5所示，該方法包括：步驟51，提取關係網路圖中的節點的特徵向量；步驟52，採用深度神經網路，對所述特徵向量進行第一處理，得到第一輸出；步驟53，採用圖神經網路，結合所述關係網路圖的鄰接資訊，對所述特徵向量進行第二處理，得到第二輸出；其中所述鄰接資訊用於表示所述關係網路圖所包含的各個節點之間的連接關係；步驟54，對所述第一輸出和所述第二輸出進行融合，基於融合結果輸出針對所述節點的預測結果。需要說明的是，步驟52和步驟53可以以任意先後順序執行，或並行執行，在此不做限定。在一個實施例中，關係網路圖所包含的各個節點對應於各個用戶，所述各個節點之間的連接關係包括以下中的一種或多種：用戶之間的社交關係、媒介關係和資金關係。在一種可能的實施方式中，關係網路圖為有向圖，所述鄰接資訊包括，所述有向圖對應的鄰接表或十字鏈表。在一種實施方案中，鄰接資訊包括所述關係網路圖的鄰接矩陣。根據一種實施方式，上述圖神經網路為圖卷積網路，所述圖卷積網路包含多個網路層以進行所述第二處理，所述第二處理至少包括，使用所述鄰接矩陣中的元素為權重因子，對所述節點及其鄰居節點的特徵向量進行加權求和操作。在一種實施方式中，步驟54中對所述第一輸出和所述第二輸出進行融合具體包括，對所述第一輸出和所述第二輸出進行加權求和，其中所述第一輸出對應第一權重因子，所述第二輸出對應第二權重因子。進一步的，在一個實施例中，上述第一權重因子是第一輸出的函數，第二權重因子是第二輸出的函數。在另一實施例中，第一權重因子與第二權重因子和為1，並且：第一權重因子是第一輸出的函數；或者，第二權重因子是第二輸出的函數。或者，在又一實施例中，第一權重因子與第二權重因子和為1，並且：第一權重因子是第一輸出和第二輸出的函數；或者，第二權重因子是第一輸出和第二輸出的函數。透過以上的方法，結合深度神經網路對單節點特徵的處理，以及圖神經網路對節點關係特徵的處理，綜合地對關係網路圖進行分析。根據另一方面的實施例，還提供一種電腦可讀儲存媒體，其上儲存有電腦程式，當所述電腦程式在電腦中執行時，令電腦執行結合圖5所描述的方法。根據再一方面的實施例，還提供一種計算設備，包括儲存器和處理器，所述儲存器中儲存有可執行代碼，所述處理器執行所述可執行代碼時，實現結合圖5所述的方法。本領域技術人員應該可以意識到，在上述一個或多個示例中，本發明所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時，可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或代碼進行傳輸。以上所述的具體實施方式，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施方式而已，並不用於限定本發明的保護範圍，凡在本發明的技術方案的基礎之上，所做的任何修改、等同替換、改進等，均應包括在本發明的保護範圍之內。

A：節點 B：節點 C：節點 Â：鄰接矩陣 X：特徵向量 H ⁰：輸出 H ¹：輸出 H ^l-1：輸出 H ^l：輸出 Softmax：函數 tanh：函數 W ^l-1：網路層參數 W ¹：網路層參數 b ^l-1：網路層參數 b ¹：網路層參數 21：特徵提取層 22：深度神經網路DNN 23：圖神經網路GNN 24：融合層 51：步驟 52：步驟 53：步驟 54：步驟

為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出進步性勞動的前提下，還可以根據這些圖式獲得其它的圖式。圖1為本說明書揭露的一個實施例的關係網路圖的示意圖；圖2示出根據一個實施例的神經網路系統的示意圖；圖3示出根據一個實施例的深度神經網路DNN的示意圖；圖4示出根據一個實施例的圖卷積網路GCN的示意圖；圖5示出根據一個實施例的分析關係網路圖的方法流程圖。

21：特徵提取層 22：深度神經網路DNN 23：圖神經網路GNN 24：融合層

Claims

一種透過電腦執行的、用於分析關係網路圖的神經網路系統，包括：特徵提取層，用於提取關係網路圖中的節點的特徵，構成特徵向量；所述關係網路圖所包含的各節點對應於各個用戶，所述特徵包括以下中的一種或多種：購買次數、購買品類、購買金額；深度神經網路，用於對所述特徵向量進行第一處理，得到第一輸出；圖神經網路，用於結合所述關係網路圖的鄰接資訊，對所述特徵向量進行第二處理，得到第二輸出；其中所述鄰接資訊用於表示所述關係網路圖所包含的各個節點之間的連接關係，所述連接關係包括以下中的一種或多種：用戶之間的社交關係、媒介關係和資金關係，其中媒介關係為兩個用戶使用同樣的媒介而建立的關係，所述媒介包括以下中的任一種：加密後的銀行卡、身分證、郵箱、戶號、手機號、實體位址、終端設備號；融合層，用於對所述第一輸出和所述第二輸出進行融合，基於融合結果輸出針對所述節點所對應用戶的購買意圖的預測結果。
根據請求項1所述的神經網路系統，其中所述關係網路圖為有向圖，所述鄰接資訊包括，所述有向圖對應的鄰接表或十字鏈表。
根據請求項1所述的神經網路系統，其中所述鄰接資訊包括所述關係網路圖的鄰接矩陣。
根據請求項3所述的神經網路系統，其中所述圖神經網路為圖卷積網路，所述圖卷積網路包含多個網路層以進行所述第二處理，所述第二處理至少包括，使用所述鄰接矩陣中的元素為權重因子，對所述節點及其鄰居節點的特徵向量進行加權求和操作。
根據請求項1所述的神經網路系統，所述融合層具體用於，對所述第一輸出和所述第二輸出進行加權求和，其中所述第一輸出對應第一權重因子，所述第二輸出對應第二權重因子。
根據請求項5所述的神經網路系統，其中所述第一權重因子是所述第一輸出的函數，所述第二權重因子是所述第二輸出的函數。
根據請求項5所述的神經網路系統，其中所述第一權重因子與第二權重因子和為1，並且：所述第一權重因子是所述第一輸出的函數；或者，所述第二權重因子是所述第二輸出的函數。
根據請求項5所述的神經網路系統，其中所述第一權重因子與第二權重因子和為1，並且：所述第一權重因子是所述第一輸出和第二輸出的函數；或者，所述第二權重因子是所述第一輸出和第二輸出的函數。
根據請求項1所述的神經網路系統，所述神經網路系統透過點對點方式訓練。
一種透過電腦執行的、用於分析關係網路圖的方法，包括：提取關係網路圖中的節點的特徵，構成特徵向量；所述關係網路圖包含的各個節點對應於各個用戶，所述特徵包括以下中的一種或多種：用戶的基本屬性特徵、購買次數、購買品類、購買金額、所述基本屬性特徵包括性別或年齡；採用深度神經網路，對所述特徵向量進行第一處理，得到第一輸出；採用圖神經網路，結合所述關係網路圖的鄰接資訊，對所述特徵向量進行第二處理，得到第二輸出；其中所述鄰接資訊用於表示所述關係網路圖所包含的各個節點之間的連接關係，所述連接關係包括以下中的一種或多種：用戶之間的社交關係、媒介關係和資金關係，其中媒介關係為兩個用戶使用同樣的媒介而建立的關係，所述媒介包括以下中的任一種：加密後的銀行卡、身分證、郵箱、戶號、手機號、實體位址、終端設備號；對所述第一輸出和所述第二輸出進行融合，基於融合結果輸出針對所述節點所對應用戶的購買意圖的預測結果。
根據請求項10所述的方法，其中所述關係網路圖為有向圖，所述鄰接資訊包括，所述有向圖對應的鄰接表或十字鏈表。
根據請求項10所述的方法，其中所述鄰接資訊包括所述關係網路圖的鄰接矩陣。
根據請求項12所述的方法，其中所述圖神經網路為圖卷積網路，所述圖卷積網路包含多個網路層以進行所述第二處理，所述第二處理至少包括，使用所述鄰接矩陣中的元素為權重因子，對所述節點及其鄰居節點的特徵向量進行加權求和操作。
根據請求項10所述的方法，其中所述對所述第一輸出和所述第二輸出進行融合包括，對所述第一輸出和所述第二輸出進行加權求和，其中所述第一輸出對應第一權重因子，所述第二輸出對應第二權重因子。
根據請求項14所述的方法，其中所述第一權重因子是所述第一輸出的函數，所述第二權重因子是所述第二輸出的函數。
根據請求項14所述的方法，其中所述第一權重因子與第二權重因子和為1，並且：所述第一權重因子是所述第一輸出的函數；或者，所述第二權重因子是所述第二輸出的函數。
根據請求項14所述的方法，其中所述第一權重因子與第二權重因子和為1，並且：所述第一權重因子是所述第一輸出和第二輸出的函數；或者，所述第二權重因子是所述第一輸出和第二輸出的函數。
一種計算設備，包括儲存器和處理器，其特徵在於，所述儲存器中儲存有可執行代碼，所述處理器執行所述可執行代碼時，實現請求項10至17中任一項所述的方法。
一種透過電腦執行的、用於分析關係網路圖的神經網路系統，包括：特徵提取層，用於提取關係網路圖中的節點的特徵，構成特徵向量；所述關係網路圖所包含的各節點對應於各個用戶，所述特徵包括以下中的一種或多種：借貸次數、借貸金額、已還款金額、守信次數、逾期次數；深度神經網路，用於對所述特徵向量進行第一處理，得到第一輸出；圖神經網路，用於結合所述關係網路圖的鄰接資訊，對所述特徵向量進行第二處理，得到第二輸出；其中所述鄰接資訊用於表示所述關係網路圖所包含的各個節點之間的連接關係，所述連接關係包括以下中的一種或多種：用戶之間的社交關係、媒介關係和資金關係，其中媒介關係為兩個用戶使用同樣的媒介而建立的關係，所述媒介包括以下中的任一種：加密後的銀行卡、身分證、郵箱、戶號、手機號、實體位址、終端設備號；融合層，用於對所述第一輸出和所述第二輸出進行融合，基於融合結果輸出針對所述節點所對應用戶的借貸風險的預測結果。
一種透過電腦執行的、用於分析關係網路圖的神經網路系統，包括：特徵提取層，用於提取關係網路圖中的節點的特徵，構成特徵向量；所述關係網路圖所包含的各節點對應於各個用戶，所述特徵包括以下中的一種或多種：借貸次數、借貸金額、已還款金額、守信次數、逾期次數；深度神經網路，用於對所述特徵向量進行第一處理，得到第一輸出；圖神經網路，用於結合所述關係網路圖的鄰接資訊，對所述特徵向量進行第二處理，得到第二輸出；其中所述鄰接資訊用於表示所述關係網路圖所包含的各個節點之間的連接關係，所述連接關係包括以下中的一種或多種：用戶之間的社交關係、媒介關係和資金關係，其中媒介關係為兩個用戶使用同樣的媒介而建立的關係，所述媒介包括以下中的任一種：加密後的銀行卡、身分證、郵箱、戶號、手機號、實體位址、終端設備號；融合層，用於對所述第一輸出和所述第二輸出進行融合，基於融合結果輸出針對所述節點所對應用戶的借貸風險的預測結果。