TW201807624A - 用於發掘與實體關係相關之行為及其他群集以增強去隨機化實體行為識別及分類之診斷引擎及分類器 - Google Patents

Abstract

一種系統及其方法之實施例包括一最佳化分類器建立器及診斷引擎，該診斷引擎去隨機化對於習知預測器顯現為隨機的行動者之非典型但經協調行為的事件資料。該系統經組配以診斷並建立人工智慧及機器學習分類器，其識別、區分並預測可藉由習知預測性分類遮蔽之實體及實體群組的行為。

Description

用於發掘與實體關係相關之行為及其他群集以增強去隨機化實體行為識別及分類之診斷引擎及分類器

相關申請案之交叉引用 本申請案主張在2016年7月29日申請之美國臨時專利申請案第62/368,457號之優先權，該案全文特此以引用之方式併入。 發明領域

所揭露係針對企業實體當中互動事件之人工智慧機器學習及分析的實施例。

發明背景 資料驅動之實體分析涉及獲取實體活動之資料集及資料庫，該等實體活動與實體之特性(例如，大小、發生故障之傾向、賬戶、人文統計)相關或相關聯，而且關於在系統或網路中互動(例如，互動、競爭、提及)之實體當中的關係。對實體關係之最近集中已不僅在於理解實體群組之互動，而且在於理解可正以經協調方式有意或無意地起作用的特定子群組。此類型之子群組行為的實例包括許多良性觀測(例如，千禧年在數位廣告中互動之方式對群體作為整體互動的方式)，但愈來愈多地集中於行為不正的行為。

行為不正的行為之實例包括傳統類型之詐騙，諸如實體集團共同操作以模擬大量正面企業體驗之效應以便建立信用評級用於將來詐騙活動，從而導致未付款或不執行。子群組行為不正的行為之另一實例為鬥毆，其中一個實體假設另一實體之操作控制且強制另一實體以對於控制方有益且對於次要實體有害(常常達企業破產點)的方式表現。

習知系統藉由建立對大型群組之行為分類的演算法來分析實體之互動群組。基於分類，個別事件觀測可與整個群組之觀測進行比較且帶來自所期望行為的一程度之偏差。習知機器智慧或分析係基於線性模型，且分類演算法之基礎等式通常為一階或多階線性等式。

在線性及一般化線性模型分類器中，低程度之不等變異性支援模型誤差關於預測器之恆定及獨立變化的強假設。換言之，使得觀測偏離模型之屬性假定為對於穩定估計及分類器產生為隨機的。

在習知企業分析及報警系統中，為了自一組觀測預測一個行為，描述關於分類器模型經協調之非典型行為的量測將違反非隨機誤差的假設。分類器模型假設至少部分不等變異性或經協調行為，且因此使效應之估計器穩定。與用以預測行為之模型相反的證據為藉由模型考慮之屬性中非隨機行為的信號。

習知系統及分析因此未能識別出受益於其使用之不等變異性分類模型的行為。舉例而言，考慮使用習知「預測器-回應」類型分類器模型之系統已被建立的群體。假設此群體由以下各者構成：大部分「好」之行動者-成員，該等成員關於模型典型地表現；及少的「壞」行動者之骨幹-成員，該等成員以經協調方式關於模型非典型地表現。此等差的行動者將難以或不可能藉由習知系統或資料分析偵測到，尤其是在其群體的相對大小為低時。在習知基於分類器模型之系統診斷-其特徵化關於模型之過度離散(模型誤差)對預測器之離散/實例化(預測器距離)-此等觀測對於隨機離群值可被誤認。壞的行動者能夠隱藏於隨意地表現的不正確假設。此外，實體之群體愈大，對行為不正或經組織之其他非隨機行為的覆蓋愈大以避開偵測。

使模型屬性(預測器)群集化的典型方法並不俘獲關於模型結果(回應變數)的關係。因此，習知系統經組配以偵測並警告使用者例如藉由習知資料分析遮蔽之詐騙或其他行為不正。類似地，經組配以識別顯現為隨機但實際上並非隨機之活動及行為的習知系統未能以及時樣式向使用者警告存在的機會或風險。另外，組配有用於大型群體實體之行為事件資料之大規模或大型資料分析之線性模型的習知系統，例如企業實體分析或客戶關係管理系統，不能偵測並非隨機但因為模型誤差顯現為隨機的活動之包裝，此係由於遮蔽效應與群體及事件資料成比例。另外，因為此等系統未能識別並俘獲經遮蔽且非隨機之活動，所以習知預測性系統不僅未能識別出此活動；而且習知預測性系統未能俘獲並改良此等行為之改變及傾向的理解。

發明概要 在至少一個實施例中，描述一種用於建立用於機器學習應用程式之行為預測分類器的系統，該系統包含： 用於儲存至少指令之一記憶體； 可操作以執行程式指令之一處理器裝置； 實體行為事件之一資料庫； 一預測分類器建立組件，其包含一預測器規則，該預測器規則用於自實體事件之資料庫分析行為事件之多個輸入集合中之每一者且輸出事件集合中每一者之預測分類器及分類，其中預測分類器之誤差界定為在分類上為隨機的； 一診斷引擎，其包含： 一輸入，其經組配以接收至少一個預測規則之誤差的排列及該經分類事件集合； 一診斷模組，其經組配以： 去隨機化該預測分類器；以及 使不規則分組與去隨機化事件分離並對不規則分組加標記以形成一診斷資料庫或資料封裝，以及 診斷資料庫或資料封裝至一最佳化分類器建立組件的一輸出； 一最佳化分類器建立器組件，其包含用於對去隨機化關係事件分類並輸出一經最佳化預測性分類器的一或多個預測器規則；以及 包括一分類器之一預測引擎，該分類器經組配以產生自動化實體行為預測，該等預測包括去隨機化行為的分類。

在至少一個實施例中，該診斷引擎模組可經組配以藉由至少以下操作使該預測分類器去隨機化： 將誤差之排列應用至該經分類事件集合中的每一者， 計算經排列事件集合的平滑度，以及 將一最大化器應用至經平滑化事件以在平滑化資料中展現事件的不規則分組；以及 使不規則分組與經平滑化事件分離並對不規則分組加標記以形成一診斷資料庫或資料封裝。

在至少一個實施例中，診斷引擎模組可經組配以藉由至少並行地計算並平滑化事件中之每一者來去隨機化預測分類器。

在至少一個實施例中，排列可為至少一個預測規則之誤差的共變數，該誤差經組配以界定經分類事件集合的過度離散。

在至少一個實施例中，描述一種用於建立用於機器學習應用程式之行為預測分類器的方法，該方法包含： 自實體行為事件之資料庫接受行為事件集合的輸入至預測分類器建立組件中； 輸出一預測分類器及該事件集合中每一者之一分類至診斷引擎，其中預測分類器之誤差界定為在分類上為隨機的； 接收至少一個預測規則之誤差的排列及經分類事件集合至診斷引擎中； 執行診斷引擎之診斷模組以至少： 去隨機化預測分類器；以及 使不規則分組與去隨機化事件分離並對不規則分組加標記以形成一診斷資料庫或資料封裝，以及 輸出診斷資料庫或資料封裝至一最佳化分類器建立組件；以及 對去隨機化之關係事件分類並自最佳化分類器建立器組件輸出最佳化之預測性分類器。

在至少一個實施例中，預測分類器之去隨機化可包含： 將誤差之排列應用至該經分類事件集合中的每一者， 計算經排列事件集合的平滑度，以及 將一最大化器應用至經平滑化事件以在平滑化資料中展現事件的不規則分組；以及 使不規則分組與經平滑化事件分離並對不規則分組加標記以形成診斷資料庫或資料封裝。

在至少一個實施例中，方法可包括藉由至少以下操作來去隨機化預測分類器：藉由診斷引擎模組並行地計算並平滑化事件中之每一者。

在至少一個實施例中，排列可為至少一個預測規則之誤差的共變數或與該誤差相關，該誤差經組配以界定經分類事件集合的過度離散。

在至少一個實施例中，一種電腦程式產品可經編碼以在由一或多個電腦處理器執行時進行本文中所描述之方法。

較佳實施例之詳細說明 各種實施例現將參考隨附圖式更充分地加以描述，該等隨附圖式形成其部分且藉助於說明展示可實踐本發明的特定實施例。然而，該等實施例可以許多不同形式體現，且不應解譯為限於本文中所闡述之實施例；確切而言，提供此等實施例以使得本發明將為透徹且完整的，且將向熟習此項技術者充分傳達實施例之範疇。除了其他事項外，各種實施例可為方法、系統、媒體或裝置。因此，各種實施例可採用硬體實施例、軟體實施例或組合軟體態樣與硬體態樣之實施例的形式。因此，不應在限制性意義上看待以下詳細描述。

貫穿本說明書及申請專利範圍，以下術語採用本文中明確地關聯之含義，除非上下文以其他方式清楚地指明。術語「本文中」指與當前應用相關聯之說明書、申請專利範圍及圖式。片語「在一個實施例中」如本文中所使用不必指同一實施例，儘管可能係同一實施例。此外，片語「在另一實施例中」如本文所使用不必指不同實施例，儘管其可能係不同實施例。因此，如下文所描述，本發明之各種實施例可易於進行組合而不偏離本發明之範疇或精神。

此外，如本文中所使用，術語「或」為包括性「或」運算子，且等效於術語「及/或」，除非上下文以其他方式清楚地指明。術語「基於」並非排他式的，且允許係基於並未描述之額外因數，除非上下文以其他方式清楚地指明。此外，貫穿本說明書，「一」及「該(該等)」之含義包括多個參考。「在……中」之含義包括「在……中」及「在……上」。

如本申請案中所使用，術語「組件」、「模組」及「系統」意欲指電腦相關實體，其為硬體，硬體與軟體之組合、軟體或執行中軟體。舉例而言，組件可為但不限於在處理器上執行之程序、處理器、物件、可執行體、執行緒、程式及/或電腦。借助於說明，在伺服器上運行之應用程式及伺服器可為組件。一或多個組件可駐留於程序及/或執行緒內，且一組件可位於一個電腦上及/或分佈於兩個或大於兩個電腦之間。

此外，實施方式出於說明之目的而描述本發明之各種實施例，且實施例包括所描述之方法且可使用諸如耦接至電子媒體之處理設備的一或多個設備來實施。實施例可儲存於電子媒體(電子記憶體、RAM、ROM、EEPROM)上或經規劃化為電腦程式碼(例如，源程式碼、物件程式碼或任何合適程式設計語言)以由結合一或多個電子儲存媒體操作的一或多個處理器執行。

各種實施例係針對企業實體當中互動之分析，儘管任何實體分析藉由本發明涵蓋。實體分析愈來愈多地不僅集中於特定實體之屬性(例如，大小、發生故障之傾向、行為不正)，而且集中於系統中互動之實體之間的關係。理解此等互動之能力已以許多方式例如以競爭理論、遊戲理論、整體經濟及行為經濟在過去予以了研究。額外工作已進行以藉由使用實體及自然隱喻例如使用動物界中雜種群及種群之行為觀測來理解實體互動以理解人群中之流動。如將瞭解，「事件」及「行為事件」如本文中所使用廣泛地包括對實體分析及實體關係分析之資料，包括實體之間的任何雙重關係。

如本文所描述，實體關係可依據實體群組之互動事件以及處理互動事件資料來進行分析以獲得可以經協調方式有意或無意地起作用的特定子群組之資料。此類型之子群組行為的實例包括許多良性觀測(例如，千禧年在數位廣告中互動之方式對群體作為整體互動的方式)，但亦集中於行為不正的行為。

行為不正的行為之實例包括傳統類型之詐騙，諸如實體集團共同操作以模擬大量之正面企業體驗之效應以便建立信用評級用於將來詐騙活動，從而導致未付款或不執行。子群組行為不正的行為之另一實例為鬥毆，其中一個實體假設另一實體之操作控制且強制另一實體以對於控制方有益且對於次要實體有害(常常達企業破產點)的方式表現。

與實體關係有關之資料(以某複雜方式互動之多個參與方當中的關係)傳統地使用統計關係包括雙重關係及互動而觀測。此等關係中之一者係關於實體行為之觀測關於彼此分佈的程度。此分佈之一個量測為不等變異性。查看互動之實體之群組的習知方式為建立描述大型群組之行為的某種類之模型或資料處理預測規則。已建立了機率規則關係，個人觀測或行為事件可與整個群組之觀測進行比較且帶來與預期行為的偏差程度。此等模型常常為經通用化之線性模型(因為基礎等式通常為一階或多階線性等式)。

在線性模型(且經通用化之線性模型)中，低的不等變異性支援模型誤差關於預測器之恆定及獨立變化的強假設。換言之，使得觀測自模型之屬性偏離的假定為隨機的。此假定對於穩定估計為必要的。

舉例而言，考慮用於自觀測之集合(實體行為事件之集合)預測一個行為的程序。描述關於模型經協調之非典型行為的量測將違反非隨機誤差的假設。模型假設非不等變異性或經協調之行為，且因此假設效應之穩定估計器。與用以預測行為之模型相反的證據為藉由模型考慮之屬性中非隨機行為的信號。

現考慮已建立了「預測器回應」類型模型的群體。假設此群體由以下各者構成：大部分「好」之行動者-成員，該等成員關於模型典型地起作用；「壞」行動者之少的骨幹-成員，其以經協調方式關於模型非典型地起作用。常常，此等壞的行動者將難以偵測，尤其在其群體之相對大小為低時。在典型基於模型之診斷-其通常特徵化關於模型之過度離散(模型誤差)對預測器之離散/實例化(預測器距離)-中，此等觀測、實體行為事件對於隨機離群值可被誤認。差的行動者隱藏其隨意表現的不正確假設。

使模型屬性(預測器)群集化的習知方法並不俘獲關於模型結果(回應變數)的關係。查看實體當中之關係的大型語料庫資料且辨別關注行為之包裝的能力可為強大的，尤其在「未關注」資料之量可易於使找尋關注行為之能力爆滿的大型資料情形下。

如將瞭解，儘管本文中描述示例性線性及統計模型，但術語「模型」及「分類器模型」如本文所使用廣泛地包括其他方法以及如本文中所描述之用於不等變異性分析之相關、共變、型樣辨識、群集化及分組之模型化，包括諸如神經形態模型(例如，用於神經形態計算及工程化)的方法、非參數方法及非遞減模型或方法。

在各種實施例中之至少一者中，所描述為包括診斷引擎之系統，該診斷引擎使用基於模型之診斷作為用於群體發掘之準則利用模型化假設(例如，在預測器與回應之間、預測器當間，且預測值與觀測值之間)。所描述為系統及其方法之實施例，該系統及方法經組配以排列共變數/觀測作為至描述擬合/過度離散之缺少的診斷之輸入，計算此等診斷關於此等排列之平滑度或規則性，及使診斷平滑度上之不規則性最大化以藉由非典型行為分離並對共變數/觀測分類。如將瞭解，如本文中所使用之平滑度指關於擬合及擬合優度平滑的任何診斷技術。例示性邏輯系統架構及環境

圖1A說明根據各種實施例中之至少一者的系統100之邏輯架構及環境。在各種實施例中之至少一者中，行為分析伺服器102可經配置以與企業實體分析伺服器104、客戶關係管理伺服器106、營銷平台伺服器108或類似者通訊。如將瞭解，CRM平台或營銷平台為可利用如本文中所描述之行為事件分析之平台的例示性實例，且許多其他平台可具備行為事件分析，諸如社交網路平台、信用服務平台、賭博平台、財務服務等。

在各種實施例中之至少一者中，行為分析伺服器102可為經配置用於如本文中所描述之預測性分析的一或多個電腦。在各種實施例中之至少一者中，行為分析伺服器102可包括一或多個電腦，諸如圖1B之網路電腦1或類似者。

在各種實施例中之至少一者中，企業實體分析伺服器104可為經配置以提供企業實體分析的一或多個電腦，諸如圖1B之網路電腦1或類似者。如本文所描述，企業實體分析伺服器104可包括穩健的公司/企業實體資料及/或賬戶資料之資料庫以提供及/或充實如本文中所描述之事件資料庫22。企業實體分析伺服器104之實例描述於題為「System and Method for Providing Enhanced Information」之2003年2月18日申請的美國專利第7, 822, 757號及2010年9月28日申請且題為「Data Integration Method and System」之美國專利第8,346,790號中，該等專利中之每一者的全文以引用之方式併入本文中。企業實體分析平台208可提供其他平台或與其他平台整合以提供例如企業信用報告，該企業信用報告包含基於一或多個預測器模型的評級(例如，等級、得分、比較/最高描述符)。在各種實施例中之至少一者中，企業實體分析伺服器104可包括一或多個電腦，諸如圖2之網路電腦1或類似者。

在各種實施例中之至少一者中，CRM伺服器106可包括一或多個第三方及/或外部CRM服務，其主控或給予提供至用戶端使用者且自用戶端使用者提供之一或多個類型之客戶資料庫的服務。舉例而言，CRM伺服器106可包括一或多個網頁或主控伺服器，從而為軟體及系統提供類似於姓名、位址及電話號碼之客戶聯繫資訊，並追蹤類似於網站訪問、電話呼叫、銷售、電子郵件、簡訊、行動及類似者的客戶事件活動。在各種實施例中之至少一者中，CRM伺服器可經配置以使用API或其他通訊介面而與行為分析伺服器102整合。舉例而言，CRM服務可提供基於HTTP/REST之介面，該介面使得行為分析伺服器102能夠接受事件資料庫22，該等事件資料庫22包括可藉由如本文中所描述之行為分析伺服器102及企業實體分析伺服器104處理的行為事件。

在各種實施例中之至少一者中，營銷平台伺服器108可包括一或多個第三方及/或外部營銷服務。營銷平台伺服器108可包括例如一或多個網頁或主控伺服器，從而為營銷部門及組織提供營銷分配平台以在多個通道(諸如，電子郵件、社交媒體、網站、電話、郵件等)上更有效地進行營銷以及使重複任務或類似者自動化。在各種實施例中之至少一者中，行為分析伺服器102可經配置以使用藉由服務提供之API或其他通訊介面與營銷平台108整合及/或通訊。舉例而言，營銷自動化平台伺服器可提供基於HTTP/REST之介面，該介面使得行為分析伺服器102能夠輸出藉由如本文中所描述之前景分析伺服器102及企業實體分析伺服器104處理的診斷資料及行為預測。

在各種實施例中之至少一者中，自以下各者伺服及/或在以下各者上主控之檔案及/或介面可經由網路204提供至諸如用戶端電腦112、用戶端電腦114、用戶端電腦116、用戶端電腦118或類似者之一或多個用戶端電腦：行為分析伺服器、企業實體分析伺服器104、CRM 406伺服器及營銷自動化平台伺服器108。

行為分析伺服器102可經配置以直接或間接地經由網路204與用戶端電腦通訊。此通訊可包括基於藉由用戶端使用者在用戶端電腦112、114、116、118上提供之行為事件而提供診斷輸出及預測資料。舉例而言，行為分析伺服器可自用戶端電腦112、114、116、118獲得行為事件資料庫用於如本文中所描述的AI機器學習訓練及分類器產生。在處理之後，行為分析伺服器102可與用戶端電腦112、114、116、118通訊，且如本文中所描述輸出診斷資料及預測資料。

在各種實施例中之至少一者中，行為分析伺服器102可使用至及自CRM伺服器106及營銷自動化平台伺服器108或類似者的通訊，以自用戶端或代表用戶端接受事件資料庫且基於行為事件資料庫輸出診斷資料及前景預測。舉例而言，CRM可自用戶端電腦112、114、116、118獲得或產生公司事件資料庫，該等公司事件資料庫經傳達至行為分析伺服器102用於如本文中所描述的AI機器學習訓練及分類器產生。在處理之後，行為分析伺服器102可與CRM伺服器106及/或營銷自動化平台伺服器通訊，且輸出如本文中所描述的公司事件行為資料及預測資料。在各種實施例中之至少一者中，行為分析伺服器102可經配置以使用API或其他通訊介面與CRM伺服器106或營銷平台伺服器108整合及/或通訊。因此，本文中提到的與用戶端使用者的通訊及介面包括與CRM伺服器、營銷自動化平台伺服器或主控及/或管理用戶端使用者的通訊及服務的其他平台進行通訊。

一般熟習此項技術者將瞭解，系統100之架構為說明各種實施例中之至少一者之至少一部分的非限制性實例。因此，更多或更少組件可經不同地使用及/或配置而不背離本文中所描述的創新之範疇。然而，系統100足以揭露至少本文中所主張的創新。例示性電腦

圖1B展示用於包括診斷引擎之實體行為分析及預測的系統之系統概述之實施例，該診斷引擎經組配以識別經遮蔽之群組行為並將其標記為隨機行為。在各種實施例中之至少一者中，系統1包含：包括諸如經由網路介面2用於接收諸如音訊輸入之輸入的信號輸入/輸出的網路電腦、處理器4以及包括程式記憶體10的記憶體6，其皆經由匯流排彼此通訊。在一些實施例中，處理器可包括一或多個中央處理單元。如圖1B中所說明，網路電腦1亦可經由網路介面單元2與網際網路或某其他通訊網路通訊，該網路介面單元經構建以與包括TCP/IP協定之各種通訊協定一起使用。網路介面單元2有時被稱為收發器、收發裝置或網路介面卡(NIC)。網路電腦1亦包含用於與外部裝置通訊之輸入/輸出介面，諸如圖中未示的鍵盤或其他輸入或輸出裝置。輸入/輸出介面可利用一或多個通訊技術，諸如USB、紅外線、藍芽TM或類似者。

記憶體6通常包括RAM、ROM及一或多個永久大容量儲存裝置，諸如硬碟機、磁帶機、光碟機及/或軟碟機。記憶體6儲存用於控制網路電腦1之操作的作業系統。可使用任何通用作業系統。基本輸入/輸出系統(BIOS)亦經提供用於控制網路電腦1之低層級操作。記憶體6可包括處理器可讀儲存媒體10。處理器可讀儲存媒體10可被稱作及/或包括電腦可讀媒體、電腦可讀儲存媒體及/或處理器可讀儲存裝置。處理器可讀儲存媒體10可包括以任何方法或技術實施的用於儲存資訊諸如電腦可讀指令、資料結構、程式模組或其他資料的依電性以及非依電性、抽取式以及非抽取式媒體。處理器可讀儲存媒體之實例包括RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光學儲存器、匣式磁帶、磁碟儲存器或其他磁性儲存裝置，或可用以儲存所要資訊且可由電腦存取的任何其他媒體。

記憶體6進一步包括一或多個資料儲存器20，其可由網路電腦利用以儲存應用程式及/或其他資料外加其他。舉例而言，資料儲存器20亦可用以儲存描述網路電腦1之各種能力的資訊。資訊可接著基於多種事件中之任一者經提供至另一電腦，包括在通訊期間作為標頭之一部分發送、請求後便發送或類似者。資料儲存器20可用以儲存訊息、網頁內容或類似者。資訊之至少一部分亦可儲存於網路電腦之另一組件上，包括但不限於處理器可讀儲存媒體、硬碟機或電腦1內之其他電腦可讀儲存媒體(圖中未示)。

資料儲存器20可包括資料庫、簡訊、試算表、資料夾、檔案或類似者，其可經組配以維持並儲存使用者賬戶識別符、使用者設定檔、電子郵件位址、IM位址及/或其他網路位址；或類似者。

在各種實施例中之至少一者中，資料儲存器20可包括資料庫，該等資料庫可含有自一或多個實體之一或多個事件判定的資訊。

資料儲存器20可進一步包括程式碼、資料、演算法及類似者以供諸如處理器4的處理器使用以執行並進行動作。在一個實施例中，資料儲存區20中之至少一些亦可儲存於網路電腦1之另一組件上，包括但不限於處理器可讀儲存媒體、硬碟機或類似者。

系統1包括診斷引擎12。系統亦包括資料儲存記憶體20，其包括可在同一電腦中主控或在分佈式網路架構中主控的數個資料儲存區21、22、23、24、25、26、27。系統1包括用於實體行為事件之集合的資料儲存區22。系統1進一步包括：包括分類器資料儲存區23之分類器組件，該分類器資料儲存區包含主要預測分類器之集合(例如，分類器之初始集合)；以及主要預測分類器模型建立程式14，其在由處理器執行時映射由事件記錄器11先前儲存或處理並儲存於實體行為事件22之資料庫中的實體事件行為之集合至分類器之初始集合。

系統包括用於儲存行為事件識別之資料儲存區24及用於儲存群組註解之資料儲存區25。此資料可儲存於例如一或多個SQL伺服器(例如，群組註解資料之伺服器及行為事件識別資料之伺服器)上。

系統亦可包括記錄組件，該記錄組件包括用於在由處理器執行時記錄實體行為事件並儲存與實體行為事件相關聯的資料之記錄程式11。記錄資料儲存區21可儲存藉由事件記錄器11在初始分類器處識別之實體行為事件的個例連同最佳化分類器的記錄資料。實體行為事件在此等分類器處之個例可與包括以下各者之記錄資料一起儲存：作用中分類器之名稱及版本、實體之行為分類、行為事件之時間、行為事件之預測模組的假設、事件資料資訊、系統之版本，以及關於系統、實體及事件特徵的額外資訊。

記錄資料儲存區21可包括實體之在事件被記錄時之資料報告預測及事件本身。預測模型、事件得分及預測模型之群組類別亦可予以儲存。因此，記錄資料可包括諸如以下各者之資料：實體行為事件之分類狀態、所使用之預測模型及模型誤差。

系統1進一步包括：包括經最佳化之分類器資料儲存區26之最佳化預測分類器模型建立組件14，該經最佳化之分類器資料儲存區26包含經最佳化的預測分類器之集合；以及經最佳化之預測分類器模型建立程式14，其用於在由處理器執行時將由診斷引擎12處理且儲存於經更新之實體行為事件27之診斷資料庫中的實體事件行為之集合至經最佳化分類器集合。

系統1包括經最佳化預測模組15。經最佳化預測模組15可包括程式或演算法，其用於在由處理器執行時自動地自目標量測亦即作為儲存於記錄資料儲存區21及實體行為資料儲存區22中之實體行為事件記錄的觀測及實體交易預測實體行為事件。包括人工智慧(AI)機器學習分類之AI機器學習及處理可係基於數個已知機器學習演算法中之任一者，包括諸如本文中所描述之分類器的分類器(例如，決策樹、提議規則學習者、線性回歸等)。

事件記錄器11、主要預測分類器模型建立程式14、診斷引擎12、經最佳化預測分類器模型建立組件13及經最佳化預測模組15可經配置且經組配以使用類似於結合圖3至圖6描述之彼等的程序或程序之部分，以進行其動作中的至少一些。

儘管圖1B說明系統1為單一網路電腦，但本發明並不因此受限。舉例而言，網路伺服器電腦1之一或多個功能可跨越一或多個獨特網路電腦分佈。此外，系統1之網路伺服器電腦不限於特定組態。因此，在一個實施例中，網路伺服器電腦可含有多個網路電腦。在另一實施例中，網路伺服器電腦可含有使用主方法/從方法操作之多個網路電腦，其中網路伺服器電腦之多個網路電腦中的一者可操作以管理及/或以其他方式協調其他網路電腦的操作。在其他實施例中，網路伺服器電腦可作為多個網路電腦操作，該多個網路電腦於群集架構、同級間架構中及/或甚至雲端架構內配置。系統可在軟體程式控制下實施於通用電腦上，且經組配以包括如本文中所描述的技術創新。替代地，系統1可實施於通用電腦之網路上且包括獨立系統組件，每一獨立系統組件各自在獨立軟體程式之控制下或在互連並行處理器的系統上，系統1經組配以包括如本文中所描述之技術創新。因此，本發明並非解譯為限於單一環境，且亦設想到其他組態及架構。例示性操作環境

圖2展示本文中所描述之創新的實施例可經實踐所在之環境之一個實施例的組件。可能並非需要所有組件以實踐創新，且組件之配置及類型可進行變化而不背離創新之精神或範疇。

圖2展示經調適以支援本發明之網路環境200。示例性環境200包括網路204及多個電腦或電腦系統202(a)……(n)(其中「n」為任何合適數字)。電腦可包括例如一或多個SQL伺服器。電腦202亦可包括有線及無線系統。資料儲存器、處理、資料傳送及程式操作可藉由網路環境200之組件的內部操作而發生。舉例而言，伺服器202(a)中包括程式之組件可經調適及經配置以對儲存於伺服器202(b)中之資料及自伺服器202(c)輸入的資料做出反應。此回應可由於經預先規劃之指令而發生，且可在無操作人員干預的情況下發生。

網路204例如為經連結電腦或處理裝置之任何組合，其經調適以存取、傳送及/或處理資料。網路204可為私用網際網路協定(IP)網路以及公眾IP網路，諸如可利用全球資訊網(www)瀏覽功能性之網際網路，或私用網路與公眾網路之組合。

網路204經組配以經由無線網路耦接網路電腦與其他電腦及/或計算裝置。使得網路204能夠使用任何形式之電腦可讀媒體從而將資訊自一個電子裝置傳達至另一電子裝置。又，網路204可包括網際網路外加區域網路(LAN)、廣域網路(WAN)、諸如經由通用串列匯流排(USB)埠之直接連接、其他形式之電腦可讀媒體或其任何組合。在包括基於不同架構及協定之LAN的互連LAN集合上，路由器充當LAN之間的鏈路，從而使得訊息自一個LAN發送至另一LAN。此外，LAN內之通訊鏈路通常包括雙絞線或同軸纜線，而網路之間的通訊鏈路可利用類比電話線；包括T1、T2、T3及T4之全部或部分專用數位線；及/或其他載波機構，包括例如E載波、整合式服務數位網路(ISDN)、數位訂戶線(DSL)、包括衛星鏈路之無線鏈路，或熟習此項技術者已知之其他通訊。此外，通訊鏈路可進一步使用多種數位傳信技術中之任一者，包括但不限於例如DS-0、DS-1、DS-2、DS-3、DS-4、OC-3、OC-12、OC-48或類似者。此外，遠端電腦及其他相關電子裝置可經由數據機及臨時電話鏈路而遠端地連接至LAN或WAN。在一個實施例中，網路204可經組配以輸送網際網路協定(IP)之資訊。本質上，網路204包括資訊可在計算裝置之間行進所用的任何通訊方法。

另外，通訊媒體通常具體化電腦可讀指令、資料結構、程式模組或其他輸送機構，且包括任何資訊遞送媒體。作為實例，通訊媒體包括有線媒體，諸如雙絞線、同軸纜線、光纖、波導及其他有線媒體；及無線媒體，諸如聲波、RF、紅外線及其他無線媒體。

電腦202可經由雙向通訊通道或互連器206來以操作方式連接至網路，該雙向通訊通道或互連器可例如為諸如IEEE 1394之串列匯流排或者其他有線或無線傳輸媒體。無線傳輸媒體之實例包括利用無線通訊協定之諸如蜂巢式數據機的數據機(圖中未示)或無線服務提供者或利用無線應用協定之裝置與無線收發器(圖中未示)之間的傳輸。互連器204可用以饋送或提供資料。

無線網路可包括多種無線子網路中之任一者，該等無線子網路可進一步覆疊單獨特用網路及類似者，以為電腦202提供基礎設施導向式連接。此等子網路可包括網狀網路、無線LAN(WLAN)網路、蜂巢式網路及類似者。在一個實施例中，系統可包括多於一個無線網路。無線網路可進一步包括具有藉由無線電鏈路及類似者連接之終端機、閘道器、路由器及類似者的自主系統。此等連接器可經組配以自由且隨機地移動，且任意地組織自身，使得無線網路之拓樸可快速地改變。無線網路可進一步使用多個存取技術，包括針對蜂巢式系統、WLAN、無線路由器(WR)網格及類似者的第二代(2G)、第三代(3G)、第四代(4G)、第五代(5G)無線電存取。諸如2G、3G、4G、5G及將來存取網路之存取技術可實現對具有不同行動性的諸如用戶端電腦之行動裝置的廣域覆蓋。在一個非限制性實例中，無線網路可經由諸如以下各者之無線電網路存取而啟用無線電連接：全球行動通訊系統(GSM)、通用封包無線電服務(GPRS)、增強型資料GSM環境(EDGE)、分碼多重存取(CDMA)、分時多重存取(TDMA)、寬頻分碼多重存取(WCDMA)、高速下行鏈路封包存取(HSDPA)、長期演進(LTE)及類似者。本質上，無線網路可實際上包括資訊可在電腦與另一電腦、網路及類似者之間行進所用的任何無線通訊機制。

系統之電腦202(a)可經調適以經由網路或網路204存取資料、將資料傳輸至其他電腦202(b)……(n)且自該等其他電腦接收資料。電腦202通常利用網路服務提供者，諸如網際網路服務提供者(ISP)或應用程式服務提供者(ASP)(ISP及ASP未展示)以存取網路504的資源。

術語「以操作方式連接」及「以操作方式耦接」如本文中所使用意謂如此連接或耦接之元件經調適以傳輸及/或接收資料，或以其他方式通訊。傳輸、接收或通訊係在特定元件之間，且可能包括或可能不包括其他中間元件。此連接/耦接可能涉及或可能不涉及額外傳輸媒體或組件，且可係在單一模組或裝置內或在一或多個遠端模組或裝置之間。

舉例而言，主控診斷引擎之電腦可使用基於有線及無線之系統經由區域網路、廣域網路、直接電子或光學纜線連接、撥號電話連接或包括網際網路之共用網路連接而與主控一或多個分類器程式及/或事件資料庫的電腦通訊。一般化操作

各種實施例之某些態樣的操作現將關於圖3至圖7來描述。在各種實施例中之至少一者中，結合圖3至圖6描述之系統可藉由諸如圖1之網路伺服器電腦1的單一網路電腦來實施及/或在該單一網路電腦上執行。在其他實施例中，此等程序或此等程序之部分可藉由諸如圖2之網路電腦202(a)……(n)的多個網路電腦來實施及/或在該多個網路電腦上執行。然而，實施例並不因此受限，且可利用網路電腦、用戶端電腦、虛擬機或類似者的各種組合。此外，在各種實施例中之至少一者中，結合圖3至圖4及圖6所描述之程序可在具有邏輯架構的系統中操作，該等邏輯架構諸如結合此等圖所描述之邏輯架構。

圖3至圖4及圖6說明根據各種實施例中之至少一者的用於實體行為事件及群體之AI預測分析的系統之邏輯架構，及系統流程。在各種實施例中之至少一者中，實體關係資料庫402可經配置以與分類器伺服器404、408，診斷引擎伺服器406、預測伺服器410或類似者通訊。

在操作403處，實體行為事件之實體資料庫儲存庫402經組配以自預定義實體及實體事件之資料庫402輸出針對觀測事件(y)的關係行為資料至預測分類器模型建立組件404。實體資料庫儲存庫402包括例如與複雜企業關係中之訂約方及關聯屬性相關的經管理之增大之資料集合的一或多個資料庫，該等關聯屬性可用以觀測或歸於實體當中的雙重或多個訂約方關聯。出於理解之目的，事件(例如，交易/交易資料、遲付款)及實體(交易方、企業進行付款)之簡化示例性資料庫在本文中予以描述。包括行為事件之示例性資料庫可例如提供自CRM伺服器、營銷平台及用戶端電腦。資料庫亦可藉由企業實體分析伺服器104提供或充實。企業實體分析伺服器104預測分類器模型建立組件404包含用於分析並分類自實體資料庫儲存庫402內嵌之關係行為事件(y)之多個輸入集合中的每一者之預測器模組(x)。在操作405處，預測分類器模型建立組件404接著經組配以輸出包括經分類事件集合的預測分類器模型且將預測分類器模型輸出至診斷引擎，該診斷引擎經組配以進行如關於圖6更詳細地描述的診斷。預測分類器模型之模型誤差ε定義為在模型上為隨機的。在至少一個實施例中，描述於圖4及圖6中之AI系統及程序經組配以進行對經隱藏異常行為重新校準的明確搜尋並調整模型且因此調整預測。

在操作406處，診斷引擎經組配以接收並分析預測分類器模型輸出以診斷且識別藉由模型誤差遮蔽的事件之非隨機行為分組(亦即，不等變異性之診斷)，如本文中關於圖6更詳細地描述。診斷引擎經組配以進行實體行為事件之不等變異性包裝(DHP)的診斷。來自實體儲存庫之資料及關於資料之基於模型的輸出(預測、所選擇共變數、誤差等)兩者經輸入至DHP診斷引擎。DHP診斷引擎針對橫越事件群組的不等變異性而找尋經模型處理之實體行為事件的診斷排列上的最大差異。群組接著依據此最大化進行標註(標記)。群組識別(可疑行為的)以及模型及資料經輸入至次要模型化程序。

診斷引擎經組配以分離、歸類及標記去隨機化分組以形成包括針對去隨機化實體行為群組之資料的診斷資料庫或診斷資料封裝。診斷引擎經組配以搜尋模型輸出於針對不等變異性之診斷上之投影，此係由於不等變異性最顯而易見處之投影可用以對異常行為進行分類。在至少一個實施例中，診斷引擎可經組配以將貝氏操作預先形成為用於建立分類器之參數，此係由於分類可經由重複之資料內嵌進行更新。舉例而言，診斷引擎進行模型預測器之迭代排列，迭代地計算對經排列群組之診斷，且接著重新排列診斷以使診斷值最小化。用於此等投影之「於……上」空間為模型之尺寸及可能之行為不正的群組之數目。

以下實例經給出以給予系統之模型量測及診斷排列的高階解釋，繼之以AI機器智慧之技術實施，從而進行診斷操作及AI分類器模型建立。實例 1

出於說明目的，以下實例使用角度簡化之單變數模型。在示例性說明中，線性模型包括一個預測器，且回應事件為實體行為，例如，含有詐騙集團之交易體驗(實體行為事件)的集。

在實例中，可存在實體行為之兩個群體，即參與正常交易事件之一個群體及參與行為不正的行為的一個群體(例如，詐騙集團)。線性模型假設低不等變異性-意謂模型誤差ε定義為對於預測器x且因此對於預測在模型上為隨機的。

圖5A說明三個預測器向量G、R及B的實例，其中線G、R及B為至正常資料G、所有資料R及僅壞行動者B的模型m 擬合，其中模型假設為正確的，即模型誤差假設為針對預測器在模型上為隨機的。關於模型-行動者之不同群組的顯而易見效應顯現為最小的。圖5B之說明展示三個預測器向量G、R及B，其中至正常資料G、所有資料R及僅壞行動者B的模型m 擬合經調整以滿足等變異性的模型化假設。圖5C為實體行為事件繪製之說明，其中壞的行動者R例如詐騙集團現能夠基於針對等變異性的調整而區分，該等變異性展現藉由線性模型遮蔽的型樣，且假設離群值為隨機的且假設離群值為隨機的將越過模型隨機地離散。然而，藉由瞭解壞的或不規律行動者可根據藉由假設動作為隨機的而遮蔽之型樣起作用，調整此等行動者當間的等變異性活動出於預測及分類目的可去隨機化並展現活動之型樣-例如，以較大群體起作用的詐騙集團。如將瞭解，因此清楚的是，群體不同-但此識別在無如藉由本文中所描述之實施例提供的經調整模型擬合情況下為幾乎不可能。實例 2

在各種實施例中之至少一者中，所描述為包括診斷引擎之系統及其方法，該診斷引擎使用基於模型之診斷學作為用於群體發掘之準則利用模型化假設(在預測器與回應之間、預測器當間，且預測值與觀測值之間)。在至少一個實施例中，所描述為系統及其方法，該系統及方法經組配以排列共變數/相關/觀測作為至描述擬合/過度離散之缺少之診斷的輸入，計算此等診斷關於此等排列之平滑度或規則性，及使診斷平滑度上之不規則性最大化以藉由非典型行為分離並分類共變數/觀測。

出於說明之目的，示例性又簡化之多變數模型說明調整模型化假設之應用的實例以展現並預測不常見或惡意行為。舉例而言，在說明中，調整可用以揭開盜賊之身分，假設若干小企業之身分且以行為不正之方式起作用同時彼等相同企業繼續正常地操作而不知曉詐騙。

假設影響模型估計器，使得由於模型估計器變得過度離散，因此模型矩陣之變數-共變數矩陣即預測器之矩陣的秩減低。即，當預測器具有非典型相依性性質時。

在以上等式中，預測器之變數-共變數矩陣為X^T X 。此矩陣再次視為具有模型殘餘項上之角色：經預測值與所觀測值之間的差異-關於模型。為了說明，現假設，存在群組中i 、j 、k 中之行為不正行動者的「包裝」、為群組成員之布林的預測器之向量及針對一些「關注」行為的回應變數。

如下文所展示，診斷引擎經組配以投射診斷為一統計量-在本實例中，擬合至經平方之模型誤差之平方根的平滑曲線-在資料事件之使曲線之平滑度最小化的排列下-藉此在總體群體內產生清楚群組分離。

圖6說明根據各種實施例中之至少一者的針對系統之診斷引擎之程序600的概述流程圖。圖7A至圖7D為視覺上說明系統之操作的圖形，包括診斷引擎，此係由於系統分析並排列實體行為事件(y)及預測器(x)資料。

診斷引擎之示例性操作關於以下圖6及圖7A至圖7D來描述。

在開始區塊處，在區塊601處，在各種實施例中之至少一者中，在區塊602處，診斷引擎接收模型預測器(x)及一組實體事件(y)的模型誤差ε之輸入。預測分類器模型輸出可包括藉由統計模型處理之資料，其中模型誤差為實體之所記錄事件(y)與預期值ŷ之間的差，即ε=(y- ŷ)。舉例而言，模型可用以自一集之預測器(x)預測被稱為經預測潛時ŷ的行動者(y)之群體之付款的潛時。模型誤差為行為事件--所觀測行為—與模型之間的差之集：ε=(y- ŷ)。

圖7A至圖7B說明繪製藉由統計AI預測分類器產生之記錄實體行為事件(y)之集合的預測模型預測器(x)的代表性圖形之實例。診斷引擎可接著以自統計機器學習模型輸出行為事件開始。圖7A說明行為事件之群體的實例，藉此分佈係使得典型預測模型不展現子群組的不規則或行為不正行動者。診斷引擎使用模型誤差ε及模型預測器x作為引數規則。診斷引擎接著經組配以經由資料之排列針對非等變異性的機器產生之預測統計量最佳化以發掘並分類如下文所描述之非等變異性的包裝。

在區塊603處，在各種實施例中之至少一者中，診斷引擎經組配以初始化模型預測器之排列，該等模型預測器經組配以去隨機化並識別模型內藉由機器產生之統計預測模型及分析遮蔽的分離群組。此統計量之初始值為0 (例如，d _1 (0 ) … .d _m (0 ) )。在值0處，在無初始排列情況下，事件資料之初始分組並不產生行為之任何可孤立包裝。關於水平預測器(x)繪製事件之視覺圖形說明於展示於圖7C中之所繪製資料中，圖7C將非等變異性之統計量說明為水平線與經預測行為中誤差對特定預測器(x ) 之圖上的平滑曲線之間的差， 其在0處無差異(亦即，筆直水平線)。

如將瞭解，圖7B至圖7C說明藉由診斷引擎進行之識別及分組之前但在出於說明子群組不可在不存在如本文中所描述之診斷工具情況下進行區分之目的而識別的視覺上不規則之行為情況下的實體行為事件之群體的實例。換言之，若「壞的」行動者在所說明圖形中並未別識別出，則其將為與群體不可區分的。此外，總體模型診斷--在實例中，至預測器之平滑化曲線擬合對誤差--亦將在不存在藉由診斷引擎進行之處理情況下看起來為準確的，如下文將描述。

在區塊604處，在各種實施例中之至少一者中，診斷引擎經組配以使模型預測器x之排列迭代；迭代包含採用每一事件之初始診斷統計值(d _m (0 ) )作為區塊603處的經初始化值，且關於該診斷值獨立地排列事件資料(m )。針對每一第m 診斷之排列搜尋在可能之M值外為獨立的，其中診斷為擬合至經平方之模型誤差之平方根的平滑曲線，如上文所展示。診斷引擎藉由針對每一實體行為事件診斷d _1 ……D _m 並行地運行最佳化操作來進行以使統計分析之實體行為事件的集針對不等變異性最佳化。診斷引擎採用每一統計之初始值-診斷值d _1 (0 ) …d _m (0 ) -且關於該診斷獨立地排列每一實體行為事件統計。

在區塊605處，在各種實施例中之至少一者中，診斷引擎經組配以運行排列。在實施例中，排列可為完全隨機的，有序且窮盡性的-例如，其中每一下一排列上一或其他排列的小的一小局部重新排序。在此實例中，特定預測器x經選擇-即付款之過去潛時-且診斷並非自付款之潛時(事件y )至模型誤差之曲線擬合的非水平程度(亦即，非0值)。

在區塊606處，在各種實施例中之至少一者中，診斷引擎接著迭代包括經排列之模型預測器之診斷操作以識別事件集合中的不規則事件(包裝)，且診斷操作包含使曲線之平滑度最小化的排列，藉此使距行為事件之每一診斷排列的初始模型預測向量的距離最大化。診斷引擎以每一新排列繼續，只要診斷可經進一步改良。

舉例而言，在區塊611-1、611-m處，在各種實施例中之至少一者中，每一事件y 之診斷值i 針對模型預測之排列x (j ) → x (j +1 ) 藉由診斷d _1 (i +1 ) …… d _m (i =1 ) 並行地排列。在決策區塊612-1、612-m處，診斷引擎判定d_1(i+1)……d_m(i=1)之經排列之診斷值是否大於距離d(i)。若否(N)，則在決策區塊613-1、613-m處，診斷引擎判定j+1=i且重新迭代經排列之診斷值，從而在開始區塊604處以新排列之診斷值再次重複程序。然而，若在決策區塊612-1、612-m處，診斷引擎判定d _1 (i +1 ) ... d _m (i =1 ) 的經排列之診斷值大於距離d(Y)，則在決策區塊614-1、614-m處，診斷引擎判定是否d = i。若是(Y)，則診斷引擎判定j = i，且重新迭代經排列之診斷值，從而在區塊604-1、604-m處再次重複程序。若否(N)，則診斷引擎判定無更多排列將改良模型診斷，且在區塊607處，診斷引擎結束排列且為d _1 (t _1 ), x (t _m ); … .d _m (t _m ), x (t _m ) 準備每一事件(y)及預測器(x)圖之經排列資料以供輸出。

在此以上示例性流程中，資料經重新排序，直至平滑曲線經最大化，即如距水平儘可能遠。資料在區塊607處排序產生不等變異性行為關於每一診斷的分類分組。圖7D說明重新繪製並歸類每一事件之診斷引擎之排列的圖形，對每一診斷之事件之群組進行歸類及分類。如圖形中所展示，經平滑化曲線自水平偏離，使得由於曲線不同，因此所繪製實體行為事件(y)不同且與曲線成比例地擴展開，且並不以恆定方式如此進行之彼等實體行為事件將根據每一經排列之診斷值1 …m 一起分組至曲線擬合。如圖7D說明，事件群體之間的群組邊界在藉由診斷引擎處理之後沿著經排列之診斷線自行為事件分佈為清楚的。行為之群組B、P、R、D現可針對分類進行記錄並標註。

所發掘及標註之群組以及原始輸出現為輸入以藉由最佳化分類器建立器進一步或次要模型化。如圖7D中所展示，存在根據曲線之移動不同的事件之4個群組B、P、R、D。事件之三個子群組P、R、D將藉由事件之原始分佈遮蔽之行為事件與原始預測分類器模型建立組件分離開，從而先前顯現為關於預測分類的隨機離群值。在實例中，診斷引擎發掘並區分與來自初始模型之原始群體分離地地模型化的三個群組P、R、D，例如，針對經預測之付款潛時的三個新分離統計模型。次要模型現可提供更好擬合及更好預測，此係由於來自相異實體之非類似行為事件現分離開。

因此，在區塊607處，在各種實施例中之至少一者中，診斷引擎可輸出包括不規則事件之識別及去隨機化的事件之集合以及包括事件至最佳化分類器建立器之歸類的去隨機化行為事件之分組。經最佳化之分類器可接著建立最佳化預測器規則從而對去隨機化關係事件分類及輸出預測器分類器模型從而進行訓練及產生。

在操作407處，自診斷引擎輸出至包括至少一個預測器模組的經最佳化之預測分類器模型建立組件408，該至少一個預測器模組用於對包括新識別之分組的去隨機化關係事件分類並輸出經最佳化之預測性分類器模型。在操作409處，最佳化之預測性分類器模型可接著輸出至預測引擎410以包括一或多個經重新校準之分類器，該分類器經組配以產生包括去隨機化實體行為之分類的自動化實體行為預測。在實施例中，由於更多行為事件被記錄，因此系統可經組配以更新實體資料庫儲存庫402以包括去隨機化關係事件。

包括診斷引擎之系統可藉此進行實體事件行為及預測之最佳化之AI機器學習分類-包括調適及更新-及模型檢查診斷，該等檢查診斷歸因於事件分析之大小及規模而需要AI機器學習實施。

在各種實施例中之至少一者中，實體行為事件資訊及分類可儲存於如關於圖1所描述之一或多個資料儲存區中以供稍後處理及/或分析。同樣，在各種實施例中之至少一者中，實體行為事件資訊及分類可隨著其經判定或接收而進行處理。

圖4及圖6因此描述實施例，藉此偏置及預測誤差被減少，此係由於模型已藉由診斷引擎來重新校準，該診斷引擎經組配以識別事件行為之異質包裝(例如，以進行付款潛時之準確預測)。圖3對比而言說明進行非最佳預測之預測分類器模型建立器，此係由於模型調諧至隱藏可疑行為的資料。圖3說明無如本文中所描述之診斷引擎及最佳化之分類器模型建立情況下的架構及程序流程。在一般設定中，模型係無行為不正行動者或關係之程序識別情況下的擬合。此等資料接著產生針對非行為不正群組之估計，且包括於模型預測中。在實例中，系統經組配以分析正常及詐騙行動者之異質群體-對付款之潛時為回應之模型上的共變數進行量測。然而，行為不正行動者關於模型足夠複雜(預測性共變數或其他相關及回應/預測)-以隱藏其行為。在區塊304處，所有行動者之模型估計-且因此預測-藉由包括行為不正的行為之資料偏置。借助於關於模型之匿名，行為不正行動者保持未被識別，且接收事件行為之一般模型預測，例如針對付款之遲緩。因此，在說明於圖3中之系統架構及操作中，模型輸出藉由估計誤差偏置，且異常行動者及預測亦不準確。

如再次將瞭解，儘管如本文中所描述之實例使用統計回歸模型，但分類器模型及模型預測如本文中所使用廣泛地包括方法及模型化用於相關、共變、關聯、型樣辨識、群集化及分組用於如本文中所描述之不等變異性分析，包括諸如神經形態模型的方法(例如，用於神經形態計算及工程化)及其他非回歸模型或方法。實例 - 企業行為不正

在示例性實施例中，經最佳化之預測引擎可經組配以自動化實體行為預測，包括去隨機化行為之分類。舉例而言，企業實體分析平台可基於實體行為事件產生實體評級。企業實體分析平台可提供例如企業信用報告，包含使用事件資料801之習知分析及使用如關於信用報告記錄之資料產生報告基於一或多個預測器模型進行的評級(例如，等級、得分、比較/最高描述符、人文統計學資料)。示例性習知報告802展示於例如圖8中。然而，來自預測器模型之分類中的一或多者可遮蔽受益於評級及報告的行為不正的企業活動。舉例而言，根據詭計操作之竊賊的身分可藉由參與在其面上為合法且以該企業之一般過程進行的交易或活動而偷竊企業實體之身分，該等交易或活動作為行為事件記錄從而藉由預測器規則進行分析但不被習知分析識別及分類。因此，詭計可根據具有型樣之合法活動而進行，該型樣在由習知預測器規則處理時經遮蔽並顯現為隨機的，但識別為去隨機化事件的不規則分組。

在實施例中，診斷引擎及分類器806經組配以分離不規則分組與去隨機化事件並將該等去隨機化事件標記成針對如本文中所描述之診斷資料庫或資料封裝的企業實體評級的風險行為分類。此新資料用以產生經最佳化之預測性分類器模型。診斷引擎可經組配以輸出包括風險分類之診斷資料庫或資料封裝至經最佳化之分類器模型建立組件；其可產生或包括產生自診斷資料庫的一或多個風險預測器規則。經最佳化之預測引擎可經組配以包括分類器，該分類器用以產生自動化實體行為預測，該等自動化實體行為預測包括該等去隨機化行為之風險分類。

舉例而言，在實施例中，包括信用報告之風險分類的最佳化之預測引擎可識別並分類符合不規則分組之企業實體型樣，從而指示竊賊之身分正在控制企業實體。在實施例中，報告介面產生警告報告808，使信用報告無效，且將企業實體加標記為高風險或具有身分竊賊警告。在另一實施例中，系統可由進一步評級或分析排除企業實體。在另一實施例中，企業可經標記用於跟隨調查。 實例 - 鄰接分類

在示例性實施例中，最佳化之預測引擎可經組配以自動化包括無法解釋之去隨機化行為之分類的實體行為預測。舉例而言，行為分析分析平台可基於實體行為事件而產生實體分類。行為分析平台可例如基於識別用於營銷通道之人口統計目標的一或多個預測器模型而提供營銷平台或客戶關係管理(CRM)平台的營銷分類。然而，分類中之一或多者可遮蔽無法解釋之活動。舉例而言，識別為千禧年之個人可正於常規基礎上在社交媒體平台上與目標產品互動並產生參與(例如，「類似者」或分級為經批准或未批准的其他正/負/中性參與)，其加標記為行為事件以供預測器規則進行分析。然而，某些參與具有藉由習知預測器規則由分類來遮蔽的型樣，但識別為去隨機化事件之不規則分組，例如，使其用於企業營銷之社交媒體參與自動化或外購的千禧年使用者。在實施例中，該診斷引擎經組配以分離該等不規則分組與該等去隨機化事件並將其標記成針對該診斷資料庫或資料封裝之該企業實體評級之一鄰接分類。此新資料用以產生經最佳化之預測性分類器模型。診斷引擎可經組配以輸出包括鄰接分類之診斷資料庫或資料封裝至經最佳化之分類器模型建立組件；其可產生或包括產生自診斷資料庫的一或多個鄰接預測器規則。經最佳化之預測引擎可經組配以包括分類器，其用以產生自動化實體行為預測，該等自動化實體行為預測包括該等去隨機化行為之鄰接分類。

舉例而言，在實例中，包括營銷通道報告之鄰接分類的最佳化之預測引擎可識別符合不規則分組之參與，從而指示使用者為已外購其社交媒體參與或使其社交媒體參與自動化的千禧年企業操作人員。在實施例中，報告介面更新報告且標記與不規則型樣相關聯之參與為屬於社交媒體營銷服務。

應理解，流程圖說明之每一區塊及流程圖說明中區塊之組合可藉由電腦程式指令實施。此等程式指令可提供至處理器以產生機器，使得在處理器上執行之指令產生用於實施指定於流程圖區塊中之動作的構件。電腦程式指令可藉由處理器執行以使得一系列操作步驟藉由處理器進行以產生電腦實施之程序，使得在處理器上執行之指令提供用於實施指定於流程圖區塊中之動作的步驟。電腦程式指令亦可使得展示於流程圖之區塊中的操作步驟中之至少一些並行地進行。此外，步驟中之一些亦可越過多於一個處理器進行，諸如可能產生於多處理器電腦系統中或甚至多個電腦系統之群組中。此外，流程圖說明中之一或多個區塊或區塊組合亦可與其他區塊或區塊之組合並行地進行，或甚至以不同於所說明之序列的序列進行，而不偏離本發明之範疇或精神。

因此，流程圖說明之區塊支援用於進行指定動作之構件的組合、用於進行指定動作之步驟的組合以及用於進行指定動作的程式指令構件。亦應理解，流程圖說明之每一區塊及流程圖說明中區塊的組合可藉由專用基於硬體之系統實施，其進行指定動作或步驟，或專用硬體與電腦指令的組合。前述實例不應被解譯為限制性及/或窮盡性的，而是例示性使用狀況以展示本發明之各種實施例中至少一者的實施。

1‧‧‧網路電腦/系統/網路伺服器電腦

2‧‧‧網路介面單元/網路介面

4‧‧‧處理器

6‧‧‧記憶體

10‧‧‧程式記憶體/處理器可讀儲存媒體

11‧‧‧事件記錄器/記錄程式

12‧‧‧診斷引擎

13‧‧‧經最佳化預測分類器模型建立組件

14‧‧‧主要預測分類器模型建立程式

15‧‧‧經最佳化之預測模組

20‧‧‧資料儲存器

22‧‧‧事件資料庫

21、22、23、24、25、26、27‧‧‧資料儲存區

102‧‧‧行為分析伺服器

104‧‧‧企業實體分析伺服器

106‧‧‧客戶關係管理伺服器

108‧‧‧營銷平台伺服器

112、114、116、118‧‧‧用戶端電腦

200‧‧‧示例性環境/網路環境

202(a)至202(n)‧‧‧電腦或電腦系統

204‧‧‧網路

206‧‧‧互連器

304、601、602、603、604、605、606、607、611-1、611-m‧‧‧區塊

402‧‧‧實體關係資料庫

403、405、407、409‧‧‧操作

404‧‧‧分類器伺服器/預測分類器模型建立組件

406‧‧‧診斷引擎伺服器/操作/CRM伺服器

408‧‧‧分類器伺服器/經最佳化之預測分類器模型建立組件

410‧‧‧預測伺服器/預測引擎

600‧‧‧針對系統之診斷引擎之程序

612-1、612-m、613-1、613-m、614-1、614-m‧‧‧決策區塊

801‧‧‧事件資料

802‧‧‧示例性習知報告

806‧‧‧診斷引擎及分類器

808‧‧‧警告報告

G、R、B‧‧‧預測器向量

B、P、R、D‧‧‧群組

參考以下圖式描述本發明之非限制性且非窮盡性實施例。在圖式中，除非另有指定，否則相同參考數字貫穿各種圖指相同部分。

為了更好地理解本發明，現參考以下[實施方式]，該[實施方式]應結合附圖來研讀，其中： 圖1A至圖1B展示可包括於諸如展示於圖2中之系統的系統中之網路電腦之實施例； 圖2為可實施各種實施例中之至少一者所在之環境的系統圖； 圖3說明根據各種實施例中之至少一者的習知系統及操作流程的邏輯架構； 圖4說明根據各種實施例中之至少一者的系統及操作流程圖之邏輯架構； 圖5A至圖5C說明經模型化以擬合事件分佈之預測器向量的實例； 圖6說明根據各種實施例中之至少一者的診斷操作之流程圖； 圖7A至圖7D為視覺化包括診斷引擎之系統的資料事件處理之例示性圖形；且 圖8為其中習知信用決定資料之結果經由診斷引擎及分類器進一步處理的方塊圖。

Claims (25)

1. 一種用於建立用於一機器學習應用程式之行為預測分類器的系統，該系統包含： 用於儲存至少指令之一記憶體； 可操作以執行程式指令之一處理器裝置； 實體行為事件之一資料庫； 一預測分類器模型建立組件，其包含一預測器規則，該預測器規則用於自實體事件之該資料庫分析行為事件之多個輸入集合中之每一者且輸出一預測分類器及該事件集合中每一者的一分類，其中該預測分類器之一誤差界定為在該分類上為隨機的； 一診斷引擎，其包含： 一輸入，其經組配以接收該至少一個預測規則之該誤差的一排列及該經分類事件集合； 一診斷模組，其經組配以： 去隨機化該預測分類器；以及 使不規則分組與去隨機化事件分離並對該等不規則分組加標記以形成一診斷資料庫或資料封裝，以及 輸出該診斷資料庫或資料封裝至一最佳化分類器建立組件； 一最佳化分類器建立器組件，其包含用於對去隨機化關係事件分類並輸出一經最佳化預測性分類器的一或多個預測器規則；以及 包括一分類器之一預測引擎，該分類器經組配以產生自動化實體行為預測，該等預測包括去隨機化行為的分類。
2. 如請求項1之系統，其中該診斷引擎模組經組配以藉由至少以下操作去隨機化該預測分類器： 將該誤差之該排列應用至該經分類事件集合中的每一者， 計算該經排列事件集合的平滑度，以及 將一最大化器應用至該等經平滑化事件以在平滑化資料中展現事件的不規則分組；以及 使該等不規則分組與該等經平滑化事件分離並對該等不規則分組加標記以形成該診斷資料庫或資料封裝。
3. 如請求項2之系統，其中該診斷引擎模組經組配以藉由至少以下操作去隨機化該預測分類器：並行地計算並平滑化該等事件中之每一者。
4. 如請求項3之系統，其中該診斷引擎模組經組配以藉由該預測分類器去隨機化一關注區。
5. 如請求項1之系統，其中該排列與至少一個預測規則之該誤差相關聯，該誤差經組配以界定該經分類事件集合的一過度離散。
6. 如請求項1之系統，其中該系統進一步包含： 實體行為事件之該資料庫，該等實體行為事件包含經分析以提供一企業實體評級分類之事件；以及 包含針對一企業實體評級分類之一預測器的該預測器規則，該預測器能遮蔽受益於該評級之行為不正的企業活動。
7. 如請求項6之系統，其中該系統進一步包含： 該診斷引擎，其經組配以分離該等不規則分組與該等去隨機化事件並將該等不規則分組標記成針對該診斷資料庫或資料封裝之該企業實體評級之一風險行為分類。
8. 如請求項7之系統，其中該系統進一步包含： 該診斷引擎，其經組配以輸出包括該風險分類之該診斷資料庫或資料封裝至該最佳化分類器建立組件； 該最佳化分類器建立器組件，其包含產生自該診斷資料庫的一或多個風險預測器規則；以及 包括該分類器之該預測引擎，該分類器經組配以產生自動化實體行為預測，該等預測包括該等去隨機化行為的風險分類。
9. 如請求項1之系統，其中該系統進一步包含： 實體行為事件之該資料庫，該實體行為事件包含經分析以對行為事件分類的事件；以及 包含針對一實體分類之一預測器的該預測器規則，該預測器能遮蔽該分類所無法解釋之未知活動。
10. 如請求項9之系統，其中該系統進一步包含： 該診斷引擎，其經組配以分離該等不規則分組與該等去隨機化事件並將該等不規則分組標記成該診斷資料庫或資料封裝的一分類鄰接行為。
11. 如請求項10之系統，其中該系統進一步包含： 該診斷引擎，其經組配以輸出包括該鄰接分類之該診斷資料庫或資料封裝至該最佳化分類器建立組件； 該最佳化分類器建立器組件，其包含產生自該診斷資料庫之一或多個分類鄰接預測器規則；以及 包括該分類器之該預測引擎，該分類器經組配以產生自動化實體行為預測，該等自動化實體行為預測包括該等去隨機化行為之分類鄰接分類。
12. 如請求項1之系統，其中該系統包含一網路電腦。
13. 一種用於一電腦的電腦實施之方法，該電腦包含用於儲存至少指令之一記憶體以及可操作以執行程式指令的一處理器裝置；該方法包含： 提供實體行為事件之一資料庫； 藉由一預測器規則自實體事件之該資料庫分析行為事件之多個輸入集合中的每一者； 輸出一預測分類器及該事件集合中每一者之一分類至一診斷引擎，其中該預測分類器之一誤差界定為在該分類上為隨機的； 使用該診斷引擎去隨機化該預測分類器； 使該等不規則分組與該等去隨機化事件分離並對該等不規則分組加標記以形成一診斷資料庫或資料封裝。
14. 如請求項13之方法，其中該方法進一步包含： 輸出該診斷資料庫或資料封裝至一最佳化分類器建立組件；以及 藉由包含該等預測器規則中之一或多者的該最佳化分類器建立器組件來對去隨機化關係事件分類；以及 將一最佳化預測性分類器輸出至一預測引擎。
15. 如請求項13之方法，其中該方法進一步包含： 藉由該預測引擎產生包括去隨機化行為之分類的自動化實體行為預測。
16. 如請求項13之方法，其中該診斷引擎模組經組配以藉由至少以下操作去隨機化該預測分類器： 將該誤差之一排列應用至該經分類事件集合中的每一者， 計算該經排列事件集合的平滑度，以及 將一最大化器應用至該等經平滑化事件以在平滑化資料中展現事件的不規則分組；以及 使該等不規則分組與該等經平滑化事件分離並對該等不規則分組加標記以形成該診斷資料庫或資料封裝。
17. 如請求項16之方法，其中該診斷引擎模組經組配以藉由至少以下操作去隨機化該預測分類器：並行地計算並平滑化該等事件中之每一者。
18. 如請求項16之方法，其中該排列與至少一個預測規則之該誤差相關聯，該誤差經組配以界定該經分類事件集合的一過度離散。
19. 如請求項13之方法，其中該方法進一步包含： 提供實體行為事件之該資料庫，該等實體行為事件包含經分析以提供一企業實體分類評級之事件； 其中該預測器規則包含針對一企業實體評級之一預測器，該預測器能遮蔽受益於該分類評級之行為不正的企業活動。
20. 如請求項19之方法，其中該方法進一步包含： 分離該等不規則分組與該等去隨機化事件並將該等不規則分組標記成該診斷資料庫或資料封裝的該企業實體分類評級之一風險行為分類。
21. 如請求項20之方法，其中該方法進一步包含： 輸出包括該風險分類之該診斷資料庫或資料封裝至一最佳化分類器建立組件； 該最佳化分類器建立器組件包含產生自該診斷資料庫的一或多個風險預測器規則；以及 該預測引擎包括該分類器，該分類器經組配以產生自動化實體行為預測，該等預測包括該等去隨機化行為的風險分類。
22. 如請求項13之方法，其中該方法進一步包含： 提供實體行為事件之該資料庫，該等實體行為事件包含經分析以提供一實體分類之事件；且 其中該預測器規則包含針對一企業實體評級之一預測器，該預測器能遮蔽該分類所無法解釋之未知活動。
23. 如請求項22之方法，其中該方法進一步包含： 該診斷引擎經組配以分離該等不規則分組與該等去隨機化事件並將該等不規則分組標記成針對該診斷資料庫或資料封裝之該企業實體評級之一鄰接分類。
24. 如請求項23之方法，其中該方法進一步包含： 輸出包括該鄰接分類之該診斷資料庫或資料封裝至一最佳化分類器建立組件； 該最佳化分類器建立器組件包含產生自該診斷資料庫的一或多個鄰接預測器規則；以及 該預測引擎包括該分類器，該分類器經組配以產生自動化實體行為預測，該等預測包括該等去隨機化行為的鄰接分類。
25. 一種系統，其包含： 用於儲存至少指令之一記憶體； 可操作以執行程式指令之一處理器裝置； 實體行為事件之一資料庫； 一預測分類器建立組件，其包含一預測器規則，該預測器規則用於自實體事件之該資料庫分析行為事件之多個輸入集合中之每一者且輸出一預測分類器及該事件集合中每一者之一分類，其中該預測分類器之一誤差界定為在該分類上為隨機的； 一診斷引擎，其包含： 一輸入，其經組配以接收該至少一個預測規則之該誤差的一排列及該經分類事件集合； 一診斷模組，其經組配以： 去隨機化該預測分類器；以及 使該等不規則分組與該等去隨機化事件分離並對該等不規則分組加標記以形成一診斷資料庫或資料封裝。