TWI639091B - Big data based automated analysis processing system - Google Patents

Abstract

本發明係有關於一種基於大數據之自動化分析處理系統，包括資料轉換模組、資料池模組、統計與機器學習分析模組及模型監控評估模組。資料轉換模組設置以接收原始資料，並予以進行轉換、整合及初步分析，以產生特徵欄位資料。資料池模組設置以儲存特徵欄位資料。統計與機器學習分析模組設置以根據事先設定的分析主題，而從資料池模組搜尋擷取相關之特徵欄位資料，以建置預測模型。模型監控評估模組設置以根據最新的原始資料，來監控預測模型的準確度，並評估是否對預測模型進行自動更新或重建。

Description

基於大數據之自動化分析處理系統

本發明係關於一種自動化分析處理系統，尤指一種基於大數據之具有自動化學習更新的自動化分析處理系統。

雖著資訊科技的進步與成熟，使大數據(Big Data)因而興起爆發，且其應用亦成為近年來的熱門議題。

一般而言，大數據(Big Data)導入於實際分析應用時，由於必先透過累積大量的資料，進而在有限的可能性中推估計算出具有較高發生機率的預測分析。然而，目前一般的大數據分析系統，除了使用進入的技術門檻高之外，其資料分析運算處理往往是曠日廢時，因此初步分析報告出來後，往往都已經錯過使用者進行決策的最佳時機，或者只能用以作為結果的驗證。如此一來，往往導致大數據分析的應用無法即時有效地商業營運的時際面相互接軌，以創造產生出最高應用價值。

因此，亟需發展出一種新穎且創新之基於大數據之自動化分析處理系統，以能夠提供一簡易直覺且可視性操作的基於大數據之資料整合分析平台，以降低使用者使用的技術門檻，且可快速迅捷地建立預測模型 ，以產出即時有效地針對特定目標需求對應產生預測分析，從而提供使用者可信賴的決策輔助。

本發明之主要目的係在提供一種基於大數據之自動化分析處理系統，俾能提供使用者一站式的資料分析介面，進而可直覺地進行網頁操作以有效降低進階資料分析之門檻，同時亦能夠針對資料數據進行前期剖析部署，從而可快速建置預測模型及快速產出分析洞察報告。此外，預測模型亦可具有失效自動預警與模型衰退自動重建，而無須使用者人為介入操作。

為達成上述目的，本發明之一態樣係提供一種基於大數據之自動化分析處理系統，包括：一資料轉換模組，設置用以接收至少一原始資料，並轉換、整合及初步分析該原始資料，以產生一特徵欄位資料；一資料池模組，設置用以儲存該特徵欄位資料；一統計與機器學習分析模組，設置用以根據一設定分析主題，自動從該資料池模組搜尋擷取與該設定分析主題相關之該特徵欄位資料，以建置一預測模型，進而產生一分析結果；以及一模型監控評估模組，設置用以根據該資料轉換模組所接收之最新的原始資料，並據以監控該預測模型的準確度，進而評估是否自動更新該預測模型之特徵欄位資料之係數或重建該預測模型。

其次，本發明一種基於大數據之自動化分析處理系統，其中該原始資料包括結構化資料與非結構化資料其中至少一者。

再者，本發明一種基於大數據之自動化分析處理系統，其中該資料轉換模組包括：一資料整合單元，用以將該原始資料轉換整合為具有一相容資料格式的整合後資料；及一資料檢核單元，用以檢核該整合後資料，並根據一預設數據門檻檢測值，針對該整合後資料予以排除或差補調整，進而產生該特徵欄位資料。

此外，本發明一種基於大數據之自動化分析處理系統，其中該資料池模組包括：一頻率偵測單元，設置以偵測該特徵欄位資料之擷取使用頻率，而將該特徵欄位資料分類標示儲存。

又，本發明一種基於大數據之自動化分析處理系統，其中該統計與機器學習分析模組係以一預選演算法，針對與該設定分析主題相關之該特徵欄位資料的特徵資料，建立該預測模型。

另，本發明一種基於大數據之自動化分析處理系統，其中該預選演算法包括多元回歸、羅吉斯迴歸演算法、深層類神經網絡演算法與隨機森林決策樹演算法其中至少之一。

更者，本發明一種基於大數據之自動化分析處理系統，其中該模型監控評估模組係根據一預設參數，以監控是否更新或重建該預測模型。另，模型監控評估模組包含模型上架單元，其可將統計與機器學習分析模組所建立的預測模型予以上架，進而提供日後新資料進行自動化評分與監控；再者，除了模型上架之功效外，模型監控評估模組也可將預測模型進行下架以停止評 分與監控。

較佳的，本發明一種基於大數據之自動化分析處理系統，其中該預設參數為一吉尼指標(Gini Index)或一預設更新時程表。

再者，本發明一種基於大數據之自動化分析處理系統，更包含一工單調節模組，其中該工單調節模組包括：一運算資源監控單元，用以監控叢集式運算框架內每一運算裝置的資源狀態；及一工單派送單元，用以根據每一運算裝置的資源狀態，調節派送每一運算裝置之運算工作量。

另外，本發明一種基於大數據之自動化分析處理系統，更包含一使用者操作介面，用以提供使用者於一操作網頁上對應操作及設定該資料轉換模組、該資料池模組、該統計與機器學習分析模組、該模型監控評估模組及該工單調節模組。

更，本發明一種基於大數據之自動化分析處理系統，其中該使用者操作介面顯示該特徵欄位資料之分類標示主題，以提供使用者對該資料池模組執行快速查詢。

1‧‧‧基於大數據之自動化分析處理系統

2‧‧‧資料轉換模組

3‧‧‧資料池模組

4‧‧‧統計與機器學習分析模組

5‧‧‧模型監控評估模組

6‧‧‧使用者操作介面

7‧‧‧工單調節模組

21‧‧‧資料整合單元

22‧‧‧資料檢核單元

31‧‧‧頻率偵測單元

32‧‧‧主題分類單元

71‧‧‧運算資源監控單元

72‧‧‧工單派送單元

圖1A係依本發明一實施例所繪示之一種基於大數據之自動化分析處理系統的示意圖。

圖1B係繪示圖1A中之資料轉換模組的功能方塊圖。

圖1C係繪示根據本發明之另一較佳實施例之資料池 模組的功能方塊圖。

圖2係根據本發明之另一實施例之自動化分析處理系統之使用者操作介面的示意圖。

圖3係根據本發明之另一實施例之工單調節模組的功能方塊圖。

本發明基於大數據之自動化分析處理系統在本實施例中被詳細描述之前，要特別注意的是，以下的說明中，類似的元件將以相同的元件符號來表示。再者，本發明之圖式僅作為示意說明，其未必按比例繪製，且所有細節也未必全部呈現於圖式中。

請參照圖1A，其係依本發明一實施例所繪示之一種基於大數據之自動化分析處理系統的示意圖。如圖所示，基於大數據之自動化分析處理系統1包括一資料轉換模組2、一資料池模組3、一統計與機器學習分析模組4以及一模型監控評估模組5。其中，資料轉換模組2係設置用以接收至少一原始資料，並轉換整合及初步分析原始資料，以產生一特徵欄位資料。

請同參照圖1B，其係繪示圖1A中之資料轉換模組2的功能方塊圖。如圖1B所示，資料轉換模組2係可包括一資料整合單元21及一資料檢核單元22。更具體地說，資料整合單元21係可用以將所接收到的原始資料轉換整合為具有一相容資料格式的整合後資料。然而，於本發明之一實施例中，原始資料係可為結構化資料、半結構化資料與非結構化資料其中至少一者。如此一來， 自動化分析處理系統1係可藉由資料轉換模組2中的資料整合單元21，來接收對接異質性資料，而沒有對輸入資料格式態樣予以限制，以提昇系統進行收集累積大量數據的多元性與便利性。

接著，資料檢核單元22係設置用以檢核由資料整合單元21經資料格式轉換後所彙整出的整合後資料，同時資料檢核單元22亦可根據一預設數據門檻檢測值，針對整合後資料予以排除或差補調整，進而產生具有資料品質較高的特徵欄位資料。更進一步地說，本實施例中所揭示的差補方式係根據欄位屬性之不同而有對應不同的處理方式，舉例而言，針對類別型的特徵欄位資料會以眾數進行差補調整；針對連續型的特徵欄位資料會以平均數或中位數予以進行差補調整；或是可依據實際應用需求而利用資料探勘演算法來進行差補調整。更具體地說，當整合後資料的其中一筆資料中，其性別欄位呈現空值(null)或是聯絡地址資訊，而不符合系統對性別欄位所設定之預設數據門檻檢測值為男性或女性，資料檢核單元22則可根據該筆資料其他的欄位資訊，例如姓名或身分證號碼前兩碼資訊等資訊，來對性別欄位予以進行差補而自動填上一對應性別資訊，以作為提供自動化分析處理系統1有效分析的資料；抑或是，資料檢核單元22根據使用者之偏好或設定而直接對該筆資料予以排除，視其為無效的錯誤資訊。

如此一來，資料轉換模組2係可透過資料整合單元21及資料檢核單元22，而對原始資料予以進行初步 的格式整合與內容剖析彙整，甚至資料檢核單元22可將系統使用者所預先輸入預設特定的資訊欄位類別資訊及其分類門檻值，予以合併彙整，致使所提供的特徵欄位資料之資訊內容更具準確性且參考性，於後續進一步的資料分析應用時，除了不僅將能夠更為有效地提升其處理效率，且同時亦可讓使用者享受到數據免清洗的便利性。

請繼續參照圖1A，其中資料池模組3係設置用以將資料轉換模組2所初步剖析產生之特徵欄位資料予以儲存。此外，於本發明之另一較佳實施例中，資料池模組3除了用以儲存特徵欄位資料，同時亦可將原始資料予以同步儲存，進而可有效保護備份資料的完整性。

接者，請同步參照圖1A及圖1C，其中圖1C係繪示根據本發明之另一較佳實施例之資料池模組的功能方塊圖。更進一步地說，資料池模組3係可包括一頻率偵測單元31。其中，頻率偵測單元31係設置用以偵測紀錄系統整體對於特徵欄位資料之擷取使用頻率，從而根據使用頻率的高低對應分類儲存配置於不同存取速度的存儲媒體中。舉例而言，當頻率偵測單元31偵測辨識出具有高使用頻率的特徵欄位資料後，即儲存至存取速度較快的固態硬碟(SSD)；相對而言，當頻率偵測單元31偵測辨識出具有低使用頻率的特徵欄位資料後，即儲存至存取速度相對較慢的傳統硬碟(HDD)。

此外，資料池模組3亦可包括一主題分類單元32，而主題分類單元32係設置用以根據一關鍵主題而將 特徵欄位資料予以進一步分類標示及儲存，如此將可大幅減省後續分析數據的搜尋擷取時間。其中，關鍵主題係可系統所預設或是使用者即時輸入的關鍵引索字及其對應資料欄位類別。

請再繼續參照圖1A，其中統計與機器學習分析模組4係設置用以根據由系統中預定或使用者即時輸入的設定分析主題，自動地與資料池模組3進行勾稽，來從中搜尋擷取與設定分析主題相關之一特徵欄位資料，以建置一預測模型，進而產生一分析結果。更進一步地說，統計與機器學習分析模組4係以一預選演算法，針對與設定分析主題相關之特徵欄位資料的特徵資料，建立預測模型。其中，於本實施例中，預選演算法係可包括羅吉斯迴歸演算法、類神經網絡演算法(其可含深度學習)、決策樹與隨機森林演算法其中至少之一，惟本發明不以此為限，預選演算法亦可端視實際使用者需求而選擇適切的演算法，甚至亦可選擇由系統1根據設定分析主題之特徵予以建議較佳的演算法。

此外，當統計與機器學習分析模組4藉由特徵資料作為樣本，以進行訓練產生預測模型後，統計與機器學習分析模組4係再從資料池模組3擷取與設定分析主題相關之另一特徵欄位資料作為驗證資料，亦對預測模型做初步的準確度驗證，從而建立出更為貼近且精確的預測模型。

請參照圖1A，自動化分析處理系統1所包括之模型監控評估模組5，其係設置用以根據資料轉換模組 2所接收之最新一筆的原始資料產出分析結果，據以監控預測模型的準確度。亦即，模型監控評估模組5可將最新接收的原始資料，經轉換整合的特徵欄位資料，使用於預測模型來取得即時分析結果，並且據以判斷所獲得的分析結果是否符合預期設定的範圍區間，以監控預測模型的準確度，進而評估是否自動更新調整預測模型之特徵欄位資料的局部參數或係數，或是再根據所更新及累積儲存的特徵欄位資料予以重新建立預測模組，來提高預測準確度。

再者，由於預測模型係憑藉著過去既有的整合數據資料而予以建立，而預測模型的精準度將會隨著實際上線使用的時間而對應衰減，因此為避免預測模型對系統實際當下所接收數據資料產生失真，致使所產出的分析結果失效而與現實面有嚴重落差，模型監控評估模組5則係設置用以根據資料轉換模組2所接收之最新的原始資料及其對應轉換的特徵欄位資料，予以即時監控預測模型的準確度，進而評估預測模型是否需自動更新預測模型之特徵欄位資料之係數或重建預測模型。換言之，模型監控評估模組5將藉由監測分析結果的成效，以判定預測模型是否失效，進而產生預警機制來自動化重建或更新預測模型，而無須使用者額外介入更新或重建。

然而，於本發明之一較佳實施例中，模型監控評估模組5係根據一預設參數，以作為監控預測模型所提供的分析結果是否已失真不具有效性，進而判讀決定是將預測模型予以更新或重建。其中，預設參數可以依 據實際設計應用需求，而選擇為吉尼指標(Gini Index)作為評估準確性的憑藉，抑或是選擇採用時間性相關的預設參數，例如預設更新時程表，藉由預先設定系統自動更新預測模型的時程(一週或一個月等)，來維持預測模型及其產出之分析結果的準確性及有效性。

如此一來，自動化分析處理系統1將可藉由模型監控評估模組5之上述關於準確度之預警機制及其對應自動化重建或更新機制，而可自主地學習修正以提供使用者更為精準的分析結果，例如：自動化分析處理系統1可從既有的客戶資訊中，產出針對新事業項目類別極具開發潛力的客戶名單，進而可事半功倍地提升行銷活動及成效。

另，於本發明之另一具體實施例中，模型監控評估模組5可更包括模型上架單元，其可將統計與機器學習分析模組4所建立的預測模型予以上架使用，進而提供日後新資料進行自動化評分與監控。相對地，模型監控評估模組5亦可包括模型下架單元，其可用以將預測模型進行下架以停止評分與監控。如此一來，模型監控評估模組5將可提供預測模型上架與下架之運作操控機制，進而可更有效地控管預測模型之精準度與有效性。

請參照圖2，其係根據本發明之另一實施例之自動化分析處理系統之使用者操作介面的示意圖。如圖所示，自動化分析處理系統1可更包含一使用者操作介面6，其係可用以提供使用者於一操作網頁上對應操作及設定資料轉換模組2、資料池模組3、統計與機器學習分析 模組4、模型監控評估模組5與工單調節模組7。如此一來，自動化分析處理系統1可藉由使用者操作介面6將可提供一站簡易且直觀可視化的資料分析操作使用，從而有效降低進階深度資料探勘分析之使用門檻。

舉例而言，倘若電信業者(非機器學習專家使用者)欲分析發現早期潛在流失客戶，以即時進行客戶維繫，從而有效避免客戶流失。使用者即可透過直覺式的使用者操作介面6，圖像選取欲分析的原始資料(例如既有客戶資訊)以傳送至資料轉換模組2，進而透過資料整合單元21及資料檢核單元22對既有客戶資訊進行資料格式的整合，以及當其資料欄位出現空值抑或欄位數值展現數據離群值的問題，直接進一步排除或補值處理，進而產理出更具參考性資訊內容的特徵欄位資料，並且透過可視化分析圖即時顯示資料轉換及檢核的處理程度。

接著，當特徵欄位資料傳送至資料池模組3後，不僅可進行分類儲存同時也可根據系統預設主題或使用者輸入的主題關鍵字，以主題式方式呈現目前資料池模組3所儲存可進行分析的資料群組，例如資料池模組3可依據資料使用頻率來分類顯示資料，其中使用頻率高視為熱(Hot)資料，相對地使用頻率低視為冷(Cold)資料。

再者，統計與機器學習分析模組4則根據使用者預定之潛在流失客戶的分析主題，予以對應產生顯示分析結果。如此一來，使用者可藉由圖像式的分析結果，即時且簡易地獲得關於潛在流失客戶名單及其相關分布與比較資訊等。另外，使用者亦可透過使用者操作介 面6所整合顯示之模型監控評估模組5的顯示欄位圖像資訊，獲得分析結果的可靠度與準確性，讓使用者即時觀測到分析品質。

請同步參照圖2及圖3，其中圖3係根據本發明之另一實施例之自動化分析處理系統之工單調節模組之功能方塊圖。如圖所示，自動化分析處理系統1可更包含一工單調節模組7，其係可用以調節叢集運算裝置之工作運算量，使每一運算裝置73之處理運算效能趨近一致，從而以提升系統模型建置與分析運算效率。更具體地說，工單調節模組7包括一運算資源監控單元71及一工單派送單元72。運算資源監控單元71係設置用以監控叢集式運算框架內每一運算裝置73的資源狀態，如此則可即時監測記錄每一運算裝置73的閒置資源之多寡。工單派送單元72則係設置用以根據每一運算裝置73資源狀態及其源多寡來進行運算派工規劃，進而調節派送每一運算裝置73之運算工作量，致使系統1可具有較高的運算處理效能，而可更即時地提供分析資訊。

上述實施例僅係為了方便說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。

Claims (9)

1. 一種基於大數據之自動化分析處理系統，包括：一資料轉換模組，設置用以接收至少一原始資料，並轉換、整合及初步分析該原始資料，以產生一特徵欄位資料，其中該資料轉換模組包括：一資料整合單元，用以將該原始資料轉換整合為具有一相容資料格式的整合後資料；及一資料檢核單元，用以檢核該整合後資料，並根據一預設數據門檻檢測值，針對該整合後資料予以排除或差補調整，進而產生該特徵欄位資料；一資料池模組，設置用以儲存該特徵欄位資料；一統計與機器學習分析模組，設置用以根據一設定分析主題，自動從該資料池模組搜尋擷取與該設定分析主題相關之該特徵欄位資料，以建置一預測模型，進而產生一分析結果；以及一模型監控評估模組，設置用以根據該資料轉換模組所接收之最新的原始資料，並據以監控該預測模型的準確度，進而評估是否自動更新該預測模型之特徵欄位資料之係數或重建該預測模型。
2. 如請求項1之基於大數據之自動化分析處理系統，其中該原始資料包括結構化資料、半結構化資料與非結構化資料其中至少一者。
3. 如請求項1之基於大數據之自動化分析處理系統，其中該資料池模組包括：一頻率偵測單元，設置以偵測該特徵欄位資料之 擷取使用頻率，而將該特徵欄位資料分類標示及儲存。
4. 如請求項1之基於大數據之自動化分析處理系統，其中該統計與機器學習分析模組係以一預選演算法，針對與該設定分析主題相關之該特徵欄位資料的特徵資料，建立該預測模型。
5. 如請求項4之基於大數據之自動化分析處理系統，其中該預選演算法包括羅吉斯迴歸演算法、類神經網絡演算法與隨機森林演算法其中至少之一。
6. 如請求項1之基於大數據之自動化分析處理系統，其中該模型監控評估模組係根據一預設參數，以監控是否更新該預測模型之特徵欄位資料之係數或重建該預測模型，其中該預設參數為一吉尼指標(Gini Index)或一預設更新時程表。
7. 如請求項1之基於大數據之自動化分析處理系統，更包含一工單調節模組，其中該工單調節模組包括：一運算資源監控單元，用以監控叢集式運算框架內每一運算裝置的資源狀態；及一工單派送單元，用以根據每一運算裝置的資源狀態，調節派送每一運算裝置之運算工作量。
8. 如請求項7之基於大數據之自動化分析處理系統，更包含一使用者操作介面，用以提供使用者於一操作網頁上對應操作及設定該資料轉換模組、該資料池模組、該統計與機器學習分析模組、該模型監控評估模組及該工單調節模組。
9. 如請求項8之基於大數據之自動化分析處理系統，其中 該使用者操作介面顯示該特徵欄位資料之分類標示主題，以提供使用者對該資料池模組執行快速查詢。