TWI763169B - 雲端資料中心的事件種類的預測系統和預測方法 - Google Patents
雲端資料中心的事件種類的預測系統和預測方法 Download PDFInfo
- Publication number
- TWI763169B TWI763169B TW109143605A TW109143605A TWI763169B TW I763169 B TWI763169 B TW I763169B TW 109143605 A TW109143605 A TW 109143605A TW 109143605 A TW109143605 A TW 109143605A TW I763169 B TWI763169 B TW I763169B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- training
- machine learning
- module
- prediction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 52
- 238000012360 testing method Methods 0.000 claims description 42
- 230000004044 response Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000002457 bidirectional effect Effects 0.000 claims description 14
- 238000007726 management method Methods 0.000 claims description 14
- 230000006403 short-term memory Effects 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 2
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000013499 data model Methods 0.000 claims 1
- 230000002159 abnormal effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- XXQCMVYBAALAJK-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-(2-phenylethyl)-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C=2C(N(CCC=3C=CC=CC=3)CC=3C=CC=CC=3)=NC(NC(=O)OCC)=CC=2NC=1CCC1=CC=CC=C1 XXQCMVYBAALAJK-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
提供一種雲端資料中心的事件種類的預測系統和預測方法。預測方法包含：自雲端資料中心接收日誌資料；接收第一參數來源中繼資料，並且產生對應於日誌資料和第一參數來源中繼資料的第一輸入資料；根據第一機器學習模型和第一輸入資料產生預測結果，其中預測結果指示對應於日誌資料的事件種類；以及輸出預測結果。
Description
本發明是有關於一種雲端資料中心的事件種類的預測系統和預測方法。
雲端資料中心提供使用者多樣且高速的雲端服務及應用，但在實務處理上，虛擬化的技術讓軟體、網路及硬體設備間的關係更為複雜。基此，對雲端資料中心的管理者來說，如何監控並利用雲端資料中心的訊息提前預知異常事件的發生並且迅速地排除系統障礙，是一項重要的議題。
本發明提供一種雲端資料中心的事件種類的預測系統和預測方法，可透過雲端資料中心所產生之雲端服務日誌內容預測雲端資料中心所發生之事件的種類。
本發明的一種雲端資料中心的事件種類的預測系統，包含處理器、儲存媒體以及收發器。收發器通訊連接至雲端資料中心。儲存媒體儲存多個模組。處理器耦接儲存媒體和收發器，並且存取和執行多個模組，其中多個模組包含模型管理預測模組、系統文本預測語句庫、系統功能執行模組、分析模組以及回應模組。模型管理預測模組儲存第一機器學習模型。系統文本預測語句庫通過收發器以自雲端資料中心接收日誌資料。系統功能執行模組通過收發器接收第一參數來源中繼資料，並且產生對應於日誌資料和第一參數來源中繼資料的第一輸入資料。分析模組根據第一機器學習模型和第一輸入資料產生預測結果，其中預測結果指示對應於日誌資料的事件種類。回應模組通過收發器輸出預測結果。
在本發明的一實施例中，上述的多個模組更包含測試資料鏈結模組。測試資料鏈結模組對日誌資料進行特徵篩選以產生測試資料，其中系統功能執行模組根據測試資料產生第一輸入資料。
在本發明的一實施例中，上述的多個模組更包含系統文本訓練語句庫、事件種類訓練語句庫以及訓練資料鏈結模組。系統文本訓練語句庫通過收發器以自雲端資料中心接收歷史日誌資料。事件種類訓練語句庫通過收發器以自雲端資料中心接收對應於歷史日誌資料的事件種類標籤資料。訓練資料鏈結模組根據歷史日誌資料以及事件種類標籤資料產生訓練資料，其中系統功能執行模組通過收發器接收第二參數來源中繼資料，產生對應於訓練資料以及第二參數來源中繼資料的第二輸入資料，並且根據第二輸入資料訓練第一機器學習模型。
在本發明的一實施例中，上述的訓練資料鏈結模組對歷史日誌資料進行特徵篩選以產生經篩選歷史日誌資料，其中訓練資料鏈結模組根據事件種類標籤資料刪除經篩選歷史日誌資料以及事件種類標籤資料中與異常事件相對應的多個資料點以產生訓練資料。
在本發明的一實施例中，上述的系統功能執行模組自測試資料鏈結模組以及訓練資料鏈結模組的其中之一接收資料，其中系統功能執行模組響應於資料包含事件種類標籤資料而判斷資料為訓練資料，其中系統功能執行模組響應於資料不包含事件種類標籤資料而判斷資料為測試資料。
在本發明的一實施例中，上述的系統功能執行模組自測試資料鏈結模組以及訓練資料鏈結模組的其中之一接收資料，其中系統功能執行模組通過收發器接收系統功能中繼資料，並且根據系統功能中繼資料判斷資料為測試資料和訓練資料的其中之一。
在本發明的一實施例中，上述的模型管理預測模組儲存包含第一機器學習模型的多個機器學習模型，其中系統功能執行模組通過收發器接收系統功能中繼資料，並且根據系統功能中繼資料以從多個機器學習模型中挑選出第一機器學習模型。
在本發明的一實施例中，上述的多個機器學習模型對應於下列的至少其中之一：長短期記憶模型、雙向長短期記憶模型、雙向二次長短期記憶模型、閘循環神經網路模型、雙向閘循環神經網路模型以及雙向二次閘循環神經網路模型。
在本發明的一實施例中，上述的預測系統更包含輸出裝置。輸出裝置耦接至處理器，其中多個模組更包含使用者介面模組。使用者介面模組通過收發器接收查詢指令，根據查詢指令以自預測結果取得事件資訊，並且通過輸出裝置輸出事件資訊。
本發明的一種雲端資料中心的事件種類的預測方法，包含：自雲端資料中心接收日誌資料；接收第一參數來源中繼資料，並且產生對應於日誌資料和第一參數來源中繼資料的第一輸入資料；根據第一機器學習模型和第一輸入資料產生預測結果，其中預測結果指示對應於日誌資料的事件種類；以及輸出預測結果。
基於上述，本發明可通過系統文本訓練語句庫自動地彙整雲端資料中心服務產生的歷史日誌資料以作為機器學習模型的訓練資料。事件意圖訓練語句庫可自動地處理雲端資料中心之日誌資料和事件種類標籤資料。訓練資料鏈結模組可整併上述資料以完成訓練模型所需之訓練資料的建立。本發明還可通過系統功能執行模組進行模型的訓練，並可管理訓練完之機器學習模型。另一方面，本發明可藉由系統功能執行模組預測日誌資料所對應的事件種類。回應模組可根據使用者的需求輸出堆疊的事件種類的預測結果。
為了使本發明之內容可以被更容易明瞭，以下特舉實施例作為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1根據本發明的實施例繪示一種預測系統100的示意圖，其中預測系統100可用於預測雲端資料中心的事件種類。預測系統100可包含處理器110、儲存媒體120、收發器130以及輸出裝置140。
處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、影像訊號處理器（image signal processor，ISP）、影像處理單元（image processing unit，IPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。處理器110可耦接至儲存媒體120、收發器130以及輸出裝置140，並且存取和執行儲存於儲存媒體120中的多個模組和各種應用程式。
儲存媒體120例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理器110執行的多個模組或各種應用程式。
收發器130以無線或有線的方式傳送及接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。預測系統100可通過收發器130通訊連接至雲端資料中心。雲端資料中心可由諸如python等軟體開發，並可提供網路服務（web service）。
輸出裝置140可包含通訊介面、顯示器或揚聲器等，本發明不限於此。
圖2根據本發明的實施例繪示儲存媒體120中的多個模組的示意圖，其中所述多個模組可包含系統功能執行模組11、系統文本訓練語句庫12、事件種類訓練語句庫13、訓練資料鏈結模組14、模型管理預測模組15、回應模組16、系統文本預測語句庫17、測試資料鏈結模組18、分析模組19以及使用者介面20。
模型管理預測模組15可儲存由系統功能執行模組11產生的多個機器學習模型。系統功能執行模組11可根據訓練資料來訓練儲存在模型管理預測模組15中的機器學習模型。
系統功能執行模組11可自訓練資料鏈結模組14或測試資料鏈結模組18接收資料，並且判斷所接收的資料為訓練資料或測試資料。若所接收的資料為訓練資料，則預測系統100可根據訓練資料來訓練機器學習模型。若所接收的資料為測試資料，則預測系統100可利用訓練好的機器學習模型來判斷與測試資料相對應的事件種類，並產生對應的預測結果供使用者參考。
在一實施例中，系統功能執行模組11可判斷自訓練資料鏈結模組14或測試資料鏈結模組18所接收的資料是否包含事件種類標籤資料。若接收的資料包含事件種類標籤資料，則系統功能執行模組11可判斷所述資料為訓練資料。若接收的資料不包含事件種類標籤資料，則系統功能執行模組11可判斷所述資料為測試資料。
在一實施例中，系統功能執行模組11可通過收發器130接收系統功能中繼資料（metadata），並且根據系統功能中繼資料的指示判斷系統功能執行模組11所接收的資料為訓練資料或測試資料。換句話說，使用者可通過終端裝置傳送系統功能中繼資料給預測系統100，以控制預測系統100進行機器學習模型的訓練或進行事件種類的預測。
為了產生機器學習模型，系統文本訓練語句庫12可通過收發器130以自雲端資料中心接收歷史日誌資料，並且事件種類訓練語句庫13可通過收發器以自雲端資料中心接收對應於所述歷史日誌資料的事件種類標籤資料。事件種類標籤資料可包含歷史日誌資料所對應的事件種類的標籤。表1為歷史日誌資料所對應的事件種類的範例。
表1
| 編號 | 事件種類 |
| 1 | ACLConfig供裝失敗 |
| 2 | ACLConfig訂單供裝失敗 |
| 3 | Host CPU 使用率嚴重過高 |
| 4 | Host 網路卡 Admin 服務異常 |
| 5 | Host 網路卡 Operation 服務異常 |
| 6 | ODL控制器CPU總使用量嚴重過高 |
| 7 | ODL控制器設備異常 |
| 8 | OVS Bridge狀態異常 |
| 9 | OpenFlow控制器連線狀態異常 |
| 10 | QoSPolicyConfig供裝失敗 |
| 11 | QoSPolicyConfig供裝失敗事件 |
| 12 | SDN實體交換器設備異常 |
| 13 | SDN實體交換器連接埠設備異常 |
| 14 | VNF CPU 使用率嚴重過高 |
| 15 | VNF DHCP服務異常 |
| 16 | VNF SLB服務異常 |
| 17 | VNF 系統異常 |
| 18 | ebs供裝失敗 |
| 19 | ebs訂單供裝失敗 |
| 20 | host_cage供裝失敗 |
| 21 | host_cage訂單供裝失敗 |
| 22 | instance供裝失敗 |
| 23 | instance訂單供裝失敗 |
| 24 | interface供裝失敗 |
| 25 | interface訂單供裝失敗 |
| 26 | internetLinkDual_cht供裝失敗 |
| 27 | internetLinkDual_cht訂單供裝失敗 |
| 28 | pathTrace供裝失敗 |
| 29 | pathTrace供裝失敗事件 |
| 30 | privateSubnetDual_cht供裝失敗 |
| 31 | privateSubnetDual_cht訂單供裝失敗 |
| 32 | qosQueueConfig_cht供裝失敗 |
| 33 | qosQueueConfig_cht供裝失敗事件 |
| 34 | scalingGroup供裝失敗 |
| 35 | scalingGroup訂單供裝失敗 |
| 36 | staticRouteConfig_vyosCluster供裝失敗 |
| 37 | staticRouteConfig_vyosCluster訂單供裝失敗 |
| 38 | staticRouteIPv6Config_ciscoNexusCluster供裝失敗 |
| 39 | staticRouteIPv6Config_ciscoNexusCluster訂單供裝失敗 |
| 40 | staticRouteIPv6Config_vyosCluster供裝失敗 |
| 41 | staticRouteIPv6Config_vyosCluster訂單供裝失敗 |
| 42 | syncVenus供裝失敗 |
| 43 | syncVenus訂單供裝失敗 |
| 44 | vnfServer_cht供裝失敗 |
| 45 | vnfServer_cht訂單供裝失敗 |
訓練資料鏈結模組14可根據歷史日誌資料以及事件種類標籤資料產生用於訓練機器學習模型的訓練資料。具體來說，訓練資料鏈結模組14可對歷史日誌資料進行特徵篩選以找出歷史日誌資料的文本中的關鍵特徵，從而將歷史日誌資料中對應於關鍵特徵的資料保留以產生經篩選歷史日誌資料，藉以降低分析噪度。歷史日誌資料的特徵可包含但不限於實體設備主機、網路伺服器、防火牆、作業系統或網路設備的相關資訊。
訓練資料鏈結模組14可解析歷史日誌資料中的Json、YAML或CSV等檔案的格式參數以進行特徵篩選。具體來說，系統文本訓練語句庫12可通過訊息佇列（message queue）暫存自雲端資料中心接收的歷史日誌資料。訓練資料鏈結模組14可使用例如python等軟體對歷史日誌資料進行分析處理。訓練資料鏈結模組14可通過搜尋引擎（例如：Elasticsearch）設定的規則對歷史日誌資料進行處理、合併（例如：合併歷史日誌資料中的對應於事件種類的標籤的時間戳記區間中的日誌的數值）以及索引建立，從而產生具有結構性的日誌資料存放（例如：使用python軟體中的pandas套件）。訓練資料鏈結模組14可例如通過Kibana軟體的使用者介面（user interface，UI）查看日誌資料，通過例如python軟體常使用的自然語言處理（natural language processing，NLP）工具的停止詞（stop words）去除日誌資料中的字元，額外計算日誌資料中的全部字元的逆向檔案頻率（inverse document frequency，idf）值，藉以找出日誌資料中idf值較小的字元以作為停止詞濾除，從而產生歷史日誌資料中的關鍵特徵的文本。
在產生經篩選歷史日誌資料後，訓練資料鏈結模組14可將經篩選歷史日誌資料中的文本轉換為可作為機器學習模型之輸入的數值。具體來說，訓練資料鏈結模組14可將經篩選歷史日誌資料中的文本轉換成二元數值以進行異質資料整併，並透過統計關鍵字詞來將關鍵字詞轉換為字詞向量，藉以形成可供機器學習模型解讀的分布運算數值。在一實施例中，訓練資料鏈結模組14還可對歷史日誌資料（或經篩選歷史日誌資料）進行斷字、編碼或降噪等程序，以使歷史日誌資料可訓練出更準確的模型。
另一方面，訓練資料鏈結模組14可根據事件種類標籤資料判斷經篩選歷史日誌資料或事件種類標籤資料中的哪一些資料點對應於異常事件。訓練資料鏈結模組14可將經篩選歷史日誌資料或事件種類標籤資料中的對應於異常事件的多個資料點刪除，以提高所訓練之模型的準確度。接著，訓練資料鏈結模組14可結合經篩選歷史日誌資料以及事件種類標籤資料以產生訓練資料。
分析模組19可根據訓練資料產生可由模型管理預測模組15儲存的一或多個機器學習模型，其中所述一或多個機器學習模型可對應於下列的至少其中之一：長短期記憶（long short term memory，LSTM）模型、雙向長短期記憶（bidirectional LSTM）模型、雙向二次長短期記憶（bidirectional LSTM+ LSTM）模型、閘循環神經網路（gate recurrent unit，GRU）模型、雙向閘循環神經網路（bidirectional GRU）模型以及雙向二次閘循環神經網路（bidirectional GRU+ GRU）模型。模型管理預測模組15可通過例如HDF5檔案格式來儲存和管理訓練好的機器學習模型。
具體來說，系統功能執行模組11可自訓練資料鏈結模組14接收訓練資料，並可通過收發器130接收用於訓練機器學習模型的第二參數來源中繼資料。第二參數來源中繼資料可與機器學習模型的種類有關。例如，第二參數來源中繼資料可包含訓練機器學習模型所需使用的超參數，諸如批量大小（batch size）、學習率（learning rate）、型樣（epoch）或權重（weight）等。
系統功能執行模組11可根據訓練資料以及第二參數來源中繼資料產生用於訓練機器學習模型的第二輸入資料。分析模組19可利用軟體工具（例如：python tensorflow）以根據第二輸入資料訓練機器學習模型。在一實施例中，系統功能執行模組11可通過收發器130接收系統功能中繼資料。系統功能執行模組11可根據系統功能中繼資料決定將訓練的機器學習模型的種類。分析模組19可根據系統功能執行模組11決定的種類來訓練機器學習模型。在完成機器學習模型的訓練後，系統功能執行模組11可將機器學習模型儲存於模型管理預測模組15中。
預測系統100可利用儲存在模型管理預測模組15中的機器學習模型來判斷測試資料所對應的事件種類。系統文本預測語句庫17可通過收發器130以自雲端資料中心接收日誌資料。測試資料鏈結模組18可根據日誌資料產生測試資料。測試資料鏈結模組18可對日誌資料進行特徵篩選以產生經篩選日誌資料。舉例來說，測試資料鏈結模組18可基於與訓練資料鏈結模組14相似的方式來解析日誌資料中的Json、YAML或CSV等檔案的格式參數以進行特徵篩選以找出日誌資料的文本中的關鍵特徵，從而將日誌資料中對應於關鍵特徵的資料保留以產生經篩選日誌資料，藉以降低分析噪度。日誌資料的特徵可包含但不限於實體設備主機、網路伺服器、防火牆、作業系統或網路設備的相關資訊。
在產生經篩選日誌資料後，測試資料鏈結模組18可基於與訓練資料鏈結模組14相似的方式以將經篩選日誌資料中的文本轉換為可作為機器學習模型之輸入的數值，從而產生測試資料。在一實施例中，測試資料鏈結模組18可對日誌資料（或經篩選日誌資料）進行斷字、編碼或降噪等程序，以使日誌資料可用於產生更準確的預測結果。
分析模組19可根據測試資料以及模型管理預測模組15中的機器學習模型產生預測結果，其中預測結果可指示對應於日誌資料的事件種類。具體來說，系統功能執行模組11可自測試資料鏈結模組18接收測試資料，並可通過收發器130接收第一參數來源中繼資料。第一參數來源中繼資料可與分析模組19將使用的機器學習模型的種類有關。例如，第一參數來源中繼資料可包含用於產生預測結果的機器學習模型所需使用的超參數，諸如批量大小、學習率、型樣或權重等。
系統功能執行模組11可根據測試資料以及第一參數來源中繼資料產生機器學習模型的第一輸入資料。分析模組19可將第一輸入資料輸入至機器學習模型以產生預測結果。在一實施例中，系統功能執行模組11可通過收發器130接收系統功能中繼資料。系統功能執行模組11可根據系統功能中繼資料決定分析模組19所選用的機器學習模型的種類。分析模組19可根據所述種類挑選模型管理預測模組15中的多個機器學習模型的其中之一以產生預測結果。
在產生預測結果後，回應模組16可通過訊息佇列暫存預測結果。回應模組16可根據預測結果完成預測陣列結構建置，並以先進先出（first in first out，FIFO）的方式進行一或多個預測結果的堆疊和儲存，並產生與預測結果相對應的時間戳記。在一實施例中，回應模組16可通過收發器130輸出預測結果以供使用者參考。在一實施例中，使用者介面模組20可通過輸出裝置140輸出預測結果以供使用者參考。
在一實施例中，使用者介面模組20可通過收發器130接收查詢指令，並且根據查詢指令以自儲存在回應模組16的一或多個預測結果取得事件資訊。舉例來說，當使用者欲查詢21:00至22:00的雲端資料中心所發生的事件種類時，使用者可通過終端裝置傳送查詢指令給預測系統100。查詢指令例如是基於超文本傳輸協定（hyper text transfer protocol，HTTP）的網路服務請求（service request）。使用者介面模組20可通過例如由Java撰寫的網路（web）應用程式介面（application programming interface，API）來接收查詢指令。使用者介面模組20可將查詢指令轉發給回應模組16。回應模組16可通過軟體工具（例如：python的pandas數值分析函式庫）以自堆疊的一或多個預測結果中取出與查詢指令相對應的事件資訊。使用者介面20可通過輸出裝置140輸出事件資訊以供使用者參考。
圖3根據本發明的實施例繪示一種預測方法的流程圖，其中所述預測方法可用於預測雲端資料中心的事件種類，並可由如圖1所示的預測系統100實施。在步驟S301中，自雲端資料中心接收日誌資料。在步驟S302中，接收第一參數來源中繼資料，並且產生對應於日誌資料和第一參數來源中繼資料的第一輸入資料。在步驟S303中，根據第一機器學習模型和第一輸入資料產生預測結果，其中預測結果指示對應於日誌資料的事件種類。在步驟S304中，輸出預測結果。
綜上所述，本發明可達到如下所述的功效：彙整雲端資料中心大量產生的日誌資訊進行訓練，運用於異常事件的事件種類預測；改善傳統分析平台操作上，透過自動化步驟收集雲端資料中心日誌，並建立預測模型；透過函式化架構，建立雲端資料中心異常事件預測模型演算法訓練流程，從而加速模型訓練與預測的過程；以及針對雲端資料中心的事件種類的預測結果，使用者可藉由操作使用者介面以從預測結果中查詢使用者感興趣的資訊。
100:預測系統
110:處理器
120:儲存媒體
130:收發器
140:輸出裝置
11:系統功能執行模組
12:系統文本訓練語句庫
13:事件種類訓練語句庫
14:訓練資料鏈結模組
15:模型管理預測模組
16:回應模組
17:系統文本預測語句庫
18:測試資料鏈結模組
19:分析模組
20:使用者介面
S301、S302、S303、S304:步驟
圖1根據本發明的實施例繪示一種預測系統的示意圖。
圖2根據本發明的實施例繪示儲存媒體中的多個模組的示意圖。
圖3根據本發明的實施例繪示一種預測方法的流程圖。
S301、S302、S303、S304:步驟
Claims (5)
- 一種雲端資料中心的事件種類的預測系統，包括：收發器，通訊連接至所述雲端資料中心；儲存媒體，儲存多個模組；以及處理器，耦接所述儲存媒體和所述收發器，並且存取和執行所述多個模組，其中所述多個模組包括：模型管理預測模組，儲存包括第一機器學習模型的多個機器學習模型；系統文本預測語句庫，通過所述收發器以自所述雲端資料中心接收日誌資料；系統文本訓練語句庫，通過所述收發器以自所述雲端資料中心接收歷史日誌資料；事件種類訓練語句庫，通過所述收發器以自所述雲端資料中心接收對應於所述歷史日誌資料的事件種類標籤資料；訓練資料鏈結模組，根據所述歷史日誌資料以及所述事件種類標籤資料產生訓練資料；測試資料鏈結模組，對所述日誌資料進行特徵篩選以產生測試資料；系統功能執行模組，通過所述收發器接收第一參數來源中繼資料，並且根據所述測試資料產生對應於所述日誌資料和所述第一參數來源中繼資料的第一輸入資料，其中所述系統功能執行模組通過所述收發器接收第二參數來源中繼資料，產生對應於所述 訓練資料以及所述第二參數來源中繼資料的第二輸入資料，並且根據所述第二輸入資料訓練所述第一機器學習模型；分析模組，根據所述第一機器學習模型和所述第一輸入資料產生預測結果，其中所述預測結果指示對應於所述日誌資料的所述事件種類；以及回應模組，通過所述收發器輸出所述預測結果，其中所述系統功能執行模組自所述測試資料鏈結模組以及所述訓練資料鏈結模組的其中之一接收資料，並且根據下列的其中之一判斷所述資料為所述訓練資料和所述測試資料的其中之一：響應於所述資料包括所述事件種類標籤資料而判斷所述資料為所述訓練資料，並且響應於所述資料不包括所述事件種類標籤資料而判斷所述資料為所述測試資料；以及通過所述收發器接收系統功能中繼資料，並且根據所述系統功能中繼資料判斷所述資料為所述測試資料和所述訓練資料的所述其中之一，其中所述系統功能執行模組根據所述系統功能中繼資料以從所述多個機器學習模型中挑選出所述第一機器學習模型。
- 如請求項1所述的預測系統，其中所述訓練資料鏈結模組對所述歷史日誌資料進行特徵篩選以產生經篩選歷史日誌資料，其中所述訓練資料鏈結模組根據所述事件種類標籤資料刪除所述經篩選歷史日誌資料以及所述事件種類標籤資料中與異常事件相 對應的多個資料點以產生所述訓練資料。
- 如請求項1所述的預測系統，其中所述多個機器學習模型對應於下列的至少其中之一：長短期記憶模型、雙向長短期記憶模型、雙向二次長短期記憶模型、閘循環神經網路模型、雙向閘循環神經網路模型以及雙向二次閘循環神經網路模型。
- 如請求項1所述的預測系統，更包括：輸出裝置，耦接至所述處理器，其中所述多個模組更包括：使用者介面模組，通過所述收發器接收查詢指令，根據所述查詢指令以自所述預測結果取得事件資訊，並且通過所述輸出裝置輸出所述事件資訊。
- 一種雲端資料中心的事件種類的預測方法，包括：儲存包括第一機器學習模型的多個機器學習模型；自所述雲端資料中心接收日誌資料、歷史日誌資料以及對應於所述歷史日誌資料的事件種類標籤資料；根據所述歷史日誌資料以及所述事件種類標籤資料產生訓練資料；對所述日誌資料進行特徵篩選以產生測試資料；取得包括所述訓練資料以及所述測試資料的其中之一的資料，並且根據下列的其中之一判斷所述資料為所述訓練資料和所述測試資料的所述其中之一：響應於所述資料包括所述事件種類標籤資料而判斷所述資料為所述訓練資料，並且響應於所述資料不包括所述事 件種類標籤資料而判斷所述資料為所述測試資料；以及接收系統功能中繼資料，並且根據所述系統功能中繼資料判斷所述資料為所述測試資料和所述訓練資料的所述其中之一；接收第二參數來源中繼資料，產生對應於所述訓練資料以及所述第二參數來源中繼資料的第二輸入資料，並且根據所述第二輸入資料訓練所述第一機器學習模型；接收第一參數來源中繼資料，並且根據所述測試資料產生對應於所述日誌資料和所述第一參數來源中繼資料的第一輸入資料；根據所述系統功能中繼資料以從所述多個機器學習模型中挑選出所述第一機器學習模型；根據所述第一機器學習模型和所述第一輸入資料產生預測結果，其中所述預測結果指示對應於所述日誌資料的所述事件種類；以及輸出所述預測結果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109143605A TWI763169B (zh) | 2020-12-10 | 2020-12-10 | 雲端資料中心的事件種類的預測系統和預測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109143605A TWI763169B (zh) | 2020-12-10 | 2020-12-10 | 雲端資料中心的事件種類的預測系統和預測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI763169B true TWI763169B (zh) | 2022-05-01 |
| TW202223648A TW202223648A (zh) | 2022-06-16 |
Family
ID=82593934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109143605A TWI763169B (zh) | 2020-12-10 | 2020-12-10 | 雲端資料中心的事件種類的預測系統和預測方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI763169B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201643766A (zh) * | 2015-06-02 | 2016-12-16 | 緯創資通股份有限公司 | 電子裝置的自我修復方法、系統及伺服器 |
| TW201702872A (zh) * | 2015-04-09 | 2017-01-16 | 中心微電子德累斯頓股份公司 | 電子系統及用於估算及預測該電子系統故障之方法 |
| US20190050714A1 (en) * | 2017-08-09 | 2019-02-14 | Ants Technology (Hk) Limited | Modular distributed artificial neural networks |
| US20200184355A1 (en) * | 2018-12-11 | 2020-06-11 | Morgan Stanley Services Group Inc. | System and method for predicting incidents using log text analytics |
-
2020
- 2020-12-10 TW TW109143605A patent/TWI763169B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201702872A (zh) * | 2015-04-09 | 2017-01-16 | 中心微電子德累斯頓股份公司 | 電子系統及用於估算及預測該電子系統故障之方法 |
| TW201643766A (zh) * | 2015-06-02 | 2016-12-16 | 緯創資通股份有限公司 | 電子裝置的自我修復方法、系統及伺服器 |
| US20190050714A1 (en) * | 2017-08-09 | 2019-02-14 | Ants Technology (Hk) Limited | Modular distributed artificial neural networks |
| US20200184355A1 (en) * | 2018-12-11 | 2020-06-11 | Morgan Stanley Services Group Inc. | System and method for predicting incidents using log text analytics |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202223648A (zh) | 2022-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10841181B2 (en) | Monitoring and auto-correction systems and methods for microservices | |
| CN107943668B (zh) | 计算机服务器集群日志监控方法及监控平台 | |
| US20180322419A1 (en) | Model Driven Modular Artificial Intelligence Learning Framework | |
| KR102088285B1 (ko) | 규칙 기반의 동적 로그 수집 방법 및 장치 | |
| JP2017538229A (ja) | 神経言語挙動認識システム用の知覚関連メモリ | |
| WO2023224764A1 (en) | Multi-modality root cause localization for cloud computing systems | |
| CN115102836A (zh) | 网络设备故障分析方法、装置及存储介质 | |
| CN112313627A (zh) | 事件到无服务器函数工作流实例的映射机制 | |
| US20240127082A1 (en) | Automated positive train control event data extraction and analysis engine for performing root cause analysis of unstructured data | |
| CN114490262A (zh) | 数据库监控方法、装置、设备及存储介质 | |
| CN109308309A (zh) | 一种数据服务质量评估方法和终端 | |
| CA3248696A1 (en) | AUTOMATED POSITIVE TRAIN CONTROL EVENT DATA EXTRACTION AND ANALYSIS ENGINE FOR PERFORMING DEEP CAUSE ANALYSIS OF UNSTRUCTURED DATA | |
| TWI763169B (zh) | 雲端資料中心的事件種類的預測系統和預測方法 | |
| CN114880153A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| US20160050135A1 (en) | Real-time measurement of user interface performance in a remote desktop environment | |
| US20140101309A1 (en) | Dynamic and selective management of integration points using performance metrics | |
| JP7215574B2 (ja) | 監視システム、監視方法及びプログラム | |
| WO2025163420A1 (zh) | 湖仓一体系统和基于湖仓一体系统的数据处理方法 | |
| EP4468666A1 (en) | Network monitoring and healing based on a behavior model | |
| WO2025009381A1 (ja) | 異常検出装置、異常検出システム及び異常検出方法 | |
| CN118070223A (zh) | 计算资源预警方法、设备、介质及计算机程序产品 | |
| KR102757273B1 (ko) | 가상 서버들로부터 대용량 로그 파일들을 프로세싱하는 컴퓨터 시스템 및 방법 | |
| US12430068B2 (en) | Managing provenance information for data processing pipelines | |
| CN116185964A (zh) | 日志处理方法、装置、电子设备和存储介质 | |
| US20260023671A1 (en) | Log anomaly detection based on golden signal templates |