TWI548235B - Network anomaly traffic monitoring system with normal distribution mode - Google Patents

Description

常態分佈模式之網路異常訊務監測系統

本發明係為一種網路異常訊務監測系統有關；具體而言，特別是關於一種常態分佈模式之網路異常訊務監測系統，根據網路訊務特性參考一般製造業裡技術成熟的統計製程管制(Statistical Process Control,SPC)方法，加上一般的網路訊務異常監測技術，應用在網路訊務管理領域內，所研發出的一種全新的監測系統。

於專利前案整合網路訊務管理系統(公開日期：2003/11/01，專利申請號：560149)，係以傳統電話的話務資料為其監測目標，本專利則以數據網路之傳送訊務為監測目標。兩者使者的行為模式在統計學內具有本質上的不同，因此所使用的監測方法也有明顯的差異。

於專利前案用於網路資料分析之系統、設備與方法/SYSTEMS,APPARATUS,AND METHODS FOR NETWORK DATA ANALYSIS(公開日期：2012/10/01，專利公開號：201239665)，係為前後資料之間的差異比較法(偏離分數)，為 一種無母數的純數值比較法，使用時間序列的數值做前後比較。本發明則運用歷史資料配合移動式建模方式，建立比較基準。

由此可見，上述習用方式仍有諸多缺失，實非一良善之設計，而亟待加以改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件發明。

有鑒於前案，本發明有別於先前專利在進步性上的優點，在於本發明提出更為創新的技術，本發明增加考量環境的變化對於訊務的影響，可減少誤判的情形，遇到非真正異常事件，例如：因大量用戶升速所造成的訊務增加等，亦提供人工的基準調整機制予以排除，且可使用於訊務量大具有一定穩定性的電路上，由於具有統計上的機率分佈模型做背景，所求得的判斷門檻，較相近專利具有學術上的理論依據，並考量環境的變化對於訊務的影響，可減少誤判的情形，遇到非正常的事件，亦提供人工手動的調整機制。

在所有可提供訊務傳送的網路上，無論是存取端(Access)電路或骨幹端的彙集電路，使用一電路的用戶數達一定數量時，該電路的訊務行為方式會越穩定，尤其是越接近骨幹端的彙集電路。且在固定時段的訊務量分布通常能符合統計學上的常態性(Normality)或對稱性(symmetry)，此一特性剛好可用於進行訊務是否有異常的監測功能上，發掘出設備網管系統所無法監測出的異常狀況。

本發明係提出一種常態分佈模式之網路異常訊務監測系統，本發明的發想一方面來自於網路訊務，其中包括流量、用戶數、IP Pool數及其他在電路內流通的連續性資料，在一定時段內具有其穩定性及常態分布模式的觀察分析，另一方面得自於製造業的統計製程管制方法，將其原理和做法加以修正並運用於資通信業的網路訊務監測管理內。

本發明所提供之技術特徵，與其他習用技術相互比較時，更具備下列優點：

1.本發明可用於偵測網路異常訊務，即時產生告警訊息，通知網路管理人員，使其得以即時採取應變措施，迅速恢復網路服務品質，維護網路使用者權益。

2.本發明可彌補設備網管的不足，將那些由設備網管系統無法監測到的異常訊務，或那些潛藏在背後的異常狀況發掘出來。

3.本發明所提出的監測機制具有自我修正能力，讓系統能因應網路環境的變化而自動或人工的方式調整其監測模式，以減少誤發告警事件的問題。

4.本發明除具有統計理論依據外，並參酌寬頻網路訊務管理的實務經驗，使其更能在寬頻網路的訊務監測上達成實作目的。

5.過去的方法多使用訊務大幅度變化(陡升或陡降)的異常狀況進行監測，門檻值多為專家依據經驗而訂定，本發明突破該方法的不確定性，改以統計理論為基礎，使得監測的門檻有可遵循的方向，並讓未來的作業能精益求精，愈益完善。

100‧‧‧訊務資料模組

200‧‧‧監測門檻建立與管理模組

300‧‧‧告警事件產生器

400‧‧‧即時訊務監控模組

500‧‧‧基準變更監控與管理模組

600‧‧‧資料庫

S710、S720~S724、S730、S740、S750、S760、S770~S772、S810、S820、S830‧‧‧流程步驟

S100、S101、S200、S201、S300、S301、S400、S500、S501、S503‧‧‧常態分佈模式之網路異常訊務監測方法流程步驟

S210~S270‧‧‧建立與管理門檻值之流程步驟

S510~S530‧‧‧基準變更監看與管理之流程步驟

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖為：

第1圖為本發明之常態分佈模式之網路異常訊務監測系統之示意圖。

第2圖為本發明之常態分佈模式之網路異常訊務監測方法之流程圖。

第3圖為本發明之常態分佈模式之網路異常訊務監測方法之另一流程圖。

第4圖為本發明之常態分佈模式之網路異常訊務監測方法之建立與管理門檻值之流程圖。

第5圖為本發明之常態分佈模式之網路異常訊務監測方法之基準變更監看與管理之流程圖。

第6圖為本發明之常態分佈模式之網路異常訊務監測系統之介面圖。

第7圖為本發明之常態分佈模式之網路異常訊務監測方法之實施例圖。

為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。

以下，結合附圖對本發明進一步說明：

本發明提出之軟體授權方法，除了上述序號產生與檢驗方法外，包含結合上揭序號產生與檢驗方法之軟體授權方法，以解決軟體易遭破解者反編譯為原始碼，並且竄改檢驗授權程式片段再重新編譯，或者直接仿製序號產生器的問題。

請參閱第1圖，第1圖為本發明之常態分佈模式之網路異常訊務監測系統之示意圖。如第1圖所示，其至少包含訊務資料模組100、監測門檻建立與管理模組200、告警事件產生器300、即時訊務監控模組400、基準變更監控與管理模組500以及資料庫600。其中，該訊務資料模組100接收並傳送網路之訊務資料，將該些訊務資料傳送至各個模組與裝置，該監測門檻建立與管理模組200接收該訊務資料並統計該訊務資料之數據，建立並設定門檻值，之後透過該即時訊務監控模組400接收該些訊務資料與該些門檻值，並輸出該些訊務資料與該些門檻值於顯示裝置。該告警事件產生器300接收該訊務資料依據該門檻值將數據與該門檻值進行比對，若超出該門檻值設定之範圍，則產生一筆異常事件告警，顯示訊務資料異常，並將該些告警事件儲存於該資料庫之異常事件告警記錄表，而該基準變更監控與管理模組500接收該些告警事件，分析並判斷基準值。

請參閱第2圖，第2圖為本發明之常態分佈模式之網路異常訊務監測方法之流程圖。如第2圖所示，針對各類彙集電路，建立一網路訊務管制模式，以即時反應網路上所發生的異常訊務電路。然後，提供一訊務異常的判斷標準建立準則，例如：門檻值供訊務分析使用，主要排除異常訊務，提昇訊務資料的可靠性。接著，提供異常門檻建立標準程序。

進一步說明該些步驟可包含：

S710透過網路進行訊務資料收集。

S720對該些訊務資料進行穩定度分析，過多的離群值可判斷出該電路是處於不穩定的狀態。

S730之後進行離群值分析並S740建立管制模式。

S750執行管制模式，監控網路異常訊務監測。

而進一步說明，判斷S720穩定度分析，若網路訊務不穩定時，S721進行不穩定分析及判斷S722是否能進行修正恢復網路訊務運作，若是，S724改善穩定措施將該訊務資料回傳至S710，若否，執行S723週期性基本管制。而該週期性基本管制可依資料產生數選擇使用一周、雙周或是一個月份控管。

此外，網路異常訊務監測因為外在原因或特殊原因發生異常，例如S810施工或活動資訊造成網路訊務不穩定，接著，S820基準狀態改變，列入該些原因重新計算基準值回到S710，或是不列為正常運作之基準值內回到S750執行管制。

而當S750執行管制發生網路異常訊務，判斷S760是否有異常值，若否回到S750執行管制，若是進行S770異常排除管理作業，包含S771異常原因分析與S772改善措施，排除異常。

請參閱第4圖，第4圖為本發明之常態分佈模式之網路異常訊務監測方法之建立與管理門檻值之流程圖。如第4圖所示，其本發明之主要技術特徵係為建立與管理門檻值之流 程，其步驟可至少包含下列

S210採用盒鬚圖(box-and-whisker plot,Box Plot)法，並將訊務資料進行排列，於實際運作時可依時間分群後進行各群內排序。

S220進行四分位計算，分別計算Q1(1/4分位)、中位數(Median,Q2,½分位)、及Q3(3/4分位)。

S230計算離群界線。

IQR(四分位距)=Q3-Q2

離群值上限UOL=Q3+IQR*2

離群值下限LOL=Q1-IQR*2

S240判斷離群值，大於離群值上限UOL，或是小於離群值下限LOL。

S260計算去除離群值(outlier)之平均值(average)和標準差(standard deviation)，例如：(2*IQR)。

S270計算管制界線，並可進行分級告警，亦可依電路特性分成工作日和休假日分別計算上下管制界線及進行管制。

UCL=平均值+k*標準差

LCL=平均值-k*標準差

K的大小視電路特性調整，越大表示出現的機率越小，越可能為異常值。

分成三個等級進行告警，如k=3者為第一級，k=4者為第二級，k=6者為第三級。

於實際運作時，請參閱第3圖及第6圖，第3圖為本發明之常態分佈模式之網路異常訊務監測方法之另一流程圖。第6圖為本發明之常態分佈模式之網路異常訊務監測系統之介面圖。如第3圖及第6圖所示，本發明之訊務資料主要來自於提供訊務服務的資通訊網路，這些網路內的設備及介面局情資訊由網路設備資源管理系統所納管，而訊務資料則由設備網管系統來提供。在進行訊務資料管理時，通常需經過如介面之「訊務資料剖析」功能將所取得之訊務資料剖析後存入訊務資料庫內供其他模組使用。這些運用訊務資料之模組於本實施例中可係為「門檻建立與管理」、「告警事件產生器」、「基準變更監看與管理」及「即時訊務監看」等主要模組內的實作機制。

請參閱第1圖及第6圖，該監測門檻建立與管理模組200顯示介面可係為門檻建立與管理，本發明主要揭露建立門檻值。依據過去一段時間，長短視網路及服務訊務的特性而定，於本實施例中以一個月的歷史資料進行說明，所收集到的訊務資料，以統計學上的推理統計法則，檢定數據在不同日期型態及時間點內的訊務資料數據是否符合常態分布或呈對稱性，如具有上述兩項特性，則可按照下列步驟進行異常訊務判斷所需的門檻值。

A1.按不同網管路拓樸位置、不同日期型態，例如：是否為工作日或休假日，以及不同時段，例如：24小時內同一小時或同一五分鐘的資料數據，檢定同一拓樸位置內的電路之各時段內的數據是否符合常態分布或具有對稱性。

A2.如具上述兩項特性，則採用盒鬚圖(box-and-whisker plot, Box Plot)方法，將各組內的數據進行離群值分析，並去除離群值(outlier)，留下正常數據。盒鬚圖的方法係為計算一數據的四分位數值，即排序後之總項目數的第1/4處數據值(Q1)、2/4處數值(Q2)、及3/4處的數據值(Q3)，其中Q2即為數據中位數(Median)，而Q3-Q1為位於中間的50%數據的範圍，稱為四分位差(IQR,Interquartile Range)，當樣本數據內的數據小於Q1-1.5*IQR(也可用Q1-2*IQR)，或大於Q3+1.5*IQR(或Q3+1.5*IQR)則該數據即為離群值。

A3.以去離群值後的數據，檢定各條件，依據不同類別的電路、日期型態或時段之數據間是否具有相同的分布模式。把相同分布模式的條件視為同一組，即同一組可使用相同的分布模式計算其門檻值。

A4.計算同一組內的數據，視為同一母體所取出的樣本之樣本平均數(average)和標準差(standard deviation)，取平均數±n*標準差做為判斷是否為異常訊務的上下限門檻(upper/lower boundary limit或upper/lower base line)，其中n至少需在3以上。為顯示異常的嚴重性，可依據電路的類別選擇不同的n值，建立不同的門檻值，n值越大，就越嚴重，因其發生的機率越低。

如第1圖及第6圖所示，該告警事件產生器300為一個為判斷機制的實作方法。將接收之訊務資料與所建立之門檻值進行比對。舉例說明若該數據小於下限門檻值或大於上限門檻值，則產生一筆告警事件記錄，並依據門檻值差距的大小，註記其嚴重等級，因此可設定訊務資料之異常程度進行分級。

請參閱第7圖，第7圖為本發明之常態分佈模式之 網路異常訊務監測方法之實施例圖。如第1圖、第6圖及第7圖所示，該即時訊務監控模組400於顯示介面可係為即時訊務監看或稱為即時訊務管制圖。將接收之訊務資料，可按時間序，顯示在繪有上下限門檻值的統計圖，於本實施例可係為Line chart，折線圖內，由於每固定時段，本實施例以每一小時為例，為同一母體，因此各有其上下限門檻，並將結果輸出於顯示裝置，可供使用者即時觀看一電路的訊務是否超過門檻，也可供觀察訊務的發展或復原狀態，以便於網管人員能隨時掌握應變時機，如第7圖所示。

該基準變更監控與管理模組500於顯示介面可係為基準變更監看與管理，而基準值(base-line)可係為異常的門檻值。由於電路訊務會隨著網路使用環境的變化而改變，模式也會產生變化，其門檻值就會跟著改變，因此需要隨時去監看其基準是否變更了。我們所發明的系統採用例行性的自動變更及特殊性的個別變更兩種方法。例行性變更採多日移動平均，例如：每兩週，以前一個月的數據進行一次門檻值的重建等，如此可使用最新的數據進行監測。

另一方式則為特殊狀況下的基準值管理，通常為個別電路訊務消長或特殊事件所造成的基準變更。請參閱第5圖，第5圖為本發明之常態分佈模式之網路異常訊務監測方法之基準變更監看與管理之流程圖。如第3圖所示，我們採用下列數項方式進行管理：

S510觀看最近一段時間，視資料收集狀況訂定，如一日、半日、或一小時所收集的訊務資料，是否有連續大於或小於平均值的情形，如有該現象即表示該資料已不符合原來的基準，需要重新計算。

S520觀看同一群組的電路訊務，其超過門檻的異常事件數是否超過一定數量，如連續發生達10次以上，則代表該電路訊務已不再處於穩定狀態，需查明原因，進行修正。

S530電路內部的使用結構是否有所變更？如使用該電路人數增加/減少、有特殊節日、公司政策性調整、或特殊季節等，例如：寒暑假，如有變更則需暫停使用該基準，待事件過後或新的穩定狀態形成後，再重新收集數據，重建監視門檻。

於實際運作時，請參閱第1圖及第3圖。第1圖與第3圖及實施例搭配進行說明，假設要監測一路以五分鐘週期收集訊務的電路，從過去一個月(30天)的資料分析來看，每日在同一小時所收集之訊務量具有常態分布模式，但在不同時段間經檢定後，判定具有顯著差異，因此可依據個別小時進行分組，經分析發現每一組的訊務資料具穩定性，因此如第3圖所示進行該電路之異常偵測，各元件的實施步驟說明如下：

1.該訊務資料模組100S100以每5分鐘的週期進行訊務資料收集及剖析，並S101訊務資料存入訊務資料庫的相關表格中。

2.監測門檻建立與管理模組200執行S200建立與管理門檻值，將同一小時資料樣本，樣本數為12*30=360，計算其三個四分位值(Q1,Q2,Q3)，計算離群值門檻，小於Q1-1.5*IQR或大於Q3+1.5*IQR，將離群值去除後，計算剩下數據的平均值和標準差。分別按公式【平均數±3*標準差】、【平均數±4*標準差】及【平均數±6*標準差】，建立三級監測的上下限門檻，存入資料庫的門檻資料表中，執 行S201監測門檻值。

3.告警事件產生器300執行S300訊務流量監測，以每5分鐘週期讀取訊務資料，並與S201監測門檻相互比對，如有超過門檻者，則S301產生異常事件記錄存入資料庫中。

4.即時訊務監控模組400紙型S400即時訊務監看進行所讀取該些訊務資料是否在上下限之間，如有超過的門檻的情形，可觀察其發展狀況，做為因應參考。

5.基準變更監控與管理模組500持續S500對訊務資料進行分析以判斷其S501是否有偏離現行基準情形，如有偏離，則暫停目前的監測機制，改用基本的監測標準，如只監視訊務是否有陡降/陡升狀況或低於最小訊務或超過介面頻寬等，進行S503基本監測以避免在基準改變期間形成空窗期，造成嚴重異常無法監測到。

應用於兩路以上同類電路合計訊務之監測，例如兩設備間有兩路互為備援或具有負荷平衡機制的電路系統，可將同一時間點上各電路的流量加總進行監測，如有訊務異常，則代表其前後各層次電路內必有電路異常發生，可供網管人員進行追蹤分析。

本發明在應用於此實施例之電信網路內，已說明可即時發現多種網路訊務的異常狀況，包括網路封包不轉送(packet loss forward)、設備障礙、及駭客攻擊(DDoS)等，發揮早發現早修復，減少損失，維護網路服務品質的目的。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案 之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

S100、S101、S200、S201、S300、S301、S400、S500、S501、S503‧‧‧常態分佈模式之網路異常訊務監測方法流程步驟

Claims (11)

1. 一種常態分佈模式之網路異常訊務監測系統，其至少包括：一訊務資料模組，接收並傳送網路之訊務資料；一監測門檻建立與管理模組，接收該訊務資料並統計該訊務資料之數據，建立並設定門檻值；一告警事件產生器，接收該訊務資料依據該門檻值進行比對，若超出該門檻值設定範圍，則產生一筆異常事件告警；一即時訊務監控模組，接收該些訊務資料與該些門檻值，並輸出該些訊務資料與該些門檻值於顯示裝置；一基準變更監控與管理模組，接收該些告警事件，分析並判斷基準值；以及資料庫，產生異常事件告警記錄表，接收該些異常事件告警於該異常事件告警記錄表；其中，該訊務資料模組接收該些訊務資料進行分析判斷並傳送至該監測門檻建立與管理模組、該告警事件產生器、該即時訊務監控模組與該基準變更監控與管理模組，而該監測門檻建立與管理模組將該訊務資料之數據與門檻值傳送至該即時訊務監控模組以及傳送至該告警事件產生器，且該告警事件產生器與該基準變更監控與管理模組及該資料庫相連接。
2. 一種常態分佈模式之網路異常訊務監測方法，其步驟至少包括：A.收集並傳送網路之訊務資料；B.接收該訊務資料並統計該訊務資料之數據，建立與管理門檻值，監測門檻與即時訊務監控；C.依據該門檻值進行比對，若超出該門檻值設定範圍，訊務資料異常，發生異常產生告警事件，告警事件產生器產生告警事件並儲存於異常事件告警記錄表；以及D.基準變更監控與管理模組接收該些告警事件，分析並判斷基準值執行管制。其中，步驟B中建立與管理門檻值之步驟更包括：B1.採用盒鬚圖(box-and-whisker plot,Box Plot)法，並將訊務資料進行排列；B2.進行分位並計算計算；B3.計算離群界線；B4.判斷離群值；B5.計算離群值及界線；B6.計算去除離群值(outlier)之平均值(average)和標準差(standard deviation)；以及B7.計算管制界線，並可進行分級告警。
3. 如申請專利範圍第2項所述之常態分佈模式之網路異常訊務監測方法，其中該步驟B1該些訊務資料之排列方式可依時間進行排列，且該週期性係為一周、雙周或一個月。
4. 如申請專利範圍第3項所述之常態分佈模式之網路異常訊務監測方法，其中該建立與管理門檻值進行監測門檻係為統計式網路訊務監測門檻建立，依據各電路的頻寬使用量分別提供最小門檻值，前後兩週期的即時訊務量差之百分比建立門檻值。
5. 如申請專利範圍第2項所述之常態分佈模式之網路異常訊務監測方法，其中該步驟B2進行分位將同時間週期性之資料樣本，計算其三個四分位值係為Q1、Q2及Q3，計算離群值門檻，係為小於Q1-1.5*IQR或大於Q3+1.5*IQR，將離群值去除後，計算剩下數據的平均值和標準差。
6. 如申請專利範圍第5項所述之常態分佈模式之網路異常訊務監測方法，其中該計算平均值和標準差係為分別按公式平均數±3*標準差、平均數±4*標準差及平均數±6*標準差，建立三級監測的上下限門檻，並無存入資料庫之門檻資料表。
7. 如申請專利範圍第2項所述之常態分佈模式之網路異常訊務監測方法，其中該步驟B該即時訊務監控係為即時訊務管制圖，將所取得之訊務資料，依時間序顯示在繪有上下限門檻值的統計圖內，由於每固定時段為同一母體，因此各有其上下限門檻值。
8. 如申請專利範圍第2項所述之常態分佈模式之網路異常訊務監測方法，其中該步驟C該告警事件產生器係為接收該些訊務資料與該門檻值進行比對，若小於下限門檻值或大於上限門檻值，則產生一筆告警事件記錄，並依據門檻的大小註記其等級。
9. 如申請專利範圍第2項所述之常態分佈模式之網路異常訊務監測方法，其中該步驟D該基準變更監看與管理之基準值(base-line)，即為異常的門檻值，且該門檻值隨網路使用環境的變化而改變。
10. 如申請專利範圍第2項所述之常態分佈模式之網路異常訊務監測方法，其中該步驟D該基準變更監看與管理，其中該基準值管理步驟更包括：D1.依據最近一段時間所收集之訊務資料，判斷分析是否有連續大於或小於平均值，若有責重新計算；D2.依據同群組電路之訊務資料，其超過門檻之異常事件數是否超過一定數量，若有則該電路之訊務已不再處於穩定狀態，進行不穩定原因分析並修正；以及D3.判斷電路內部的使用結構是否有所變更，若有因特殊原因或外部原因，則需暫停使用該基準值，待該些特殊原因或外部原因過後或新的穩定狀態形成後，再重新收集數據，重建監視門檻。
11. 如申請專利範圍第2項所述之常態分佈模式之網路異常訊務監測方法，其中該些特殊原因或外部原因係為使用該電路人數增加/減少、有特殊節日、公司政策性調整或特殊季節如寒暑假。