[go: up one dir, main page]

KR102150815B1 - 다수의 시스템 지시자의 모니터링 - Google Patents

다수의 시스템 지시자의 모니터링 Download PDF

Info

Publication number
KR102150815B1
KR102150815B1 KR1020197011591A KR20197011591A KR102150815B1 KR 102150815 B1 KR102150815 B1 KR 102150815B1 KR 1020197011591 A KR1020197011591 A KR 1020197011591A KR 20197011591 A KR20197011591 A KR 20197011591A KR 102150815 B1 KR102150815 B1 KR 102150815B1
Authority
KR
South Korea
Prior art keywords
data
indicators
indicator
system indicators
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020197011591A
Other languages
English (en)
Other versions
KR20200052245A (ko
Inventor
지안빈 린
Original Assignee
알리바바 그룹 홀딩 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알리바바 그룹 홀딩 리미티드 filed Critical 알리바바 그룹 홀딩 리미티드
Publication of KR20200052245A publication Critical patent/KR20200052245A/ko
Application granted granted Critical
Publication of KR102150815B1 publication Critical patent/KR102150815B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

컴퓨팅 시스템에서 모니터링될 다수의 시스템 지시자가 결정된다. 다수의 시스템 지시자의 이력 데이터에 기초하는 훈련 데이터가 획득된다. 긴 단기 메모리(LSTM) 모델이 훈련 데이터를 사용하여 훈련된다. 다수의 시스템 지시자는 LSTM 모델에 기초하여 컴퓨팅 시스템에서 모니터링된다.

Description

다수의 시스템 지시자의 모니터링
지시자 모니터링은 시스템의 안정적이고 건강한 동작을 위해 중요하다. 복잡한 시스템에서는 다수의 지시자가 모니터링되어야 한다. 일반적으로 지시자들은 개별적으로 모니터링된다. 즉, 한 번에 단 하나의 지시자만이 모니터링될 수 있다.
본 개시는 다수의 시스템 지시자를 동시에 모니터링하는 것을 설명한다.
일 구현 예에서, 컴퓨팅 시스템에서 모니터링될 다수의 시스템 지시자가 결정된다. 다수의 시스템 지시자의 이력 데이터에 기초하는 훈련 데이터가 획득된다. 긴 단기 메모리(long short-term memory: LSTM) 모델이 훈련 데이터를 사용하여 훈련된다. 다수의 시스템 지시자는 LSTM 모델에 기초하여 컴퓨팅 시스템에서 모니터링된다.
전술한 구현 예를 포함하는, 설명되는 주제의 구현 예들은 컴퓨터 구현 방법; 컴퓨터 구현 방법을 수행하기 위한 컴퓨터 판독 가능 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 매체; 및 하나 이상의 컴퓨터와 연동 가능하게 결합되고, 하나 이상의 컴퓨터에 의해 실행될 때 컴퓨터 구현 방법/비일시적 컴퓨터 판독 가능 매체 상에 저장된 컴퓨터 판독 가능 명령어들을 수행하는 명령어들을 저장하는 유형적이고 비일시적인 기계 판독 가능 매체들을 갖는 하나 이상의 컴퓨터 메모리 디바이스를 포함하는 컴퓨터 구현 시스템을 사용하여 구현될 수 있다.
본 명세서에서 설명되는 주제는 다음의 이점들 중 하나 이상을 실현하기 위해 특정 구현 예들에서 구현될 수 있다. 첫째, 긴 단기 메모리(LSTM) 모델을 사용하여 다중 지시자 공동 모니터링을 수행함으로써, 상이한 지시자들 간의 잠재적인 동조화 비정상(co-movement anomaly)들이 검출될 수 있다. 둘째, 단일 지시자 모니터링에 의해 유발되는 거짓 알람들이 방지될 수 있다. 셋째, 단일 지시자 모니터링에 의해 검출 불가능한 비정상들이 검출될 수 있다.
본 명세서의 주제의 하나 이상의 구현 예의 상세들은 상세한 설명, 청구항들 및 첨부 도면들에서 제시된다. 주제의 다른 특징들, 양태들 및 이점들은 상세한 설명, 청구항들 및 첨부 도면들로부터 이 분야의 통상의 기술자들에게 명백해질 것이다.
도 1은 본 개시의 구현 예에 따른, 다수의 시스템 지시자를 모니터링하는 예를 도시하는 개략도이다.
도 2는 본 개시의 구현 예에 따른, 다수의 시스템 지시자를 모니터링하기 위한 컴퓨터 구현 방법의 예를 도시하는 흐름도이다.
도 3은 본 개시의 구현 예에 따른, 설명되는 알고리즘들, 방법들, 기능들, 프로세스들, 흐름들 및 절차들과 관련된 계산 기능들을 제공하기 위해 사용되는 컴퓨터 구현 시스템의 예를 도시하는 블록도이다.
다양한 도면들 내의 유사한 참조 번호들 및 명칭들은 유사한 요소들을 나타낸다.
다음의 상세한 설명은 다수의 시스템 지시자를 동시에 모니터링하는 것을 설명하며, 이 분야의 임의의 기술자로 하여금 하나 이상의 특정 구현 예와 관련하여, 개시되는 주제를 실시하고 사용할 수 있게 하기 위해 제시된다. 개시되는 구현 예들의 다양한 수정들, 변경들 및 교환들이 이루어질 수 있고, 이 분야의 통상의 기술자들에게 자명할 것이며, 정의되는 일반 원리들은 본 개시의 범위를 벗어나지 않고 다른 구현 예들 및 응용들에 적용될 수 있다. 일부 사례들에서는, 설명되는 주제의 이해를 얻는 데 불필요하고 이 분야의 통상의 기술자의 기교 내에 있는 하나 이상의 기술적 상세가 하나 이상의 설명되는 구현 예를 불명확하게 하지 않기 위해 생략될 수 있다. 본 개시는 설명되거나 예시되는 구현 예들로 한정되는 것을 의도하는 것이 아니라, 설명되는 원리들 및 특징들에 부합하는 가장 넓은 범위를 부여받는 것을 의도한다.
지시자 모니터링은 시스템의 안정적이고 건강한 동작을 위해 중요하다. 복잡한 시스템에서는 다수의 지시자가 모니터링되어야 한다. 일반적으로 지시자들은 개별적으로 모니터링된다. 즉, 한 번에 단 하나의 지시자만이 모니터링할 수 있다. 예를 들어, 가우스 분포, k-평균 클러스터링(k-means clustering) 또는 격리 숲(isolation forest)을 사용하는 지시자 모니터링은 한 번에 단 하나의 지시자만을 모니터링할 수 있다. 하나 이상의 지시자에서 발생하지만 모니터링되는 지시자에서는 발생하지 않는 비정상들은 단일 지시자 모니터링을 사용해서는 검출 불가능할 수 있다. 많은 경우에, 시스템의 일부 지시자들 사이에는 동조화들이 존재한다. 결과적으로, 모니터링되는 지시자와 하나 이상의 다른 지시자 사이의 정상적인 동조화들은 단일 지시자 모니터링을 사용하여 비정상들로서 검출될 수 있으며, 이는 거짓 알람들을 생성한다.
보험 업계에서, 예를 들어, 지시자들은 판매된 보험 증서들의 수, 판매된 보험 증서들의 청구 금액, 제출된 클레임들의 수, 거절된 클레임들의 수 및 총 지불 금액을 포함할 수 있다. 지시자들은 매시간, 매일 또는 다른 원하는 시간 간격들로 모니터링될 수 있다. 판매된 보험 증서들의 수와 제출된 클레임들의 수 사이에는 동조화들이 존재할 수 있다. 예를 들어, (ALIBABA의 연례 "Double 11" Global Shopping Day 특별 행사와 같은) 일부 기간들 동안에는 판매된 보험 증서들의 수의 증가로 인해, 제출된 클레임들의 수가 증가할 확률이 높다. 제출된 클레임들의 수를 단순히 모니터링하는 것은 제출된 클레임들의 수의 정상적인 증가와 관련하여 거짓 알람들을 생성할 수 있다. 또한, 제출된 클레임들의 수를 단순히 모니터링하는 것은 제출된 클레임들의 수에서의 비정상들의 보고의 누락을 유발할 수 있다. 예를 들어, 판매된 보험 증서들의 수가 급격히 감소하면서 제출된 클레임들의 수에서의 기회가 거의 없을 때, 제출된 클레임들의 수와 관련하여 비정상이 발생할 수 있다. 이 예에서, 모니터링된 제출된 클레임들의 수는 일정한 것으로 나타나므로, 제출된 클레임들의 수의 비정상이 검출되지 못할 수 있고, 보고되지 않을 것이다.
높은 레벨에서, 설명되는 접근법은 긴 단기 메모리(LSTM) 모델을 사용하는 시스템에서 다중 지시자 공동 모니터링을 자동으로 수행하는 방법을 제공한다. 입력을 위한 훈련 데이터가 다수의 지시자의 이력 데이터에 기초하여 준비되며, LSTM 모델을 훈련하는 데 사용된다. LSTM 모델은 훈련 데이터로부터의 다수의 지시자 간의 선형 관계 및 비선형 관계 모두를 학습할 수 있으므로, 훈련된 LSTM 모델은 다수의 지시자 간의 동조화 관계들을 적절하게 모델링할 수 있다. 훈련된 LSTM 모델에 기초하여 다수의 지시자가 동시에 모니터링될 수 있다. 그렇게 함으로써, 상이한 지시자들 사이의 잠재적인 동조화 비정상들이 검출될 수 있다. 또한, 단일 지시자 모니터링에 의해 유발되는 거짓 알람들 및 누락된 비정상들이 방지될 수 있으며, 따라서 시스템에서의 잠재적인 위험들 및 비정상들의 적시 발견을 제공할 수 있다.
도 1은 본 개시의 구현 예에 따른, 다수의 시스템 지시자를 모니터링하는 예를 도시하는 개략도(100)이다. 프레젠테이션의 명료화를 위해, 이하의 설명은 일반적으로 이 설명에서의 다른 도면들과 관련하여 도면(100)을 설명한다. 도면(100)은 지시자 라이브러리(102), 훈련 데이터(110), 다수의 지시자 시퀀스 데이터(112)의 구성, 테스팅 데이터(120) 및 긴 단기 메모리(LSTM) 모델(130)을 포함할 수 있다. 일부 구현 예들에서, 도면(100)은 개략도에 도시되지 않은 추가적인 또는 상이한 컴포넌트들(또는 이들 양자의 조합)을 포함할 수 있다. 일부 구현 예들에서, 컴포넌트들이 도면(100)으로부터 생략될 수도 있다.
도 1에 도시된 바와 같이, 모니터링될 필요가 있는 지시자들의 세트가 먼저 결정된다. 일부 구현 예들에서, 지시자들의 세트는 지시자 라이브러리(102)에 저장될 수 있다. 예를 들어, 지시자들의 세트는 지시자 A(104) 및 지시자 B(106)를 포함할 수 있다. 특정 예로서, 보험 업계에서, 지시자들의 세트는 판매된 보험 증서들의 수, 판매된 보험 증서들의 청구 금액, 제출된 클레임들의 수, 거절된 클레임들의 수 및 총 지불 금액 중 적어도 하나를 포함할 수 있다. 일부 예들에서, 지시자들의 세트 내의 각각의 지시자는 매시간, 매일 또는 다른 원하는 시간 간격들로 모니터링될 수 있다.
지시자들의 세트가 결정된 후에, 훈련 데이터(110)가 지시자들의 세트에 대해 획득될 수 있다. 예를 들어 그리고 일부 구현 예들에서, 훈련 데이터(110)는 (지난 365 일 내의 판매된 보험 증서들의 일별 수 또는 지난 24 시간 내의 판매된 보험 증서들의 시간별 수와 같은) 지시자들의 세트의 저장된 이력 데이터로부터 획득될 수 있다.
일부 구현 예들에서, 훈련 데이터(110)는 긴 단기 메모리(LSTM) 모델에 공급되기 전에 프로세싱될 수 있다. 즉, 훈련 데이터(110)는 LSTM 모델에 의해 판독 가능한 포맷으로 구성될 수 있다. 예를 들어, 다수의 지시자 시퀀스 데이터(112)가 다수의 지시자의 이력 데이터로부터 구성될 수 있다. 구성은 한 번에 하나의 지시자에 대해 수행될 수 있다. 일부 구현 예들에서, 지시자 A에 대한 시퀀스 데이터가 먼저 구성되고(114), 이어서 지시자 B에 대한 시퀀스 데이터가 구성된다(116). 그 다음, 각각의 지시자 시퀀스 데이터가 시간순으로 배열될 수 있다(118).
예를 들어, 지시자 x는 판매된 보험 증서들의 시간별 수를 나타내고, 지시자 z는 제출된 클레임들의 시간별 수를 나타낸다. 먼저, 지시자 x의 이력 데이터가 시간순으로
Figure 112019041390494-pct00001
으로 배열된다.
Figure 112019041390494-pct00002
는 이력 시간 i에서의 판매된 보험 증서들의 시간별 수의 지시자 데이터이다. 각각의 지시자 데이터
Figure 112019041390494-pct00003
에 대해,
Figure 112019041390494-pct00004
의 이전 기간 내의 이력 데이터가 획득되고, 시간순으로
Figure 112019041390494-pct00005
로 배열된다. t는 (예를 들어, 24 시간과 같은) 기간을 나타낸다.
Figure 112019041390494-pct00006
의 이전 기간을 충족시키기에 충분한 이력 데이터가 존재하지 않는 경우(예를 들어, 이력 데이터
Figure 112019041390494-pct00007
가 이용 가능하지 않은 경우), 예를 들어 숫자 0이 대신 사용될 수 있다. 이어서, 지시자 z의 이력 데이터가 시간순으로
Figure 112019041390494-pct00008
으로 배열된다.
Figure 112019041390494-pct00009
는 이력 시간 i에서의 판매된 보험 증서들의 시간별 수의 지시자 데이터이다. 각각의 지시자 데이터
Figure 112019041390494-pct00010
에 대해,
Figure 112019041390494-pct00011
의 이전 기간 내의 이력 데이터가 획득되고, 시간순으로
Figure 112019041390494-pct00012
로 배열된다. t는 (예를 들어, 24 시간과 같은) 기간을 나타낸다. 일부 구현 예들에서,
Figure 112019041390494-pct00013
의 이전 기간을 충족시키기에 충분한 이력 데이터가 존재하지 않는 경우(예를 들어, 이력 데이터
Figure 112019041390494-pct00014
가 이용 가능하지 않은 경우), 예를 들어 숫자 0 또는 소정의 다른 값이 대신 사용될 수 있다.
일부 구현 예들에서,
Figure 112019041390494-pct00015
및
Figure 112019041390494-pct00016
는 다음과 같이 행렬 i를 형성하도록 결합될 수 있다.
Figure 112019041390494-pct00017
지시자 x 및 지시자 z의 이력 데이터 내의 데이터의 수에 기초하여, 동일한 수의 행렬들이 구성될 수 있다. 예를 들어,
Figure 112019041390494-pct00018
의 이력 데이터 및 지시자 z의 이력 데이터 양자는 n 개의 시간별 데이터를 포함한다. 결과적으로, n 개의 행렬이 구성될 수 있다.
구성된 행렬들에 기초하여 LSTM 모델에 대한 훈련 데이터가 구성될 수 있다. 예를 들어, 각각의 구성된 행렬 i(즉, 수학식 1)에 대해,
Figure 112019041390494-pct00019
가 LSTM 모델에 대한 라벨 데이터세트 입력으로 사용될 수 있고,
Figure 112019041390494-pct00020
이 LSTM 모델에 대한 특징 데이터세트 입력으로 사용될 수 있다. 구성된 훈련 데이터는 LSTM 모델(130)을 훈련하는 데 사용될 수 있다(122).
LSTM 모델(130)이 훈련되면, 훈련된 LSTM 모델은 (지시자 라이브러리(102) 내의 모든 지시자들과 같은) 다수의 지시자를 공동으로 모니터링하는 데 사용될 수 있다. 일부 구현 예들에서, 먼저 지시자 라이브러리(102) 내의 지시자들의 세트에 대해 테스팅 데이터(120)가 획득될 수 있다. 예를 들어, (예를 들어, 현재 시간과 같은) j 번째 시간에 대한 지시자들의 세트를 모니터링하기 위해, (지난 24 시간과 같은) 이전 기간 t 내의 지시자들의 세트의 이력 데이터가 테스팅 데이터로서 획득될 수 있다. 획득된 테스팅 데이터는 j 번째 시간에서의 지시자들의 세트의 124 개의 값을 예측하기 위해 훈련된 LSTM 모델에 공급될 수 있다. 지시자들의 세트 내의 각각의 특정 지시자에 대해, (현재 수집된 실제 지시자 데이터와 같은) j 번째 시간에서의 특정 지시자의 실시간 값과 j 번째 시간에서의 특정 지시자의 예측 값(즉, LSTM 모델에 의해 예측된 값) 사이의 비교가 수행된다. 일부 예들에서, j 번째 시간에서의 특정 지시자의 실시간 값과 j 번째 시간에서의 특정 지시자의 예측 값 사이의 차이의 절대 값이 계산될 수 있다. 지시자들의 세트에 대한 계산된 절대 값들은 총 차이 수 l을 생성하도록 합산될 수 있다. 일부 예들에서, 총 차이 수 l은 미리 결정된 임계치 T(예를 들어, 100)와 비교될 수 있다. 일부 예들에서, 미리 결정된 임계치 T는 훈련 데이터로부터 결정될 수 있다. 예를 들어, 각각의 구성된 행렬 i에 대해, 총 차이 수 li가 계산될 수 있다. 미리 결정된 임계치 T는 li의 평균값의 10 배인 값으로 설정될 수 있다. 일부 구현 예들에서, l>T이면, 모니터링된 지시자들의 세트 내의 동조화 비정상들이 발생한 것으로 결정되며, 동조화 비정상들에 대한 알람이 생성될 수 있다. 일부 구현 예들에서, l≤T이면, 모니터링된 지시자들의 세트 내의 동조화 비정상이 발생하지 않은 것으로 결정되며, 동조화 비정상들에 대한 알람은 생성되지 않는다.
도 2는 본 개시의 구현 예에 따른, 다수의 시스템 지시자를 모니터링하기 위한 컴퓨터 구현 방법(200)의 예를 도시한 흐름도이다. 프레젠테이션의 명료화를 위해, 이하의 설명은 일반적으로 이 설명에서의 다른 도면들과 관련하여 방법(200)을 설명한다. 그러나, 방법(200)은 예를 들어 임의의 시스템, 환경, 소프트웨어 및 하드웨어, 또는 시스템들, 환경들, 소프트웨어 및 하드웨어의 조합에 의해 적절하게 수행될 수 있다는 것을 이해할 것이다. 일부 구현 예들에서, 방법(200)의 다양한 단계들은 병렬로, 조합하여, 루프들로 또는 임의의 순서로 실행될 수 있다. 일부 구현 예들에서, 방법(200)의 다양한 단계들은 자동으로, 수동으로 또는 자동 및 수동 양자의 조합으로 실행될 수 있다.
단계 205에서, 컴퓨팅 시스템에서 모니터링될 다수의 시스템 지시자가 결정된다. 일부 구현 예들에서, 다수의 시스템 지시자는 (시스템 관리자와 같은) 컴퓨터 시스템의 사용자에 의해 결정될 수 있다. 예를 들어, 보험 시스템에서 모니터링될 시스템 지시자들은 판매된 보험 증서들의 수, 판매된 보험 증서들의 청구 금액, 제출된 클레임들의 수, 거절된 클레임들의 수 및 총 지불 금액 중 적어도 하나를 포함할 수 있다. 일부 구현 예들에서, 다수의 시스템 지시자 중 제1 시스템 지시자는 다수의 시스템 지시자 중 하나 이상의 제2 시스템 지시자와 상관될 수 있다. 즉, 다수의 시스템 지시자 중 제1 시스템 지시자와 하나 이상의 제2 시스템 지시자 사이에는 동조화들이 존재한다. 예를 들어, (ALIBABA의 연례 "Double 11" Global Shopping Day 특별 행사와 같은) 일부 기간들 동안, 판매된 보험 증서들의 수의 증가는 제출된 클레임들의 수의 증가를 유발할 수 있다. 205로부터, 방법(200)은 210으로 진행한다.
단계 210에서, 다수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터가 획득된다. 일부 구현 예들에서, (예를 들어, 컴퓨터 시스템의 사용자에 의해) 이력 기간이 결정된다. 예를 들어, 이력 기간은 과거의 하루, 일주일, 한 달, 일 년 또는 다른 원하는 시간 간격들일 수 있다. 이력 데이터는 매시간, 매일 또는 다른 원하는 다른 시간 간격들로 저장할 수 있다. 다수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대해, 이력 기간 내의 특정 시스템 지시자의 이력 데이터가 수집된다. 또한, 이력 기간 내의 특정 시스템 지시자의 이력 데이터가 시간순으로 배열될 수 있다.
예를 들어, 이력 기간이 n 시간을 포함하고, 다수의 시스템 지시자가 제1 시스템 지시자 x 및 제2 시스템 지시자 y를 포함한다고 가정하면, 제1 시스템 지시자 x의 이력 데이터는 시간순으로
Figure 112019041390494-pct00021
으로 배열될 수 있고, 제2 시스템 지시자 y의 이력 데이터는 시간순으로
Figure 112019041390494-pct00022
으로 배열될 수 있다. 이력 기간 내의 각각의 특정 시간에 대해, 행렬 i가
Figure 112019041390494-pct00023
로서 구성될 수 있다. i는 이력 기간 내의 특정 시간이고, t는 (24 시간과 같은) 데이터 사이클이고,
Figure 112019041390494-pct00024
는 특정 시간 i에서의 제1 시스템 지시자 x의 이력 데이터이고,
Figure 112019041390494-pct00025
는 특정 시간 i에서의 제2 시스템 지시자 y의 이력 데이터이다. 일부 예들에서, 행렬 i를 충족시키기에 충분한 이력 데이터가 존재하지 않는 경우(예를 들어, 이력 데이터
Figure 112019041390494-pct00026
가 이용 가능하지 않은 경우), 예를 들어 숫자 0이 대신 사용될 수 있다. 이력 기간 내의 n 시간에 대해, n 개의 행렬이 구성될 수 있다. 결과적으로, 훈련 데이터는 n 개의 구성된 행렬로서 구성될 수 있다. 210으로부터, 방법(200)은 215로 진행한다.
215에서, LSTM 모델이 훈련 데이터를 사용하여 훈련된다. 일부 구현 예들에서, 훈련 데이터를 사용하여 LSTM 모델을 훈련하는 것은 LSTM 모델로의 행렬 i의 입력을 포함할 수 있는데, 라벨 데이터세트로서
Figure 112019041390494-pct00027
가 입력되고, 특징 데이터세트로서
Figure 112019041390494-pct00028
이 입력될 수 있다. LSTM 모델은 입력 훈련 데이터로부터의 다수의 시스템 지시자 사이의 선형 및 비선형 관계들을 학습할 수 있으므로, 훈련된 LSTM 모델은 다수의 시스템 지시자 간의 동조화 관계들을 적절하게 모델링할 수 있다. 215로부터, 방법(200)은 220으로 진행한다.
220에서, 훈련된 LSTM 모델에 기초하여 컴퓨팅 시스템에서 다수의 시스템 지시자가 모니터링된다. 예를 들어, 다수의 시스템 지시자의 테스팅 데이터가 획득될 수 있다. 테스팅 데이터는 (이전 기간에 수집된 실제 데이터와 같은) 이전 기간 내의 다수의 시스템 지시자의 이력 데이터일 수 있다. 일부 구현 예들에서, 이력 데이터가 매시간 저장되는 경우, 기간은 하루, 일주일, 한 달, 일 년 또는 다른 원하는 시간 간격들일 수 있다. 이력 데이터가 매일 저장되는 경우, 기간은 일주일, 한 달, 일 년 또는 다른 원하는 시간 간격들일 수 있다. 이전 기간 내의 다수의 시스템 지시자의 이력 데이터를 LSTM 모델에 입력하여 다수의 시스템 지시자의 예측 데이터를 획득할 수 있다. 일부 예들에서, 다수의 시스템 지시자의 실시간 데이터(예를 들어, 다수의 시스템 지시자의 현재 수집된 실제 지시자 데이터)를 다수의 시스템 지시자의 예측 데이터와 비교하여, 다수의 시스템 지시자 내의 동조화 비정상들이 발생했는지를 결정한다.
예를 들어, 다수의 시스템 지시자의 각각의 특정 시스템 지시자에 대해, 특정 시스템 지시자의 실시간 데이터와 특정 시스템 지시자의 예측 데이터 사이의 차이의 절대 값이 계산된다. 다수의 시스템 지시자에 대한 계산된 절대 값들을 합산하여 총 차이 값을 산출할 수 있다. 일부 구현 예들에서, 총 차이 값이 미리 결정된 임계치를 초과하는 경우, 다수의 시스템 지시자 내의 동조화 비정상들이 발생했다는 결정이 이루어진다. 일부 예들에서, 동조화 비정상들에 대한 알람이 생성될 수 있다. 일부 구현 예들에서, 총 차이 값이 미리 결정된 임계치를 초과하지 않는 경우, 다수의 시스템 지시자 내의 동조화 비정상들이 발생하지 않았다는 결정이 이루어진다. 일부 예들에서, 동조화 비정상들에 대한 알람이 생성되지 않는다.
일부 구현 예들에서, 하나 이상의 시스템 지시자가 다수의 시스템 지시자에 추가되어야 하는지 또는 그로부터 제거되어야 하는지에 대한 결정이 이루어질 수 있다. 하나 이상의 시스템 지시자가 다수의 시스템 지시자에 추가되거나 그로부터 제거되어야 한다고 결정되면, LSTM 모델은 업데이트된 다수의 시스템 지시자를 모니터링하는 데 사용되기 전에 재훈련되어야 한다. 예를 들어, 업데이트된 훈련 데이터는 (전술한 단계 210과 유사하게) 업데이트된 다수의 시스템 지시자의 이력 데이터에 기초하여 획득될 수 있다. LSTM 모델은 (전술한 단계 215와 유사하게) 업데이트된 훈련 데이터를 사용하여 재훈련될 수 있다. 일부 구현 예들에서, LSTM 모델을 재훈련하는 것은 컴퓨터 시스템의 사용자에 의해 명령될 수 있다. 일부 구현 예들에서, LSTM 모델은 주기적으로 재훈련될 수 있다. 220 후에, 방법(200)은 종료될 수 있다.
도 3은 본 개시의 구현 예에 따른, 설명된 알고리즘들, 방법들, 기능들, 프로세스들, 흐름들 및 절차들과 관련된 계산 기능들을 제공하는 데 사용되는 컴퓨터 구현 시스템(300)의 예를 도시하는 블록도이다. 도시된 구현 예에서, 시스템(300)은 컴퓨터(302) 및 네트워크(330)를 포함한다.
도시된 컴퓨터(302)는 서버, 데스크탑 컴퓨터, 랩탑/노트북 컴퓨터, 무선 데이터 포트, 스마트 폰, 개인 휴대 단말기(PDA), 태블릿 컴퓨터, 이들 디바이스 내의 하나 이상의 프로세서, 다른 컴퓨팅 디바이스, 또는 컴퓨팅 디바이스의 물리 또는 가상 인스턴스들을 포함하는 컴퓨팅 디바이스들의 조합, 또는 컴퓨팅 디바이스의 물리 또는 가상 인스턴스들의 조합과 같은 임의의 컴퓨팅 디바이스를 포함하도록 의도된다. 또한, 컴퓨터(302)는 키패드, 키보드, 터치 스크린, 다른 입력 디바이스, 또는 사용자 정보를 수신할 수 있는 입력 디바이스들의 조합과 같은 입력 디바이스, 및 그래픽 타입 사용자 인터페이스(UI)(또는 GUI) 또는 다른 UI 상에서 디지털 데이터, 비주얼, 오디오, 다른 타입의 정보, 또는 정보의 타입들의 조합을 포함하는, 컴퓨터(302)의 동작과 관련된 정보를 전달하는 출력 디바이스를 포함할 수 있다.
컴퓨터(302)는 분산 컴퓨팅 시스템에서의 클라이언트, 네트워크 컴포넌트, 서버, 데이터베이스 또는 다른 지속성(persistency)으로서의 역할, 다른 역할, 또는 본 개시에서 설명된 주제를 수행하기 위한 역할들의 조합을 할 수 있다. 도시된 컴퓨터(302)는 네트워크(330)와 통신 가능하게 결합된다. 일부 구현 예들에서, 컴퓨터(302)의 하나 이상의 컴포넌트는 클라우드 컴퓨팅 기반, 로컬, 글로벌, 다른 환경 또는 환경들의 조합을 포함하는 환경 내에서 동작하도록 구성될 수 있다.
높은 레벨에서, 컴퓨터(302)는 설명된 주제와 관련된 데이터 및 정보를 수신, 송신, 프로세싱, 저장 또는 관리하도록 동작 가능한 전자 컴퓨팅 디바이스이다. 일부 구현 예들에 따르면, 컴퓨터(302)는 또한 애플리케이션 서버, 이메일 서버, 웹 서버, 캐싱 서버, 스트리밍 데이터 서버, 다른 서버 또는 서버들의 조합을 포함하는 서버를 포함하거나 또는 그와 통신 가능하게 결합될 수 있다.
컴퓨터(302)는 (예를 들어, 다른 컴퓨터(302) 상에서 실행되는 클라이언트 소프트웨어 애플리케이션으로부터) 네트워크(330)를 통해 요청들을 수신하고, 소프트웨어 애플리케이션 또는 소프트웨어 애플리케이션들의 조합을 사용하여 수신된 요청들을 프로세싱함으로써 수신된 요청들에 응답할 수 있다. 또한, 요청들은 내부 사용자들로부터(예를 들어, 커맨드 콘솔로부터 또는 다른 내부 액세스 방법에 의해), 외부 또는 제3 자들, 또는 다른 엔티티들, 개인들, 시스템들 또는 컴퓨터들로부터 컴퓨터(302)로 송신될 수 있다.
컴퓨터(302)의 컴포넌트들 각각은 시스템 버스(303)를 사용하여 통신할 수 있다. 일부 구현 예들에서, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 포함하는 컴퓨터(302)의 컴포넌트들의 임의의 또는 모든 컴포넌트는 애플리케이션 프로그래밍 인터페이스(API)(312), 서비스 계층(313), 또는 API(312)와 서비스 계층(313)의 조합을 사용하여 시스템 버스(303)를 통해 인터페이스할 수 있다. API(312)는 루틴들, 데이터 구조들 및 객체 클래스들에 대한 사양들을 포함할 수 있다. API(312)는 컴퓨터 언어 독립형 또는 의존형일 수 있으며, 완전한 인터페이스, 단일 기능 또는 심지어는 API들의 세트를 지칭할 수 있다. 서비스 계층(313)은 컴퓨터(302) 또는 컴퓨터(302)에 통신 가능하게 결합된 다른 컴포넌트들(도시되어 있는지의 여부에 관계없음)에 소프트웨어 서비스들을 제공한다. 컴퓨터(302)의 기능은 서비스 계층(313)을 사용하여 모든 서비스 소비자들에 대해 액세스 가능할 수 있다. 서비스 계층(313)에 의해 제공되는 것들과 같은 소프트웨어 서비스들은 정의된 인터페이스를 통해 재사용 가능한 정의된 기능들을 제공한다. 예를 들어, 인터페이스는 JAVA, C++, 다른 컴퓨팅 언어, 또는 확장형 마크업 언어(XML) 포맷, 다른 포맷 또는 포맷들의 조합으로 데이터를 제공하는 컴퓨팅 언어들의 조합으로 작성된 소프트웨어일 수 있다. 컴퓨터(302)의 통합 컴포넌트로서 도시되지만, 대안 구현 예들은 컴퓨터(302)의 다른 컴포넌트들 또는 컴퓨터(302)에 통신 가능하게 결합된 다른 컴포넌트들(도시되어 있는지의 여부에 관계없음)과 관련된 독립형 컴포넌트들로서 API(312) 또는 서비스 계층(313)을 도시할 수 있다. 또한, API(312) 또는 서비스 계층(313)의 임의의 또는 모든 부분들은 본 개시의 범위를 벗어나지 않고 다른 소프트웨어 모듈, 기업 애플리케이션 또는 하드웨어 모듈의 자식 또는 서브모듈로서 구현될 수 있다.
컴퓨터(302)는 인터페이스(304)를 포함한다. 단일 인터페이스(304)로서 도시되지만, 컴퓨터(302)의 특정 요구들, 요망들 또는 특정 구현 예들에 따라 둘 이상의 인터페이스(304)가 사용될 수 있다. 인터페이스(304)는 분산 환경에서 네트워크(330)에 통신 가능하게 링크된 다른 컴퓨팅 시스템(도시되어 있는지의 여부에 관계없음)과 통신하기 위해 컴퓨터(302)에 의해 사용된다. 일반적으로, 인터페이스(304)는 네트워크(330)와 통신하도록 동작 가능하고, 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 인코딩된 논리를 포함한다. 보다 구체적으로, 인터페이스(304)는 네트워크(330) 또는 인터페이스(304)의 하드웨어가 도시된 컴퓨터(302)의 내부 및 외부에서 물리적 신호들을 통신하도록 동작 가능하도록 통신들과 관련된 하나 이상의 통신 프로토콜을 지원하는 소프트웨어를 포함할 수 있다.
컴퓨터(302)는 프로세서(305)를 포함한다. 단일 프로세서(305)로서 도시되지만, 컴퓨터(302)의 특정 요구들, 요망들 또는 특정 구현 예들에 따라 둘 이상의 프로세서(305)가 사용될 수 있다. 일반적으로, 프로세서(305)는 명령어들을 실행하고, 컴퓨터(302)의 동작들 및 본 개시에서 설명된 바와 같은 임의의 알고리즘들, 방법들, 기능들, 프로세스들, 흐름들 및 절차들을 수행하도록 데이터를 조작한다.
컴퓨터(302)는 또한 컴퓨터(302), 네트워크(330)에 통신 가능하게 링크된 다른 컴포넌트(도시되어 있는지의 여부에 관계없음), 또는 컴퓨터(302)와 다른 컴포넌트의 조합에 대한 데이터를 보유할 수 있는 데이터베이스(306)를 포함한다. 예를 들어, 데이터베이스(306)는 본 개시에 따른 데이터를 저장하는 인-메모리, 전통적인 또는 다른 타입의 데이터베이스일 수 있다. 일부 구현 예들에서, 데이터베이스(306)는 컴퓨터(302)의 특정 요구들, 요망들 또는 특정 구현 예들 및 설명된 기능에 따라 둘 이상의 상이한 데이터베이스 타입(예를 들어, 하이브리드 인-메모리 및 전통적인 데이터베이스)의 조합일 수 있다. 단일 데이터베이스(306)로서 도시되지만, 컴퓨터(302)의 특정 요구들, 요망들 또는 특정 구현 예들 및 설명된 기능에 따라 유사하거나 상이한 타입들의 둘 이상의 데이터베이스가 사용될 수 있다. 데이터베이스(306)는 컴퓨터(302)의 통합 컴포넌트로서 도시되지만, 대안 구현 예들에서 데이터베이스(306)는 컴퓨터(302) 외부에 있을 수 있다. 도시된 바와 같이, 데이터베이스(306)는 예를 들어 전술한 이력 데이터(316) 및 훈련 데이터(318)를 보유한다.
컴퓨터(302)는 또한 컴퓨터(302), 네트워크(330)에 통신 가능하게 링크된 다른 컴포넌트 또는 컴포넌트들(도시되어 있는지의 여부에 관계없음), 또는 컴퓨터(302)와 다른 컴포넌트의 조합에 대한 데이터를 보유할 수 있는 메모리(307)를 포함한다. 메모리(307)는 본 개시에 따른 임의의 데이터를 저장할 수 있다. 일부 구현 예들에서, 메모리(307)는 컴퓨터(302)의 특정 요구들, 요망들 또는 특정 구현 예들 및 설명된 기능에 따라 둘 이상의 상이한 타입의 메모리의 조합(예를 들어, 반도체 및 자기 저장소의 조합)일 수 있다. 단일 메모리(307)로서 도시되지만, 컴퓨터(302)의 특정 요구들, 요망들 또는 특정 구현 예들 및 설명된 기능에 따라 둘 이상의 메모리(307) 또는 유사하거나 상이한 타입들이 사용될 수 있다. 메모리(307)가 컴퓨터(302)의 통합 컴포넌트로서 도시되지만, 대안 구현 예들에서, 메모리(307)는 컴퓨터(302) 외부에 있을 수 있다.
애플리케이션(308)은 특히 본 개시에 설명된 기능과 관련하여 컴퓨터(302)의 특정 요구들, 요망들 또는 특정 구현 예들에 따른 기능을 제공하는 알고리즘 소프트웨어 엔진이다. 예를 들어, 애플리케이션(308)은 하나 이상의 컴포넌트, 모듈 또는 애플리케이션의 역할을 할 수 있다. 또한, 단일 애플리케이션(308)으로 도시되지만, 애플리케이션(308)은 컴퓨터(302) 상의 다수의 애플리케이션(308)으로서 구현될 수 있다. 또한, 컴퓨터(302)에 통합된 것으로 도시되지만, 대안 구현 예들에서 애플리케이션(308)은 컴퓨터(302) 외부에 있을 수 있다.
컴퓨터(302)는 또한 전력 공급기(314)를 포함할 수 있다. 전력 공급기(314)는 사용자가 교체할 수 있도록 또는 사용자가 교체할 수 없도록 구성될 수 있는 재충전 가능 또는 재충전 불가능 배터리를 포함할 수 있다. 일부 구현 예들에서, 전력 공급기(314)는 전력 변환 또는 관리 회로들(재충전, 대기 또는 다른 전력 관리 기능을 포함함)을 포함할 수 있다. 일부 구현 예들에서, 전력 공급기(314)는 예를 들어 컴퓨터(302)에 전력을 공급하거나 재충전 가능 배터리를 재충전하기 위해 컴퓨터(302)가 벽 소켓 또는 다른 전원에 플러깅될 수 있게 하는 전력 플러그를 포함할 수 있다.
또한, 임의 수의 컴퓨터(302)가 컴퓨터(302)를 포함하는 컴퓨터 시스템과 관련되거나 그 외부에 있을 수 있고, 각각의 컴퓨터(302)는 네트워크(330)를 통해 통신할 수 있다. 또한, 용어 "클라이언트", "사용자" 또는 다른 적절한 용어는 본 개시의 범위를 벗어나지 않고 적절하게 교환 가능하게 사용될 수 있다. 또한, 본 개시는 많은 사용자가 하나의 컴퓨터(302)를 사용할 수 있거나 하나의 사용자가 다수의 컴퓨터(302)를 사용할 수 있는 것을 고려한다.
설명된 주제의 구현 예들은 하나 이상의 특징을 단독으로 또는 조합하여 포함할 수 있다.
예를 들어, 제1 구현 예에서, 컴퓨터 구현 방법은 컴퓨팅 시스템에서 모니터링될 복수의 시스템 지시자를 결정하는 단계; 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 단계; 훈련 데이터를 사용하여 긴 단기 메모리(LSTM) 모델을 훈련하는 단계; 및 LSTM 모델에 기초하여 컴퓨팅 시스템에서 복수의 시스템 지시자를 모니터링하는 단계를 포함한다.
전술한 구현 및 다른 설명된 구현은 각각 선택적으로 다음 특징들 중 하나 이상을 포함할 수 있다.
다음 특징들 중 임의의 것과 결합될 수 있는 제1 특징으로서, 복수의 시스템 지시자 중 제1 시스템 지시자가 복수의 시스템 지시자 중 하나 이상의 제2 시스템 지시자와 상관된다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제2 특징으로서, 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 단계는 이력 기간을 결정하는 단계; 및 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대하여, 이력 기간 내의 특정 시스템 지시자의 이력 데이터를 수집하는 단계; 및 이력 기간 내의 특정 시스템 지시자의 이력 데이터를 시간순으로 배열하는 단계를 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제3 특징으로서, 이력 기간은 n 개의 미리 결정된 시간 간격을 포함하고, 복수의 시스템 지시자는 제1 시스템 지시자 x 및 제2 시스템 지시자 y를 포함하고, 방법은 이력 기간 내의 각각의 특정한 미리 결정된 시간 간격에 대해, 행렬 i
Figure 112019041390494-pct00029
를 구성하는 단계 - i는 이력 기간 내의 특정한 미리 결정된 시간 간격이고, t는 데이터 사이클이고,
Figure 112019041390494-pct00030
는 특정한 미리 결정된 시간 간격 i에서의 제1 시스템 지시자 x의 이력 데이터이고,
Figure 112019041390494-pct00031
는 특정한 미리 결정된 시간 간격 i에서의 제2 시스템 지시자 y의 이력 데이터임 -; 및 n 개의 구성된 행렬을 사용하여 훈련 데이터를 구성하는 단계를 더 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제4 특징으로서, 훈련 데이터를 사용하여 LSTM 모델을 훈련하는 단계는 LSTM 모델로의 행렬 i의 입력을 포함하며, 라벨 데이터세트로서
Figure 112019041390494-pct00032
가 입력되고, 특징 데이터세트로서
Figure 112019041390494-pct00033
이 입력된다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제5 특징으로서, LSTM 모델에 기초하여 컴퓨팅 시스템에서 복수의 시스템 지시자를 모니터링하는 단계는 복수의 시스템 지시자의 실시간 데이터를 획득하는 단계; 이전 기간 내의 복수의 시스템 지시자의 이력 데이터를 획득하는 단계; 이전 기간 내의 복수의 시스템 지시자의 이력 데이터를 LSTM 모델에 입력하여, 복수의 시스템 지시자의 예측 데이터를 획득하는 단계; 및 복수의 시스템 지시자의 실시간 데이터를 복수의 시스템 지시자의 예측 데이터와 비교하는 단계를 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제6 특징으로서, 복수의 시스템 지시자의 실시간 데이터를 복수의 시스템 지시자의 예측 데이터와 비교하는 단계는 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대해, 특정 시스템 지시자의 실시간 데이터와 특정 시스템 지시자의 예측 데이터 사이의 차이의 절대 값을 계산하는 단계; 복수의 시스템 지시자에 대한 계산된 절대 값들을 합산하는 단계; 및 합산된 절대 값들이 미리 결정된 임계치를 초과하는 경우에 비정상을 결정하는 단계를 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제7 특징으로서, 하나 이상의 시스템 지시자가 복수의 시스템 지시자에 추가되거나 그로부터 제거되어야 한다고 결정하는 단계; 업데이트된 복수의 시스템 지시자의 이력 데이터에 기초하여 업데이트된 훈련 데이터를 획득하는 단계; 및 업데이트된 훈련 데이터를 사용하여 LSTM 모델을 재훈련하는 단계를 더 포함한다.
제2 구현 예에서, 비일시적 컴퓨터 판독 가능 매체는 컴퓨팅 시스템에서 모니터링될 복수의 시스템 지시자를 결정하는 동작; 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 동작; 훈련 데이터를 사용하여 긴 단기 메모리(LSTM) 모델을 훈련하는 동작; 및 LSTM 모델에 기초하여 컴퓨팅 시스템에서 복수의 시스템 지시자를 모니터링하는 동작을 포함하는 동작들을 수행하기 위해 컴퓨터 시스템에 의해 실행 가능한 하나 이상의 명령어를 저장한다.
전술한 구현 및 다른 설명된 구현은 각각 선택적으로 다음 특징들 중 하나 이상을 포함할 수 있다.
다음 특징들 중 임의의 것과 결합될 수 있는 제1 특징으로서, 복수의 시스템 지시자 중 제1 시스템 지시자가 복수의 시스템 지시자 중 하나 이상의 제2 시스템 지시자와 상관된다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제2 특징으로서, 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 동작은 이력 기간을 결정하는 동작; 및 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대하여, 이력 기간 내의 특정 시스템 지시자의 이력 데이터를 수집하는 동작; 및 이력 기간 내의 특정 시스템 지시자의 이력 데이터를 시간순으로 배열하는 동작을 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제3 특징으로서, 이력 기간은 n 개의 미리 결정된 시간 간격을 포함하고, 복수의 시스템 지시자는 제1 시스템 지시자 x 및 제2 시스템 지시자 y를 포함하고, 동작들은 이력 기간 내의 각각의 특정한 미리 결정된 시간 간격에 대해, 행렬 i
Figure 112019041390494-pct00034
를 구성하는 동작 - i는 이력 기간 내의 특정한 미리 결정된 시간 간격이고, t는 데이터 사이클이고,
Figure 112019041390494-pct00035
는 특정한 미리 결정된 시간 간격 i에서의 제1 시스템 지시자 x의 이력 데이터이고,
Figure 112019041390494-pct00036
는 특정한 미리 결정된 시간 간격 i에서의 제2 시스템 지시자 y의 이력 데이터임 -; 및 n 개의 구성된 행렬을 사용하여 훈련 데이터를 구성하는 동작을 더 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제4 특징으로서, 훈련 데이터를 사용하여 LSTM 모델을 훈련하는 동작은 LSTM 모델로의 행렬 i의 입력을 포함하며, 라벨 데이터세트로서
Figure 112019041390494-pct00037
가 입력되고, 특징 데이터세트로서
Figure 112019041390494-pct00038
이 입력된다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제5 특징으로서, LSTM 모델에 기초하여 컴퓨팅 시스템에서 복수의 시스템 지시자를 모니터링하는 동작은 복수의 시스템 지시자의 실시간 데이터를 획득하는 동작; 이전 기간 내의 복수의 시스템 지시자의 이력 데이터를 획득하는 동작; 이전 기간 내의 복수의 시스템 지시자의 이력 데이터를 LSTM 모델에 입력하여, 복수의 시스템 지시자의 예측 데이터를 획득하는 동작; 및 복수의 시스템 지시자의 실시간 데이터를 복수의 시스템 지시자의 예측 데이터와 비교하는 동작을 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제6 특징으로서, 복수의 시스템 지시자의 실시간 데이터를 복수의 시스템 지시자의 예측 데이터와 비교하는 동작은 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대해, 특정 시스템 지시자의 실시간 데이터와 특정 시스템 지시자의 예측 데이터 사이의 차이의 절대 값을 계산하는 동작; 복수의 시스템 지시자에 대한 계산된 절대 값들을 합산하는 동작; 및 합산된 절대 값들이 미리 결정된 임계치를 초과하는 경우에 비정상을 결정하는 동작을 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제7 특징으로서, 동작들은 하나 이상의 시스템 지시자가 복수의 시스템 지시자에 추가되거나 그로부터 제거되어야 한다고 결정하는 동작; 업데이트된 복수의 시스템 지시자의 이력 데이터에 기초하여 업데이트된 훈련 데이터를 획득하는 동작; 및 업데이트된 훈련 데이터를 사용하여 LSTM 모델을 재훈련하는 동작을 더 포함한다.
제3 구현 예에서, 컴퓨터 구현 시스템은 하나 이상의 컴퓨터; 및 하나 이상의 컴퓨터와 연동 가능하게 결합되고, 하나 이상의 컴퓨터에 의해 실행될 때, 컴퓨팅 시스템에서 모니터링될 복수의 시스템 지시자를 결정하는 동작; 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 동작; 훈련 데이터를 사용하여 긴 단기 메모리(LSTM) 모델을 훈련하는 동작; 및 LSTM 모델에 기초하여 컴퓨팅 시스템에서 복수의 시스템 지시자를 모니터링하는 동작을 포함하는 하나 이상의 동작을 수행하는 하나 이상의 명령어를 저장하는 유형적이고 비일시적인 기계 판독 가능 매체들을 갖는 하나 이상의 컴퓨터 메모리 디바이스를 포함한다.
전술한 구현 및 다른 설명된 구현은 각각 선택적으로 다음 특징들 중 하나 이상을 포함할 수 있다.
다음 특징들 중 임의의 것과 결합될 수 있는 제1 특징으로서, 복수의 시스템 지시자 중 제1 시스템 지시자가 복수의 시스템 지시자 중 하나 이상의 제2 시스템 지시자와 상관된다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제2 특징으로서, 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 동작은 이력 기간을 결정하는 동작; 및 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대하여, 이력 기간 내의 특정 시스템 지시자의 이력 데이터를 수집하는 동작; 및 이력 기간 내의 특정 시스템 지시자의 이력 데이터를 시간순으로 배열하는 동작을 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제3 특징으로서, 이력 기간은 n 개의 미리 결정된 시간 간격을 포함하고, 복수의 시스템 지시자는 제1 시스템 지시자 x 및 제2 시스템 지시자 y를 포함하고, 동작들은 이력 기간 내의 각각의 특정한 미리 결정된 시간 간격에 대해, 행렬 i
Figure 112019041390494-pct00039
를 구성하는 동작 - i는 이력 기간 내의 특정한 미리 결정된 시간 간격이고, t는 데이터 사이클이고,
Figure 112019041390494-pct00040
는 특정한 미리 결정된 시간 간격 i에서의 제1 시스템 지시자 x의 이력 데이터이고,
Figure 112019041390494-pct00041
는 특정한 미리 결정된 시간 간격 i에서의 제2 시스템 지시자 y의 이력 데이터임 -; 및 n 개의 구성된 행렬을 사용하여 훈련 데이터를 구성하는 동작을 더 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제4 특징으로서, 훈련 데이터를 사용하여 LSTM 모델을 훈련하는 동작은 LSTM 모델로의 행렬 i의 입력을 포함하며, 라벨 데이터세트로서
Figure 112019041390494-pct00042
가 입력되고, 특징 데이터세트로서
Figure 112019041390494-pct00043
이 입력된다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제5 특징으로서, LSTM 모델에 기초하여 컴퓨팅 시스템에서 복수의 시스템 지시자를 모니터링하는 동작은 복수의 시스템 지시자의 실시간 데이터를 획득하는 동작; 이전 기간 내의 복수의 시스템 지시자의 이력 데이터를 획득하는 동작; 이전 기간 내의 복수의 시스템 지시자의 이력 데이터를 LSTM 모델에 입력하여, 복수의 시스템 지시자의 예측 데이터를 획득하는 동작; 및 복수의 시스템 지시자의 실시간 데이터를 복수의 시스템 지시자의 예측 데이터와 비교하는 동작을 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제6 특징으로서, 복수의 시스템 지시자의 실시간 데이터를 복수의 시스템 지시자의 예측 데이터와 비교하는 동작은 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대해, 특정 시스템 지시자의 실시간 데이터와 특정 시스템 지시자의 예측 데이터 사이의 차이의 절대 값을 계산하는 동작; 복수의 시스템 지시자에 대한 계산된 절대 값들을 합산하는 동작; 및 합산된 절대 값들이 미리 결정된 임계치를 초과하는 경우에 비정상을 결정하는 동작을 포함한다.
이전 또는 다음 특징들 중 임의의 것과 결합될 수 있는 제7 특징으로서, 동작들은 하나 이상의 시스템 지시자가 복수의 시스템 지시자에 추가되거나 그로부터 제거되어야 한다고 결정하는 동작; 업데이트된 복수의 시스템 지시자의 이력 데이터에 기초하여 업데이트된 훈련 데이터를 획득하는 동작; 및 업데이트된 훈련 데이터를 사용하여 LSTM 모델을 재훈련하는 동작을 더 포함한다.
본 명세서에서 설명된 주제 및 기능적 동작들의 구현 예들은 디지털 전자 회로에서, 유형적으로 구현된 컴퓨터 소프트웨어 또는 펌웨어에서, 본 명세서에 개시된 구조들 및 기들의 구조적 균등물들을 포함하는 컴퓨터 하드웨어에서, 또는 이들 중 하나 이상의 것의 조합들에서 구현될 수 있다. 설명된 주제의 소프트웨어 구현 예들은 하나 이상의 컴퓨터 프로그램, 즉 컴퓨터 또는 컴퓨터 구현 시스템에 의한 실행을 위해 또는 그의 동작을 제어하기 위해 유형적이고 비일시적인 컴퓨터 판독 가능 매체 상에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 대안으로 또는 추가로, 프로그램 명령어들은 인위적으로 생성되는 전파 신호, 예를 들어 컴퓨터 또는 컴퓨터 구현 시스템에 의한 실행을 위해 수신기 장치로 송신할 정보를 인코딩하도록 생성되는, 기계에 의해 생성되는 전기, 광학 또는 전자기 신호 내에/상에 인코딩될 수 있다. 컴퓨터 저장 매체는 기계 판독 가능 저장 디바이스, 기계 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 컴퓨터 저장 매체들의 조합일 수 있다. 하나 이상의 컴퓨터를 구성한다는 것은 하나 이상의 컴퓨터에 하드웨어, 펌웨어 또는 소프트웨어(또는 하드웨어, 펌웨어 및 소프트웨어의 조합)를 설치하여 하나 이상의 컴퓨터가 소프트웨어를 실행할 때 특정 컴퓨팅 동작들을 수행하게 한다는 것을 의미한다.
용어 "실시간(real-time)", "실시간(real time)", "실시간(realtime)", "실제 (빠른) 시간(RFT)", "거의 실시간(NRT)", "준 실시간(quasi real-time)" 또는 (이 분야의 통상의 기술자에 의해 이해되는 바와 같은) 유사한 용어들은 액션 및 응답이 시간적으로 근접하여 개인이 액션 및 응답을 실질적으로 동시에 발생하는 것으로 인식한다는 것을 의미한다. 예를 들어, 데이터에 액세스하기 위한 개인의 액션에 이어지는 데이터의 표시에 대한 응답(또는 표시의 개시)의 시간 차이는 1 밀리초(ms) 미만, 1 초 미만 또는 5 초 미만일 수 있다. 요청된 데이터는 즉시 표시될(또는 표시가 개시될) 필요는 없지만, 설명된 컴퓨팅 시스템의 프로세싱 제한들 및 예를 들어 데이터를 수집하거나 정확하게 측정하거나 분석하거나 프로세싱하거나 저장하거나 송신하는 데 필요한 시간을 고려하여 어떠한 의도적인 지연도 없이 표시된다(또는 표시가 개시된다).
용어들 "데이터 프로세싱 장치", "컴퓨터" 또는 "전자 컴퓨터 디바이스"(또는 이 분야의 통상의 기술자가 이해하는 것과 동등한 용어)는 데이터 프로세싱 하드웨어를 지칭하며, 예를 들어 프로그래밍 가능 프로세서, 컴퓨터, 또는 다수의 프로세서 또는 컴퓨터를 포함하는, 데이터를 프로세싱하기 위한 모든 종류의 장치들, 디바이스들 및 기계들을 포함한다. 컴퓨터는 또한 특수 목적 논리 회로, 예를 들어 중앙 프로세싱 유닛(CPU), 필드 프로그래머블 게이트 어레이(FPGA) 또는 주문형 집적 회로(ASIC)일 수 있거나 이를 더 포함할 수 있다. 일부 구현 예들에서, 컴퓨터 또는 컴퓨터 구현 시스템 또는 특수 목적 논리 회로(또는 컴퓨터 또는 컴퓨터 구현 시스템 및 특수 목적 논리 회로의 조합)는 하드웨어 기반이거나 소프트웨어 기반일 수 있다(또는 하드웨어 및 소프트웨어 양자의 조합 기반일 수 있다). 컴퓨터는 선택적으로, 컴퓨터 프로그램들을 위한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 실행 환경들의 조합을 구성하는 코드를 포함할 수 있다. 본 개시는 소정 타입의 운영 체제, 예를 들어 리눅스, 유닉스, 윈도우, MAC OS, 안드로이드, IOS, 다른 운영 체제, 또는 운영 체제들의 조합을 갖는 컴퓨터 또는 컴퓨터 구현 시스템의 사용을 고려한다.
프로그램, 소프트웨어, 소프트웨어 애플리케이션, 유닛, 모듈, 소프트웨어 모듈, 스크립트, 코드 또는 다른 컴포넌트로 지칭되거나 그로서 설명될 수도 있는 컴퓨터 프로그램은 컴파일 또는 해석 언어들 또는 선언 또는 절차 언어들을 포함하는 임의 형태의 프로그래밍 언어로 작성될 수 있으며, 예를 들어 컴퓨팅 환경에서 사용하기 위한 독립형 프로그램, 모듈, 컴포넌트 또는 서브루틴을 포함하는 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 대응할 수 있지만 그럴 필요는 없다. 프로그램은 다른 프로그램들 또는 데이터, 예를 들어 마크업 언어 문서에 저장된 하나 이상의 스크립트를 보유하는 파일의 일부에, 해당 프로그램에 전용화된 단일 파일에, 또는 다수의 통합 파일, 예를 들어 하나 이상의 모듈, 서브프로그램 또는 코드 부분을 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 하나의 사이트에 위치하거나 다수의 사이트에 분산되고 통신 네트워크에 의해 상호접속되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.
다양한 도면들에 도시된 프로그램들의 부분들은 다양한 객체들, 방법들 또는 다른 프로세스들을 사용하여 설명된 특징들 및 기능을 구현하는 유닛들 또는 모듈들과 같은 개별 컴포넌트들로 도시될 수 있지만, 대신에 프로그램들은 다수의 서브 유닛, 서브모듈, 제3 자 서비스, 컴포넌트, 라이브러리 및 다른 컴포넌트를 적절히 포함할 수 있다. 이와 달리, 다양한 컴포넌트들의 특징들 및 기능은 적절하게 단일 컴포넌트들로 결합할 수 있다. 계산 결정들을 행하는 데 사용되는 임계치들은 정적으로, 동적으로 또는 정적 및 동적 양자로 결정될 수 있다.
설명된 방법들, 프로세스들 또는 논리 흐름들은 본 개시에 따른 기능의 하나 이상의 예를 나타내며, 본 개시를 설명된 또는 예시된 구현 예들로 한정하려는 것이 아니라, 설명된 원리들 및 특징들에 부합하는 가장 넓은 범위를 부여받는 것을 의도한다. 설명된 방법들, 프로세스들 또는 논리 흐름들은 입력 데이터에 작용하여 출력 데이터를 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍 가능 컴퓨터에 의해 수행될 수 있다. 방법들, 프로세스들 또는 논리 흐름들은 또한 특수 목적 논리 회로, 예를 들어 CPU, FPGA 또는 ASIC에 의해 수행될 수 있으며, 컴퓨터들은 또한 그것으로서 구현될 수 있다.
컴퓨터 프로그램의 실행을 위한 컴퓨터들은 범용 또는 특수 목적 마이크로프로세서들, 이들 양자 또는 다른 타입의 CPU에 기초할 수 있다. 일반적으로, CPU는 메모리로부터 명령어들 및 데이터를 수신하고, 메모리에 명령어들 및 데이터를 기입할 것이다. 컴퓨터의 본질적인 요소들은 명령어들을 수행하거나 실행하기 위한 CPU, 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어 자기, 광자기 디스크들 또는 광학 디스크들을 포함하거나, 그들에 동작 가능하게 결합되거나, 그들로부터 데이터를 수신하거나, 그들로 데이터를 송신하거나, 이들 양자를 수행할 것이다. 그러나, 컴퓨터는 그러한 디바이스들을 가질 필요는 없다. 또한, 컴퓨터는 다른 디바이스, 예를 들어 이동 전화, 개인 휴대 단말기(PDA), 이동 오디오 또는 비디오 플레이어, 게임 콘솔, 글로벌 포지셔닝 시스템(GPS) 수신기 또는 휴대용 메모리 저장 디바이스에 내장될 수 있다.
컴퓨터 프로그램 명령어들 및 데이터를 저장하기 위한 비일시적 컴퓨터 판독 가능 매체들은 예를 들어 반도체 메모리 디바이스들, 예를 들어 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 상변화 메모리(PRAM), 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 소거 및 프로그래밍 가능 판독 전용 메모리(EPROM), 전기적 소거 및 프로그래밍 가능 판독 전용 메모리(EEPROM) 및 플래시 메모리 디바이스들; 자기 디바이스들, 예를 들어 테이프, 카트리지들, 카세트들, 내부/이동식 디스크들; 광자기 디스크들; 및 광학 메모리 디바이스들, 예를 들어 디지털 다기능/비디오 디스크(DVD), 컴팩트 디스크(CD)-ROM, DVD+/-R, DVD-RAM, DVD-ROM, 고화질/밀도(HD)-DVD 및 블루레이/블루레이 디스크(BD) 및 다른 광학 메모리 기술들을 포함하는 모든 형태의 영구/비영구 또는 휘발성/비휘발성 메모리, 매체 및 메모리 디바이스들을 포함할 수 있다. 메모리는 캐시들, 클래스들, 프레임워크들, 애플리케이션들, 모듈들, 백업 데이터, 작업들, 웹 페이지들, 웹 페이지 템플릿들, 데이터 구조들, 데이터베이스 테이블들, 동적 정보, 또는 임의의 파라미터들, 변수들, 알고리즘들, 명령어들, 규칙들, 제약들 또는 기준들을 포함하는 다른 적절한 정보를 저장하는 저장소들을 포함하는 다양한 객체들 또는 데이터를 저장할 수 있다. 또한, 메모리는 로그들, 정책들, 보안 또는 액세스 데이터 또는 보고 파일들과 같은 다른 적절한 데이터를 포함할 수 있다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보완되거나 그 안에 통합될 수 있다.
사용자와의 상호 작용을 제공하기 위해, 본 명세서에서 설명된 주제의 구현 예들은 사용자에게 정보를 표시하기 위한 디스플레이 디바이스, 예를 들어 음극선관(CRT), 액정 디스플레이(LCD), 발광 다이오드(LED) 또는 플라즈마 모니터, 및 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스, 예를 들어 마우스, 트랙볼 또는 트랙 패드를 갖는 컴퓨터 상에서 구현될 수 있다. 입력은 또한 압력 감도를 갖는 태블릿 컴퓨터 표면, 용량 또는 전기 감지를 사용하는 멀티터치 스크린 또는 다른 타입의 터치 스크린과 같은 터치 스크린을 사용하여 컴퓨터에 제공될 수 있다. 다른 타입들의 디바이스들을 사용하여 사용자와 상호 작용할 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각, 청각, 촉각, 또는 피드백 타입들의 조합)일 수 있다. 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자에 의해 사용되는 클라이언트 컴퓨팅 디바이스로 문서들을 송신하거나 그로부터 문서들을 수신함으로써(예를 들어, 사용자의 이동 컴퓨팅 디바이스 상의 웹 브라우저로부터 수신된 요청들에 응답하여 웹 브라우저로 웹 페이지들을 송신함으로써) 사용자와 상호 작용할 수 있다.
용어 "그래픽 사용자 인터페이스" 또는 "GUI"는 하나 이상의 그래픽 사용자 인터페이스 및 특정 그래픽 사용자 인터페이스의 표시들 각각을 설명하기 위해 단수 또는 복수로 사용될 수 있다. 따라서, GUI는 정보를 프로세싱하고 정보 결과들을 사용자에게 효율적으로 제시하는 웹 브라우저, 터치 스크린 또는 커맨드 라인을 포함하지만 이에 한정되지 않는 임의의 그래픽 사용자 인터페이스를 나타낼 수 있다. 일반적으로, GUI는 상호작용 필드들, 풀다운 리스트들 및 버튼들과 같은 다수의 사용자 인터페이스(UI) 요소를 포함할 수 있고, 이들 중 일부 또는 전부는 웹 브라우저와 관련될 수 있다. 이들 및 다른 UI 요소들은 웹 브라우저의 기능과 관련되거나 웹 브라우저의 기능을 나타낼 수 있다.
본 명세서에서 설명된 주제의 구현 예들은 백엔드 컴포넌트, 예를 들어 데이터 서버를 포함하거나, 미들웨어 컴포넌트, 예를 들어 애플리케이션 서버를 포함하거나, 프론트엔드 컴포넌트, 예를 들어 사용자가 본 명세서에 설명된 주제의 구현 예와 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터를 포함하거나, 하나 이상의 그러한 백엔드, 미들웨어 또는 프론트엔드 컴포넌트의 임의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 유선 또는 무선 디지털 데이터 통신(또는 데이터 통신의 조합)의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크들의 예들은 근거리 네트워크(LAN), 라디오 액세스 네트워크(RAN), 도시 영역 네트워크(MAN), 광역 네트워크(WAN), WIMAX(Worldwide Interoperability for Microwave Access), 예를 들어 802.11 a/b/g/n 또는 802.20(또는 802.11x와 802.20의 조합 또는 본 개시에 따른 다른 프로토콜들)을 사용하는 무선 근거리 네트워크(WLAN), 인터넷의 전부 또는 일부, 다른 통신 네트워크, 또는 통신 네트워크들의 조합을 포함한다. 통신 네트워크는 예를 들어 인터넷 프로토콜(IP) 패킷들, 프레임 릴레이 프레임들, 비동기 송신 모드(ATM) 셀들, 음성, 비디오, 데이터 또는 네트워크 노드들 사이의 다른 정보와 통신할 수 있다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 떨어져 있으며, 통상적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
본 명세서는 많은 특정 구현 상세를 포함하지만, 이들은 임의의 발명 개념의 범위 또는 청구될 수 있는 것의 범위에 대한 제한들로서 해석되지 않아야 하며, 오히려 특정 발명 개념들의 특정 구현 예들에 고유할 수 있는 특징들의 설명들로서 해석되어야 한다. 개별 구현 예들과 관련하여 본 명세서에 설명된 소정 특징들은 또한 단일 구현 예에서 조합하여 구현될 수 있다. 이와 달리, 단일 구현 예와 관련하여 설명된 다양한 특징들은 또한 다수의 구현 예에서 개별적으로 또는 임의의 하위 조합으로 구현될 수 있다. 또한, 전술한 특징들은 소정의 조합들로 작용하는 것으로 설명되고 심지어는 처음에 그와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 예들에서 조합으로부터 제거될 수 있으며, 청구된 조합은 하위 조합 또는 하위 조합의 변형과 관련될 수 있다.
본 주제의 특정 구현 예들이 설명되었다. 설명된 구현 예들의 다른 구현들, 변경들 및 교환들은 이 분야의 기술자들에게 명백한 바와 같이 다음의 청구항들의 범위 내에 있다. 동작들이 도면들 또는 청구항들에서 특정 순서로 설명되지만, 이것은 바람직한 결과들을 달성하기 위해 그러한 동작들이 도시된 특정 순서로 또는 순차적으로 수행되거나 모든 도시된 동작들이 수행될 것을 요구하는 것으로 이해되지 않아야 한다(일부 동작들은 선택적인 것으로 간주될 수 있다). 소정 상황들에서는 멀티태스킹 또는 병렬 프로세싱(또는 멀티태스킹과 병렬 프로세싱의 조합)이 유리할 수 있고, 적절하다고 생각되는 대로 수행될 수 있다.
또한, 전술한 구현 예들에서의 다양한 시스템 모듈들 및 컴포넌트들의 분리 또는 통합은 모든 구현 예들에서 그러한 분리 또는 통합을 요구하는 것으로 이해되지 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품으로 패키킹될 수 있다는 것을 이해해야 한다.
따라서, 전술한 구현 예들은 본 개시를 정의하거나 제한하지 않는다. 본 개시의 사상 및 범위를 벗어나지 않으면서 다른 변화들, 대체들 및 변경들이 또한 가능하다.
또한, 임의의 청구된 구현 예는 적어도 컴퓨터 구현 방법; 컴퓨터 구현 방법을 수행하기 위한 컴퓨터 판독 가능 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 매체; 및 컴퓨터 구현 방법 또는 비일시적 컴퓨터 판독 가능 매체 상에 저장된 명령어들을 수행하도록 구성된 하드웨어 프로세서와 연동 가능하게 결합된 컴퓨터 메모리를 포함하는 컴퓨터 시스템에 적용 가능한 것으로 간주된다.

Claims (20)

  1. 컴퓨터 구현 방법으로서,
    컴퓨팅 시스템에서 모니터링될 복수의 시스템 지시자를 결정하는 단계;
    상기 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터(training data)를 획득하는 단계;
    상기 훈련 데이터를 사용하여 긴 단기 메모리(long short-term memory; LSTM) 모델을 훈련된 LSTM 모델로서 훈련하는 단계; 및
    상기 훈련된 LSTM 모델에 기초하여 상기 컴퓨팅 시스템에서 상기 복수의 시스템 지시자를 동시에 모니터링하는 단계
    를 포함하고,
    상기 훈련된 LSTM 모델에 기초하여 상기 컴퓨팅 시스템에서 상기 복수의 시스템 지시자를 동시에 모니터링하는 단계는,
    상기 복수의 시스템 지시자의 실시간 데이터를 획득하는 단계;
    이전 기간 내의 상기 복수의 시스템 지시자의 이력 데이터를 획득하는 단계;
    상기 이전 기간 내의 상기 복수의 시스템 지시자의 상기 이력 데이터를 상기 훈련된 LSTM 모델에 입력하는 단계;
    상기 이전 기간 내의 상기 복수의 시스템 지시자의 상기 이력 데이터의 입력에 기초하여, 상기 훈련된 LSTM 모델로부터 상기 복수의 시스템 지시자의 예측 데이터를 획득하는 단계; 및
    상기 복수의 시스템 지시자의 상기 실시간 데이터를 상기 복수의 시스템 지시자의 상기 예측 데이터와 비교하는 단계
    를 포함하는 것인, 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 복수의 시스템 지시자 중 제1 시스템 지시자가 상기 복수의 시스템 지시자 중 하나 이상의 제2 시스템 지시자와 상관되는 것인, 컴퓨터 구현 방법.
  3. 제1항에 있어서, 상기 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 단계는,
    이력 기간(historical time period)을 결정하는 단계; 및
    상기 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대하여,
    상기 이력 기간 내의 상기 특정 시스템 지시자의 이력 데이터를 수집하는 단계; 및
    상기 이력 기간 내의 상기 특정 시스템 지시자의 상기 이력 데이터를 시간순으로 배열하는 단계
    를 포함하는 것인, 컴퓨터 구현 방법.
  4. 제3항에 있어서, 상기 이력 기간은 n 개의 미리 결정된 시간 간격을 포함하고, 상기 복수의 시스템 지시자는 제1 시스템 지시자 x 및 제2 시스템 지시자 y를 포함하고, 상기 방법은,
    상기 이력 기간 내의 각각의 특정한 미리 결정된 시간 간격에 대해, 행렬 i
    Figure 112019041390494-pct00044
    를 구성하는 단계 - i는 상기 이력 기간 내의 상기 특정한 미리 결정된 시간 간격이고, t는 데이터 사이클이고,
    Figure 112019041390494-pct00045
    는 상기 특정한 미리 결정된 시간 간격 i에서의 상기 제1 시스템 지시자 x의 이력 데이터이고,
    Figure 112019041390494-pct00046
    는 상기 특정한 미리 결정된 시간 간격 i에서의 상기 제2 시스템 지시자 y의 이력 데이터임 -; 및
    상기 n 개의 구성된 행렬을 사용하여 상기 훈련 데이터를 구성하는 단계
    를 더 포함하는 것인, 컴퓨터 구현 방법.
  5. 제4항에 있어서, 상기 훈련 데이터를 사용하여 상기 LSTM 모델을 훈련하는 단계는 상기 LSTM 모델로의 상기 행렬 i의 입력을 포함하며, 라벨 데이터세트로서
    Figure 112019041390494-pct00047
    가 입력되고, 특징 데이터세트로서
    Figure 112019041390494-pct00048
    이 입력되는 것인, 컴퓨터 구현 방법.
  6. 삭제
  7. 제1항에 있어서, 상기 복수의 시스템 지시자의 상기 실시간 데이터를 상기 복수의 시스템 지시자의 상기 예측 데이터와 비교하는 단계는,
    상기 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대해, 상기 특정 시스템 지시자의 상기 실시간 데이터와 상기 특정 시스템 지시자의 상기 예측 데이터 사이의 차이의 절대 값을 계산하는 단계;
    상기 복수의 시스템 지시자에 대한 상기 계산된 절대 값들을 합산하는 단계; 및
    상기 합산된 절대 값들이 미리 결정된 임계치를 초과하는 경우에 비정상을 결정하는 단계
    를 포함하는 것인, 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    하나 이상의 시스템 지시자가 상기 복수의 시스템 지시자에 추가되거나 그로부터 제거되어야 한다고 결정하는 단계;
    업데이트된 복수의 시스템 지시자의 이력 데이터에 기초하여 업데이트된 훈련 데이터를 획득하는 단계; 및
    상기 업데이트된 훈련 데이터를 사용하여 상기 LSTM 모델을 재훈련하는 단계
    를 더 포함하는, 컴퓨터 구현 방법.
  9. 동작들을 수행하기 위해 컴퓨터 시스템에 의해 실행 가능한 하나 이상의 명령어를 저장하는 비일시적 컴퓨터 판독 가능 매체로서,
    상기 동작들은,
    컴퓨팅 시스템에서 모니터링될 복수의 시스템 지시자를 결정하는 동작;
    상기 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 동작;
    상기 훈련 데이터를 사용하여 긴 단기 메모리(LSTM) 모델을 훈련된 LSTM 모델로서 훈련하는 동작; 및
    상기 훈련된 LSTM 모델에 기초하여 상기 컴퓨팅 시스템에서 상기 복수의 시스템 지시자를 동시에 모니터링하는 동작
    를 포함하고,
    상기 훈련된 LSTM 모델에 기초하여 상기 컴퓨팅 시스템에서 상기 복수의 시스템 지시자를 동시에 모니터링하는 동작은,
    상기 복수의 시스템 지시자의 실시간 데이터를 획득하는 동작;
    이전 기간 내의 상기 복수의 시스템 지시자의 이력 데이터를 획득하는 동작;
    상기 이전 기간 내의 상기 복수의 시스템 지시자의 상기 이력 데이터를 상기 훈련된 LSTM 모델에 입력하는 동작;
    상기 이전 기간 내의 상기 복수의 시스템 지시자의 상기 이력 데이터의 입력에 기초하여, 상기 훈련된 LSTM 모델로부터 상기 복수의 시스템 지시자의 예측 데이터를 획득하는 동작; 및
    상기 복수의 시스템 지시자의 상기 실시간 데이터를 상기 복수의 시스템 지시자의 상기 예측 데이터와 비교하는 동작
    을 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  10. 제9항에 있어서, 상기 복수의 시스템 지시자 중 제1 시스템 지시자가 상기 복수의 시스템 지시자 중 하나 이상의 제2 시스템 지시자와 상관되는 것인, 비일시적 컴퓨터 판독 가능 매체.
  11. 제9항에 있어서, 상기 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 동작은,
    이력 기간을 결정하는 동작; 및
    상기 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대하여,
    상기 이력 기간 내의 상기 특정 시스템 지시자의 이력 데이터를 수집하는 동작; 및
    상기 이력 기간 내의 상기 특정 시스템 지시자의 상기 이력 데이터를 시간순으로 배열하는 동작
    을 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  12. 제11항에 있어서, 상기 이력 기간은 n 개의 미리 결정된 시간 간격을 포함하고, 상기 복수의 시스템 지시자는 제1 시스템 지시자 x 및 제2 시스템 지시자 y를 포함하고, 상기 동작들은,
    상기 이력 기간 내의 각각의 특정한 미리 결정된 시간 간격에 대해, 행렬 i
    Figure 112019041390494-pct00049
    를 구성하는 동작 - i는 상기 이력 기간 내의 상기 특정한 미리 결정된 시간 간격이고, t는 데이터 사이클이고,
    Figure 112019041390494-pct00050
    는 상기 특정한 미리 결정된 시간 간격 i에서의 상기 제1 시스템 지시자 x의 이력 데이터이고,
    Figure 112019041390494-pct00051
    는 상기 특정한 미리 결정된 시간 간격 i에서의 상기 제2 시스템 지시자 y의 이력 데이터임 -; 및
    상기 n 개의 구성된 행렬을 사용하여 상기 훈련 데이터를 구성하는 동작
    을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  13. 제12항에 있어서, 상기 훈련 데이터를 사용하여 상기 LSTM 모델을 훈련하는 동작은 상기 LSTM 모델로의 상기 행렬 i의 입력을 포함하며, 라벨 데이터세트로서
    Figure 112019041390494-pct00052
    가 입력되고, 특징 데이터세트로서
    Figure 112019041390494-pct00053
    이 입력되는 것인, 비일시적 컴퓨터 판독 가능 매체.
  14. 삭제
  15. 제9항에 있어서, 상기 복수의 시스템 지시자의 상기 실시간 데이터를 상기 복수의 시스템 지시자의 상기 예측 데이터와 비교하는 동작은,
    상기 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대해, 상기 특정 시스템 지시자의 상기 실시간 데이터와 상기 특정 시스템 지시자의 상기 예측 데이터 사이의 차이의 절대 값을 계산하는 동작;
    상기 복수의 시스템 지시자에 대한 상기 계산된 절대 값들을 합산하는 동작; 및
    상기 합산된 절대 값들이 미리 결정된 임계치를 초과하는 경우에 비정상을 결정하는 동작
    을 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  16. 제9항에 있어서,
    상기 동작들은,
    하나 이상의 시스템 지시자가 상기 복수의 시스템 지시자에 추가되거나 그로부터 제거되어야 한다고 결정하는 동작;
    업데이트된 복수의 시스템 지시자의 이력 데이터에 기초하여 업데이트된 훈련 데이터를 획득하는 동작; 및
    상기 업데이트된 훈련 데이터를 사용하여 상기 LSTM 모델을 재훈련하는 동작
    을 더 포함하는 것인, 비일시적 컴퓨터 판독 가능 매체.
  17. 컴퓨터 구현 시스템으로서,
    하나 이상의 컴퓨터; 및
    상기 하나 이상의 컴퓨터와 연동 가능하게 결합되고, 상기 하나 이상의 컴퓨터에 의해 실행될 때, 하나 이상의 동작을 수행하는 하나 이상의 명령어를 저장하는 유형적이고 비일시적인 기계 판독 가능 매체들을 갖는 하나 이상의 컴퓨터 메모리 디바이스
    를 포함하고,
    상기 하나 이상의 동작은,
    컴퓨팅 시스템에서 모니터링될 복수의 시스템 지시자를 결정하는 동작;
    상기 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 동작;
    상기 훈련 데이터를 사용하여 긴 단기 메모리(LSTM) 모델을 훈련된 LSTM 모델로서 훈련하는 동작; 및
    상기 훈련된 LSTM 모델에 기초하여 상기 컴퓨팅 시스템에서 상기 복수의 시스템 지시자를 동시에 모니터링하는 동작
    를 포함하고,
    상기 훈련된 LSTM 모델에 기초하여 상기 컴퓨팅 시스템에서 상기 복수의 시스템 지시자를 동시에 모니터링하는 동작은,
    상기 복수의 시스템 지시자의 실시간 데이터를 획득하는 동작;
    이전 기간 내의 상기 복수의 시스템 지시자의 이력 데이터를 획득하는 동작;
    상기 이전 기간 내의 상기 복수의 시스템 지시자의 상기 이력 데이터를 상기 훈련된 LSTM 모델에 입력하는 동작;
    상기 이전 기간 내의 상기 복수의 시스템 지시자의 상기 이력 데이터의 입력에 기초하여, 상기 훈련된 LSTM 모델로부터 상기 복수의 시스템 지시자의 예측 데이터를 획득하는 동작; 및
    상기 복수의 시스템 지시자의 상기 실시간 데이터를 상기 복수의 시스템 지시자의 상기 예측 데이터와 비교하는 동작
    을 포함하는 것인, 컴퓨터 구현 시스템.
  18. 제17항에 있어서, 상기 복수의 시스템 지시자 중 제1 시스템 지시자가 상기 복수의 시스템 지시자 중 하나 이상의 제2 시스템 지시자와 상관되는 것인, 컴퓨터 구현 시스템.
  19. 제17항에 있어서, 상기 복수의 시스템 지시자의 이력 데이터에 기초하여 훈련 데이터를 획득하는 동작은,
    이력 기간을 결정하는 동작; 및
    상기 복수의 시스템 지시자 중 각각의 특정 시스템 지시자에 대하여,
    상기 이력 기간 내의 상기 특정 시스템 지시자의 이력 데이터를 수집하는 동작; 및
    상기 이력 기간 내의 상기 특정 시스템 지시자의 상기 이력 데이터를 시간순으로 배열하는 동작
    을 포함하는 것인, 컴퓨터 구현 시스템.
  20. 제19항에 있어서, 상기 이력 기간은 n 개의 미리 결정된 시간 간격을 포함하고, 상기 복수의 시스템 지시자는 제1 시스템 지시자 x 및 제2 시스템 지시자 y를 포함하고, 상기 동작들은,
    상기 이력 기간 내의 각각의 특정한 미리 결정된 시간 간격에 대해, 행렬 i
    Figure 112019041390494-pct00054
    를 구성하는 동작 - i는 상기 이력 기간 내의 상기 특정한 미리 결정된 시간 간격이고, t는 데이터 사이클이고,
    Figure 112019041390494-pct00055
    는 상기 특정한 미리 결정된 시간 간격 i에서의 상기 제1 시스템 지시자 x의 이력 데이터이고,
    Figure 112019041390494-pct00056
    는 상기 특정한 미리 결정된 시간 간격 i에서의 상기 제2 시스템 지시자 y의 이력 데이터임 -; 및
    상기 n 개의 구성된 행렬을 사용하여 상기 훈련 데이터를 구성하는 동작
    을 더 포함하는 것인, 컴퓨터 구현 시스템.
KR1020197011591A 2018-11-02 2018-11-02 다수의 시스템 지시자의 모니터링 Active KR102150815B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/113591 WO2020087489A1 (en) 2018-11-02 2018-11-02 Monitoring multiple system indicators

Publications (2)

Publication Number Publication Date
KR20200052245A KR20200052245A (ko) 2020-05-14
KR102150815B1 true KR102150815B1 (ko) 2020-09-02

Family

ID=68472082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197011591A Active KR102150815B1 (ko) 2018-11-02 2018-11-02 다수의 시스템 지시자의 모니터링

Country Status (8)

Country Link
US (1) US11042461B2 (ko)
EP (1) EP3673412A4 (ko)
JP (1) JP2021508096A (ko)
KR (1) KR102150815B1 (ko)
CN (1) CN110462594B (ko)
PH (1) PH12019500895A1 (ko)
SG (1) SG11201903592RA (ko)
WO (1) WO2020087489A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190804A (zh) * 2019-12-28 2020-05-22 同济大学 一种云原生系统的多层次的深度学习日志故障检测方法
CN111767202A (zh) * 2020-07-08 2020-10-13 中国工商银行股份有限公司 异常检测方法、装置、电子设备和介质
CN113760637A (zh) * 2020-09-25 2021-12-07 天翼智慧家庭科技有限公司 用于针对阈值类监控数据确定阈值的方法和装置
US20220164744A1 (en) * 2020-11-20 2022-05-26 International Business Machines Corporation Demand forecasting of service requests volume
CN113726559B (zh) * 2021-08-09 2023-10-27 国网福建省电力有限公司 基于人工智能网络安全分析预警系统
US20230153658A1 (en) * 2021-11-12 2023-05-18 Shanghai United Imaging Intelligence Co., Ltd. Automatic generation of explanations for algorithm predictions
US12363564B2 (en) 2022-10-13 2025-07-15 T-Mobile Usa, Inc. Determining a cause of an issue associated with a wireless telecommunication network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637458B1 (ko) 2015-03-19 2016-07-08 주식회사 위엠비 데이터센터 통합 관제 방법 및 이를 실행하는 통합 관제 시스템, 컴퓨터 프로그램, 그 기록매체
JP2016173782A (ja) 2015-03-18 2016-09-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 故障予測システム、故障予測方法、故障予測装置、学習装置、故障予測プログラム及び学習プログラム
JP2016201088A (ja) * 2015-04-10 2016-12-01 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813944B1 (en) * 1999-08-12 2010-10-12 Fair Isaac Corporation Detection of insurance premium fraud or abuse using a predictive software system
US20020049625A1 (en) * 2000-09-11 2002-04-25 Srinivas Kilambi Artificial intelligence manufacturing and design
US7769667B2 (en) * 2004-09-10 2010-08-03 Chicago Mercantile Exchange Inc. System and method for activity based margining
US20110015948A1 (en) * 2009-07-20 2011-01-20 Jonathan Kaleb Adams Computer system for analyzing claims files to identify premium fraud
US11086970B2 (en) * 2013-03-13 2021-08-10 Blue Belt Technologies, Inc. Systems and methods for using generic anatomy models in surgical planning
US20160034812A1 (en) * 2014-07-31 2016-02-04 Qualcomm Incorporated Long short-term memory using a spiking neural network
US9865016B2 (en) * 2014-09-08 2018-01-09 Leeo, Inc. Constrained environmental monitoring based on data privileges
JP6567890B2 (ja) * 2015-06-19 2019-08-28 株式会社日立ハイテクノロジーズ 自動分析装置
US20160379309A1 (en) * 2015-06-24 2016-12-29 IGATE Global Solutions Ltd. Insurance Fraud Detection and Prevention System
KR101864860B1 (ko) * 2016-09-13 2018-06-05 오토시맨틱스 주식회사 딥러닝을 통한 자동차 상태 진단 방법
KR101948634B1 (ko) * 2016-11-15 2019-02-18 (주) 글루시스 스마트 컴퓨팅을 위한 시스템 자원의 장애 예측 방법
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US20180189647A1 (en) 2016-12-29 2018-07-05 Google, Inc. Machine-learned virtual sensor model for multiple sensors
CN106952181A (zh) * 2017-03-08 2017-07-14 深圳市景程信息科技有限公司 基于长短时记忆神经网络的电力负荷预测系统
US20180268489A1 (en) * 2017-03-17 2018-09-20 Service First Insurance Group LLC System and methods for risk management optimization
US11625569B2 (en) * 2017-03-23 2023-04-11 Chicago Mercantile Exchange Inc. Deep learning for credit controls
JP7017861B2 (ja) * 2017-03-23 2022-02-09 株式会社日立製作所 異常検知システムおよび異常検知方法
US10002322B1 (en) * 2017-04-06 2018-06-19 The Boston Consulting Group, Inc. Systems and methods for predicting transactions
CN107220648B (zh) * 2017-04-11 2018-06-22 平安科技（深圳）有限公司 理赔单据的字符识别方法及服务器
US10963790B2 (en) * 2017-04-28 2021-03-30 SparkCognition, Inc. Pre-processing for data-driven model creation
EP3444724B1 (en) * 2017-08-18 2023-12-20 Tata Consultancy Services Limited Method and system for health monitoring and fault signature identification
US10949742B2 (en) * 2017-09-18 2021-03-16 International Business Machines Corporation Anonymized time-series generation from recurrent neural networks
US11194692B2 (en) * 2017-09-22 2021-12-07 Nec Corporation Log-based system maintenance and management
US11423325B2 (en) * 2017-10-25 2022-08-23 International Business Machines Corporation Regression for metric dataset
JP2019080875A (ja) * 2017-10-31 2019-05-30 テルモ株式会社 治療方法
CN108062561B (zh) * 2017-12-05 2020-01-14 华南理工大学 一种基于长短时记忆网络模型的短时数据流预测方法
CN108073497B (zh) * 2018-01-29 2021-02-12 上海洞识信息科技有限公司 一种基于数据中心数据采集平台的多指标异动分析方法
CN108596229B (zh) * 2018-04-13 2021-09-10 北京华电智慧科技产业有限公司 在线异常的监测诊断方法和系统
US10931702B2 (en) * 2018-04-24 2021-02-23 Cyberfortress, Inc. Vulnerability profiling based on time series analysis of data streams
CN108564227B (zh) * 2018-04-26 2021-08-06 重庆大学 一种基于时空特征的轨道交通客流量预测方法
CN108564228A (zh) * 2018-04-26 2018-09-21 重庆大学 一种基于时序特征预测轨道交通od客流量的方法
US11521044B2 (en) * 2018-05-17 2022-12-06 International Business Machines Corporation Action detection by exploiting motion in receptive fields
US10832257B2 (en) * 2018-06-29 2020-11-10 Sachcontrol Gmbh Information security system for fraud detection
US20200111054A1 (en) * 2018-10-03 2020-04-09 International Business Machines Corporation Automated claims auditing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173782A (ja) 2015-03-18 2016-09-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 故障予測システム、故障予測方法、故障予測装置、学習装置、故障予測プログラム及び学習プログラム
KR101637458B1 (ko) 2015-03-19 2016-07-08 주식회사 위엠비 데이터센터 통합 관제 방법 및 이를 실행하는 통합 관제 시스템, 컴퓨터 프로그램, 그 기록매체
JP2016201088A (ja) * 2015-04-10 2016-12-01 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法

Also Published As

Publication number Publication date
EP3673412A1 (en) 2020-07-01
KR20200052245A (ko) 2020-05-14
CN110462594B (zh) 2023-11-14
US11042461B2 (en) 2021-06-22
WO2020087489A1 (en) 2020-05-07
CN110462594A (zh) 2019-11-15
EP3673412A4 (en) 2020-07-01
JP2021508096A (ja) 2021-02-25
SG11201903592RA (en) 2020-06-29
US20200142800A1 (en) 2020-05-07
PH12019500895A1 (en) 2019-11-25

Similar Documents

Publication Publication Date Title
KR102150815B1 (ko) 다수의 시스템 지시자의 모니터링
US10417528B2 (en) Analytic system for machine learning prediction model selection
EP3258426A1 (en) Automatic condition monitoring and anomaly detection for predictive maintenance
US10601850B2 (en) Identifying risky user behaviors in computer networks
US10673879B2 (en) Snapshot of a forensic investigation for enterprise threat detection
EP3745264B1 (en) Automated scaling of resources based on long short-term memory recurrent neural networks and attention mechanisms
US20190317488A1 (en) Predicting failures in electrical submersible pumps using pattern recognition
US11269717B2 (en) Issue-resolution automation
US10542016B2 (en) Location enrichment in enterprise threat detection
US20170192872A1 (en) Interactive detection of system anomalies
US20180027002A1 (en) Outlier detection in enterprise threat detection
US10891217B2 (en) Optimizing test coverage based on actual use
JP2019533851A (ja) 伝送及びリスク分析のためのサービスデータの集約
US20180101541A1 (en) Determining location information based on user characteristics
US10942980B2 (en) Real-time matching of users and applications
US20200394534A1 (en) Multi task oriented recommendation system for benchmark improvement
US11821302B2 (en) Automated downhole leak detection and prediction in water injection wells
US10599992B1 (en) Predicting reliability of product and part combinations using machine learning based on shared model
US11221938B2 (en) Real-time collaboration dynamic logging level control
CN113704058A (zh) 一种业务模型的监控方法、装置及电子设备
US10621232B2 (en) Importing data to a semantic graph
US20180137520A1 (en) Real time situation detection across systems
US20180060987A1 (en) Identification of abnormal behavior in human activity based on internet of things collected data
US20220164405A1 (en) Intelligent machine learning content selection platform
US20210248512A1 (en) Intelligent machine learning recommendation platform

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20190422

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200406

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200629

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200826

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200826

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230810

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240725

Start annual number: 5

End annual number: 5