KR102765412B1 - Mysterious symptom detection system using AI variable threshold - Google Patents
Mysterious symptom detection system using AI variable threshold Download PDFInfo
- Publication number
- KR102765412B1 KR102765412B1 KR1020210158850A KR20210158850A KR102765412B1 KR 102765412 B1 KR102765412 B1 KR 102765412B1 KR 1020210158850 A KR1020210158850 A KR 1020210158850A KR 20210158850 A KR20210158850 A KR 20210158850A KR 102765412 B1 KR102765412 B1 KR 102765412B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- detection
- learning
- individual
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
- G06K7/10237—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the reader and the record carrier being capable of selectively switching between reader and record carrier appearance, e.g. in near field communication [NFC] devices where the NFC device may function as an RFID reader or as an RFID tag
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/27—Individual registration on entry or exit involving the use of a pass with central registration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/28—Individual registration on entry or exit involving the use of a pass the pass enabling tracking or indicating presence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Molecular Biology (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Computer Security & Cryptography (AREA)
- Educational Administration (AREA)
- Computational Linguistics (AREA)
- Game Theory and Decision Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
AI 가변 임계치를 사용한 이상징후 탐지 시스템 및 방법이 개시된다. AI 가변 임계치를 사용한 이상징후 탐지 시스템은 보안 지역의 태그 출입증을 소지한 출입자의 출입 기록, 디지털 문서 보안실의 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링 데이터를 개인별로 데이터베이스에 누적 저장하여 시간대별/일자별/기간별 통계에 의해 개인별로 z-score, 평균, 표준 편차에 따라 정규분포화 한 후 개인별로 다른 AI 가변 임계치를 결정하며, 학습 데이터를 딥러닝 또는 머신러닝 학습 알고리즘을 사용하여 정상 패턴을 학습하고, 실시간으로 해당 탐지 데이터에 대하여 개인별로 다른 AI 가변 임계치를 적용하여 정상 패턴 데이터와 비정상적인 이상 패턴을 갖는 비정상적인 이상 패턴 데이터를 제공하는 보안 서버; 및 상기 보안 서버에 유무선 통신망을 통해 연결된 사용자 단말을 포함한다. An anomaly detection system and method using AI variable thresholds are disclosed. The anomaly detection system using AI variable thresholds includes a security server which accumulates and stores entry and exit records of entrants holding tag passes to a secure area, web access records (log records) of a digital document security room, and CPU status monitoring data of an individual PC in a database for each individual, and then determines different AI variable thresholds for each individual by normalizing the data according to z-score, mean, and standard deviation by statistics by time zone/day/period, and learns normal patterns using deep learning or machine learning algorithms for learning data, and applies different AI variable thresholds for each individual to the corresponding detection data in real time to provide normal pattern data and abnormal pattern data having an abnormal pattern; and a user terminal connected to the security server through a wired or wireless communication network.
Description
본 발명은 딥러닝 또는 머신러닝 학습 알고리즘을 사용하여 학습데이터의 정상 패턴을 학습하고 개인별 AI 가변 임계치를 사용하여 이상 패턴을 출력하는, AI 가변 임계치를 사용한 이상징후 탐지 시스템에 관한 것이다.The present invention relates to an anomaly detection system using AI variable thresholds, which learns normal patterns of learning data using a deep learning or machine learning learning algorithm and outputs abnormal patterns using individual AI variable thresholds.
최근, 회사의 보안 구역 Room에 설치된 태그 리더기로 인식된 태그 출입증의 출입 기록과, 사용자 단말(PC, 스마트폰, 태블릿 PC)로부터 유무선 통신망을 통해 접속된 디지털 문서 보안실의 웹 접속 기록은 보안관리 서버의 데이터베이스에 저장되며, 보안구역 Room의 출입 기록과 디지털 문서 보안실의 웹 접속 기록을 모니터링하여 비정상적인 정보 유출을 방지하기 위해 문서 보안이 필요하다. Recently, the access records of tag access cards recognized by tag readers installed in the company's security zone Room and the web access records of the digital document security room accessed through wired and wireless communication networks from user terminals (PCs, smartphones, tablet PCs) are stored in the database of the security management server, and document security is necessary to prevent abnormal information leakage by monitoring the access records of the security zone Room and the web access records of the digital document security room.
종래 문서보안 시스템은 클라이언트 단말기가 디지털 정보를 암호화할 때에 문서보안 서버에 의해 기 정의된 키 값에 의해 인증이 수행되며, 인증 수행 후 상기 클라이언트 단말기에 의해 작성된 디지털 정보가 외부 저장장치에 암호화되어 저장되고, 다시 이를 액세스할 때 복호화하여 디지털 정보를 열람하게 된다. In a conventional document security system, when a client terminal encrypts digital information, authentication is performed by a document security server using a predefined key value. After authentication, the digital information created by the client terminal is encrypted and stored in an external storage device, and when accessed again, it is decrypted to view the digital information.
예를 들면, 보안 구역 Room의 RFID 태그 리더기를 구비한 출입증의 13.56MHz RFID 태그를 사용한 출입자와 사용자 단말로부터 유무선 통신망을 통해 접속된 디지털 문서 보안실의 출입자는 예를들면, 보안 관리자(manager)는 10번 출입, 해당 직원들은 관련 업무에 따라 5회, 3회, 2회, 1회 출입하게 된다. 보안 구역 Room의 출입증의 태그를 사용한 출입자와 디지털 문서 보안실의 출입자의 출입 기록을 누적하여 개인별로 일별/주별/월별 통계를 산출하고, 출입 기록과 웹 접속 기록을 분석하여 체계적으로 관리하여 이상징후를 갖는 비정상 데이터를 관리하는 것이 필요하다. For example, an entrant using a 13.56MHz RFID tag on an access card equipped with an RFID tag reader in a secure area Room and an entrant to a digital document security room connected via a wired or wireless communication network from a user terminal would have, for example, a security manager enter 10 times, while the relevant employees enter 5, 3, 2, and 1 times, depending on their related tasks. It is necessary to accumulate the access records of entrants using the tags on the access cards of the secure area Room and entrants to the digital document security room, calculate daily/weekly/monthly statistics for each individual, analyze the access records and web access records, and systematically manage them to manage abnormal data that shows abnormal signs.
이와 관련된 선행기술1로써, 특허등록번호 10-0750697에서는 "사용자 액세스 기능을 갖는 공유스토리지가 구비된 디지털문서보안 시스템, 및 그 시스템을 이용한 문서 처리방법"이 등록되어 있다. As a related prior art1, patent registration number 10-0750697 is registered for “digital document security system equipped with shared storage having user access function, and document processing method using the system.”
컴퓨터에 의해 작업되는 디지털 정보가 비정상적으로 유출되는 것을 방지하도록 구성되는, 사용자 액세스 기능을 갖는 공유스토리지가 구비된 디지털 문서보안 시스템은 A digital document security system equipped with shared storage with user access functions, configured to prevent abnormal leakage of digital information processed by a computer.
적어도 하나 이상의 DRM 클라이언트 단말기중 어느 하나가 공유스토리지와 접속되어 그 공유저장매체에 디지털 정보를 암호화하여 저장하고 사용자 액세스제어기능에 따라 암호화된 디지털 정보를 복호화하여 편집기능을 행하도록 구성되며,At least one of the DRM client terminals is configured to connect to the shared storage, encrypt and store digital information in the shared storage medium, and decrypt the encrypted digital information according to the user access control function to perform an editing function.
상기 공유스토리지는; 상기 각각의 DRM 클라이언트 단말기가 접속하여 등록 인증을 행할 수 있도록 제공되는 물리적 시리얼 번호와, 상기 디지털 정보가 저장되는 저장부로 이루어지고,The above shared storage is composed of a physical serial number provided so that each DRM client terminal can access and perform registration authentication, and a storage unit where the digital information is stored.
상기 DRM 클라이언트 단말기는; 상기 공유스토리지가 갖는 물리적인 시리얼번호(Serial Number)를 입력하여 인증절차를 수행하며, 인증 절차 수행 후 상기 디지털 정보를 암호화 및 복호화하는 암호화부/복호화부와, 상기 공유스토리지와 연계되어 디지털 정보에 대한 편집 등의 권한 설정기능을 제공하는 애플리케이션 툴로 이루어지는 것을 특징으로 한다. The above DRM client terminal is characterized by comprising: an encryption/decryption unit that performs an authentication procedure by entering a physical serial number of the shared storage; an encryption unit that encrypts and decrypts the digital information after performing the authentication procedure; and an application tool that provides a function for setting permissions, such as editing, for digital information by being linked to the shared storage.
이와 관련된 선행기술2로써, 특허등록번호 10-2185190에서는 "머신러닝을 이용한 이상징후 탐지 방법 및 시스템"이 등록되어 있다. As a related prior art2, “Method and system for detecting abnormal symptoms using machine learning” is registered in patent registration number 10-2185190.
도 1은 종래의 머신 러닝을 이용한 이상 징후 탐지 시스템(100)을 예시적인 도면이다. Figure 1 is an exemplary drawing of an anomaly detection system (100) using conventional machine learning.
머신러닝을 이용한 이상 징후 탐지 시스템의 탐지 방법은,The detection method of the anomaly detection system using machine learning is,
머신 러닝을 이용하여 학습 데이터에 대한 예측치와 실측치 사이의 비용 변화들을 저장하는 단계;A step of storing the cost changes between the predicted values and the actual values for the training data using machine learning;
상기 저장된 비용 변화들 중에서 타겟의 비용 변화와 유사한 패턴을 갖는 이웃을 검색하는 단계; 및A step of searching for a neighbor having a similar pattern to the target's cost change among the stored cost changes; and
상기 검색된 이웃의 비용 변화와 상기 타겟의 비용 변화의 차이를 근거로 하여 상기 타겟의 정상/비정상을 판단하는 단계를 포함하고,Including a step of determining whether the target is normal or abnormal based on the difference between the cost change of the searched neighbor and the cost change of the target,
상기 비용 변화들을 저장하는 단계는The step of saving the above cost changes is
테스트 데이터에 상응하는 비용을 기반으로 정상과 비정상을 구분하는 상기 비용의 임계값을 결정하는 단계; 상기 임계값을 기반으로 상기 테스트 데이터의 정상/비정상을 판단하는 단계; 및 상기 테스트 데이터에서 상기 임계값보다 상기 비용이 크면서 정상 상황에 대하여 제 1 시간 동안 비용 변화를 저장하는 단계를 포함하며, 상기 비용은 상기 예측치와 실측치의 차이인 것을 특징으로 한다. A method for determining a threshold value of a cost for distinguishing between normal and abnormal conditions based on a cost corresponding to test data, comprising: a step of determining normality/abnormality of the test data based on the threshold value; and a step of storing a change in the cost for a first time period for a normal situation in which the cost is greater than the threshold value in the test data, wherein the cost is characterized in that the cost is a difference between the predicted value and the actual value.
또한, 머신러닝을 이용한 이상 징후 탐지 시스템은 Additionally, an anomaly detection system using machine learning
머신 러닝을 이용하여 테스트 데이터를 학습함으로써 학습 모델을 생성하는 학습기;A learner that creates a learning model by learning test data using machine learning;
상기 학습 모델에 따른 예측치와 실측치의 차이에 대응하는 비용에 대한 임계값을 근거로 하여 타겟에 대한 정상/비정상을 1차적으로 판단하는 예측 기준 판단기; 및A prediction criterion judgement unit that primarily judges normality/abnormality of a target based on a threshold value for the cost corresponding to the difference between the predicted value and the actual value according to the above learning model; and
상기 예측 기준 판단기의 상기 타겟에 대한 1차적인 판단 결과를 수신하고, 사전에 결정된 시간 동안 추출된 상기 타겟의 비용 변화와 이웃의 비용 변화의 차이를 계산하고, 상기 계산된 비용 변화 차이값과 비용 변화 차이 제한값을 비교함으로써 상기 타겟에 대한 정상/비정상을 2차적으로 판단하는 비용 변화 기준 판단기를 포함하고,A cost change criterion judgement unit is included that receives the primary judgment result of the above prediction criterion judgement unit for the target, calculates the difference between the cost change of the target extracted during a predetermined time period and the cost change of the neighbors, and compares the calculated cost change difference value with a cost change difference limit value to secondarily judge normality/abnormality of the target.
상기 테스트 데이터에서 상기 임계값보다 크고 정상 상황에 대해 제 1 시간 동안의 임계값-초과 비용 변화들이 저장되며,In the above test data, the threshold-exceeding cost changes for the first hour are stored for a normal situation and are greater than the threshold.
상기 임계값-초과 비용 변화들 사이의 차이를 계산하는 제 1 비용 변화 차이 함수가 결정되고,A first cost change difference function is determined that calculates the difference between the above threshold-exceeding cost changes,
상기 제 1 비용 변화 차이 함수를 이용하여 상기 임계값-초과 비용 변화들 사이의 차이에 대한 제 1 임계값이 결정된다. A first threshold for the difference between the above threshold-exceeding cost changes is determined using the above first cost change difference function.
최근, 보안(security)이 요구되는 회사는 임원, 부서/사원별로 출입 기록, 비밀 문서 포함된 회사의 문서 보안실의 보안, 및 컴퓨터의 CPU 상태를 모니터링을 하여 정상 패턴을 학습하여 비정상적인 이상 패턴을 추출하여 관리해야 한다. Recently, companies that require security must monitor the entry and exit records of executives, departments/employees, the security of the company's document security room containing confidential documents, and the status of the computer's CPU to learn normal patterns and extract and manage abnormal patterns.
그러나, 기존의 보안 시스템은 보안 구역의 문서 보안실의 태그 출입증을 소지한 출입자의 출입 기록, 디지털 문서 보안실의 웹 접속 기록, 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct), log 기록을 개인별로 보안 서버의 데이터베이스에 누적 저장하고, 시간대별/일자별/기간별 통계에 따라 개인별 가변 임계치(상한치, 하한치)에 따라 보안 서버가 출입 기록, 웹 접속 기록, 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct), log 기록을 포함하는 학습 데이터를 딥러닝 또는 머신 러닝 학습 알고리즘을 사용하여 정상 패턴을 학습하고, 실시간으로 해당 탐지 데이터에 대하여 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 적용하여 정상 데이터(5~95% 이내 정상)와 비정상적인 이상 패턴을 갖는 비정상 데이터(5% 이하, 95% 이상)를 분리 추출하여 표시하는 기능을 제공하지 않았다. However, the existing security system did not provide a function to accumulate and store the entry and exit records of entrants holding tag access cards to the document security room of the secure area, web access records of the digital document security room, CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct) of individual PCs, and log records in the database of the security server for each individual, and to have the security server learn normal patterns using deep learning or machine learning learning algorithms on learning data including entry and exit records, web access records, CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct) of individual PCs, and log records according to variable thresholds (upper limit, lower limit) for each individual based on statistics by time zone/date/period, and to separately extract and display normal data (normal within 5 to 95%) and abnormal data with abnormal patterns (less than 5%, more than 95%) by applying different AI variable thresholds (upper limit, lower limit) for each individual to the corresponding detection data in real time.
상기 문제점을 해결하기 위한 본 발명의 목적은 회사의 보안 구역 Room에 설치된 태그 리더기로 인식된 태그 출입증의 출입 기록과, 디지털 문서 보안실의 웹 접속 기록(log 기록), 모니터링 데이터를 보안 서버의 데이터베이스에 저장되며, 보안 서버는 (1) 보안 구역의 문서 보안실의 태그 출입증을 소지한 출입자의 출입 기록, 보안 서버의 디지털 문서 보안실의 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct)을 개인별로 보안 서버의 데이터베이스에 누적 저장하여 시간대별/일자별/기간별 통계에 따라 개인별 z-score, 평균, 표준편차를 갖는 정규분포화 한 후 개인별 임계치(상한치, 하한치)를 결정하며, 보안 서버가 출입 기록, 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct)을 포함하는 학습 데이터를 딥러닝 또는 머신 러닝 학습 알고리즘을 사용하여 정상 패턴을 학습하고, 실시간으로 해당 탐지 데이터에 대하여 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 적용하여 정상 패턴 데이터(정규 분포의 5~95% 이내 정상)와 비정상적인 이상 패턴을 갖는 비정상적인 이상 패턴 데이터(정규 분포의 5% 이하, 95% 이상)를 분리 추출하여 사용자 단말로 UI 화면에 표시하며, 로그(출력페이지수/업무시간, 출력페이지수/비업무시간)를 포함한 최종결과를 출력하고, (2) 개인별 AI 가변 임계치가 적용된 출입 기록/웹 접속 기록/개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct)/log 기록을 포함하는 학습 데이터와, 실시간으로 탐지 데이터 이미지를 보안 서버에 접속된 사용자 단말로 출력하며, 탐지 데이터 시각화, 비정상적인 이상 패턴을 갖는 데이터(5% 이하, 95% 이상)를 추출하여 화면에 표시하여 출력하는, AI 가변 임계치를 사용한 이상징후 탐지 시스템을 제공한다. The purpose of the present invention to solve the above problem is to store the entry and exit records of tag access cards recognized by a tag reader installed in a company's security zone Room, web access records (log records) of a digital document security room, and monitoring data in a database of a security server, and the security server (1) accumulates and stores the entry and exit records of entrants holding tag access cards in the document security room of the security zone, web access records (log records) of the digital document security room of the security server, and CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct) of individual PCs in the database of the security server for each individual, and determines thresholds (upper and lower limits) for each individual after normalizing the data with individual z-score, mean, and standard deviation according to statistics by time zone/day/period, and the security server learns normal patterns using a deep learning or machine learning algorithm on learning data including the entry and exit records, web access records (log records), and CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct) of individual PCs, and in real time. The present invention provides an anomaly detection system using AI variable thresholds, which applies different AI variable thresholds (upper limit, lower limit) to each individual's detection data to separate and extract normal pattern data (normal within 5 to 95% of normal distribution) and abnormal pattern data with abnormal patterns (5% or less, 95% or more of normal distribution), displays them on the UI screen of the user terminal, outputs the final result including logs (number of output pages/working hours, number of output pages/non-working hours), and (1) outputs learning data including access records/web access records/personal PC CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct)/log records to which individual AI variable thresholds are applied, and outputs detection data images in real time to user terminals connected to the security server, and visualizes the detection data, extracts data with abnormal patterns (5% or less, 95% or more), and displays them on the screen.
본 발명의 목적을 달성하기 위해, AI 가변 임계치를 사용한 이상징후 탐지 시스템은 보안 지역의 태그 출입증을 소지한 출입자의 출입 기록, 디지털 문서 보안실의 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링 데이터를 개인별로 데이터베이스에 누적 저장하여 시간대별/일자별/기간별 통계에 의해 개인별로 z-score, 평균, 표준 편차에 따라 정규분포화 한 후 개인별 AI 가변 임계치를 결정하며, 학습 데이터를 학습 알고리즘을 사용하여 정상 패턴을 학습하고, 실시간으로 해당 탐지 데이터에 대하여 개인별로 다른 AI 가변 임계치를 적용하여 정상 패턴 데이터와 비정상적인 이상 패턴을 갖는 비정상적인 이상 패턴 데이터를 제공하는 보안 서버; 및 상기 보안 서버에 유무선 통신망을 통해 연결된 사용자 단말을 포함한다. In order to achieve the purpose of the present invention, an abnormality detection system using an AI variable threshold includes: a security server which accumulates and stores in a database for each individual an entry/exit record of an entrant holding a tag access card to a secure area, a web access record (log record) of a digital document security room, and a CPU status monitoring data of an individual PC, and then determines an AI variable threshold for each individual by normally distributing the data according to z-score, mean, and standard deviation by statistics by time zone/date/period, and learns normal patterns by using a learning algorithm on learning data, and applies different AI variable thresholds by each individual to the corresponding detection data in real time to provide normal pattern data and abnormal abnormal pattern data having an abnormal abnormal pattern; and a user terminal connected to the security server through a wired or wireless communication network.
본 발명의 AI 가변 임계치를 사용한 이상징후 탐지 시스템은 회사의 보안 구역 Room에 설치된 RFID 태그 리더기로 인식된 출입자의 RFID 태그 출입증의 출입 기록과, 디지털 문서 보안실의 웹 접속 기록(log 기록), 모니터링 데이터를 보안 서버의 데이터베이스에 저장되며, (1) 보안 지역의 문서 보안실의 태그 출입증을 소지한 출입자의 출입 기록, 보안 서버의 디지털 문서 보안실의 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct)을 개인별로 보안 서버의 데이터베이스에 누적 저장하여 시간대별/일자별/기간별 통계에 따라 개인별 z-score, 평균, 표준편차를 갖는 정규분포화 한 후 개인별 임계치(상한치, 하한치)를 결정하며, 보안 서버가 출입 기록, 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct)을 포함하는 학습 데이터를 딥러닝 또는 머신 러닝 학습 알고리즘을 사용하여 정상 패턴을 학습하고, 실시간으로 해당 탐지 데이터에 대하여 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 적용하여 정상 패턴 데이터(정규 분포의 5~95% 이내 정상)와 비정상적인 이상 패턴을 갖는 비정상적인 이상 패턴 데이터(정규 분포의 5% 이하, 95% 이상)를 분리 추출하여 사용자 단말로 UI 화면에 표시하며, 로그(출력페이지수/업무시간, 출력페이지수/비업무시간)를 포함한 최종결과를 출력하고,The abnormal sign detection system using the AI variable threshold of the present invention stores the entry/exit records of the RFID tag access cards of entrants recognized by the RFID tag reader installed in the company's secure area Room, the web access records (log records) of the digital document security room, and the monitoring data in the database of the security server, and (1) the entry/exit records of entrants holding the tag access cards of the document security room of the secure area, the web access records (log records) of the digital document security room of the security server, and the CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct) of the personal PC are accumulated and stored individually in the database of the security server, and the individual thresholds (upper and lower limits) are determined after normal distribution with the z-score, mean, and standard deviation of each individual according to the statistics by time zone/day/period, and the security server uses the learning data including the entry/exit records, web access records (log records), and the CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct) of the personal PC to determine the normal pattern. It learns and applies different AI variable thresholds (upper and lower limits) to the corresponding detection data in real time to separate and extract normal pattern data (normal within 5 to 95% of the normal distribution) and abnormal pattern data with abnormal patterns (less than 5%, more than 95% of the normal distribution), and displays them on the UI screen of the user terminal, and outputs the final result including the log (number of output pages/working hours, number of output pages/non-working hours).
(2) 개인별 AI 가변 임계치가 적용된 출입 기록/웹 접속 기록/개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct)/log 기록을 포함하는 학습 데이터와, 실시간으로 탐지 데이터 이미지를 보안 서버에 접속된 사용자 단말로 출력하며, 탐지 데이터 시각화, 비정상적인 이상 패턴을 갖는 데이터(5% 이하, 95% 이상)를 추출하여 화면에 표시하여 관리하는 효과가 있다. (2) It has the effect of managing the learning data including access records/web access records/personal PC CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct)/log records with individual AI variable thresholds applied, and real-time detection data images output to user terminals connected to the security server, visualizing detection data, extracting data with abnormal patterns (5% or less, 95% or more) and displaying them on the screen.
도 1은 종래의 머신 러닝을 이용한 이상 징후 탐지 시스템(100)을 예시적인 도면이다.
도 2는 본 발명에 따른 AI 가변 임계치를 사용한 이상징후 탐지 시스템 구성도이다.
도 3a는 회사 보안 구역의 개인별 출입 기록과 웹 접속 기록(log 기록)을 보안 서버에 저장하고, 개인별 기록의 z-score, 평균(mean), 표준 편차(standard deviation)를 이용하여 정규분포화 한 후 개인별로 유동적인 AI 가변 임계치를 적용하는 화면이다.
도 3b는 보안 서버가 출입 기록과 웹 접속 기록을 머신 러닝을 사용하여 학습하여 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 적용하여 정상 데이터(5~95% 이내 정상)와 이상 징후를 갖는 비정상 데이터(5% 이하, 95% 이상)를 추출하여 관리하는 화면이다.
도 3c는 개인별 AI 가변 임계치(DRM 해제 이상)를 적용하는 학습 데이터 쿼리(SPL), 탐지 데이터 쿼리(SPL) 화면이다.
도 3d는 개인별 AI 가변 임계치(DRM 해제 이상)가 적용된 학습 데이터 이미지(Splunk Image), 탐지 데이터 이미지(Splunk Image) 화면이다.
도 3e는 UserID에 따라, 일자별 학습데이터 트렌드(추이 그래프), value별 빈도를 나타낸 학습데이터 분포(막대 그래프)를 데이터 시각화하여 표출한 화면이다.
도 3f는 출입 기록/웹 접속 기록에 대하여 학습 알고리즘을 사용하여 개인별 일자별 학습 데이터를 사용하여 개인별 임계치를 계산하고, 개인별 상한 임계치/하한 임계치를 계산하며 이를 비교하여 개인별 출입 기록/웹 접속 기록의 탐지 데이터를 추출하여 최종결과를 출력하는 화면이다.
도 3g는 개인별 상한 임계치/하한 임계치를 표시하고, UserID에 따라, 일자별 학습데이터 트렌드(추이 그래프), value별 빈도를 나타낸 학습데이터 분포(막대 그래프)를 데이터 시각화 한 화면이다.
도 4a는 사용자 단말의 JMachine 내 시나리오를 보인 클라이언트 화면이다.
도 4b는 학습 알고리즘의 추가적인 설명: 군집 분석(cluster), 이상행위 분석 설정[전체 임직원 분석(당일 분석/기간 분석), 특정 임직원 분석(당일 분석/기간 분석), 전체 인프라 분석(당일 분석/기간 분석), 특정 인프라 분석(당일 분석/기간 분석), 전체 IP 주소 분석(당일 분석/기간 분석), 특정 IP 주소 분석(당일 분석/기간 분석)-이상행위 옵션]을 설정하는 화면이다.
도 4c는 Test Data 쿼리(AI 이상징후 탐지-임직원 당일 분석) 화면이다.
도 4d는 Test Data Splunk Image(AI 이상징후 탐지-임직원 당일 분석) 화면이다.
도 4e 및 4f는 학습 알고리즘 후의 모습: UserID 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 적용하여 정상 데이터(5~95% 이내 정상)와 이상 징후를 갖는 비정상 데이터(5% 이하, 95% 이상)를 분리 추출하며, 로그(출력페이지수/업무시간, 출력페이지수/비업무시간)를 리스트하고 이상 징후를 갖는 비정상 데이터를 포함한 최종결과를 출력하는 화면이다.
도 4g는 분석 대상[임직원, 인프라, IP 주소], 시간 기준[당일 분석, 기간 분석]을 설정하고, 사번/이름/부서, 사번 검색창, 검색 결과를 리스트하고 분석 화면을 출력하는 JMachine 내 이상징후 탐지 화면이다.
도 4h는 사번/이름/부서에 따라 JMachine 웹사이트에 의해 추출된 JMachine(Python) 화면이다.
도 5a는 AI 수치 이상 탐지: 학습 알고리즘에 의해 정상 패턴을 학습하여 수치 데이터 이상 패턴을 탐지하는 머신러닝 알고리즘을 보인 화면이다.
도 5b와 5c는 AI 탐지 옵션(Sensitivity, Duplication, Accumulated Data, Sloop degree, Time Window Unit, Outlier/Inlier)을 보인 화면이다.
도 5d는 학습데이터 쿼리(SPL), 탐지 데이터 쿼리(SPL)를 사용한 Test Data (KPI = 1) 쿼리(AI 수치 이상 탐지) 화면이다.
도 5e는 학습 데이터 이미지(Splunk Image), 탐지 데이터 이미지(Splunk Image)를 포함하는 Test Data Splunk Image(AI 수치 이상 탐지) 화면이다.
도 5f는 UserID에 따라, 일자별 학습데이터 트렌드(추이 그래프), value별 빈도를 나타낸 학습데이터 분포(막대 그래프)를 데이터 시각화(KPI = 1) 한 화면이다.
도 5g는 UserID에 따라, 일자별 탐지데이터 트렌드(추이 그래프-이상 패턴(Anomaly-Outlier)), value별 빈도를 나타낸 탐지데이터 분포(막대 그래프-이상 패턴(Outlier))를 포함하는 탐지 데이터 시각화(KPI = 1) 한 화면이다.
도 5h, 5i는 학습 알고리즘을 사용하여 학습 데이터에 대하여 정상 패턴을 학습 후, 딥러닝 모델을 사용하여 개인별 수치 이상 탐지 임계치(threshold)를 적용하고 탐지 데이터를 출력하고, 탐지 데이터의 예측 값과 실제 값의 거리(distance)를 계산하여 탐지 데이터를 출력하는 화면이다.
도 5j는 학습 알고리즘 후의 일자별 탐지 데이터에 대한 AI 탐지 민감도(Sensitivity) 화면이다.
도 5k는 JMachine 시나리오 - 탐지 데이터에 대한 AI 탐지 민감도, AI 탐지 원천 데이터 화면이다.
도 6a는 학습데이터 쿼리(SPL), 탐지 데이터 쿼리(SPL)를 사용한 Test Data (KPI = 3) 쿼리(AI 수치 이상 탐지) 화면이다.
도 6b는 학습 데이터 이미지(Splunk Image), 탐지 데이터 이미지(Splunk Image)를 포함하는 Test Data Splunk Image(AI 수치 이상 탐지)(KPI =3) 화면이다.
도 6c는 cpu_system_pct, cpu_user_pct, tot_cpu_pct에 대한 시간대별 학습데이터 트렌드(추이 그래프), value별 빈도를 나타낸 학습데이터 분포(막대 그래프)를 데이터 시각화(KPI = 3) 한 화면이다.
도 6d는 cpu_system_pct, cpu_user_pct, tot_cpu_pct에 대한 시간대별 탐지데이터 트렌드(추이 그래프-이상 패턴(Anomaly-Outlier)), cpu_system_pct, cpu_user_pct, tot_cpu_pct별 빈도를 나타낸 탐지데이터 분포(막대 그래프-이상 패턴(Outlier))를 포함하는 탐지 데이터 시각화(KPI = 3) 한 화면이다.
도 6e는 학습 알고리즘의 cpu_system_pct, cpu_user_pct, tot_cpu_pct 학습 데이터에 대하여 시간대별/일자별 정상 패턴 학습 후, 딥러닝 모델을 사용하여 개인별 수치 이상 탐지 임계치(threshold)를 적용하여 탐지 데이터를 출력하고, cpu_system_pct, cpu_user_pct, tot_cpu_pct에 대한 시간대별/일자별 탐지 데이터의 예측 값과 실제 값의 거리(distance)를 계산하여 탐지 데이터를 출력하는 화면이다.
도 6f는 학습 알고리즘을 사용하여 cpu_system_pct, cpu_user_pct, tot_cpu_pct 학습 데이터의 정상 패턴 학습 후 결과: cpu_system_pct, cpu_user_pct, tot_cpu_pct 학습 데이터에 대한 시간대별/일자별 정상 패턴 학습 후, 이상 패턴 표시 화면이다.
도 6g는 JMachine 시나리오 - cpu_system_pct, cpu_user_pct, tot_cpu_pct 탐지 데이터에 관한 AI 탐지 민감도, AI 탐지 원천 데이터 화면이다.
도 6h는 cpu_system_pct, cpu_user_pct, tot_cpu_pct 탐지 데이터에 관한 각각 value별 빈도별 히스토그램을 표시한 탐지 데이터를 나타낸 탐지 이벤트 시각화 화면이다.
도 7a, 7b는 AI 로그 이상탐지: 로그 텍스트 데이터를 수치 데이터로 변형 후 수치 데이터의 이상 패턴 탐지(정상 패턴을 학습하여, 이상 패턴을 수치화하여 임계치 지정) Test Data(KPI=1) 학습 데이터 쿼리(SPL), 탐지 데이터 쿼리(SPL) - AI 로그 이상 탐지 화면이다.
도 7c는 학습 데이터 이미지(Splunk), 탐지 데이터 이미지(Splunk)를 포함하는 Test Data Splunk Image(AI 로그 이상 탐지) 화면이다.
도 7d는 시간, log_key별 시계열적인 순서로 학습 데이터, 탐지 데이터의 임베디드된 텍스트(AI 로그 이상 탐지) 화면이다. Figure 1 is an exemplary drawing of an anomaly detection system (100) using conventional machine learning.
Figure 2 is a configuration diagram of an abnormality detection system using an AI variable threshold according to the present invention.
Figure 3a is a screen that stores individual entry records and web access records (log records) of a company's security area on a security server, and applies a dynamic AI variable threshold to each individual after normalizing the records using the z-score, mean, and standard deviation of each individual record.
Figure 3b is a screen where the security server learns access records and web access records using machine learning and applies different AI variable thresholds (upper and lower limits) to each individual to extract and manage normal data (normal within 5 to 95%) and abnormal data with abnormal signs (less than 5%, more than 95%).
Figure 3c shows the learning data query (SPL) and detection data query (SPL) screens that apply individual AI variable thresholds (above DRM release).
Figure 3d shows the training data image (Splunk Image) and detection data image (Splunk Image) screens with individual AI variable thresholds (above DRM release).
Figure 3e is a screen that displays data visualization of the daily learning data trend (trend graph) and the learning data distribution (bar graph) showing the frequency by value according to UserID.
Figure 3f is a screen that uses a learning algorithm for access records/web access records to calculate an individual threshold using individual daily learning data, calculates an individual upper threshold/lower threshold, compares these, extracts detection data of individual access records/web access records, and outputs the final result.
Figure 3g is a screen that visualizes the individual upper/lower thresholds, the daily learning data trend (trend graph), and the learning data distribution (bar graph) showing the frequency by value according to UserID.
Figure 4a is a client screen showing a scenario within the JMachine of the user terminal.
Figure 4b is a screen for setting additional description of learning algorithm: cluster analysis, abnormal behavior analysis settings [analysis of all employees (analysis of the day/period analysis), analysis of specific employees (analysis of the day/period analysis), analysis of entire infrastructure (analysis of the day/period analysis), analysis of specific infrastructure (analysis of the day/period analysis), analysis of entire IP address (analysis of the day/period analysis), analysis of specific IP address (analysis of the day/period analysis) - abnormal behavior option].
Figure 4c is the Test Data query (AI anomaly detection-employee same-day analysis) screen.
Figure 4d is the Test Data Splunk Image (AI anomaly detection - employee same-day analysis) screen.
Figures 4e and 4f are the screens after the learning algorithm: By applying different AI variable thresholds (upper and lower limits) to each UserID, normal data (normal within 5 to 95%) and abnormal data with abnormal signs (less than 5%, more than 95%) are separated and extracted, and the logs (number of output pages/working hours, number of output pages/non-working hours) are listed and the final results including abnormal data with abnormal signs are output.
Figure 4g is an anomaly detection screen within JMachine that sets the analysis target [employees, infrastructure, IP address], time criteria [same-day analysis, period analysis], lists employee number/name/department, employee number search window, search results, and outputs the analysis screen.
Figure 4h is a JMachine (Python) screen extracted by the JMachine website according to employee number/name/department.
Figure 5a is a screen showing AI numerical anomaly detection: a machine learning algorithm that detects numerical data anomaly patterns by learning normal patterns through a learning algorithm.
Figures 5b and 5c are screens showing AI detection options (Sensitivity, Duplication, Accumulated Data, Sloop degree, Time Window Unit, Outlier/Inlier).
Figure 5d is a screen for a Test Data (KPI = 1) query (AI numerical anomaly detection) using a learning data query (SPL) and a detection data query (SPL).
Figure 5e is a Test Data Splunk Image (AI numerical anomaly detection) screen that includes a training data image (Splunk Image) and a detection data image (Splunk Image).
Figure 5f is a screen that visualizes (KPI = 1) the learning data distribution (bar graph) showing the learning data trend by date (trend graph) and the frequency by value according to UserID.
Figure 5g is a screen of detection data visualization (KPI = 1) that includes detection data trends by date (trend graph - anomaly pattern (Outlier)) and detection data distribution showing frequency by value (bar graph - anomaly pattern (Outlier)) according to UserID.
Figures 5h and 5i are screens that learn normal patterns for learning data using a learning algorithm, apply an individual numerical anomaly detection threshold using a deep learning model, output detection data, and calculate the distance between the predicted value of the detection data and the actual value to output the detection data.
Figure 5j is a screen showing AI detection sensitivity for daily detection data after the learning algorithm.
Figure 5k is a JMachine scenario - AI detection sensitivity for detection data, AI detection source data screen.
Figure 6a is a screen for a Test Data (KPI = 3) query (AI numerical anomaly detection) using a learning data query (SPL) and a detection data query (SPL).
Figure 6b is a Test Data Splunk Image (AI numerical anomaly detection) (KPI =3) screen that includes a training data image (Splunk Image) and a detection data image (Splunk Image).
Figure 6c is a screen that visualizes (KPI = 3) the learning data trend by time zone (trend graph) for cpu_system_pct, cpu_user_pct, and tot_cpu_pct, and the learning data distribution (bar graph) showing the frequency by value.
Figure 6d is a screen of detection data visualization (KPI = 3) including detection data trends by time zone for cpu_system_pct, cpu_user_pct, and tot_cpu_pct (trend graph - anomaly pattern (Outlier)), and detection data distribution showing frequency by cpu_system_pct, cpu_user_pct, and tot_cpu_pct (bar graph - anomaly pattern (Outlier)).
Figure 6e is a screen that outputs detection data by applying a threshold for individual numerical anomaly detection using a deep learning model after learning normal patterns by time zone/day for cpu_system_pct, cpu_user_pct, and tot_cpu_pct learning data of a learning algorithm, and calculating the distance between the predicted values of the time zone/day detection data for cpu_system_pct, cpu_user_pct, and tot_cpu_pct and the actual values.
Figure 6f is the result after learning the normal patterns of cpu_system_pct, cpu_user_pct, and tot_cpu_pct training data using the learning algorithm: This is the screen displaying abnormal patterns after learning the normal patterns by time zone/day for cpu_system_pct, cpu_user_pct, and tot_cpu_pct training data.
Figure 6g is a screen showing AI detection sensitivity and AI detection source data for JMachine scenario - cpu_system_pct, cpu_user_pct, tot_cpu_pct detection data.
Figure 6h is a detection event visualization screen showing detection data with histograms of frequency by value for each detection data of cpu_system_pct, cpu_user_pct, and tot_cpu_pct.
Figures 7a and 7b are AI log anomaly detection: After transforming log text data into numeric data, detecting abnormal patterns in numeric data (learning normal patterns, digitizing abnormal patterns, and setting thresholds) Test Data (KPI = 1) Learning data query (SPL), Detection data query (SPL) - AI log anomaly detection screen.
Figure 7c is a Test Data Splunk Image (AI log anomaly detection) screen that includes a training data image (Splunk) and a detection data image (Splunk).
Figure 7d is a screen showing embedded text (AI log anomaly detection) of learning data and detection data in chronological order by time and log_key.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면번호를 부여한다. Hereinafter, the preferred embodiments of the present invention will be described in detail with reference to the attached drawings, in terms of the configuration and operation of the invention. In the description of the present invention, if it is judged that a detailed description of a related known function or known configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, when the same configuration is indicated, the same drawing number is given in different drawings.
(실시예) (Example)
비정상적인 정보 유출을 방지하기 위해 문서 보안이 요구되는 회사의 보안 구역 Room에 설치된 13.56MHz RFID 태그 리더기로 인식된 출입자의 RFID 태그 출입증의 출입 기록과, 사용자 단말(PC, 스마트폰, 태블릿PC)로부터 유무선 통신망을 통해 서버의 디지털 문서 보안실의 웹 접속 기록은 보안 서버의 데이터베이스에 저장되어 관리된다. To prevent abnormal information leakage, the entry and exit records of RFID tag access cards recognized by 13.56MHz RFID tag readers installed in the company's secure area room requiring document security, and the web access records of the digital document security room of the server via wired and wireless communication networks from user terminals (PCs, smartphones, tablet PCs) are stored and managed in the database of the security server.
문서 보안실의 출입자는 예를들면, 문서 보안실에 보안 manager는 10번 출입, 해당 직원들은 관련 업무에 따라 5회, 3회, 2회, 1회 출입하게 되며, 이를 누적하여 1달 동안 출입 기록과 문서 보안실의 Z-score 평균, 표준 편차를 계산할 수 있다. For example, the security manager enters the document security room 10 times, and the relevant employees enter 5, 3, 2, and 1 times, depending on their work. By accumulating these, the entry and exit records and the Z-score average and standard deviation of the document security room for one month can be calculated.
일반적으로, 회사의 보안 구역 Room관련 출입자의 RFID 태그 출입증의 출입 기록과 디지털 문서 보안실의 웹 접속 기록은 z-score, 평균, 표준편차는 경험적으로 정규분포를 갖는다.In general, the access records of RFID tag access cards of entrants to the company's security area room and the web access records of the digital document security room have empirically normal distributions in terms of z-score, mean, and standard deviation.
실시예1) 보안 구역의 문서 보안실의 태그 출입증을 소지한 출입자의 출입 기록, 보안 서버의 디지털 문서 보안실의 웹 접속 기록(log 기록) 모니터링 Example 1) Monitoring of entry and exit records of entrants holding tag access cards in the document security room of the security area and web access records (log records) in the digital document security room of the security server
실시예2) 네트워트 장비의 가상 머신을 사용한 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct) 모니터링Example 2) Monitoring CPU status of personal PC using virtual machine of network equipment (cpu_system_pct, cpu_user_pct, tot_cpu_pct)
도 2는 본 발명에 따른 AI 가변 임계치를 사용한 이상징후 탐지 시스템 구성도이다. Figure 2 is a configuration diagram of an abnormality detection system using an AI variable threshold according to the present invention.
실시예에서는, (실시예1) 회사의 보안 지역 Room에 설치된 RFID 태그 리더(110)로 인식된 출입자의 RFID 태그 출입증(130)의 출입 기록과, 디지털 문서 보안실의 웹 접속 기록(log 기록), 추가적으로, (실시예2) 개인 PC의 CPU 모니터링 기능을 갖는 네트워크 장비를 사용하여 모니터링되는 회사내 임직원 PC의 CPU 모니터링 데이터를 보안 서버(200)의 데이터베이스에 저장된다. In the embodiment, (Example 1) the entry/exit record of an RFID tag access card (130) of an entrant recognized by an RFID tag reader (110) installed in a secure area room of the company, the web access record (log record) of the digital document security room, and additionally, (Example 2) the CPU monitoring data of the PCs of employees within the company monitored using network equipment having a CPU monitoring function of personal PCs are stored in the database of the security server (200).
본 발명의 AI 가변 임계치를 사용한 이상징후 탐지 시스템은 The abnormality detection system using the AI variable threshold of the present invention
보안 지역의 문서 보안실의 출입 시에, 출입자의 태그 출입증(130)을 태깅한 태그 리더(110)의 출입 기록을 전송하는, 태그 리더(110)와 연결된 PC(120); A PC (120) connected to a tag reader (110) that transmits an entry/exit record of a tag reader (110) that tags an entrant's tag access card (130) when entering or exiting the document security room in a secure area;
보안 구역(100)의 출입문의 태그 리더(110)에 의해 태깅된 태그 출입증(130)을 소지한 출입자의 출입 기록, 보안 서버의 디지털 문서 보안실의 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링 데이터(cpu_system_pct, cpu_user_pct, tot_cpu_pct)을 개인별로 보안 서버의 데이터베이스에 누적 저장하여 시간대별/일자별/기간별 통계에 의해 개인별 z-score, 평균, 표준편차에 따라 정규분포화 한 후 개인별 AI 가변 임계치(상한치, 하한치)를 결정하며,The entry and exit records of entrants carrying a tag pass (130) tagged by a tag reader (110) at the entrance door of a security zone (100), the web access records (log records) of the digital document security room of the security server, and the CPU status monitoring data (cpu_system_pct, cpu_user_pct, tot_cpu_pct) of individual PCs are accumulated and stored individually in the database of the security server, and then the individual z-score, average, and standard deviation are normally distributed based on statistics by time zone/day/period, and then individual AI variable thresholds (upper limit, lower limit) are determined.
필요에 따라 선택적으로, 출입 기록, 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링 데이터(cpu_system_pct, cpu_user_pct, tot_cpu_pct)을 포함하는 학습 데이터를 딥러닝 또는 머신 러닝 학습 알고리즘을 사용하여 정상 패턴을 학습하고, 실시간으로 해당 탐지 데이터에 대하여 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 적용하여 정상 패턴 데이터(정규 분포의 5~95% 이내 정상)와 비정상적인 이상 패턴을 갖는 비정상적인 이상 패턴 데이터(정규 분포의 5% 이하, 95% 이상)를 분리 추출하여 사용자 단말로 UI 화면에 표시하며, 로그를 포함한 최종결과를 리스트 또는 데이터 시각화하여 출력하는 보안 서버(200); 및 Optionally, a security server (200) that learns normal patterns by using deep learning or machine learning algorithms on learning data including access records, web access records (log records), and CPU status monitoring data of a personal PC (cpu_system_pct, cpu_user_pct, tot_cpu_pct), and applies different AI variable thresholds (upper and lower limits) to the corresponding detection data in real time to separate and extract normal pattern data (normal within 5 to 95% of normal distribution) and abnormal abnormal pattern data (less than 5%, more than 95% of normal distribution) having abnormal patterns, and displays them on a UI screen of a user terminal, and outputs the final results including logs as a list or data visualization; and
상기 보안 서버(200)에 유무선 통신망을 통해 연결된 사용자 단말(179)을 포함한다. It includes a user terminal (179) connected to the above security server (200) via a wired or wireless communication network.
상기 디지털 문서 보안실은 문서와 파일을 저장하는 파일 서버(230)를 더 포함한다.The above digital document security room further includes a file server (230) for storing documents and files.
상기 시스템은, 보안 지역(100)의 문서 보안실의 출입 시에, 출입자의 태그 출입증(130)을 태깅한 태그 리더(110)의 출입 기록을 전송하고, 상기 태그 리더(110)와 연결된 PC(120)를 더 포함한다. The above system transmits an entry/exit record of a tag reader (110) that tags an entry/exit user's tag pass (130) when entering/exiting a document security room in a secure area (100), and further includes a PC (120) connected to the tag reader (110).
보안 관리자의 사용자 단말은 보안 서버에 접속되고, 탐지 데이터의 유형, 탐지 대상과 기간을 선택하고, 개인별로 다른 AI 가변 임계치가 적용된 출입 기록/웹 접속 기록/개인 PC의 CPU 상태 모니터링 데이터(cpu_system_pct, cpu_user_pct, tot_cpu_pct)를 포함하는 학습 데이터와, 학습 데이터의 정상 패턴(상한치, 하한치)을 표시하고, 실시간으로 탐지되는 탐지 데이터 이미지를 보안 서버(200)에 접속된 사용자 단말로 출력하며, 학습 데이터 시각화, 개인별로 다른 AI 가변 임계치(상한치, 하한치)와 이상 패턴이 표시된 탐지 데이터 시각화, 비정상적인 이상 패턴 데이터(5% 이하, 95% 이상)를 추출하여 로그(log)를 포함한 최종 결과와 리스트 또는 이를 데이터 시각화하여 AI 수치 이상을 화면에 출력된다. The user terminal of the security manager is connected to the security server, and the type of detection data, the detection target and period are selected, and learning data including access records/web access records/CPU status monitoring data of a personal PC (cpu_system_pct, cpu_user_pct, tot_cpu_pct) to which different AI variable thresholds are applied for each individual are displayed, and the normal pattern (upper limit, lower limit) of the learning data is displayed, and the detection data image detected in real time is output to the user terminal connected to the security server (200), and the learning data is visualized, the detection data visualization in which different AI variable thresholds (upper limit, lower limit) and abnormal patterns are displayed, and abnormal pattern data (5% or less, 95% or more) is extracted and the final result including the log and the list or this is data visualized to display the AI value abnormality on the screen.
회사내 보안 지역의 문서 보관실(100)은 출입문에 RFID 태그 리더(110)가 출입자의 13.56MHz 태그 출입증(130)의 출입 기록이 문서 보관실 PC(120)를 통해 미들웨어로 연결된 보안 서버(200)로 전송된다. The document storage room (100) in the secure area within the company has an RFID tag reader (110) at the entrance door, and the entry/exit record of the entrant's 13.56MHz tag access card (130) is transmitted to the security server (200) connected to the middleware via the document storage room PC (120).
회사는 사장, 임원/부서/직원별 다수의 사용자 단말(170)이 구비된다.The company is equipped with multiple user terminals (170) for each president, executives/department/employees.
사용자 단말(170)은 PC 이외에 스마트폰 또는 태블릿 PC를 사용할 수 있다. The user terminal (170) can use a smartphone or tablet PC in addition to a PC.
학습 데이터는 실시예1) 보안 구역의 문서 보안실의 태그 출입증을 소지한 출입자의 출입 기록, 보안 서버의 디지털 문서 보안실의 웹 접속 기록(log 기록)을 포함한다. The learning data includes, for example, the entry and exit records of entrants holding tag access cards to the document security room in the security area and the web access records (log records) to the digital document security room of the security server.
또한, 학습 데이터는 실시예2) 네트워트 장비의 가상 머신을 사용한 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct) 데이터를 포함한다. In addition, the learning data includes CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct) data of a personal PC using a virtual machine of network equipment in Example 2.
상기 학습 알고리즘은 딥러닝(CNN) 또는 머신 러닝 알고리즘을 사용하여 학습 데이터의 정상 패턴을 학습하고, 누적된 통계 데이터를 기초로 Z-score, 평균, 표준 편차를 계산하고 정규분포화 한 후 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 결정하고, 개인별로 다른 AI 가변 임계치(상한치, 하한치)에 따라 탐지 데이터의 비정상적인 이상 패턴을 추출하여 탐지 데이터를 제공하며, 이를 데이터 시각화하여 표시되도록 한다. The above learning algorithm learns the normal pattern of learning data using deep learning (CNN) or machine learning algorithm, calculates the Z-score, mean, and standard deviation based on accumulated statistical data, and then normalizes the data to determine different AI variable thresholds (upper limit, lower limit) for each individual, and extracts abnormal patterns of detection data according to different AI variable thresholds (upper limit, lower limit) for each individual, and provides detection data, and displays this as data visualization.
상기 학습 알고리즘은 사용자 단말의 클라이언트 프로그램에서 AI 기계 학습은 "기계학습 실행" 메뉴에서 딥러닝(CNN) 또는 여러 종류의 머신러닝 알고리즘과 "AI 탐지 옵션"이 선택되며, 학습 데이터에 대하여 개인별로 정규 분포의 상한치~하한치(5~95%) 범위내의 정상 패턴의 데이터를 학습하고, 상기 AI 가변 임계치(상한치, 하한치)에 따라 탐지 데이터에 대하여 정규 분포의 하한치 이하(5% 이하), 상한치 이상(95% 이상)을 갖는 비정상적인 이상 패턴 데이터를 추출한다. The above learning algorithm is selected by selecting "Deep Learning (CNN)" or various types of machine learning algorithms and "AI Detection Option" from the "Machine Learning Execution" menu in the client program of the user terminal, and learns normal pattern data within the range of the upper limit to the lower limit (5-95%) of the normal distribution for each individual for the learning data, and extracts abnormal pattern data having a lower limit (5% or less) of the normal distribution and a higher limit (95% or more) for the detection data according to the AI variable threshold (upper limit, lower limit).
상기 학습 알고리즘은 딥러닝(CNN) 또는 여러 종류의 머신러닝 알고리즘을 선택하여 사용되며, 비지도-가시화-탐지(CNN), 비지도-선행제어-탐지 (AutoEncoder), 비지도-메모리-탐지(LSTM), 심층메모리-탐지(Deep LSTM), 비지도-양방향-메모리-탐지(Bidirectional LSTM), 비지도-가시화-메모리-탐지(Convolution LSTM), 비지도-양방향-순환-탐지(Bidirectional GRU), 및 비지도-양방향-중첩순환-탐지(Stacked Bidirectional GRU) 알고리즘 중 어느 하나의 알고리즘을 사용한다. The above learning algorithm is used by selecting deep learning (CNN) or various types of machine learning algorithms, and uses one of the following algorithms: Unsupervised Visualization Detection (CNN), Unsupervised Preemptive Control Detection (AutoEncoder), Unsupervised Memory Detection (LSTM), Deep Memory Detection (Deep LSTM), Unsupervised Bidirectional Memory Detection (Bidirectional LSTM), Unsupervised Visualization Memory Detection (Convolution LSTM), Unsupervised Bidirectional Recurrent Detection (Bidirectional GRU), and Unsupervised Bidirectional Nested Recurrent Detection (Stacked Bidirectional GRU).
AI 탐지 옵션은 AI 탐지 데이터의 민감도(Sensitivity), 데이터 중복 제거(De-duplication), 누적된 면적(Accumulated Area), 기울기(Slope degree), 타임 윈도우 유닛(Time Window Unit), Outlier/Inlier(이상 징후/정상 징후)가 포함된다. AI detection options include Sensitivity of AI detection data, De-duplication, Accumulated Area, Slope degree, Time Window Unit, and Outlier/Inlier.
* 민감도(Sensitivity) : 예측과 실제 값의 차이 정도를 나타내며, 추후 이벤트 탐지의 척도가 됨* Sensitivity: This indicates the degree of difference between the predicted value and the actual value, and serves as a measure for future event detection.
* 데이터 중복 제거(De-duplication) : 중복되는 값의 데이터 제외* Data De-duplication: Excluding data with duplicate values
* 누적된 면적(Accumulated Area) : 데이터의 면적을 이용한 filter 적용 * Accumulated Area: Applying filter using the area of data
예) 기준치 미만의 낮은 값의 데이터일때 탐지 X)Example) No detection when data has a low value below the standard value)
* 기울기(Slope degree) : 데이터의 기울기를 이용한 필터 적용 * Slope degree: Applying a filter using the slope of the data
(예: 급감할 때 이벤트 탐지 X(e.g. X event detection when there is a sudden drop
* 타임 윈도우 유닛(Time Window Unit) : Window 내 데이터 row 수* Time Window Unit: Number of data rows within the Window
예) 7 unit: 7개의 데이터를 하나의 패턴(input)으로 봄Example) 7 unit: 7 data are viewed as one pattern (input).
* Outlier/Inlier : 이상 징후/정상 징후 중 하나의 이벤트로 탐지 여부* Outlier/Inlier: Whether or not an event is detected as one of the abnormal signs/normal signs
보안 서버(200)는 사용자 단말(170)과 유무선 통신망을 통해 연결되는 WWW 서버(201); 보안 기능을 제어하는 제어부(203); 출입 기록, 디지털 문서 보안실의 웹 접속 기록(log 기록), 개인 PC의 CPU 상태 모니터링(cpu_system_pct, cpu_user_pct, tot_cpu_pct) 데이터, 그 외 필요시 모니터링 데이터를 저장하는 DB(207); 회원정보를 등록받아 저장하여 관리하는 회원관리부(209); ID/Passwd 또는 인증 서버와 연동된 개인 인증서/범용 인증서를 사용하여 사용자를 인증하는 사용자 인증부(211); 기간별로 누적된 학습 데이터의 통계에 기초하여 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 설정하는 AI 가변 임계치 설정부(213); 딥러닝 또는 머신러닝 학습 알고리즘을 사용하여 해당 학습 데이터를 학습하여 상한치에서 하한치까지의 정상 범위의 정상 패턴을 학습하는 기계학습부(215); 상기 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 기준으로 실시간으로 탐지되는 탐지 데이터의 이상 패턴을 탐지하는 이상 패턴 탐지부(217); 해당 학습 데이터와 탐지 데이터를 학습 데이터와 탐지 데이터 리스트 또는 학습 데이터 시각화/탐지 데이터 시각화하여 출력하는 학습 데이터/탐지 데이터 출력부(219); 개인별/부서별/전체 데이터의 Z-score, 평균, 분산, 표준편차의 통계 정보를 제공하는 데이터, 리스트, 또는 비쥬얼하게 데이터 시각화하여 제공하는 통계 처리부(221)를 포함한다. The security server (200) comprises a WWW server (201) connected to a user terminal (170) via a wired/wireless communication network; a control unit (203) controlling security functions; a DB (207) storing access records, web access records (log records) of a digital document security room, CPU status monitoring (cpu_system_pct, cpu_user_pct, tot_cpu_pct) data of a personal PC, and other monitoring data when necessary; a member management unit (209) registering, storing, and managing member information; a user authentication unit (211) authenticating a user using an ID/Passwd or a personal certificate/universal certificate linked to an authentication server; an AI variable threshold setting unit (213) setting different AI variable thresholds (upper limit, lower limit) for each individual based on statistics of learning data accumulated over a period of time; a machine learning unit (215) learning the corresponding learning data using a deep learning or machine learning learning algorithm and learning normal patterns in a normal range from the upper limit to the lower limit; It includes an abnormal pattern detection unit (217) that detects an abnormal pattern of detection data detected in real time based on different AI variable thresholds (upper limit, lower limit) for each individual; a learning data/detection data output unit (219) that outputs the corresponding learning data and detection data as a learning data and detection data list or learning data visualization/detection data visualization; and a statistical processing unit (221) that provides data, a list, or a visual data visualization that provides statistical information on Z-score, average, variance, and standard deviation of individual/department/overall data.
(실시예1)(Example 1)
도 3a는 회사 보안 구역의 개인별 출입 기록과 웹 접속 기록(log 기록)을 보안 서버에 저장하고, 개인별 기록의 z-score, 평균(mean), 표준 편차(standard deviation)를 이용하여 정규분포화 한 후 개인별로 유동적인 AI 가변 임계치를 적용하는 화면이다. Figure 3a is a screen that stores individual entry records and web access records (log records) of a company's security area on a security server, and applies a dynamic AI variable threshold to each individual after normalizing the records using the z-score, mean, and standard deviation of each individual record.
통계적으로, 모집단(population)에서 크기가 n인 임의의 표본(sample)을 추출시에, 모집단의 분포가 평균 m, 표준편차가 σ인 정규분포 N(m, )를 따를때, 크기가 n인 임의 표본의 표본 평균이 X, 표준편차 σ일때, Statistically, when a random sample of size n is extracted from a population, the distribution of the population is a normal distribution N(m, ), when the sample mean of a random sample of size n is X and the standard deviation is σ,
모집단의 평균 m의 신뢰도(95% 신뢰도)에서, At the confidence level (95% confidence) of the population mean m,
신뢰 구간은 [X - 1.96 , X + 1.96 ]이며, The confidence interval is [X - 1.96 , X + 1.96 ] and,
X - 1.96 ≤ m ≤ X + 1.96 조건을 만족한다. X - 1.96 ≤ m ≤ X + 1.96 Satisfies the condition.
확률변수 X가 정규 분포(m, ) 를 가질 때, The random variable X is normally distributed (m, ) when having
Z score와, 평균과 표준 편차가 계산된다. Z score, mean and standard deviation are calculated.
도 3b는 보안 서버가 출입 기록과 웹 접속 기록을 머신 러닝을 사용하여 학습하여 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 적용하여 정상 데이터(5~95% 이내 정상)와 이상 징후를 갖는 비정상 데이터(5% 이하, 95% 이상)를 추출하여 관리하는 화면이다. Figure 3b is a screen where the security server learns access records and web access records using machine learning and applies different AI variable thresholds (upper and lower limits) to each individual to extract and manage normal data (normal within 5 to 95%) and abnormal data with abnormal signs (less than 5%, more than 95%).
도 3c는 개인별 AI 가변 임계치(DRM 해제 이상)를 적용하는 학습 데이터 쿼리(SPL), 탐지 데이터 쿼리(SPL) 화면이다. Figure 3c shows the learning data query (SPL) and detection data query (SPL) screens that apply individual AI variable thresholds (above DRM release).
도 3d는 개인별 AI 가변 임계치(DRM 해제 이상)가 적용된 학습 데이터 이미지(Splunk Image), 탐지 데이터 이미지(Splunk Image) 화면이다. Figure 3d shows the training data image (Splunk Image) and detection data image (Splunk Image) screens with individual AI variable thresholds (above DRM release).
도 3e는 UserID에 따라, 일자별 학습데이터 트렌드(추이 그래프), value별 빈도를 나타낸 학습데이터 분포(막대 그래프)를 데이터 시각화 한 화면이다. Figure 3e is a screen that visualizes the learning data trend by date (trend graph) and the learning data distribution (bar graph) showing the frequency by value according to UserID.
도 3f는 학습 알고리즘 개인별 일자별 학습 데이터를 사용하여 개인별 임계치를 계산하고, 개인별 상한 임계치/하한 임계치를 계산하며 이를 비교하여 개인별 출입 기록/웹 접속 기록의 탐지 데이터를 추출하여 최종결과를 출력하는 화면이다. Figure 3f is a screen that calculates an individual threshold using individual daily learning data of a learning algorithm, calculates an individual upper threshold/lower threshold, compares them, extracts detection data of individual access records/web access records, and outputs the final result.
도 3g는 개인별 상한 임계치/하한 임계치를 표시하고, UserID에 따라, 일자별 학습데이터 트렌드(추이 그래프), value별 빈도를 나타낸 학습데이터 분포(막대 그래프)를 데이터 시각화 한 화면이다. Figure 3g is a screen that visualizes the individual upper/lower thresholds, the daily learning data trend (trend graph), and the learning data distribution (bar graph) showing the frequency by value according to UserID.
도 4a는 사용자 단말의 JMachine 내 시나리오를 보인 클라이언트 화면이다. Figure 4a is a client screen showing a scenario within the JMachine of the user terminal.
도 4b는 학습 알고리즘의 추가적인 설명: 군집 분석(cluster), 이상행위 분석 설정[전체 임직원 분석(당일 분석/기간 분석), 특정 임직원 분석(당일 분석/기간 분석), 전체 인프라 분석(당일 분석/기간 분석), 특정 인프라 분석(당일 분석/기간 분석), 전체 IP 주소 분석(당일 분석/기간 분석), 특정 IP 주소 분석(당일 분석/기간 분석)-이상행위 옵션]을 설정하는 화면이다. Figure 4b is a screen for setting additional description of learning algorithm: cluster analysis, abnormal behavior analysis settings [analysis of all employees (analysis of the day/period analysis), analysis of specific employees (analysis of the day/period analysis), analysis of entire infrastructure (analysis of the day/period analysis), analysis of specific infrastructure (analysis of the day/period analysis), analysis of entire IP address (analysis of the day/period analysis), analysis of specific IP address (analysis of the day/period analysis) - abnormal behavior option].
도 4c는 Test Data 쿼리(AI 이상징후 탐지-임직원 당일 분석) 화면이다.Figure 4c is the Test Data query (AI anomaly detection-employee same-day analysis) screen.
도 4d는 Test Data Splunk Image(AI 이상징후 탐지-임직원 당일 분석) 화면이다. Figure 4d is the Test Data Splunk Image (AI anomaly detection - employee same-day analysis) screen.
도 4e 및 4f는 학습 알고리즘 후의 모습: UserID 개인별로 다른 AI 가변 임계치(상한치, 하한치)를 적용하여 정상 데이터(5~95% 이내 정상)와 이상 징후를 갖는 비정상 데이터(5% 이하, 95% 이상)를 분리 추출하며, 로그(출력페이지수/업무시간, 출력페이지수/비업무시간)를 리스트하고 이상 징후를 갖는 비정상 데이터를 포함한 최종 결과를 출력하는 화면이다Figures 4e and 4f are the appearance after the learning algorithm: By applying different AI variable thresholds (upper and lower limits) for each UserID, normal data (normal within 5 to 95%) and abnormal data with abnormal signs (less than 5%, more than 95%) are separated and extracted, and the logs (number of output pages/working hours, number of output pages/non-working hours) are listed and the final results including abnormal data with abnormal signs are output.
도 4g는 분석 대상[임직원, 인프라, IP 주소], 시간 기준[당일 분석, 기간 분석]을 설정하고, 사번/이름/부서, 사번 검색창, 검색 결과를 리스트하고 분석 화면을 출력하는 JMachine 내 이상징후 탐지 화면이다. Figure 4g is an anomaly detection screen within JMachine that sets the analysis target [employees, infrastructure, IP address], time criteria [same-day analysis, period analysis], lists employee number/name/department, employee number search window, search results, and outputs the analysis screen.
도 4h는 사번/이름/부서에 따라 JMachine 웹사이트에 의해 사번 추출된 JMachine(Python) 화면이다. Figure 4h is a JMachine (Python) screen where the employee number is extracted by the JMachine website according to employee number/name/department.
(2) AI 수치 이상 탐지: 학습 알고리즘에 의해 학습 데이터의 정상 패턴을 학습하여 탐지 데이터의 수치 데이터 이상 패턴을 탐지하는 머신러닝 알고리즘(2) AI numerical anomaly detection: A machine learning algorithm that learns normal patterns in training data through a learning algorithm and detects numerical data anomaly patterns in detection data.
도 5a는 AI 수치 이상 탐지: 학습 알고리즘에 의해 정상 패턴을 학습하여 수치 데이터 이상 패턴을 탐지하는 머신러닝 알고리즘을 보인 화면이다. Figure 5a is a screen showing AI numerical anomaly detection: a machine learning algorithm that learns normal patterns by a learning algorithm and detects numerical data anomaly patterns.
보안 서버에 연결된 사용자 단말의 모니터링 클라이언트의 탐지 속성은 탐지 형태(AI 탐지, AI 수치 이상탐지), 탐지 기본 정보(탐지 대상 필드명, 집계 쿼리), AI 기계학습(AI 알고리즘, 기계학습 쿼리, 기계학습 실행, 탐지 쿼리), AI 예측 탐지(AI 탐지 옵션)을 구비한다. The detection properties of the monitoring client of the user terminal connected to the security server include detection type (AI detection, AI numerical anomaly detection), detection basic information (detection target field name, aggregate query), AI machine learning (AI algorithm, machine learning query, machine learning execution, detection query), and AI prediction detection (AI detection option).
AI 기계 학습은 "기계학습 실행" 메뉴에서 딥러닝(CNN) 또는 여러 종류의 머신러닝 알고리즘을 선택하여 학습 데이터의 학습을 실행한다. AI machine learning runs training data by selecting deep learning (CNN) or various types of machine learning algorithms from the “Run Machine Learning” menu.
* 비지도-가시화-탐지(CNN)* Unsupervised visualization detection (CNN)
- 1겹의 CNN으로 구성되어 있으며, 시계열 및 이미지 데이터에 효율적- It consists of a single-layer CNN and is efficient for time series and image data.
* 비지도-선행제어-탐지 (AutoEncoder)* Unsupervised Pre-Control-Detection (AutoEncoder)
- 데이터 특성을 보존하여 차원 축소, 다양한 학습 데이터에 사용가능- Reduces dimensionality by preserving data characteristics, can be used for various learning data
* 비지도-메모리-탐지 (LSTM)* Unsupervised memory detection (LSTM)
- 1겹의 LSTM으로 이루어져 있으며, 시계열/텍스트 데이터에 효율적- It consists of a single layer of LSTM and is efficient for time series/text data.
* 심층메모리-탐지 (Deep LSTM)* Deep memory-detection (Deep LSTM)
- 3겹의 LSTM으로 이루어져 있으며, 시계열/텍스트 데이터에 효율적- It consists of 3 layers of LSTM and is efficient for time series/text data.
* 비지도-양방향-메모리-탐지 (Bidirectional LSTM)* Unsupervised Bidirectional Memory Detection (Bidirectional LSTM)
- 1겹의 양방향 LSTM으로 이루어지며, 시계열/텍스트 데이터에 효율적- It consists of a single-layer bidirectional LSTM and is efficient for time series/text data.
* 비지도-가시화-메모리-탐지 (Convolution LSTM)* Unsupervised-visualization-memory-detection (Convolution LSTM)
- 차원을 축소한 데이터를 LSTM에 적용하는 구조로, 공간적 특성을 가지는 이미지나 비디오 데이터에 효율적- It is a structure that applies dimensionally reduced data to LSTM, and is efficient for image or video data with spatial characteristics.
* 비지도-양방향-순환-탐지 (Bidirectional GRU)* Unsupervised Bidirectional Recurrent Detection (Bidirectional GRU)
- LSTM 단순화 된 버전인 1겹의 Bidirectional GRU로 이루어져 있으며, 시계열/텍스트 데이터에 효과적- It consists of a single-layer Bidirectional GRU, which is a simplified version of LSTM, and is effective for time series/text data.
* 비지도-양방향-중첩순환-탐지 (Stacked Bidirectional GRU)* Unsupervised-Bidirectional-Nested-Recurrent-Detection (Stacked Bidirectional GRU)
- 3겹의 Bidirectional GRU로 이루어져 있으며, 시계열/텍스트 데이터에 효과적- It consists of 3-layer Bidirectional GRU and is effective for time series/text data.
참고로, Transformer encoder의 레이어(layer)의 수가 늘어날수록, 복잡하거나 긴 Sequence 데이터에 효과적이다. k개의 Transformer encoder를 통해 patch/position 임베딩된 데이터를 인코딩된 데이터를 k개의 decoder에 의해 디코딩되어 학습한다. For reference, as the number of layers of the Transformer encoder increases, it is effective for complex or long sequence data. The data embedded in the patch/position is encoded through k Transformer encoders, and the encoded data is decoded by k decoders to learn.
컨볼류션 신경망(Convolutional Neural Networks, CNN)은 주로 문자 인식과 영상의 이미지 분석에 사용되는 다층 신경망이다. 컨볼류션 신경망(CNN)은 컨볼루션 층(convolution layer)과 풀링 층(pooling layer)을 쌍(pair)의 형태로 여러 개 사용하고(convolution layer, pooling layer, convolution layer, pooling layer,.. ), 그 뒤에는 몇 개의 FC 층(fully-connected layer)으로 구성된 입력층/은닉층/출력층을 구비하는 다층 퍼셉트론(Multilayer Perceptron, MLP)를 사용할 수 있다. 예를들면, 특정 영상이 CNN의 입력으로 주어졌을 때, 각 층에서 생성되는 특징 맵(feature map)의 재구성 과정을 거친다. 각각의 특징 맵(feature map)으로부터 입력 영상에서 단계적으로 특징들이 추출되고(feature extraction), 분류(classification)된다. 특징 맵(feature map)을 생성하는 과정에서 가중치들을 필터(filter)라고 하며, 컨볼루션 층(convolution layer)에서 사용되는 마스크(mask), 풀링 층(pooling layer)에서 사용되는 2x2, 3x3, 4x4 또는 5x5 윈도우(window), FC 층에서 사용되는 가중치들의 모음을 모두 필터라고 할 수 있다. 풀링 층에서의 down-sampling 또는 sub-sampling)을 위해 평균을 계산하는 mean 함수 또는 최대치를 선택하는 max 함수를 선택하여 사용된다. Convolutional Neural Networks (CNNs) are multilayer neural networks mainly used for character recognition and image analysis of images. CNNs use multiple convolution layers and pooling layers in the form of pairs (convolution layer, pooling layer, convolution layer, pooling layer, etc.), and can use a multilayer perceptron (MLP) that has input layers/hidden layers/output layers consisting of several fully-connected layers (FC layers) after that. For example, when a specific image is given as input to CNN, it goes through a process of reconstructing the feature map generated in each layer. From each feature map, features are extracted (feature extraction) and classified in stages from the input image. In the process of generating a feature map, the weights are called filters, and the mask used in the convolution layer, the 2x2, 3x3, 4x4 or 5x5 window used in the pooling layer, and the collection of weights used in the FC layer can all be called filters. For down-sampling or sub-sampling in the pooling layer, the mean function that calculates the average or the max function that selects the maximum is selected and used.
또한, CPU, GPU, 메모리 등의 연산 능력과 컴퓨팅 기술의 비약적인 발전으로, RNN(Recurrent Neural Network), LSTM (Long Short-Term Memory), GRU(Gated Recurrent Unit) 등의 딥러닝 알고리즘들은 인공 신경망의 순차 데이터 순서를 유지하며, 많은 분량의 학습 데이터를 학습할 수 있다.In addition, with the rapid development of computing technology and computational power such as CPUs, GPUs, and memory, deep learning algorithms such as RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), and GRU (Gated Recurrent Unit) can learn a large amount of training data while maintaining the sequential data order of the artificial neural network.
참고로, 순환 신경망(Recurrent Neural Network, RNN)은 특정 노드의 출력이 해당 노드(node)에 다시 입력되는 구조를 갖는 신경망이며 즉, 현재 입력 데이터와 과거의 입력 데이터를 동시에 고려하여 결과값을 도출하며, 학습도 김은 신경망의 학습에서 vanishing gradient problem에 대한 해결 방안으로써, LSTM(Long Short-Term Memory)이 제안되었다. For reference, a recurrent neural network (RNN) is a neural network that has a structure in which the output of a specific node is input back into the corresponding node, that is, it derives the result value by considering both the current input data and the past input data at the same time. As a solution to the vanishing gradient problem in learning of neural networks, LSTM (Long Short-Term Memory) was proposed.
LSTM(Long Short-Term Memory 장단기 메모리 신경망)은 셀 상태에 정보를 추가하거나 삭제할 수 있는 게이트(gate) 구조를 갖는다. 게이트(gate)는 정보 결정에 있어 선택할 수 있으며, sigmoid 신경망 층과 벡터의 요소 간 곱 연산으로 구성된다. LSTM (Long Short-Term Memory) has a gate structure that can add or delete information to the cell state. The gate can be selected for information determination, and is composed of a sigmoid neural network layer and an element-by-element product operation of a vector.
Bidirectional-LSTM(Bidirectional Long Short-Term Memory, Bi-LSTM, 양방향 장단기 신경망)은 단방향 LSTM 모델과 동일한 입력을 사용하며, 단방향 LSTM 모델의 구조와 달리 양방향으로 언어 모델(language model)의 문장의 시계열적인 정보를 사용하여 훈련(training)한다.Bidirectional-LSTM (Bidirectional Long Short-Term Memory, Bi-LSTM, bidirectional long short-term neural network) uses the same input as the unidirectional LSTM model, but unlike the structure of the unidirectional LSTM model, it trains using the time-series information of sentences in the language model in both directions.
각 layer의 모든 토큰의 output (크기: 512x768)을 LSTM의 입력으로 사용하였으며, LSTM은 2개의 layer로 구성되고, 각 LSTM layer는 512개의 LSTM cell로 구성되며, 각 layer의 LSTM output (크기: 512x192)을 결합한 후에 완전 연결층(fully connected layer)을 사용한다. The output of all tokens in each layer (size: 512x768) is used as the input of LSTM. LSTM consists of two layers, and each LSTM layer consists of 512 LSTM cells. After combining the LSTM outputs (size: 512x192) of each layer, a fully connected layer is used.
Bidirectional GRU(Bidirectional Gated Recurrent Unit, Bi-GRU)는 문장 유사도 측정(sentence similarity measure) 용으로 사용된다. Bidirectional Gated Recurrent Unit (Bi-GRU) is used for sentence similarity measurement.
전처리 후, 각각의 문장의 토큰 시퀀스(each sequence of tokens)는 단어의 임베딩 레이어(Embedding layer)를 통해 임의의 벡터(random vector)로 임베디드 된다. 실시예에서는, Bi-GRU는 크기를 256으로 설정했으며, 포함된 벡터가 계산된다. 실시예에서는, 유사도(similarity)는 완전 연결층(full connect layer, FC)과 유클리디안 거리를 사용한 sigmoid로 계산된다. 유사도(similarity)는 0 ~ 1 사이의 값을 가지며, 유사도 값이 1에 가까울수록 두 문장이 유사하다. 유사도를 측정하기 위해 완전 연결층(FC)과의 거리(distance)를 측정하며, 거리는 Euclidean 거리, Cosine 거리, Manhatten 거리, Minkowski 거리, Chebyshev 거리를 사용할 수 있다. After preprocessing, each sequence of tokens of a sentence is embedded into a random vector through an embedding layer of a word. In the embodiment, the size of Bi-GRU is set to 256, and the embedded vector is calculated. In the embodiment, the similarity is calculated by a sigmoid using a full connect layer (FC) and Euclidean distance. The similarity has a value between 0 and 1, and the closer the similarity value is to 1, the more similar the two sentences are. In order to measure the similarity, the distance from the fully connected layer (FC) is measured, and the Euclidean distance, the Cosine distance, the Manhatten distance, the Minkowski distance, and the Chebyshev distance can be used.
도 5b와 5c는 AI 탐지 옵션(Sensitivity, Duplication, Accumulated Data, Sloop degree, Time Window Unit, Outlier/Inlier)을 보인 화면이다. Figures 5b and 5c are screens showing AI detection options (Sensitivity, Duplication, Accumulated Data, Sloop degree, Time Window Unit, Outlier/Inlier).
AI 탐지 옵션은 AI 탐지 데이터의 민감도(Sensitivity), 데이터 중복 제거(De-duplication), 누적된 면적(Accumulated Area), 기울기(Slope degree), 타임 윈도우 유닛(Time Window Unit), Outlier/Inlier(이상 징후/정상 징후)가 포함된다. AI detection options include Sensitivity of AI detection data, De-duplication, Accumulated Area, Slope degree, Time Window Unit, and Outlier/Inlier.
* 민감도(Sensitivity) : 예측과 실제 값의 차이 정도를 나타내며, 추후 이벤트 탐지의 척도가 됨* Sensitivity: This indicates the degree of difference between the predicted value and the actual value, and serves as a measure for future event detection.
* 데이터 중복 제거(De-duplication) : 중복되는 값의 데이터 제외* Data De-duplication: Excluding data with duplicate values
* 누적된 면적(Accumulated Area) : 데이터의 면적을 이용한 filter 적용 * Accumulated Area: Applying filter using the area of data
예) 낮은 값의 데이터일때 탐지 X)Example) No detection when data is of low value)
* 기울기(Slope degree) : 데이터의 기울기를 이용한 필터 적용 (예: 급감할 때는 이벤트 탐지 X* Slope degree: Apply filter using slope of data (e.g. No event detection when there is a sharp decrease)
* 타임 윈도우 유닛(Time Window Unit) : Window 내 데이터 row 수* Time Window Unit: Number of data rows within the Window
예) 7 unit: 7개의 데이터를 하나의 패턴 (input) 으로 봄Example) 7 unit: 7 data are viewed as one pattern (input).
* Outlier/Inlier : 이상 징후/정상 징후 중 어느 부분을 이벤트로 탐지할 * Outlier/Inlier: Which part of the abnormal/normal signs will be detected as an event?
지에 대한 여부Whether or not it is about the earth
도 5d는 학습데이터 쿼리(SPL), 탐지 데이터 쿼리(SPL)를 사용한 Test Data (KPI = 1) 쿼리(AI 수치 이상 탐지) 화면이다.Figure 5d is a screen for a Test Data (KPI = 1) query (AI numerical anomaly detection) using a learning data query (SPL) and a detection data query (SPL).
도 5e는 학습 데이터 이미지(Splunk Image), 탐지 데이터 이미지(Splunk Image)를 포함하는 Test Data Splunk Image(AI 수치 이상 탐지) 화면이다. Figure 5e is a Test Data Splunk Image (AI numerical anomaly detection) screen that includes a training data image (Splunk Image) and a detection data image (Splunk Image).
도 5f는 UserID에 따라, 일자별 학습데이터 트렌드(추이 그래프), value별 빈도를 나타낸 학습데이터 분포(막대 그래프)를 데이터 시각화(KPI = 1) 한 화면이다. Figure 5f is a screen that visualizes (KPI = 1) the learning data distribution (bar graph) showing the learning data trend by date (trend graph) and the frequency by value according to UserID.
도 5g는 UserID에 따라, 일자별 탐지데이터 트렌드(추이 그래프-이상 패턴(Anomaly-Outlier)), value별 빈도를 나타낸 탐지데이터 분포(막대 그래프-이상 패턴(Outlier))를 포함하는 탐지 데이터 시각화(KPI = 1) 한 화면이다. Figure 5g is a screen of detection data visualization (KPI = 1) that includes detection data trends by date (trend graph - anomaly pattern (Outlier)) and detection data distribution showing frequency by value (bar graph - anomaly pattern (Outlier)) according to UserID.
도 5h, 5i는 학습 알고리즘을 사용하여 학습 데이터에 대하여 정상 패턴을 학습 후, 딥러닝 모델을 사용하여 개인별 수치 이상 탐지 임계치(threshold)를 적용하여 탐지 데이터를 출력하고, 탐지 데이터의 예측 값과 실제 값의 거리(distance)를 계산하여 탐지 데이터를 출력하는 화면이다. Figures 5h and 5i are screens that use a learning algorithm to learn normal patterns for learning data, apply a threshold for individual numerical anomaly detection using a deep learning model to output detection data, and calculate the distance between the predicted value of the detection data and the actual value to output detection data.
도 5j는 학습 알고리즘 후의 일자별 탐지 데이터에 대한 AI 탐지 민감도(Sensitivity) 화면이다. Figure 5j is a screen showing AI detection sensitivity for daily detection data after the learning algorithm.
도 5k는 JMachine 시나리오 - 탐지 데이터에 대한 AI 탐지 민감도, AI 탐지 원천 데이터 화면이다. Figure 5k is a JMachine scenario - AI detection sensitivity for detection data, AI detection source data screen.
(실시예2)(Example 2)
네트워크 장비의 가상 머신을 사용하여 CPU 사용량의 기록을 모니터링할 때,When monitoring the CPU usage history using a virtual machine on network equipment,
CPU 시스템(cpu_system_pct), 개인 사용자별 CPU 사용량(cpu_user_pct), 전체 CPU 사용량(tot_cpu_pct) CPU system (cpu_system_pct), CPU usage by individual user (cpu_user_pct), total CPU usage (tot_cpu_pct)
도 6a는 학습데이터 쿼리(SPL), 탐지 데이터 쿼리(SPL)를 사용한 Test Data (KPI = 3) 쿼리(AI 수치 이상 탐지) 화면이다.Figure 6a is a screen for a Test Data (KPI = 3) query (AI numerical anomaly detection) using a learning data query (SPL) and a detection data query (SPL).
도 6b는 학습 데이터 이미지(Splunk Image), 탐지 데이터 이미지(Splunk Image)를 포함하는 Test Data Splunk Image(AI 수치 이상 탐지)(KPI =3) 화면이다. Figure 6b is a Test Data Splunk Image (AI numerical anomaly detection) (KPI =3) screen that includes a training data image (Splunk Image) and a detection data image (Splunk Image).
도 6c는 cpu_system_pct, cpu_user_pct, tot_cpu_pct 학습 데이터에 대한 일자별/시간대별 학습데이터 트렌드(추이 그래프), value별 빈도를 나타낸 학습데이터 분포(막대 그래프)를 데이터 시각화(KPI = 3) 한 화면이다. Figure 6c is a screen that visualizes (KPI = 3) the learning data trend (trend graph) by date/time period for cpu_system_pct, cpu_user_pct, and tot_cpu_pct learning data, and the learning data distribution (bar graph) showing the frequency by value.
도 6d는 cpu_system_pct, cpu_user_pct, tot_cpu_pct에 대한 일자별/시간대별 탐지데이터 트렌드(추이 그래프-이상 패턴(Anomaly-Outlier)), value별 빈도를 나타낸 탐지데이터 분포(막대 그래프-이상 패턴(Outlier))를 갖는 탐지 데이터 시각화(KPI = 3) 한 화면이다. Figure 6d is a screen of detection data visualization (KPI = 3) with detection data trends by day/time period (trend graph - anomaly pattern (Outlier)) and detection data distribution showing frequency by value (bar graph - anomaly pattern (Outlier)) for cpu_system_pct, cpu_user_pct, and tot_cpu_pct.
도 6e는 학습 알고리즘의 cpu_system_pct, cpu_user_pct, tot_cpu_pct 학습 데이터에 대하여 시간대별/일자별 정상 패턴 학습 후, 딥러닝 모델을 사용하여 개인별 수치 이상 탐지 임계치(threshold)를 적용하여 탐지 데이터를 출력하고, cpu_system_pct, cpu_user_pct, tot_cpu_pct에 대한 시간대별/일자별 탐지 데이터의 예측 값과 실제 값의 유클리디안 거리(distance)를 계산하여 탐지 데이터를 출력하는 화면이다. Figure 6e is a screen that outputs detection data by applying a threshold for individual numerical anomaly detection using a deep learning model after learning normal patterns by time zone/day for cpu_system_pct, cpu_user_pct, and tot_cpu_pct learning data of a learning algorithm, and calculating the Euclidean distance between the predicted values of the time zone/day detection data for cpu_system_pct, cpu_user_pct, and tot_cpu_pct and the actual values.
도 6f는 학습 알고리즘을 사용하여 cpu_system_pct, cpu_user_pct, tot_cpu_pct 학습 데이터의 정상 패턴 학습 후 결과: cpu_system_pct, cpu_user_pct, tot_cpu_pct 학습 데이터에 대한 시간대별/일자별 정상 패턴 학습 후, 이상 패턴 표시 화면이다. Figure 6f is the result after learning the normal patterns of cpu_system_pct, cpu_user_pct, and tot_cpu_pct training data using the learning algorithm: This is the screen displaying abnormal patterns after learning the normal patterns by time zone/day for cpu_system_pct, cpu_user_pct, and tot_cpu_pct training data.
도 6g는 JMachine 시나리오 - cpu_system_pct, cpu_user_pct, tot_cpu_pct 탐지 데이터에 관한 AI 탐지 민감도, AI 탐지 원천 데이터 화면이다. Figure 6g is a screen showing AI detection sensitivity and AI detection source data for JMachine scenario - cpu_system_pct, cpu_user_pct, tot_cpu_pct detection data.
도 6h는 cpu_system_pct, cpu_user_pct, tot_cpu_pct 탐지 데이터에 관한 각각 value별 빈도별 히스토그램을 표시한 탐지 데이터를 나타낸 탐지 이벤트 시각화 화면이다. Figure 6h is a detection event visualization screen showing detection data with histograms of frequency by value for each detection data of cpu_system_pct, cpu_user_pct, and tot_cpu_pct.
(3) AI 로그 이상탐지: 로그 텍스트 데이터를 수치 데이터로 변형 후 수치 데이터의 이상 패턴 탐지(정상 패턴을 학습하여, 이상 패턴을 수치화하여 임계치 지정)(3) AI log anomaly detection: Transform log text data into numeric data and then detect abnormal patterns in the numeric data (learn normal patterns, digitize abnormal patterns, and set thresholds)
도 7a, 7b는 AI 로그 이상탐지: 로그 텍스트 데이터를 수치 데이터로 변형 후 수치 데이터의 이상 패턴 탐지(정상 패턴을 학습하여, 이상 패턴을 수치화하여 임계치 지정) Test Data(KPI=1) 학습 데이터 쿼리(SPL), 탐지 데이터 쿼리(SPL) - AI 로그 이상 탐지 화면이다. Figures 7a and 7b are AI log anomaly detection: After transforming log text data into numeric data, detecting abnormal patterns in numeric data (learning normal patterns, digitizing abnormal patterns, and setting thresholds) Test Data (KPI = 1) Learning data query (SPL), Detection data query (SPL) - AI log anomaly detection screen.
도 7c는 학습 데이터 이미지(Splunk), 탐지 데이터 이미지(Splunk)를 포함하는 Test Data Splunk Image(AI 로그 이상 탐지) 화면이다. Figure 7c is a Test Data Splunk Image (AI log anomaly detection) screen that includes a training data image (Splunk) and a detection data image (Splunk).
도 7d는 시간, log_key별 시계열적인 순서로 학습 데이터, 탐지 데이터의 임베디드된 텍스트(AI 로그 이상 탐지) 화면이다. Figure 7d is a screen showing embedded text (AI log anomaly detection) of learning data and detection data in chronological order by time and log_key.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.Embodiments according to the present invention may be implemented in the form of program commands that can be executed through various computer means and may be recorded on a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, and data structures, either singly or in combination. The computer-readable recording medium may include a storage, a magnetic media such as a hard disk, a floppy disk, and a magnetic tape, an optical media such as a CD-ROM, a DVD, a magneto-optical media such as a floptical disk, and a hardware device configured to store and execute program commands in a storage medium such as a ROM, a RAM, a flash memory, and the like. Examples of program commands may include those created by a compiler, and high-level language codes that can be executed by a computer using an interpreter as well as machine language codes. The hardware device may be configured to operate as one or more software modules to perform the operations of the present invention.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다. As described above, the method of the present invention can be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.) in a form readable by using computer software.
본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.Although the present invention has been described with reference to specific embodiments, the present invention is not limited to the same configuration and operation as the specific embodiments in order to illustrate the technical idea as described above, and may be implemented by various modifications without departing from the technical idea and scope of the present invention, and the scope of the present invention should be determined by the claims set forth below.
100: 보안 지역 문서 보관실 110: 태그 리더
120: 문서 보관실 PC 130: 출입자의 태그 출입증
131: 태그 칩 170: 사용자 단말
190: 라우터 200: 보안 서버
100: Secure Area Document Vault 110: Tag Reader
120: Document storage PC 130: Entry tag ID card
131: Tag chip 170: User terminal
190: Router 200: Security Server
Claims (5)
개인 PC의 CPU 상태 모니터링 데이터를 개인별로 데이터베이스에 누적 저장하여 시간대별/일자별/기간별 통계에 의해 개인별 z-score, 평균, 표준편차에 따라 정규분포화 한 후 개인별로 다른 AI 가변 임계치를 결정하며, 학습 데이터를 학습 알고리즘을 사용하여 정상 패턴을 학습하고, 실시간으로 해당 탐지 데이터에 대하여 개인별로 다른 AI 가변 임계치를 적용하여 정상 패턴 데이터와 비정상적인 이상 패턴을 갖는 비정상적인 이상 패턴 데이터를 제공하는 보안 서버; 및
상기 보안 서버에 유무선 통신망을 통해 연결된 사용자 단말; 을 포함하고
상기 학습 알고리즘에는 딥러닝(CNN) 또는 머신러닝 알고리즘과 'AI 탐지 옵션'이 포함되며, 상기 학습 알고리즘을 통해 학습 데이터에 대하여 개인별로 정규 분포의 상한치~하한치(5~95%) 범위 정상 패턴의 데이터를 학습하고, 상기 AI 가변 임계치(상한치, 하한치)에 따라 탐지 데이터에 대하여 정규 분포의 하한치 이하(5% 이하), 상한치 이상(95% 이상)을 갖는 비정상적인 이상 패턴 데이터를 추출하며,
상기 'AI 탐지 옵션'에는 AI 탐지 데이터의 민감도(Sensitivity), 데이터 중복 제거(De-duplication), 누적된 면적(Accumulated Area), 기울기(Slope degree), 타임 윈도우 유닛(Time Window Unit), Outlier/Inlier(이상 징후/정상 징후)가 포함되고,
(여기서
* 민감도(Sensitivity) : 예측과 실제 값의 차이 정도,
* 데이터 중복 제거(De-duplication) : 중복되는 값의 데이터 제외
* 누적된 면적(Accumulated Area) : 데이터의 면적을 이용한 filter 적용
* 기울기(Slope degree) : 데이터의 기울기를 이용한 필터 적용,
* 타임 윈도우 유닛(Time Window Unit) : Window 내 데이터 row 수
* Outlier/Inlier : 이상징후/정상징후 이벤트 탐지
를 나타냄)
보안 관리자의 사용자 단말을 통해 탐지 데이터의 유형, 탐지 대상과 기간을 선택하고, 보안 관리자의 사용자 단말에는 개인 PC의 CPU 상태 모니터링 데이터를 포함하는 학습 데이터와, 학습 데이터의 정상 패턴(하한치~상한치)가 표시되고, 실시간으로 탐지되는 탐지 데이터 이미지가 출력되며, 학습 데이터 시각화, AI 가변 임계치와 이상 패턴이 표시된 탐지 데이터 시각화, 비정상적인 이상 패턴 데이터(하한치 이하, 상한치 이상)를 추출하여 최종 결과와 리스트 또는 이를 데이터 시각화하여 비쥬얼하게 화면에 출력되는, AI 가변 임계치를 사용한 이상징후 탐지 시스템.In an anomaly detection system for security management
A security server that accumulates and stores CPU status monitoring data of individual PCs in a database for each individual, and then normalizes it according to individual z-score, average, and standard deviation by time zone/day/period statistics, and then determines different AI variable thresholds for each individual, learns normal patterns using a learning algorithm on learning data, and applies different AI variable thresholds for each individual to the corresponding detection data in real time to provide normal pattern data and abnormal abnormal pattern data with abnormal abnormal patterns; and
A user terminal connected to the above security server via a wired or wireless communication network;
The above learning algorithm includes a deep learning (CNN) or machine learning algorithm and an 'AI detection option', and through the above learning algorithm, data of normal patterns in the range of the upper limit to the lower limit (5~95%) of the normal distribution are learned for each individual for the learning data, and abnormal abnormal pattern data having a lower limit (5% or less) of the normal distribution and a higher limit (95% or more) are extracted for the detection data according to the above AI variable threshold (upper limit, lower limit).
The above 'AI Detection Options' include the sensitivity of AI detection data, de-duplication of data, accumulated area, slope degree, time window unit, and outlier/inlier (abnormal signs/normal signs).
(here
* Sensitivity: The degree of difference between the predicted value and the actual value.
* Data De-duplication: Excluding data with duplicate values
* Accumulated Area: Applying filter using the area of data
* Slope degree: Applying a filter using the slope of the data.
* Time Window Unit: Number of data rows within the Window
* Outlier/Inlier: Detection of abnormal/normal event
)
An anomaly detection system using AI variable thresholds that selects the type of detection data, detection target, and period through the user terminal of the security manager, and displays learning data including CPU status monitoring data of a personal PC, and normal patterns (lower limit to upper limit) of the learning data on the user terminal of the security manager, outputs detection data images detected in real time, visualizes learning data, visualizes detection data with AI variable thresholds and abnormal patterns, extracts abnormal pattern data (below lower limit, above upper limit), and visually outputs the final result and list or this as data visualization on the screen.
상기 이상징후 탐지 시스템에는
보안 지역의 태그 출입증을 소지한 출입자의 출입 기록, 디지털 문서 보안실의 웹 접속 기록(log 기록)이 포함되고, 상기 디지털 문서 보안실은 문서와 파일을 저장하는 파일 서버을 포함하는 AI 가변 임계치를 사용한 이상징후 탐지 시스템.In the first paragraph,
The above abnormal symptom detection system
An abnormality detection system using AI variable threshold, which includes an entry and exit record of an entrant holding a tag access card to a secure area, a web access record (log record) of a digital document security room, and the digital document security room includes a file server that stores documents and files.
보안 지역의 문서 보안실의 출입 시에, 출입자의 태그 출입증을 태깅한 태그 리더의 출입 기록을 전송하고, 상기 태그 리더와 연결된 PC를 더 포함하는 AI 가변 임계치를 사용한 이상징후 탐지 시스템.In the second paragraph,
An abnormality detection system using an AI variable threshold that transmits an entry/exit record of a tag reader that tags an entrant's tag access card when entering a document security room in a secure area, and further includes a PC connected to the tag reader.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210158850A KR102765412B1 (en) | 2021-11-17 | 2021-11-17 | Mysterious symptom detection system using AI variable threshold |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210158850A KR102765412B1 (en) | 2021-11-17 | 2021-11-17 | Mysterious symptom detection system using AI variable threshold |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230072279A KR20230072279A (en) | 2023-05-24 |
KR102765412B1 true KR102765412B1 (en) | 2025-02-07 |
Family
ID=86540889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210158850A Active KR102765412B1 (en) | 2021-11-17 | 2021-11-17 | Mysterious symptom detection system using AI variable threshold |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102765412B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102183897B1 (en) | 2018-09-19 | 2020-11-27 | 주식회사 맥데이타 | An apparatus for anomaly detecting of network based on artificial intelligent and method thereof, and system |
KR102306799B1 (en) | 2020-10-15 | 2021-11-05 | 주식회사 유니유니 | A deep learning-based abnormal behavior detection system that detects the behavior of a camera installation in a safe toilet using de-identified data |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100750697B1 (en) | 2005-11-16 | 2007-08-22 | 주식회사 마크애니 | Digital document security system with shared storage having user access function, and document processing method using the system |
KR20140035146A (en) * | 2012-09-13 | 2014-03-21 | (주)아크원소프트 | Apparatus and method for information security |
KR102185190B1 (en) | 2018-12-12 | 2020-12-01 | 한국전자통신연구원 | Method and system for anomaly behavior detection using machine learning |
KR20210115991A (en) * | 2020-03-17 | 2021-09-27 | 한국전자통신연구원 | Method and apparatus for detecting network anomaly using analyzing time-series data |
-
2021
- 2021-11-17 KR KR1020210158850A patent/KR102765412B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102183897B1 (en) | 2018-09-19 | 2020-11-27 | 주식회사 맥데이타 | An apparatus for anomaly detecting of network based on artificial intelligent and method thereof, and system |
KR102306799B1 (en) | 2020-10-15 | 2021-11-05 | 주식회사 유니유니 | A deep learning-based abnormal behavior detection system that detects the behavior of a camera installation in a safe toilet using de-identified data |
Also Published As
Publication number | Publication date |
---|---|
KR20230072279A (en) | 2023-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shad et al. | [Retracted] Comparative analysis of deepfake image detection method using convolutional neural network | |
JP6080940B2 (en) | Person search method and home staying person search device | |
Manikandan et al. | A neural network aided attuned scheme for gun detection in video surveillance images | |
Mohindru et al. | A review of anomaly detection techniques using computer vision | |
KR102680108B1 (en) | Anomaly detection method for each component using AI variable threshold | |
CN117350835A (en) | Security system risk early warning method, security system risk early warning device, security system risk early warning equipment and storage medium | |
CN112948897A (en) | Webpage tamper-proofing detection method based on combination of DRAE and SVM | |
Feroze et al. | The facial recognition technology in academic attendance: A comparative study for real-time management | |
KR102644230B1 (en) | Mysterious symptom detection system using AI variable threshold | |
Min et al. | Behavior language processing with graph based feature generation for fraud detection in online lending | |
Bhardwaj et al. | Machine learning techniques based exploration of various types of crimes in India | |
KR102661221B1 (en) | A method to detect abnormal symptoms occurring during login using text generated during login | |
Sharma et al. | Analysis on AI Proctoring System Using Various ML Models | |
KR102765412B1 (en) | Mysterious symptom detection system using AI variable threshold | |
KR102647002B1 (en) | Anomaly detection method for Individual user using AI variable threshold | |
KR102659067B1 (en) | Door access management system applying deep learning | |
CN117953569A (en) | Face recognition system and logistics system of face recognition system | |
CN117893972A (en) | Abnormal behavior detection method based on video recording | |
Ansari et al. | Using postural data and recurrent learning to monitor shoplifting activities in megastores | |
KR20250104539A (en) | Method for abnormal log detection | |
KR102800661B1 (en) | Anomaly detection system through a variable threshold value obtained by reflecting individual work | |
Kaur et al. | An advance 2D face recognition by feature extraction (ICA) and optimize multilayer architecture | |
Srivastava et al. | Anomaly Detection Approach for Human Detection in Crowd Based Locations | |
Makhunga et al. | Design and Modelling of a Machine Learning Based Face Recognition Model for Access Control in an Electrical Plant Control Room | |
Bhalala et al. | Machine Learning based Credit Card Fraud Detection Model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211117 |
|
PA0201 | Request for examination | ||
PG1501 | Laying open of application | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240510 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20250120 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20250205 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20250205 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration |