[go: up one dir, main page]

WO2025143322A1 - 대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법 - Google Patents

대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법 Download PDF

Info

Publication number
WO2025143322A1
WO2025143322A1 PCT/KR2023/021879 KR2023021879W WO2025143322A1 WO 2025143322 A1 WO2025143322 A1 WO 2025143322A1 KR 2023021879 W KR2023021879 W KR 2023021879W WO 2025143322 A1 WO2025143322 A1 WO 2025143322A1
Authority
WO
WIPO (PCT)
Prior art keywords
memory
module
data
edge
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2023/021879
Other languages
English (en)
French (fr)
Inventor
고도현
김진현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Join Cloud Co Ltd
Original Assignee
Join Cloud Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Join Cloud Co Ltd filed Critical Join Cloud Co Ltd
Publication of WO2025143322A1 publication Critical patent/WO2025143322A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Definitions

  • the present invention relates to a data processing system for edge data, and more specifically, to an in-memory-based data processing system and method capable of collecting, processing, and storing a large amount of edge data in real time.
  • In-memory computing is a method of performing services on the main memory, not the hard disk, for data for application operation.
  • the memory area which was considered to be an area only for calculations, is used not only for calculations but also for storage.
  • the present invention is intended to solve the above problems, and more specifically, to provide an in-memory-based data processing system and method capable of real-time collection, high-speed processing, and high-speed storage of large-volume edge data without service interruption.
  • the SNET module may include a packet reader module that collects data from the edge; and a packet analysis module that analyzes data collected by the packet reader module, and the packet analysis module may include a parsing unit that parses packets; a filtering unit that selects storage data based on preset storage conditions and stores the data in the in-memory DB of the CAST module; and an action processing unit that stores and manages the preset action conditions and generates the action commands.
  • the in-memory DB has a non-relational data storage structure in the NoSQL manner, and the CAST module can perform transaction processing in a shared memory manner.
  • the in-memory DB may have a hash index-based data storage structure.
  • the CAST module may further include a multi-DB layer that converts data stored in the in-memory DB into a NoSQL format compatible with multiple different types of RDBMS.
  • the SDB module may transfer some filtered data required for application services to the in-memory DB in bulk.
  • the SDB module can transmit updated information to an external RDBMS in the form of a batch file.
  • an in-memory-based data processing method includes: (a) a step of storing information collected from an external RDBMS and user-specific and service-specific environmental information in an SDB module; (b) a step of constructing, by a CAST module, some filtered data necessary for an application service in the SDB module as an in-memory DB; (c) a step of collecting and analyzing data from an edge, by a SNET module; (d) a step of transmitting, by the SNET module, to the edge an action command generated according to a preset action condition based on a data analysis result; and (e) a step of processing, by the CAST module, a transaction of the application service based on the data analysis result in the SNET module and the in-memory DB.
  • the in-memory DB has a non-relational data storage structure in the NoSQL manner, and the CAST module can perform transaction processing in a shared memory manner.
  • FIG. 3 is a schematic diagram of the SNET module of Figure 2.
  • Figure 4 is a schematic diagram of the CAST module of Figure 2.
  • Figure 5 is a schematic diagram of a hardware device in which the in-memory-based data processing system of the present invention operates.
  • FIG. 1 is a diagram showing a network configuration to which the in-memory-based data processing system of the present invention is applied
  • FIG. 2 is a schematic configuration diagram of the in-memory-based data processing system of the present invention
  • FIG. 3 is a schematic configuration diagram of the SNET module of FIG. 2
  • FIG. 4 is a schematic configuration diagram of the CAST module of FIG. 2.
  • the in-memory based data processing system (100) of the present invention is directly or indirectly connected to a web application server (200), an RDBMS (300), and an edge (400) via a network.
  • Web Application Server refers to a server that provides transaction processing and management and an application execution environment in a client-server environment.
  • RDBMS (300) is a storage device that stores information related to application services in conjunction with WAS (200).
  • RDBMS (300) is a relational database management system in which data is stored in tables of one or more columns and rows, and data is stored and managed in a form in which the interrelationships between each table are defined. Examples include MySQL, PostgreSQL, MariaDB, MSSQL, and Oracle.
  • Edge (400) refers to a terminal that transmits data to a web application server (200). As shown in Fig. 1, edge (400) may include a computer (410), a smartphone (420), an IoT device (430), a sensor (440), etc.
  • edges (400) can be located in homes, offices, factories, public institutions, etc., and can transmit data such as various sensor data and service-related request information to WAS (200) through a web server (not shown) on the Internet.
  • the in-memory-based data processing system (100, hereinafter abbreviated as “system”) of the present invention is configured to be connected to a WAS (200) and an RDBMS (300) over a network, and provides data so that the WAS (200) can quickly process transactions based on an in-memory basis when executing an application service.
  • the system (100) is configured to include a SNET module (120), a CAST module (140), and an SDB module (160).
  • the SNET module (120) is configured to enable bidirectional online transaction processing (OLTP) with the edge (400), collects and analyzes data from the edge (400), and generates action commands according to preset action conditions and transmits them to the edge (400).
  • OTP online transaction processing
  • the SDB module (160) serves to store information collected from the RDBMS (300) and environmental information for each user and service.
  • the SDB module (160) can collect and filter data from various types of DBs such as Oracle, MSSQL, MySQL, Maria, Informix, Hadoop, and Mango through the RDBMS interface to enable data communication with multiple different types of RDBMSs, thereby constructing data.
  • DBs such as Oracle, MSSQL, MySQL, Maria, Informix, Hadoop, and Mango
  • the SDB module (160) further includes a connection interface that allows access to data in the in-memory DB (148) of the CAST module (140), although not shown.
  • SNET module 120
  • CAST module 140
  • SDB module 160
  • the SNET module (120) is configured to include a packet reader module (122) and a packet analysis module (124).
  • the packet reader module (122) reads (collects) data packets generated at the edge (400) in a direct access (DA) manner.
  • the packet analysis module (124) is composed of a parsing unit (125), a filtering unit (126), an output unit (127), and an action processing unit (128).
  • the output section (127) serves to visualize and output analyzed packet information and environment setting information for each packet data through a user interface.
  • the action processing unit (128) stores and manages preset action conditions and generates action commands.
  • Figure 5 is a schematic diagram of a hardware device in which the in-memory-based data processing system of the present invention operates.
  • the system (100) of FIG. 1 means a hardware device in which the in-memory-based data processing engine (software) of the present invention is installed and operates, and the hardware device (500) of FIG. 5 may be the same as the system (100) of FIG. 1, but in FIG. 5, for convenience, the concept of a hardware device in which the in-memory-based data processing engine of the present invention can be installed is described with a separate drawing symbol for convenience.
  • the hardware device (500) may include at least one processor (510), a memory (520), and a transceiver device (530) that is connected to a network and performs communication.
  • the device (500) may further include an input interface device (540), an output interface device (550), a storage device (560), etc.
  • Each component included in the device (500) may be connected to each other by a bus (570) and may communicate with each other.
  • each component included in the device (500) may be connected through an individual interface or individual bus centered around the processor (510), rather than a common bus (570).
  • the processor (510) may be connected to at least one of a memory (520), a transceiver (530), an input interface device (540), an output interface device (550), and a storage device (560) through a dedicated interface.
  • the processor (110) can execute a program or instructions stored in at least one of the memory (520) and the storage device (560).
  • the processor (510) may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.
  • the operations of the method according to the embodiments of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system.
  • the computer-readable recording medium can be distributed over network-connected computer systems, so that the computer-readable program or code can be stored and executed in a distributed manner.
  • the computer-readable recording medium may include hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • the program instructions may include not only machine language codes produced by a compiler, but also high-level language codes that can be executed by the computer using an interpreter, etc.
  • FIG. 6 is a schematic flowchart explaining an in-memory-based data processing method of the present invention, and explains the data processing method with reference to the system (100) of FIGS. 1 to 4.
  • the data stored in the SDB module (160) has a data storage format of SQL structure, like an external RDBMS (300).
  • the data stored in the SDB module (160) includes application service-related environment setting information for each user and each service.
  • the format of the data stored in the in-memory DB (148) is a non-relational data storage structure of the NoSQL structure as described above.
  • the system (100) determines whether the preset action conditions are satisfied through packet analysis of the collected data (S640).
  • an action command corresponding to the condition is generated and transmitted to the corresponding edge (400) (S650).
  • the system (100) of the present invention can maximize the transaction processing speed by searching for data of a hash index structure in the main memory in an in-memory manner, and in addition, can maximize the processing speed for multiple transactions without creating a session for each transaction through a shared memory method.
  • step S660 if the data of the in-memory DB (148) is changed, the data of the SDB module (160) and the external RDBMS (300) are updated based on the changed information (S670).
  • the update of the data of the SDB module (160) can be performed by receiving the updated information of the in-memory DB (148) in bulk data format.
  • updating data in the RDBMS (300) can be performed by receiving a batch file containing update information from the SDB module (160).

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법이 개시된다. 이를 위해 본 발명의 일실시예에 따른 인메모리 기반 데이터 처리 시스템은, 에지와 양방향 온라인 트랜잭션 처리(OLTP)가 가능하도록 구성되어 상기 에지로부터 데이터를 수집 및 분석하고, 미리 설정된 액션 조건에 따라 액션 명령어를 생성하여 상기 에지로 전송하는 SNET 모듈; 외부 RDBMS로부터 수집된 정보와, 사용자별 및 서비스별 환경정보를 저장하는 SDB 모듈; 및 상기 SDB 모듈에서 애플리케이션 서비스에 필요한 일부 필터링된 데이터를 인메모리 DB로 구축하고, 상기 SNET 모듈에서의 데이터 분석 결과 및 상기 인메모리 DB를 기초로 애플리케이션 서비스의 트랜잭션을 처리하는 CAST 모듈을 포함한다.

Description

대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법
본 발명은 에지 데이터의 데이터 처리 시스템에 관한 것으로, 보다 상세하게는 대용량의 에지 데이터를 실시간 수집, 처리 및 저장할 수 있는 인메모리 기반 데이터 처리 시스템 및 방법에 관한 것이다.
인터넷 및 IoT 기술의 발전으로 전자상거래, 금융, 공공기관 등에서 제공하는 서비스에서 동시 접속자수가 많아지거나 동시에 처리되어야 할 데이터가 많아지는 경우 즉, 처리되어야 할 트랜잭션(transaction)이 급격히 증가하는 경우 해당 서비스를 제공하는 서버가 다운 등의 문제로 서비스가 지연되거나 중단되는 장애가 빈번하게 발생되고 있다.
이러한 문제는 웹서버나 웹 애플리케이션 서버(WAS) 측의 서버 대역폭을 증가시키는 조치를 통해 일부 해결될 수 있지만, 웹 애플리케이션 서버에서 관계형 데이터베이스 관리 시스템인 RMDBS로 데이터를 저장 또는 저장된 데이터를 호출하기 위해 다수의 SQL 쿼리(Query)가 수반되는 것은 필수적이기 때문에 이로 인하여 급격한 트랜잭션 증가에 따른 서비스 장애는 해결되지 못하였다.
최근 실시간 서비스 요구 증가와 고성능의 범용 서버의 확산, 반도체 기술의 발달과 DRAM 가격 하락에 따라 위의 문제를 해결하기 위해 인메모리(In-Memory) 컴퓨팅 기술이 활용되고 있다. 인메모리 컴퓨팅이란 애플리케이션의 운영을 위한 데이터를 하드 디스크가 아닌 메인 메모리에서 서비스를 수행하는 것이다. 즉, 연산을 위한 영역으로만 여겨졌던 메모리 영역을 연산 뿐만 아니라 저장을 위한 공간으로도 사용하는 방식이다.
이러한 MMDB(Main Memory DMBS) 솔루션의 경우 하드 디스크에 저장되었던 관계형 DB 데이터를 RAM과 같은 메인 메모리상에 옮겨 놓은 형태를 취하기 때문에 대용량의 RDBMS의 데이터를 모두 메인 메모리에 옮길 수 없다는 점과 관계형 DB 구조의 특성에 따른 데이터 처리 속도의 제약을 여전히 가지고 있기 때문에 에지의 대용량의 데이터를 실시간으로 처리하는 데에는 한계가 있다.
(선행기술문헌)
(특허문헌)
한국등록특허 제10-1905968호(2018.10.01)
한국등록특허 제10-2038529호(2019.10.24)
한국공개특허 제10-2022-0073692호(2022.06.03)
본 발명은 위와 같은 문제를 해결하기 위한 것으로, 상세하게는 대용량의 에지 데이터를 서비스 장애 없이 실시간 수집, 고속처리 및 고속저장 할 수 있는 인메모리 기반 데이터 처리 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일실시예에 따른 대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템은, 에지와 양방향 온라인 트랜잭션 처리(OLTP)가 가능하도록 구성되어 상기 에지로부터 데이터를 수집 및 분석하고, 미리 설정된 액션 조건에 따라 액션 명령어를 생성하여 상기 에지로 전송하는 SNET 모듈; 외부 RDBMS로부터 수집된 정보와, 사용자별 및 서비스별 환경정보를 저장하는 SDB 모듈; 및 상기 SDB 모듈에서 애플리케이션 서비스에 필요한 일부 필터링된 데이터를 인메모리 DB로 구축하고, 상기 SNET 모듈에서의 데이터 분석 결과 및 상기 인메모리 DB를 기초로 애플리케이션 서비스의 트랜잭션을 처리하는 CAST 모듈을 포함한다.
일실시예에서 상기 SNET 모듈은, 상기 에지로부터 데이터를 수집하는 패킷리더 모듈; 및 상기 패킷리더 모듈이 수집한 데이터를 분석하는 패킷분석 모듈를 포함하고, 상기 패킷분석 모듈은, 패킷을 파싱하는 파싱부; 미리 설정된 저장 조건을 기초로 저장 데이터를 선별하여 상기 CAST 모듈의 상기 인메모리 DB에 저장하는 필터링부; 및 상기 미리 설정된 액션 조건을 저장 및 관리하고, 상기 액션 명령어를 생성하는 액션처리부를 포함할 수 있다.
일실시예에서 상기 패킷분석 모듈은, 분석된 패킷 정보 및 패킷 데이터별 환경 설정 정보를 사용자 인터페이스를 통하여 가시화하여 출력하는 출력부를 더 포함할 수 있다.
일실시예에서 상기 인메모리 DB는 NoSQL 방식의 비관계형 데이터 저장 구조를 가지고, 상기 CAST 모듈은 공유 메모리 방식으로 트랜잭션 처리를 수행할 수 있다.
일실시예에서 상기 인메모리 DB는 해시 인덱스 기반 데이터 저장 구조를 가질 수 있다.
일실시예에서 상기 CAST 모듈은, 상기 인메모리 DB에 저장된 데이터를 NoSQL 방식으로 복수의 다른 종류의 RDBMS에 호환 가능하도록 변환시키는 멀티 DB 레이어를 더 포함할 수 있다.
일실시예에서 상기 SDB 모듈은, 애플리케이션 서비스에 필요한 일부 필터링된 데이터를 벌크 방식으로 상기 인메모리 DB에 전송할 수 있다.
일실시예에서 상기 SDB 모듈은, 업데이트된 정보를 배치 파일 형식으로 외부 RDBMS에 전송할 수 있다.
또한 본 발명의 일실시예에 따른 인메모리 기반 데이터 처리 방법은, (a) 외부 RDBMS로부터 수집된 정보와 사용자별 및 서비스별 환경정보를 SDB 모듈에 저장하는 단계; (b) CAST 모듈이 상기 SDB 모듈에서 애플리케이션 서비스에 필요한 일부 필터링된 데이터를 인메모리 DB로 구축하는 단계; (c) SNET 모듈이 에지로부터 데이터를 수집 및 분석하는 단계; (d) 상기 SNET 모듈이 데이터 분석 결과를 기초로 미리 설정된 액션 조건에 따라 액션 명령어를 생성하는 상기 에지로 전송하는 단계; 및 (e) 상기 CAST 모듈이 상기 SNET 모듈에서의 데이터 분석 결과 및 상기 인메모리 DB를 기초로 애플리케이션 서비스의 트랜잭션을 처리하는 단계를 포함한다.
일실시예에서 상기 인메모리 DB는 NoSQL 방식의 비관계형 데이터 저장 구조를 가지고, 상기 CAST 모듈은 공유 메모리 방식으로 트랜잭션 처리를 수행할 수 있다.
본 발명의 일실시예에 따른 인메모리 기반 데이터 처리 시스템 및 방법은 대용량의 에지 데이터를 서비스 장애 없이 실시간 수집, 고속처리 및 고속저장할 수 있는 효과를 가진다.
또한 본 발명의 일실시예에 따른 인메모리 기반 데이터 처리 시스템 및 방법은 에지 데이터의 패킷 분석을 통해 즉각적인 액션 명령어를 에지에 전송함으로써 서버(File 또는 RDBMS)에 데이터 저장 전에 빠른 실시간 서비스 대응을 할 수 있는 효과를 가진다.
또한 본 발명의 일실시예에 따른 인메모리 기반 데이터 처리 시스템 및 방법은 에지 데이터의 패킷 분석 결과에 기초한 패킷 정보 및 패킷 데이터별 환경 설정 정보를 가시화하여 출력함으로써 사용자가 액션 서비스 실행 조건 및 데이터 저장 조건을 편리하게 설정하여 프로그램의 수정이나 코드의 변경없이 즉시실행 할 수 있는 효과를 가진다.
또한 본 발명의 일실시예에 따른 인메모리 기반 데이터 처리 시스템 및 방법은 NoSQL 방식의 비관계형 데이터 저장 구조를 가지는 인메모리 DB 및 공유 메모리 방식의 데이터 전송 방식을 채택하는 CAST 모듈을 통하여 트랜잭션 처리 속도를 극대화시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 인메모리 기반 데이터 처리 시스템이 적용된 네트워크 구성도를 나타내는 도면이다.
도 2는 본 발명의 인메모리 기반 데이터 처리 시스템의 개략 구성도이다.
도 3은 도 2의 SNET 모듈의 개략 구성도이다.
도 4는 도 2의 CAST 모듈의 개략 구성도이다.
도 5는 본 발명의 인메모리 기반 데이터 처리 시스템이 동작하는 하드웨어 장치의 개략 구성도이다.
도 6은 본 발명의 인메모리 기반 데이터 처리 방법을 설명하는 개략 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 따른 대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법에 대하여 도면들을 참고하여 설명하도록 한다.
도 1은 본 발명의 인메모리 기반 데이터 처리 시스템이 적용된 네트워크 구성도를 나타내는 도면이며, 도 2는 본 발명의 인메모리 기반 데이터 처리 시스템의 개략 구성도이며, 도 3은 도 2의 SNET 모듈의 개략 구성도이며, 도 4는 도 2의 CAST 모듈의 개략 구성도이다.
도 1을 참조하면, 본 발명의 인메모리 기반 데이터 처리 시스템(100)은 웹 애플리케이션 서버(200), RDBMS(300) 및 에지(400)와 직간접적으로 네트워크로 연결된다.
웹 애플리케이션 서버(WAS; Web Application Server, 200)는 클라이언트-서버 환경에서 트랜잭션 처리 및 관리와 애플리케이션 실행 환경을 제공하는 서버를 의미한다.
웹 애플리케이션 서버(이하 'WAS'로 약칭함, 200)는 클라이언트측에 필요한 각각의 서비스를 제공한다. 예를 들어, WAS(200)는 전자상거래, 금융, 공공기관, 병원 등과 관련된 서비스를 제공할 수 있다.
RDBMS(300)는 WAS(200)와 연동하여 애플리케이션 서비스와 관련된 정보를 저장하는 저장 장치이다. RDBMS(300)는 구체적으로 관계형 데이터베이스 관리 시스템으로 데이터가 하나 이상의 열과 행의 테이블에 저장되어 각 테이블 간의 상호관계가 정의되는 형태로 데이터를 저장 및 관리하여, 예로는 MySQL, PostgreSQL, MariaDB, MSSQL, Oracle 등이 있다.
에지(400)는 웹 애플리케이션 서버(200)로 데이터를 전송하는 단말기를 통칭한다. 에지(400)는 도 1에 도시된 바와 같이 에지(400)는 컴퓨터(410), 스마트폰(420), IoT 기기(430), 센서(440) 등을 포함할 수 있다.
이러한 에지(400)는 집, 사무실, 공장, 공공기관 등에 위치할 수 있으며 인터넷상의 웹서버(미도시)를 통하여 WAS(200)에 각종 센서 데이터, 서비스 관련 요청 정보 등의 데이터를 전송할 수 있다.
본 발명의 인메모리 기반 데이터 처리 시스템(100, 이하 '시스템'으로 약칭함)는 WAS(200) 및 RDBMS(300)와 네트워크상에서 연결되도록 구성되어, WAS(200)가 애플리캐이션 서비스 실행시 인메모리 기반으로 빠르게 트랜잭션을 처리할 수 있도록 데이터를 제공하는 역할을 한다.
도 2를 참조하면, 시스템(100)은 SNET 모듈(120), CAST 모듈(140) 및 SDB 모듈(160)을 포함하여 구성된다.
SNET 모듈(120)은 에지(400)와 양방향 온라인 트랜잭션 처리(OLTP)가 가능하도록 구성되어 에지(400)로부터 데이터를 수집 및 분석하고, 미리 설정된 액션 조건에 따라 액션 명령어를 생성하여 에지(400)로 전송하는 역할을 한다.
SDB 모듈(160)은 RDBMS(300)로부터 수집된 정보와, 사용자별 및 서비스별 환경정보를 저장하는 역할을 한다.
SDB 모듈(160)은 복수의 다른 종류의 RDBMS와 데이터 통신 가능하도록 RDBMS 인터페이스를 통하여 Oracle, MSSQL, MySQL, Maria, Informix, Hadoop, Mango 등 다양한 종류의 DB로부터 데이터를 수집 및 필터링하여 데이터를 구축할 수 있다.
또한, SDB 모듈(160)은 도시되지는 않았지만 CAST 모듈(140)의 인메모리 DB(148)의 데이터에도 접근 가능하도록 하는 연결 인터페이스를 더 포함한다.
CAST 모듈(140)은 SDB 모듈(160)에서 애플리케이션 서비스에 필요한 일부 필터링된 데이터를 인메모리 DB로 구축하고, SNET 모듈(120)에서의 데이터 분석 결과 및 인메모리 DB를 기초로 애플케이션 서비스의 트랜잭션을 처리하는 역할을 한다.
사용자는 ODBC(Open Database Connectivity) 또는 JDBC(Java Database Connectivity) 인터페이스를 통하여 본 발명의 시스템(100)에 접근할 수 있다.
상기 SNET 모듈(120), CAST 모듈(140) 및 SDB 모듈(160)의 구성 및 동작에 대하여 도 3 내지 도 5를 참조하여 상술한다.
도 3을 참조하면 SNET 모듈(120)은 패킷리더 모듈(122) 및 패킷분석 모듈(124)을 포함하여 구성된다.
패킷리더 모듈(122)은 직접 연결(DA; Direct Access) 방식으로 에지(400)에서 발생한 데이터 패킷을 읽는(수집하는) 역할을 한다.
패킷분석 모듈(124)은 패킷리더 모듈(122)이 읽은 전처리(Pre-Processing) 하기 위해 분석하는 역할을 한다.
패킷분석모듈(124)은 파싱부(125), 필터링부(126), 출력부(127) 및 액션처리부(128)를 포함하여 구성된다.
파싱부(125)는 분석을 위해 수집된 패킷 데이터를 파싱하는 역할을 하며, 필터링부(126)는 파싱된 데이터를 기초로 미리 설정된 정책 조건에 따라서 유의미한 데이터를 선별하는 역할을 한다.
출력부(127)는 분석된 패킷 정보 및 패킷 데이터별 환경 설정 정보를 사용자 인터페이스를 통하여 가시화하여 출력하는 역할을 한다.
액션처리부(128)는 미리 설정된 액션 조건을 저장 및 관리하고, 액션 명령어를 생성하는 역할을 한다.
즉, SNET 모듈(120)는 에지(400)로부터 수집되는 데이터의 패킷을 분석하고, 필터링부(126)를 통하여 미리 설정된 정책 조건에 따라서 필요한 데이터만을 선별적으로 저장할 수 있도록 함으로써 WAS(200)에 의해 후술하는 인메모리 DB(148), SDB 모듈(160) 및 RDBMS(300)에 저장되는 데이터의 양을 최소화시킬 수 있다.
SNET 모듈(120)의 출력부(127)는 사용자에게 패킷 정보 및 패킷 데이터별 환경 설정 정보를 가시화하여 사용자에게 출력하여 별도의 전용 프로그램 없이 저장되어야 하는 데이터의 기준, 액션이 필요한 데이터의 기준 등에 관한 설정을 할 수 있도록 함으로써 사용자별 및 서비스별 환경 설정의 편의성을 극대화시킬 수 있다.
SNET 모듈(120)의 액션처리부(128)는 미리 설정된 액션 조건에 따라서 패킷분석 모듈(124)에서 분석된 패킷 정보에 기초하여 즉각적으로 필요한 액션 명령어를 생성하여 에지(400)로 전송함으로써 즉시성을 확보할 수 있다.
예를 들어, 공장 설비에서 과전류, 과전압 또는 높은 온도값의 센서 데이터가 획득된 경우 종래의 RDBMS 기반 시스템에서는 RDBMS에 데이터를 저장한 후 SQL 쿼리를 통해 획득된 정보에 기초하여 조치가 가능했기 때문에 이러한 과정에서의 트랜잭션 처리에서 수십초 내지 수분의 시간 지연이 발생했기 때문에 조치를 취하더라도 사고의 발생을 막지 못하는 문제가 있으나 본 발명의 시스템(100)은 에지(400)에서 수집되는 데이터의 패킷 분석을 통해 데이터를 DB에 저장하기 전 단계에서 즉각적으로 액션 서비스를 실행하여 조치를 취하여 즉시성을 확보하여 사고의 발생을 막을 수 있는 효과를 가진다.
한편 액션처리부(128)는 미리 설정된 액션 조건(128)에 의하여 즉각적인 액션 서비스를 실행할 수 있으나, 후술하는 CAST 모듈(140)의 인메모리 DB(148)의 데이터를 참조하여 액션 서비스를 실행하도록 구성될 수도 있다.
이러한 경우에도 종래기술과 달리 하드 디스크 기반으로 RMDBS에서 데이터를 참조하는 것이 아닌 메인 메모리(RAM 등) 기반의 인메모리 DB(148)의 데이터를 참조하기 때문에 종래기술에 비해 현저히 빠른 속도로 서비스를 실행하여 즉시성을 확보할 수 있다.
도 4를 참조하면, CAST 모듈(140)은 멀티 DB 레이어(141) 및 인메모리 DB(148)를 포함하여 구성된다.
인메모리 DB(148)는 시스템(100)의 SDB 모듈(160)에 저장된 데이터 중 애플리케이션 서비스에 필요한 일부 필터링된 데이터로 구축될 수 있다.
구체적으로, 도 1에 도시된 바와 같이 RDBMS(300)에 저장된 데이터 중 필요한 데이터를 벌크 데이터(Bulk Data) 형식으로 로딩하여 인메모리 DB(148)에 저장시킬 수 있다.
인메모리 DB(180)는 NoSQL 방식의 비관계형 데이터 저장 구조를 가질 수 있으며, 특히 해시 인덱스 기반 데이터 저장 구조를 가질 수 있다.
멀티 DB 레이어(141)는 인메모리 DB(180)에 저장된 데이터를 NoSQL 방식으로 복수의 다른 종류의 RDBMS에 호환 가능하도록 변환시키는 역할을 한다.
예를 들어, 도 4에 도시된 바와 같이 멀티 DB 레이어(141)는 Oracle DB Layer(142), PostGreSql DB Layer(143), MySQL DB Layer(144), MSSQL(Sql Server) DB Layer(145), Tibero DB Layer(146) 및 Maria DB Layer(147)를 포함하여 구성될 수 있다.
도 4에 도시되지는 않았지만, CAST 모듈(140)은 복수의 다른 종류의 RDBMS와 호환 가능하도록 하는 API가 구성되며, WAS(200)나 기타 접속 단말(미도시)은 각각의 API를 통하여 NoSQL 방식으로 인메모리 DB(148)의 데이터를 조회할 수 있다.
이때, 인메모리 DB(148)에 저장되는 데이터는 위에서 설명한 바와 같이 비관계형 데이터 구조를 가질 수 있으며 특히 키-값 기반의 해시 인덱스 구조로 구성되어 RMDBS 대비하여 매우 빠른 데이터 탐색이 가능하도록 구성될 수 있다.
인메모리 DB(148)의 키-값 기반의 데이터는 멀티 DB 레이어(141)를 통과함으로써 복수의 다른 종류의 RDBMS의 형식에 맞도록 변환되어 출력되도록 구성됨으로써 CAST 모듈(140)은 실질적으로 복수의 RDBMS에 대응되는 NoSQL 기반의 DB를 포함한다.
실제 종래기술에 따른 RDBMS 및 MMDB(Main Memory DB)와 비교하여 본 발명의 SDB 모듈(160) 및 CAST 모듈(140)에 대해 총 1,000,000 건의 데이터를 각각10회씩 입력하여 처리시간을 측정한 결과 아래의 표 1과 같은 결과를 획득하였다.
Figure PCTKR2023021879-appb-img-000001
표 1을 참조하면 본 발명의 시스템(100)의 SDB 모듈(160)은 RDBMS의 종류인 Oracle 대비 약 5배 빠른 속도를 나타내고, CAST 모듈(140)은 인메모리 기반은 MMDB와 비교해서 약 20~30배 빠른 속도를 내는 것을 확인할 수 있다.
도 5는 본 발명의 인메모리 기반 데이터 처리 시스템이 동작하는 하드웨어 장치의 개략 구성도이다.
도 1의 시스템(100)은 본 발명의 인메모리 기반 데이터 처리 엔진(소프트웨어)이 설치되어 동작하는 하드웨어 장치를 의미하며, 도 5의 하드웨어 장치(500)는 도 1의 시스템(100)과 동일할 수 있으나 도 5에서는 편의상 본 발명의 인메모리 기반 데이터 처리 엔진이 설치될 수 있는 하드웨어 장치의 개념으로 편의상 별도의 도면 부호로 설명한다.
도 5를 참조하면 하드웨어 장치(500)는 적어도 하나의 프로세서(510), 메모리(520) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(530)를 포함할 수 있다. 또한 장치(500)는 입력 인터페이스 장치(540), 출력 인터페이스 장치(550), 저장 장치(560) 등을 더 포함할 수 있다. 장치(500)에 포함된 각각의 구성요소들은 버스(bus, 570)에 의해 서로 연결되어 서로 통신을 수행할 수 있다.
한편, 장치(500)에 포함된 각각의 구성요소들은 공통 버스(570)가 아닌, 프로세서(510)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다. 예를 들어, 프로세서(510)는 메모리(520), 송수신 장치(530), 입력 인터페이스 장치(540), 출력 인터페이스 장치(550) 및 저장 장치(560) 중 적어도 하나 이상과 전용 인터페이스를 통하여 연결될 수 있다.
프로세서(110)는 메모리(520) 및 저장 장치(560) 중에서 적어도 하나에 저장된 프로그램(program)이나 명령어(instructions)를 실행할 수 있다. 프로세서(510)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
메모리(520) 및 저장 장치(560) 각각은 휘발성 저장 매체 및 비취발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(520)는 읽기 전용 메모리(ROM) 및 랜덤 액세스 메모리(RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 본 발명의 실시예들에 따른 방법의 동작들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(ROM), 램(RAM), 플래시 메모리 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고 여기서 블록 또는 방치는 방법 단계 또는 방법 단계의 특성에 상응한다. 유사하게, 방법의 문매에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특성으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로 프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위하여 사용될 수 있다. 실시예들에서 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
도 5의 장치(500)의 구성은 본 발명의 소프트웨어 엔진이 동작하는 주요 하드웨어 구성을 설명하기 위한 것이며, 도 1 내지 도 4의 구성 및 동작이 도 5에 우선한다.
도 6은 본 발명의 인메모리 기반 데이터 처리 방법을 설명하는 개략 순서도이며, 도 1 내지 도 4의 시스템(100)을 참조하여 데이터 처리 방법을 설명한다.
본 발명의 시스템(100)을 이용한 애플리케이션 서비스를 제공하기 위해서는 초기 시스템(100)의 내부 DB인 SDB 모듈(160) 데이터의 구축이 필요한다.
본 발명의 시스템(100)은 외부의 RDBMS(300)에 저장되어 있는 원본 데이터 중에서 시스템 운영에 필요한 일부의 데이터를 벌크 데이터 형식으로 로딩하여 SDB 모듈(160)의 데이터를 구축한다(S610).
이때, SDB 모듈(160)에 저장되는 데이터는 외부 RDBMS(300)와 같이 SQL 구조의 데이터 저장 형식을 가진다. SDB 모듈(160)에 저장되는 데이터에는 사용자별 및 서비스별 애플리케이션 서비스 관련 환경설정 정보가 포함된다.
다음 빠른 데이터 처리를 위하여 SDB 모듈(160)에 필요한 일부 데이터를 필터링하여 인메모리 DB(148)를 구축한다(S620).
이때, 인메모리 DB(148)에 저장되는 데이터의 형식은 위에서 설명한 바와 같이 NoSQL 구조의 비관계형 데이터 저장 구조이다.
시스템(100)은 에지(400)로부터 데이터를 수집하고 분석한다(S630).
시스템(100)은 수집된 데이터의 패킷 분석을 통해 미리 설정된 액션 조건을 만족하는지를 판단한다(S640).
만약, 미리 설정된 액션 조건을 만족하는 경우라면 해당 조건에 대응되는 액션 명령어를 생성하여 이를 해당 에지(400)로 전송한다(S650).
단계 S640에서 미리 설정된 액션 조건을 만족하지 않는 경우 또는 단계 S650 이후 시스템(100)은 인메모리 DB(148)에 저장된 데이터를 기반으로 공유 메모리 방식의 통신 방식으로 트랜잭션 처리를 수행한다(S660).
본 발명의 시스템(100)은 인메모리 방식으로 메인 메모리에서 해시 인덱스 구조의 데이터를 조회함으로써 트랜잭션 처리 속도를 극대화할 수 있으며 이와 더불어 공유 메모리(Shared Memory) 방식을 통해 매 트랜잭션 마다 세션을 생성함이 없이 복수의 트랜잭션에 대한 처리 속도를 극대화시킬 수 있다.
단계 S660 이후 인메모리 DB(148)의 데이터가 변경되면 해당 변경된 정보를 기초로 SDB 모듈(160) 및 외부 RDBMS(300)의 데이터를 업데이트 시킨다(S670).
이때, SDB 모듈(160)의 데이터의 업데이트는 인메모리 DB(148)의 업데이트된 정보를 벌크 데이터 형식으로 전달받음으로써 수행될 수 있다.
또한, RDBMS(300)의 데이터의 업데이트는 SDB 모듈(160)에서 업데이트 정보를 포함하는 배치 파일을 전달받음으로써 수행될 수 있다.
상기와 같은 구성 및 방법을 채택함으로써 본 발명의 인메모리 기반 데이터 처리 시스템 및 방법은 짧은 시간에 대용량의 에지 데이터가 전달되는 경우에도 서비스 장애 없이 트랜잭션을 처리할 수 있는 효과를 가진다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 에지와 양방향 온라인 트랜잭션 처리(OLTP)가 가능하도록 구성되어 상기 에지로부터 데이터를 수집 및 분석하고, 미리 설정된 액션 조건에 따라 액션 명령어를 생성하여 상기 에지로 전송하는 SNET 모듈;
    외부 RDBMS로부터 수집된 정보와, 사용자별 및 서비스별 환경정보를 저장하는 SDB 모듈; 및
    상기 SDB 모듈에서 애플리케이션 서비스에 필요한 일부 필터링된 데이터를 인메모리 DB로 구축하고, 상기 SNET 모듈에서의 데이터 분석 결과 및 상기 인메모리 DB를 기초로 애플리케이션 서비스의 트랜잭션을 처리하는 CAST 모듈을 포함하는 인메모리 기반 데이터 처리 시스템.
  2. 제1항에 있어서,
    상기 SNET 모듈은, 상기 에지로부터 데이터를 수집하는 패킷리더 모듈; 및 상기 패킷리더 모듈이 수집한 데이터를 분석하는 패킷분석 모듈를 포함하고,
    상기 패킷분석 모듈은,
    패킷을 파싱하는 파싱부;
    미리 설정된 저장 조건을 기초로 저장 데이터를 선별하여 상기 CAST 모듈의 상기 인메모리 DB에 저장하는 필터링부; 및
    상기 미리 설정된 액션 조건을 저장 및 관리하고, 상기 액션 명령어를 생성하는 액션처리부를 포함하는 인메모리 기반 데이터 처리 시스템.
  3. 제2항에 있어서,
    상기 패킷분석 모듈은, 분석된 패킷 정보 및 패킷 데이터별 환경 설정 정보를 사용자 인터페이스를 통하여 가시화하여 출력하는 출력부를 더 포함하는 인메모리 기반 데이터 처리 시스템.
  4. 제1항에 있어서,
    상기 인메모리 DB는 NoSQL 방식의 비관계형 데이터 저장 구조를 가지고,
    상기 CAST 모듈은 공유 메모리 방식으로 트랜잭션 처리를 수행하는 것을 특징으로 하는 인메모리 기반 데이터 처리 시스템.
  5. 제4항에 있어서,
    상기 인메모리 DB는 해시 인덱스 기반 데이터 저장 구조를 가지는 것을 특징으로 하는 인메모리 기반 데이터 처리 시스템.
  6. 제4항에 있어서,
    상기 CAST 모듈은, 상기 인메모리 DB에 저장된 데이터를 NoSQL 방식으로 복수의 다른 종류의 RDBMS에 호환 가능하도록 변환시키는 멀티 DB 레이어를 더 포함하는 것을 특징으로 하는 인메모리 기반 데이터 처리 시스템.
  7. 제4항에 있어서,
    상기 SDB 모듈은, 애플리케이션 서비스에 필요한 일부 필터링된 데이터를 벌크 방식으로 상기 인메모리 DB에 전송하는 것을 특징으로 하는 인메모리 기반 데이터 처리 시스템.
  8. 제7항에 있어서,
    상기 SDB 모듈은, 업데이트된 정보를 배치 파일 형식으로 외부 RDBMS에 전송하는 것을 특징으로 하는 인메모리 기반 데이터 처리 시스템.
  9. (a) 외부 RDBMS로부터 수집된 정보와 사용자별 및 서비스별 환경정보를 SDB 모듈에 저장하는 단계;
    (b) CAST 모듈이 상기 SDB 모듈에서 애플리케이션 서비스에 필요한 일부 필터링된 데이터를 인메모리 DB로 구축하는 단계;
    (c) SNET 모듈이 에지로부터 데이터를 수집 및 분석하는 단계;
    (d) 상기 SNET 모듈이 데이터 분석 결과를 기초로 미리 설정된 액션 조건에 따라 액션 명령어를 생성하는 상기 에지로 전송하는 단계; 및
    (e) 상기 CAST 모듈이 상기 SNET 모듈에서의 데이터 분석 결과 및 상기 인메모리 DB를 기초로 애플리케이션 서비스의 트랜잭션을 처리하는 단계를 포함하는 인메모리 기반 데이터 처리 방법.
  10. 제9항에 있어서,
    상기 인메모리 DB는 NoSQL 방식의 비관계형 데이터 저장 구조를 가지고,
    상기 CAST 모듈은 공유 메모리 방식으로 트랜잭션 처리를 수행하는 것을 특징으로 하는 인메모리 기반 데이터 처리 방법.
PCT/KR2023/021879 2023-12-28 2023-12-28 대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법 Pending WO2025143322A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020230194372A KR102776940B1 (ko) 2023-12-28 2023-12-28 대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법
KR10-2023-0194372 2023-12-28

Publications (1)

Publication Number Publication Date
WO2025143322A1 true WO2025143322A1 (ko) 2025-07-03

Family

ID=95020097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/021879 Pending WO2025143322A1 (ko) 2023-12-28 2023-12-28 대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102776940B1 (ko)
WO (1) WO2025143322A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246835A (ja) * 2012-05-29 2013-12-09 Sap Ag データウェアハウスモデルからインメモリモデルを生成するためのシステムおよび方法
JP2014120174A (ja) * 2012-12-18 2014-06-30 Sap Ag インメモリデータベース処理のためのシステムおよび方法
JP2018014096A (ja) * 2016-07-18 2018-01-25 エスアーペー エスエー 階層ウィンドウデータベースクエリ実行
KR20190113359A (ko) * 2018-03-28 2019-10-08 주식회사 리얼타임테크 Nvdimm을 이용한 인-메모리 데이터베이스 기반의 데이터 저장 및 복원 방법
KR20210149576A (ko) * 2019-04-30 2021-12-09 인텔 코포레이션 에지 컴퓨팅 배치에서 다중 엔티티 자원, 보안 및 서비스 관리

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101905968B1 (ko) 2016-08-23 2018-10-10 전자부품연구원 실시간 데이터 처리를 위한 듀얼 인메모리 기반 데이터 저장 및 처리 시스템
KR102038529B1 (ko) 2017-11-30 2019-10-30 주식회사 리얼타임테크 인-메모리 데이터베이스의 실시간 데이터 변경 처리 시스템
KR20220073692A (ko) 2020-11-26 2022-06-03 주식회사 한국오픈솔루션 산업용 IoT 센싱 스트리밍 빅데이터 기술 단계별 처리 흐름 구성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246835A (ja) * 2012-05-29 2013-12-09 Sap Ag データウェアハウスモデルからインメモリモデルを生成するためのシステムおよび方法
JP2014120174A (ja) * 2012-12-18 2014-06-30 Sap Ag インメモリデータベース処理のためのシステムおよび方法
JP2018014096A (ja) * 2016-07-18 2018-01-25 エスアーペー エスエー 階層ウィンドウデータベースクエリ実行
KR20190113359A (ko) * 2018-03-28 2019-10-08 주식회사 리얼타임테크 Nvdimm을 이용한 인-메모리 데이터베이스 기반의 데이터 저장 및 복원 방법
KR20210149576A (ko) * 2019-04-30 2021-12-09 인텔 코포레이션 에지 컴퓨팅 배치에서 다중 엔티티 자원, 보안 및 서비스 관리

Also Published As

Publication number Publication date
KR102776940B1 (ko) 2025-03-10

Similar Documents

Publication Publication Date Title
US11361013B2 (en) System for organizing and fast searching of massive amounts of data
US9081834B2 (en) Process for gathering and special data structure for storing performance metric data
US9081829B2 (en) System for organizing and fast searching of massive amounts of data
WO2018205373A1 (zh) 人伤理赔定损费用测算方法、装置、服务器和介质
WO2023106504A1 (ko) 서버 시스템 로그를 이용한 머신러닝 기반의 관측레벨 측정 및 이에 따른 위험도 산출 방법, 장치 및 컴퓨터-판독 가능 기록 매체
WO2020233057A1 (zh) 文件打包方法、装置、设备及存储介质
WO2021141294A1 (ko) 데이터의 하이브리드 저장을 이용한 데이터 아카이빙 방법 및 시스템
WO2016095551A1 (zh) 一种MySQL数据库监控选项脚本的实现方法及装置
CN111897813A (zh) 针对数据库资源的流控方法及装置
KR20040027248A (ko) 데이터베이스 시스템에 접속하지 않고 데이터베이스시스템을 모니터링하는 방법
WO2017131355A1 (ko) 시스템 환경 및 사용자 행동 분석 기반의 자기 방어 보안 장치와 이의 작동 방법
WO2025143322A1 (ko) 대용량 에지 데이터의 실시간 수집, 처리 및 저장을 위한 인메모리 기반 데이터 처리 시스템 및 방법
US7499937B2 (en) Network security data management system and method
WO2021141292A1 (ko) 하이브리드 클라우드 기반의 실시간 데이터 아카이빙 방법 및 시스템
WO2015068929A1 (ko) 컨텐츠 중심 네트워크에서 패킷 특성을 고려하는 노드의 동작 방법 및 노드
WO2020062655A1 (zh) 爬虫识别方法、装置、设备及非易失性可读存储介质
US9853946B2 (en) Security compliance for cloud-based machine data acquisition and search system
WO2024143918A1 (ko) 디지털 서비스 기반의 병목 구간 별 진입 대상을 관리하기 위한 진입 관리 서버, 방법 및 프로그램
CN116150276A (zh) 一种数据同步的方法和设备
WO2019182345A1 (en) Method of automatically searching for and registering controlled application in distributed environment
WO2018110908A1 (ko) 집계질의를 처리하기 위한 장치 및 그 방법
WO2017030337A1 (ko) 사물 인터넷에서의 연관된 트랜잭션 처리 방법, 이를 위한 사물 인터넷 통신 노드, 및 이들을 이용한 사물 인터넷 망
WO2020122522A1 (ko) 전자장치 및 그 제어방법
WO2022260291A1 (ko) 코호트 추출 방법, 이를 구현한 코호트 추출 장치 및 코호트 추출 프로그램
WO2016045259A1 (zh) 远程搜索联系人的方法以及智能移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23963286

Country of ref document: EP

Kind code of ref document: A1