KR102703138B1 - 기계 학습 기반 데이터베이스 튜닝 방법 및 장치 - Google Patents
기계 학습 기반 데이터베이스 튜닝 방법 및 장치 Download PDFInfo
- Publication number
- KR102703138B1 KR102703138B1 KR1020210143716A KR20210143716A KR102703138B1 KR 102703138 B1 KR102703138 B1 KR 102703138B1 KR 1020210143716 A KR1020210143716 A KR 1020210143716A KR 20210143716 A KR20210143716 A KR 20210143716A KR 102703138 B1 KR102703138 B1 KR 102703138B1
- Authority
- KR
- South Korea
- Prior art keywords
- parameters
- database
- contribution
- chromosomes
- database tuning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Genetics & Genomics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
도 2는 본 발명의 몇몇 실시예에 따른 기계 학습 기반 데이터베이스 튜닝 방법의 일 예를 나타낸다.
도 3은 본 발명의 몇몇 실시예에 따른 랜덤 포레스트 프로세스의 일 예를 나타낸다.
도 4는 본 발명의 몇몇 실시예에 따른 유전자 알고리즘의 일 예를 나타낸다.
도 5는 본 발명의 기계 학습 기반 데이터베이스 튜닝 방법에 따른, RocksDB의 성능 지표 각각에 대한 예측 정확도를 나타낸다.
도 6은 본 발명의 기계 학습 기반 데이터베이스 튜닝 방법에 따른, 지니 평균 감소(즉, 평균 감소 불순물(MDI: mean decrease impurity))에 기반한 파라미터 기여도에 대한 분석 결과를 나타낸다.
도 7은 본 발명의 기계 학습 기반 데이터베이스 튜닝 방법에 따른, 최고 및 최저 기여도를 갖는 파라미터의 비교 분석한 결과를 나타낸다.
도 8은 본 발명의 기계 학습 기반 데이터베이스 튜닝 방법에 따른, 유전자 알고리즘의 수렴 과정을 나타낸다.
도 9는 본 발명의 기계 학습 기반 데이터베이스 튜닝 방법에 의해 최적화된 RocksDB의 향상된 성능을 나타낸다.
도 10은 본 발명의 몇몇 실시예에 따른 기계 학습 기반 데이터베이스 튜닝 방법의 흐름도이다.
도 11은 본 발명의 몇몇 실시예에 따른 기계 학습 기반 데이터베이스 튜닝 장치의 개념도이다.
Claims (17)
- 데이터베이스 튜닝 방법으로서,
데이터베이스 튜닝 장치에서 기계 학습 기반으로 데이터베이스와 관련된 복수의 파라미터의 기여도를 분석하는 단계;
상기 데이터베이스 튜닝 장치에서 상기 분석된 기여도에 기초하여 상기 복수의 파라미터들 중 하나 이상의 파라미터를 선택하는 단계;
상기 데이터베이스 튜닝 장치에서 분산 분석(ANOVA)을 이용하여 상기 선택된 하나 이상의 파라미터들의 기여도를 검증하는 단계; 및
상기 데이터베이스 튜닝 장치에서 유전자 알고리즘을 이용하여 상기 선택된 하나 이상의 파라미터들 각각에 대한 최적화된 값을 획득하는 단계를 포함하되,
상기 데이터베이스 튜닝 장치는 랜덤 포레스트 (random forest)를 이용하여 상기 복수의 파라미터의 기여도를 분석하되, 각 파라미터의 MDI(mean decrease impurity) 기준으로 일정 기준보다 높은 순위를 갖는 상기 하나 이상의 파라미터를 선택하고,
상기 선택된 하나 이상의 파라미터는 (i) 컴팩션되는 하한 레벨, (ii) 컴팩션 알고리즘 유형, (iii) 쓰기 속도를 늦추는 레벨 0 파일의 수, (iv) 컴팩션 전 버퍼링 가능한 크기 및 (v) 컴팩션률 중 적어도 하나를 포함하고,
상기 데이터베이스 튜닝 장치는 복수의 염색체들을 구성하고, 상기 복수의 염색체들에 대한 피트니스 함수를 적용한 순위 결정하고, 상기 복수의 염색체들 중 가장 높은 순위의 염색체가 요구 사항을 만족하지 못하는 경우 다음 세대를 구성하고, 상기 가장 높은 순위의 염색체가 요구 사항을 만족하는 경우 상기 가장 높은 순위의 염색체에 포함된 하나 이상의 파라미터들의 값을 상기 최적화된 값으로 결정하고,
상기 복수의 염색체들 각각은 랜덤한 값을 갖는 상기 선택된 하나 이상의 파라미터들로 구성되는 것을 특징으로 하는 데이터베이스 튜닝 방법. - 제1 항에 있어서,
상기 데이터베이스는 RocksDB인 것을 특징으로 하는 데이터베이스 튜닝 방법. - 삭제
- 삭제
- 삭제
- 제1 항에 있어서, 상기 기계 학습 기반으로 데이터베이스와 관련된 복수의 파라미터의 기여도를 분석하는 단계는,
상기 데이터베이스의 쓰기 증폭 및 공간 증폭에 대한 상기 복수의 파라미터의 기여도를 분석하는 단계를 포함하는 것을 특징으로 하는 데이터베이스 튜닝 방법. - 제1 항에 있어서, 상기 분석된 기여도에 기초하여 상기 복수의 파라미터들 중 하나 이상의 파라미터를 선택하는 단계는,
상기 복수의 파라미터들을 기여도가 높은 순서대로 정렬하는 단계; 및
상기 정렬된 복수의 파라미터들 중 가장 높은 기여도를 갖는 파라미터부터 N 번째 높은 기여도를 갖는 파라미터까지의, N 개의 파라미터를 선택하는 단계를 포함하고,
상기 N은 1이상의 자연수인 것을 특징으로 하는 데이터베이스 튜닝 방법. - 제1 항에 있어서, 상기 분석된 기여도에 기초하여 상기 복수의 파라미터들 중 하나 이상의 파라미터를 선택하는 단계는,
상기 복수의 파라미터들 중 미리 정의된 임계 값 이상의 기여도를 갖는 하나 이상의 파라미터를 선택하는 단계를 포함하는 것을 특징으로 하는 데이터베이스 튜닝 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제1 항에 있어서, 상기 다음 세대(next generation)를 구성하는 단계는,
상기 복수의 염색체들 중 낮은 우선 순위를 갖는 염색체들을 제거하는 단계;
상기 복수의 염색체들 중 높은 우선 순위를 갖는 염색체들로부터 교배된 염색체를 생성하는 단계; 및
상기 복수의 염색체들 중 높은 우선 순위를 갖는 염색체들로부터 돌연변이 염색체를 생성하는 단계를 포함하는 것을 특징으로 하는 데이터베이스 튜닝 방법.
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143716A KR102703138B1 (ko) | 2021-10-26 | 2021-10-26 | 기계 학습 기반 데이터베이스 튜닝 방법 및 장치 |
| PCT/KR2022/016431 WO2023075393A1 (ko) | 2021-10-26 | 2022-10-26 | 기계 학습 기반 데이터베이스 튜닝 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143716A KR102703138B1 (ko) | 2021-10-26 | 2021-10-26 | 기계 학습 기반 데이터베이스 튜닝 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230059486A KR20230059486A (ko) | 2023-05-03 |
| KR102703138B1 true KR102703138B1 (ko) | 2024-09-04 |
Family
ID=86158650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210143716A Active KR102703138B1 (ko) | 2021-10-26 | 2021-10-26 | 기계 학습 기반 데이터베이스 튜닝 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102703138B1 (ko) |
| WO (1) | WO2023075393A1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050165748A1 (en) * | 2004-01-15 | 2005-07-28 | Seagate Technology Llc | Method and apparatus for querying a computerized database |
| JP2017123088A (ja) * | 2016-01-08 | 2017-07-13 | 安川情報システム株式会社 | 決定木学習アルゴリズムを用いた予測プログラム、装置及び方法 |
| CN109271374A (zh) | 2018-10-19 | 2019-01-25 | 国网江苏省电力有限公司信息通信分公司 | 一种基于机器学习的数据库健康度打分方法和打分系统 |
| CN110134697A (zh) * | 2019-05-22 | 2019-08-16 | 南京大学 | 一种面向键值对存储引擎的参数自动调优方法、装置、系统 |
| WO2021001114A1 (en) | 2019-07-04 | 2021-01-07 | Asml Netherlands B.V. | Method and apparatus for determining feature contribution to performance |
| US20210125106A1 (en) | 2019-10-25 | 2021-04-29 | Actapio, Inc. | System and method for generating and optimizing artificial intelligence models |
| CN112948357A (zh) * | 2021-03-15 | 2021-06-11 | 河海大学 | 一种面向多模数据库OrientDB的调优机制及其构建方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07244675A (ja) * | 1994-03-04 | 1995-09-19 | Nippon Telegr & Teleph Corp <Ntt> | データベース管理システムの性能チューニング方法 |
| KR102134472B1 (ko) * | 2018-07-26 | 2020-07-15 | 국방과학연구소 | 유전 알고리즘을 활용한 콘볼루션 뉴럴 네트워크의 최적 구조 탐색 방법 |
| KR102096066B1 (ko) * | 2018-08-30 | 2020-04-01 | 주식회사 메타소프트 | 소셜 토픽 추출 시스템 |
-
2021
- 2021-10-26 KR KR1020210143716A patent/KR102703138B1/ko active Active
-
2022
- 2022-10-26 WO PCT/KR2022/016431 patent/WO2023075393A1/ko not_active Ceased
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050165748A1 (en) * | 2004-01-15 | 2005-07-28 | Seagate Technology Llc | Method and apparatus for querying a computerized database |
| JP2017123088A (ja) * | 2016-01-08 | 2017-07-13 | 安川情報システム株式会社 | 決定木学習アルゴリズムを用いた予測プログラム、装置及び方法 |
| CN109271374A (zh) | 2018-10-19 | 2019-01-25 | 国网江苏省电力有限公司信息通信分公司 | 一种基于机器学习的数据库健康度打分方法和打分系统 |
| CN110134697A (zh) * | 2019-05-22 | 2019-08-16 | 南京大学 | 一种面向键值对存储引擎的参数自动调优方法、装置、系统 |
| WO2021001114A1 (en) | 2019-07-04 | 2021-01-07 | Asml Netherlands B.V. | Method and apparatus for determining feature contribution to performance |
| US20210125106A1 (en) | 2019-10-25 | 2021-04-29 | Actapio, Inc. | System and method for generating and optimizing artificial intelligence models |
| CN112948357A (zh) * | 2021-03-15 | 2021-06-11 | 河海大学 | 一种面向多模数据库OrientDB的调优机制及其构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230059486A (ko) | 2023-05-03 |
| WO2023075393A1 (ko) | 2023-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102289919B1 (ko) | 스토리지 컨트롤러, 스토리지 장치, 스토리지 시스템 및 상기 스토리지 컨트롤러의 동작 방법 | |
| KR100791325B1 (ko) | 비휘발성 메모리를 관리하는 장치 및 방법 | |
| US11055224B2 (en) | Data processing apparatus and prefetch method | |
| US10739996B1 (en) | Enhanced garbage collection | |
| US9575982B1 (en) | Size targeted database I/O compression | |
| US9639275B2 (en) | Managing data within a storage device based on file system metadata | |
| US11934696B2 (en) | Machine learning assisted quality of service (QoS) for solid state drives | |
| CN108491226B (zh) | 基于集群缩放的Spark配置参数自动调优方法 | |
| US20240015206A1 (en) | Data stream management method and device | |
| KR20210135776A (ko) | 엣지 컴퓨팅을 위해 데이터중복제거 기술이 적용된 casedb(키 벨류 저장장치) | |
| CN116822383A (zh) | 设备寿命预测模型构建方法、装置、可读存储介质及设备 | |
| Liu et al. | LifetimeKV: Narrowing the lifetime gap of SSTs in LSMT-based KV stores for ZNS SSDs | |
| CN115374127B (zh) | 数据存储方法及装置 | |
| KR102703138B1 (ko) | 기계 학습 기반 데이터베이스 튜닝 방법 및 장치 | |
| Jin et al. | Improvement of RocksDB performance via large-scale parameter analysis and optimization | |
| KR102727561B1 (ko) | 심층 유전 알고리즘을 사용한 데이터베이스 튜닝 방법 | |
| Khernache et al. | MONTRES-NVM: An external sorting algorithm for hybrid memory | |
| CN114385092B (zh) | 固态硬盘闪存阵列的擦除方法、固态硬盘主控芯片 | |
| Ruta | CuttleTree: Adaptive tuning for optimized log-structured merge trees | |
| KR20240170431A (ko) | 데이터 처리 장치 방법 및 데이터 처리 장치 | |
| US11899573B2 (en) | Memory system | |
| CN118520016A (zh) | 提升数据库读性能的主动缓存控制方法及相关装置 | |
| US11385798B1 (en) | Method and system for application aware, management of write operations on non-volatile storage | |
| Byeon et al. | Ensuring compaction and zone cleaning efficiency through same-zone compaction in zns key-value store | |
| EP4409425A1 (en) | Dataset optimization framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211026 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240401 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240828 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240902 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240902 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |