Závěrečná práce: Adam Ondrejka: Hyperparameter Optimization for Molecular Dynamics Calculations in Kubernetes
Diplomová práce
Hyperparameter Optimization for Molecular Dynamics Calculations in Kubernetes
Anotace
Efektivita simulací molekulární dynamiky silně závisí na správné konfiguraci parametrů simulace, jako je počet výpočetních uzlů, počet procesů MPI, počet vláken v procesech a využití GPU při výpočtech. Nesprávné nastavení může vést k nízkému výkonu, plýtvání zdroji a časem výpočtu, což je běžné, protože optimalizace je pro mnoho uživatelů obtížná. Cílem této práce je implementovat službu pro automatizaci …více
Abstract
The efficiency of molecular dynamics simulations heavily depends on correctly configuring the simulation’s parameters, such as the number of computational nodes, the number of MPI processes, the number of threads in the processes, and whether GPUs are leveraged in the computation. Incorrect settings can lead to poor performance, wasted resources, and computational time, which is common because optimization …více
Zadání práce
Konfigurace výpočtu molekulární dynamiky v technickém smyslu, při zachování identického významu simulace jako takové, je tvořena řadou parametrů, zejména počet výpočetních uzlů, počet procesů MPI a vláken v jednom procesu, mapování jednotlivých fází výpočtu na GPU, sdílení GPU mezi více procesy atd. Jen část těchto parametrů je dána nastavením simulace, v ostatních má uživatel prakticky plnou volnost, a tedy potenciální počet možných kombinací je obrovský. Přitom vliv nastavení na výkon je významný a leckdy neintuitivní. Řada uživatelů si s tímto nastavením neví rady, což často vede ke zbytečně dlouhým výpočtům a plýtvání výpočetními zdroji.
Prvním cílem práce je navrhnout architekturu služby pro ladění těchto parametrů výpočtu. Vstupem zde bude zadání simulace, služba automaticky provede sérii experimentů s různým nastavením parametrů, změří jejich výkon a výsledky předá uživateli. Počítá se s nasazením v prostředí Kubernetes. Návrh musí být přiměřeně flexibilní, aby bylo možné jej v budoucnu rozšířit o další vzory výpočtu. Součástí návrhu bude i vhodné API, které bude použitelné z příkazové řádky i grafického rozhraní (implementace GUI už není povinnou částí této práce).
Implementace služby musí dovolit alespoň ladění počtu výpočetních uzlů, procesů MPI a vláken, a přiřazení částí výpočtu na GPU, včetně sdílení GPU více procesy. Kromě standardního nastavení výpočtu musí být pokryt i scénář tzv. "replica exchange" s hierarchickou strukturou procesů MPI.
Protože v reálných případech bude možných kombinací hyperparametrů vždy více, než by bylo realistické vyčerpávajícím způsobem vyzkoušet, práce se také zaměří na výběr vhodných algoritmů hledání optimální konfigurace.
18. 12. 2024 09:27, Mgr. Aleš Křenek, Ph.D., učo 3086
Práce na příbuzné téma
Seznam prací, které mají shodná klíčová slova.
-
Hyperparameter Optimization for Molecular Dynamics Calculations in Kubernetes
Ing. Adam Ondrejka -
Návrh a implementácia automatického ukladania dát v ChannelsDB
Ing. Ján Kučera -
API for communicating with a rack of real Android devices
Ing. Tatiana Malecová -
Cybersecurity Games for Assessment of Skills
Bc. Eva Krajníková -
Microservices for Situational Awareness and Security Operations
Ing. Daniel Timko -
Python Helm Chart in OpenShift
Bc. Adam Dobeš -
Backend pro geoprostorová data infrastruktury EnviLab
Vítek Hoch -
Webový rezervační systém laboratoře LEMMA
Mgr. Dalibor Jelínek, učo 487606