Parallel re-initialization of level set functions and load balancing for two-phase flow simulations [Elektronische Ressource] / Oliver Christian Fortmeier

Oliver Fortmeier

Sujets

• Informatik

Informations

• Publié par: rheinisch-westfalischen_technischen_hochschule_-rwth-_aachen
• Publié le: 01 janvier 2012
• Nombre de lectures: 25
• Langue: Deutsch
• Poids de l'ouvrage: 2 Mo

Extrait

Parallel Re-Initialization of Level Set Functions
and Load Balancing for
Two-Phase Flow Simulations
Von der Fakult¨at fu¨r Mathematik, Informatik und Naturwissenschaften
der RWTH Aachen University zur Erlangung des akademischen Grades eines
Doktors der Naturwissenschaften genehmigte Dissertation
vorgelegt von
Diplom-Mathematiker Oliver Christian Fortmeier
aus Duisburg
Berichter: apl. Professor Dr.-Ing. H. Martin Bu¨cker
Universit¨atsprofessor Dr. Arnold Reusken
Universit¨atsprofessor Dr. Uwe Naumann
Tag der mu¨ndlichen Pru¨fung: 17. November 2011
Diese Dissertation ist auf den Internetseiten der Hochschulbibliothek online verfu¨gbar.Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;
detaillierte bibliografische Daten sind im Internet über
abrufbar.
ISBN 978-3-8439-0227-4
D 82 (Diss. RWTH Aachen University, 2011)
© Verlag Dr. Hut, München 2011
Sternstr. 18, 80538 München
Tel.: [phone]
www.dr.hut-verlag.de
Alle Rechte, auch die des auszugsweisen Nachdrucks, der Vervielfältigung und Verbreitung in besonderen Verfahren wie
fotomechanischer Nachdruck, Fotokopie, Mikrokopie, elektronische Datenaufzeichnung einschließlich Speicherung und
Übertragung auf weitere Datenträger sowie Übersetzung in andere Sprachen, behält sich der Autor vor.
1. Auflage 2011

WFSCMJFCFOFGFIMFSIBGUF"OHBCFOVOEEFSFO'PMHFO
FWFOUVFMM G?S )BGUVOH JSHFOEFJOF PEFS 7FSBOUXPSUVOH KVSJTUJTDIF LFJOF ?CFSOFINFO ?CFSTFU[FS HHG VOE "VUPSFO 7FSMBH XFSEFO
BVTHFTDIMPTTFO WPMMTU?OEJH OJDIU 'FIMFS L?OOFO %FOOPDI FSBSCFJUFU 4PSHGBMU HSP?FS NJU XVSEFO #VDI EJFTFN JO *OGPSNBUJPOFO %JF
IUUQEOCEOCEF
TDIF*OGPSNBUJPOEFS%FVUTDIFO/BUJPOBMCJCMJPUIFL #JCMJPHSBpFu¨r CaroZusammenfassung
Die vorliegende Arbeit besch¨aftigt sich mit parallelen Algorithmen, welche bei
der Simulation von dreidimensionalen Zweiphasenstro¨mungen auf adaptiv verfein-
erten, unstrukturierten Tetraedergittern eingesetzt werden. Ziel dabei ist es, diese
Stro¨mungen von zwei unmischbaren Phasen auf modernen Hochleistungsrechner-
architekturen zu simulieren, welche derzeit in der Regel aus einer großen Anzahl
von vernetzten Mehrkernprozessoren bestehen.
Die mathematische Modellierung der Zweiphasenstro¨mungen beruht auf den
Navier–Stokes-Gleichungen zur Beschreibung der Stro¨mungsdynamik und der Le-
velset-Methode zurCharakterisierung derbeiden Phasen. Umdiesepartiellen Dif-
ferentialgleichungen rechnergestu¨tzt zu l¨osen, werden fu¨r die Ortsdiskretisierung
Finite-Elemente-Funktionen und fu¨r die Zeitdiskretisierung ein implizites Theta-
Schema angewandt. Dadurch ko¨nnen Zweiphasenstro¨mungsprobleme in Form ei-
ner Sequenz von großen, du¨nnbesetzten linearen Gleichungssystemen dargestellt
werden, welche iterativ durch Krylov-Teilraumverfahren gel¨ost werden.
Um die Rechenarbeit der Simulation auf Rechenkerne mit verteiltem Speicher
aufzuteilen, wird ein Gebietszerlegungsansatz gewa¨hlt, in dem – basierend auf
einer Partitionierung des Rechengebiets – die zugrundeliegende Hierarchie von
Tetraedergittern verteilt wird. In dieser Arbeit werden Graph- und Hypergraph-
Partitionierungsmodelleeingefu¨hrt,umeineZerlegungdesRechengebietsfu¨rZwei-
phasenstro¨mungssimulationen zu bestimmen. Ein zentraler Algorithmus bei der
Verwendung des Levelset-Ansatzes ist die Reinitialisierung der Levelset-Funktion,
welche ihre numerisch wichtige Eigenschaft einer vorzeichenbehafteten Abstands-
funktion wiederherstellt. Hierfu¨r kommt ein neuer paralleler Algorithmus auf ei-
nem verteilt gespeicherten, unstrukturierten Tetraedergitter zum Tragen.
Alle in dieser Arbeit vorgestellten Konzepte wurden in dem Software-Werkzeug
DROPS implementiert, das in einer Zusammenarbeit mit dem Lehrstuhl fu¨r nu-
merische MathematikderRWTHAachenUniversity entwickelt wird. Dieparallele
SkalierbarkeitdieserMethodenwirddurchdetailliertenumerischeExperimenteauf
biszu1024Rechenkernen demonstriert. ZudemwerdendieparallelenKonzeptein
einer ingenieurs-relevanten Fallstudie kombiniert, welche die hochaufgel¨oste Simu-
lation eines n-Butanol-Tropfens in einer wa¨ssrigen Phase beinhaltet. Diese Studie
entstammt dem Sonderforschungsbereich SFB 540 der RWTH und wurde erst
durch den Einsatz paralleler Algorithmen auf modernen Hochleistungsrechnern
ermo¨glicht, die den n¨otigen Speicher und Rechenleistung zur Verfu¨gung stellen.Abstract
Thisthesisaddresses parallelalgorithmsforthree-dimensional two-phaseflowsim-
ulationsonadaptivelyrefinedunstructuredtetrahedragrids. Thesealgorithmsare
designed to simulate the fluid dynamics of two immiscible phases on recent high-
performancecomputerarchitectures which, ingeneral, consistofclustersofalarge
number of multi-core processors.
The underlying mathematical model of these two-phase flows is based on the
Navier–Stokes equations to describe the fluid dynamics. The level set approach is
employedtocharacterizethetwophases. Thespatialdiscretizationofthesepartial
differential equations is given by the finite element method whereas the time dis-
cretization is performed by animplicit thetascheme. This approachfacilitates the
description of two-phase flow problems as a sequence of large and sparse systems
of linear equations which are efficiently solved by Krylov subspace methods.
The computational work of two-phase flow simulations is decomposed among
compute cores with distributed memory. To this end, a domain decomposition
approach is pursued where the tetrahedra of the underlying hierarchy of trian-
gulations are accordingly distributed. In this thesis, graph and hypergraph parti-
tioningmodelsareintroducedwhichdetermine tetrahedraldecompositions. These
models are specifically designed for two-phase flow simulations. A major algorith-
mic element in such simulations is constituted by the re-initialization algorithm
that periodically rebuilds a numerically crucial property of the level set function,
namely the signed distance property. This task is addressed by a novel paral-
lel algorithm which is capable of re-initializing level set functions on distributed
unstructured triangulations.
The numerical results of the presented parallel concepts are gathered by the
softwaretoolkitDROPSwhichisbeingdevelopedinacollaborationwiththeChair
of Numerical Mathematics at RWTH Aachen University. The parallel scalability
of the methods is demonstrated by detailed numerical experiments on up to 1024
compute cores. Furthermore, all parallel concepts are combined in an engineering
relevant case study that is concerned with the analysis of an n-butanol drop in
an aqueous phase on a triangulation with a high resolution. This study originates
from the collaborative research center SFB 540 at RWTH. Its simulation is too
large—in terms of memory and compute time—for sequential computing. Thus,
only the parallel techniques presented in this thesis allow to perform this detailed
analysis.Acknowledgments
The Deutsche Forschungsgemeinschaft (DFG) supported many parts of my re-
search work through the SFB 540 “Model-based experimental analysis of kinetic
phenomena in fluid multi-phase reactive systems.” Besides the financial support,
its seminars provided a forum for many fruitful discussion and applications that
have driven many of my research.
Special thanks go to thank my supervisor Prof. Martin Bu¨cker. He has spent
much time in introducing me into the world of parallel algorithms, methods, lit-
erature, and scientific writing. He has provided me with excellent support in the
last years. Thank you, Martin. I would also like to express my deep gratitude to
Prof. Reusken forbeingthe co-advisor ofthis thesis and forshowing much interest
in my work. Moreover, I thank Prof. Uwe Naumann having reviewed my thesis.
The atmosphere at the Institute for Scientific Computing has stimulated me
for many research issues. I really appreciate the—not only—scientific advises of
Prof. Christian Bischof. Furthermore, I would like to thank all my colleagues and
friends at SC, Michael Lu¨lfesmann, Arno Rasch, Monika Petera, Andre Vehre-
schild, Johannes Willkomm, Andreas Wolf, and all the student workers who have
supported me. The researches at the LNM are developing the software Drops
which provides a brilliant basis for my research. They have also helped me in un-
derstandingthemathematicsintheinterestingfieldoftwo-phaseflows. Therefore,
IamgratefultoPatrickEsser, J¨orgGrande,andEvaLoch. Inparticular,Iwantto
express my thankfulness toSven Groß. Furthermore, therearemanypeople atthe
Center for Computing and Communication who have helped my throughout my
researchactivities. IthanktheHPCgroupforprovidingmesuchadetailedknowl-
edge and insight of the HPC architectures at RWTH Aachen University. Thank
you Christian Terboven, Dieter an Mey, Tim Cramer, Christian Iwainsky, Paul
Kapinos, Samuel Sarholz, Dirk Schmidl, and Sandra Wienke. Bernd Hentschel
has pointed me to the technology of k-d trees which forms one key ingredient of
the parallel re-initialization algorithm. Thank you. The administrators of the
RWTH Aachen’s HPC computers have never stopped their effort to get my jobs
through the batch queue. Prof. Rob Bisseling and Bas Fa