Table of Contents
Praktikum „Parallele Programmierung“
Beschreibung
Um Mehrkernprozessoren und Multiprozessoren effizient zu nutzen, genügt es nicht, ein serielles Programm zu schreiben. Vierkernsysteme sind auch schon bei Arbeitsplatzrechnern weit verbreitet. Standards wie MPI und OpenMP, erlauben es, in den Programmiersprachen C(++) und Fortran Code zu schreiben, welcher auch auf Hochleistungsrechnern lauffähig ist.
Im Praktikum werden wir das parallele Programmieren mit MPI und OpenMP erlernen und auch eigenständige Anwendungen (z.B. Spielelöser) in Gruppen entwickeln. Im Vergleich zu der Vorlesung Hochleistungsrechnen werden wird der Fokus auf der Praxis liegen.
Beachten Sie auch unsere allgemeinen organisatorischen Hinweise zu Praktika.
Lernziel
Ziel des Praktikums ist es, aktuelle Parallelisierungskonzepte kennen zu lernen und Problemstellungen im Team zu bearbeiten. Die Studierenden gewinnen eine Übersicht über hilfreiche Werkzeuge zur Entwicklung und Bewertung von Anwendungen.
Zielgruppe
Das Projekt eignet sich für Studierende der Informatik in den Diplom- und Bachelorstudiengängen. Studierende anderer Studiengänge müssen die Anrechnung mit dem jeweiligen Prüfungsausschuss klären.
Interessierte Zuhörer sind auch herzlich willkommen.
Daten der Veranstaltung
Dozenten
- Prof. Dr. Julian Kunkel (Ansprechpartner)
Vorgehen
Zunächst werden die Grundlagen theoretisch vermittelt und mit kleinen Beispielen geübt. Im zweiten Teil werden in kleinen Gruppen jeweils unterschiedliche Problemstellungen bearbeitet. Hierbei wird ein (kleiner) Projektplan erstellt und im Team eine Anwendung zur Problemlösung implementiert. Status und aufgetretene Probleme werden regelmäßig gemeinsam besprochen.
Beispiel Problemstellungen
- Optimale Spielzüge ermitteln (Suchbaumverfahren) für Spiele.
- (Einfache) Räuber-Beute-Beziehung eines abgeschlossenen Systems mit Tierwanderung.
- Autos im Straßenverkehr eines Stadtnetzes und entstehende Staus.
Für weitere Vorschläge sind wir offen. Wichtig ist vor allem die korrekte Parallelisierung (evtl. mit Alternativen) und Auswertung. Detaillierte Kenntnisse der Numerik sind nicht erforderlich.
Vorgeschlagene Themen:
- Astrophysikalische Berechnungen
- Skat, Go oder Robotersimulation
- Längste Wege Problem
- Lösen großer logischer Formeln
- Algorithmen aus der Bioinformatik
- Strategien zur Platzierung von Flugzeugpassagieren
Bearbeitung des Projektes
Bei der Durchführung der Projektes sollten einige Inhalte bearbeitet werden und entsprechend in Präsentation und Ausarbeitung einfließen.
- Konzepte des zugrundeliegenden (Anwendungs)-Modells
- Parallelisierungsschema (Kommunikationsmuster, Verteilung der Daten & Aufgaben)
- Es sollte mit MPI parallelisiert werden (optional: Shared-Memory Parallelisierung mit Threads oder OpenMP).
- Leistungsanalyse des sequentiellen Codes (Verhält sich dieser Erwartungskonform)
- Skalierungsverhalten der parallelen Version
- Speedup-Diagramme
- Potentiell Analyse mit Vampir/Sunshot
- Durchführung einer Optimierung der parallelen Version (Kommunikationsschema etc.)
Zeitplan und Materialien
- Vorbesprechung (08.04.2015), Architekturen, Programmierkonzepte von OpenMP und MPI, Gebietszerlegung und Aufgabenteilung.
- Theoretische Grundlagen (in der Vorlesungszeit)
- 15.04.2015 - Praktisches: Einführung in C, Versionsverwaltung, Clusternutzung, Programmierkonzepte von OpenMP und MPI (2)
- Übung: erste Schritte mit OpenMP und MPI auf unserem Cluster, anlegen eines Repositories und Testbeispiele verwalten. Übungsblatt 1
- Literatur zum Nachlesen:
- Folien in der Vorlesung: Architekturen: 17-46, Anwendungsklassen: 201-241, Threads: 304-381
- 22.04.2015 - Speichermanagement von C/Fortran, Einführung in Debugging, MPI, Individuelle und kollektive Operationen im Detail, nicht-blockierende Aufrufe, Parallelisierung von Anwendungen
- Übung: einfache Probleme selbständig parallelisieren. Werkzeuge: GDB bzw. DDT+Valgrind. Übungsblatt 2 Matrizen
- Vorlesung MPI: 251-277
- 29.04.2015 Leistungsbewertung von Anwendungen, PGAS - Folien
- Einfaches Modell für Leistungsengpässe; CPU: Betrachtungen zu FLOPS, Instructions per Second, Cache-Hit/Miss Ratio, …
- Literatur:
- Übung: Amdahls Gesetz, Speedup-Diagramme bewerten, Projekt-Aufgabenstellung.Übungsblatt 3 - MPI Program zur Speedup-Bestimmung Julia Mengen SourceCode
- 05.05.2015 – Termin fällt aus!!!
- 12.05.2015 – OpenMP, Programmanalyse Werkzeuge Tolle Präsentation -- OpenMP and Performance Tasking Präsentation OpenMP Tutorials sind hier verlinkt
-
- Übung: OpenMP, Leistungsanalyse, Verschiedene Code-Fragmente parallelisieren und die Leistung bewerten. Übungsblatt 4
- Projektbearbeitung (je nach Absprache auch in der vorlesungsfreien Zeit)
- Hinweise zur Projektbearbeitung Übungsblatt 5
- 03.06.2015 – Projektvorstellung und Präsentation der algorithmischen Lösung und Projektplan
- 08.07.2015 Statustreffen – Vorstellung der bisherigen Arbeiten und aufgetretene Probleme
- 05.08.2015 Statustreffen – Vorstellung der bisherigen Arbeiten und aufgetretene Probleme, erste Leistungsergebnisse
- 09.09.2015 Abschlußtreffen – Präsentation der Ergebnisse
Ergebnisse
Conway's Game of Life in 3D
Autoren: Elena Bergmann, Tobias Wesseler
Conway's Game of Life wurde 1970 von John Horton Conway entworfen und stellt einen zweidimensionalen zellulären Automaten dar. Das Spielfeld besteht aus einzelnen Zellen, die quadratisch angeordnet sind und zwischen zwei Zuständen wechseln können. Lebendige Zellen sind aktiv und tote Zellen inaktiv. Die Regeln beschreiben, wann eine tote Zelle lebendig wird, wann eine lebendige Zelle stirbt und wann sie weiterlebt.
Nachdem im zweidimensionalen Spielfeld schon statische, oszillierende, sich bewegende, erzeugende und vernichtende Objekte gefunden wurden, bleibt im dreidimensionalen Bereich noch weiteres zu entdecken. Wir werden daher dreidimensionale Spielfelder verarbeiten und das ganze mit MPI parallelisieren.
NBody Sonnensystem
Autoren: Oliver Heidmann, Tronje Krabbe
Die Idee, die unserem Projekt zugrunde liegt, ist relativ simpel zu formulieren: Wir wollen ein Sonnensystem simulieren. In diesem System sollten die enthalte- nen Objekte realistisch miteinander interagieren. Alle Objekte beinflussen sich durch die Gravitation und durch physischen Kontakt, also Kollisionen.
Ausarbeitung – Präsentation – Source – Video
Neugengo
Autoren: Armin Schaare, Theresa Eimer, Lennart Braun
In diesem Projekt wurden eigens implementierte, künstliche neuronale Netze trainiert, das asiatische Brettspiel Go spielen zu können. Da das Training enorm vieler Kalkula- tionen bedarf, haben wir uns für die Umsetzung auf einem Rechencluster mit entspre- chenden Parallelisierungsschemata auseinander gesetzt.
Objekterkennung beim Tischkicker
Autoren: Michael Straßberger, Philip Gawehn
Tischkicker ist ein beliebter Sport. Schnelligkeiten, Geschick, Konzentration und viele weitere Eigenschaften machen ihn oft unvorhersehbar und spannend. Haufig ist der Ball durch seine hohe Geschwindigkeit mit dem bloßen Auge nicht mehr zu erkennen. Unter anderem aus diesem Grund haben wir uns als Aufgabe gestellt den Ball mit Hilfe einer Kamera verfolgen (tracken) zu können.
Platzierung von Fluggästen
Autoren: Frederik Wille, Alexander Timmermann
Die Problemstellung bestand im Wesentlichen aus der Erstellung, Im- plementation und anschließenden Parallelisierung eines Algorithmus, der Fluggäste auf Flüge bzw. dann auch auf Sitzplätze im gewählten Flug- zeug verteilt.
VampireSim
Autoren: Jun-Patrick Raabe, Kolya Feierabend
Dieses Projekt zielt darauf ab, die Entwicklung der Bevölkerungsgrößen in einer fiktiven Welt mithilfe einer Simulation darzustellen. Die Bevölkerungsgruppen Mensch, Vampirjäger und Blade kämpfen gegen die Vampire ums Überleben. Durch die Möglichkeit, verschiedene Parameter, wie zum Beispiel die einzelnen Bevölkerungsgrößen, zu Simulationsbeginn anzupassen, können viele vollkommen unabhängige Resultate erzielt werden.
SoundSim
Autoren: Frank Röder, Julius Plehn
Da es sich in der Realität als sehr unpraktisch erweist, wenn man Lautsprecher in einem großen Raum mehrmals umplatzieren muss, durch wiederholtes ausprobieren, hinhören und erneutes umstellen nicht gerade schnell zu einem guten Ergebnis kommt, haben wir uns als Ziel gesetzt ein Modell zur Simulation von Schall in einem 3-dimensionalen Raum zu entwicklen.
Literaturhinweise
Links
- Interne Verarbeitung von OpenMP und Auto-Parallisierung im GCC (von 2006) - OpenMP and automatic parallelization in GCC
- GCC Features um parallel zu programmieren, auch eine schöne kurze Übersicht über die parallele Programmierung Parallel programming with GCC
- GCC Optimierungsflags GCC Handbuch HTML
- Details zu Intel Architektur http://www.intel.com/products/processor/manuals/
- Speicherbandbreite / Ausnutzung abschätzen mit Performance Countern http://software.intel.com/en-us/articles/detecting-memory-bandwidth-saturation-in-threaded-applications/
Bücher
- Using MPI, 2nd Edition, by William Gropp, Ewing Lusk, and Anthony Skjellum, published by MIT Press ISBN 0-262-57132-3.
- MPI: The Complete Reference, by Marc Snir, Steve Otto, Steven Huss-Lederman, David Walker, and Jack Dongarra, The MIT Press.
- MPI: The Complete Reference - 2nd Edition: Volume 2 - The MPI-2 Extensions, by William Gropp, Steven Huss-Lederman, Andrew Lumsdaine, Ewing Lusk, Bill Nitzberg, William Saphir, and Marc Snir, The MIT Press.
- Parallel Programming With MPI, by Peter S. Pacheco, published by Morgan Kaufmann.