Hochleistungsrechnen ist eine wichtige Technik der Informatik, mit deren Hilfe in den Natur- und Ingenieurwissenschaften neue Erkenntnisse gewonnen werden. Insbesondere die durch das Hochleistungsrechnen ermöglichte computergestützte Simulation wird neben der Theorie und dem Experiment zum dritten Standbein vieler Wissenschaften. Neue Einsichten z. B. im Bereich der Klimaforschung, der Bioinformatik, der Teilchenphysik und des Automobilbaus werden durch Simulationen mit computerbasierten Modellen gewonnen und sind ohne Hochleistungsrechnen schon seit vielen Jahren nicht mehr möglich.

Gleichzeitig verändern sich die Rechnerarchitekturen in Arbeitsplatzrechnern: Durch den Einsatz von Mehrkern-Prozessoren finden wir auch hier Strukturen von Hochleistungsrechnern und die Programmierer müssen hierauf eingehen, wenn sie den Prozessor effizient nutzen wollen.

Die Vorlesung bietet einen Einstieg in die Konzepte des Hochleistungsrechnens und vermittelt grundlegende Kenntnisse, um mit diesen Systemen zu arbeiten.

Die Vorlesung ist inhatlich in mehrere Themenblöcke gegliedert, die aufeinander aufbauen, bei entsprechenden Vorkenntnissen aber auch einzeln gehört werden können.

Im ersten Block werden Fragen der Hardware- und Software-Architektur der Systeme erläutert. Hierzu gehören auch die Vernetzung der Rechnerknoten und die E/A-Systeme. Anhand der TOP500-Liste wird die Leistungsentwicklung der vergangenen Jahre dargestellt.

Der zweite Block befaßt sich mit der Programmierung der Systeme. Nach einer allgemeinen Einführung werden die Programmierparadigmen des Nachrichtenaustausches und der Nutzung gemeinsamer Speicherbereiche eingeführt. Auch moderen Ansätze, die von Experten genutzt werden, sollen in der Vorlesung präsentiert werden.

Im dritten Block befassen wir uns mit der Frage, wie wir das implementierte Programm auf dem Hochleistungsrechner effizient zum Laufen bekommen. Hierzu gehört zunächst die Frage, wie wir Fehler im Programm entfernen. Danach befassen wir uns mit der Leistungsanalyse und der Leistungsoptimierung dieser Programme.

Im vierten Abschnitt werden als Ausblick verschiedene Einzelaspekte des modernen Hochleistungsrechnens diskutiert werden.

Die Reihenfolge der Virträge in der Vorlesung verzahnt die Inhalt dieser Themenblöcke, um einen reibungslosen Übungsbetrieb zu gewährleisten. Zu übende Inhlte werden rechtzeitig in der Vorlesung behandelt.

Die Vorlesung eignet sich für Studierende der Informatik in den höheren Semestern des Bachelor, für alle Studierenden mit Nebenfach Informatik sowie Doktoranden in den Natur- und Ingenieurwissenschaften, die Hochleistungsrechnen als Werkzeug verwenden.

Voraussetzungen:

Notwendige Voraussetzung für die Vorlesung:

• Praktische Kenntnis einer Programmiersprache und die Fähigkeit, einfache Programme zu erstellen

Erwünschte Vorkenntnisse:

• Kenntnis der Grundmechanismen von Betriebssystemen
• Grundkenntnisse in Rechnerarchitektur

Die Teilnehmer werden in die Lage versetzt, parallele Programme mit verschiedenen Programmierkonzepten zu erstellen, zur Ausführung zu bringen und im Ablauf zu optimieren. Konzepte paralleler Rechnerarchitekturen werden gelehrt. Die Teilnehmer können die gewonnenen Kenntnisse auch auf modernen Arbeitsplatzrechnern mit Mehrkern-Prozessoren zur Programmierung einsetzen.

Die Vorlesung findet online statt. Die Inhalte werden aufgezeichnet und die Videos einige Tage/Woche vorher zur Verfügung gestellt. Voraussichtlich dienstags findet eine Live-Besprechung mit einer Fragerunde statt, die nicht aufgezeichnet wird.

Die Übung findet in Präsenz vor Ort statt! Unbedingt zu beachten sind die Corona-Regeln!

Upd. 30.10.: Die Übung findet vorerst digital statt. Die Zugangsdaten werden am 1.11. über die Mailingliste versendet. Die Übungen werden von uns nicht und dürfen von keinem anderen aufgezeichnet werden. Die Weitergabe der Login-Daten für eine Veranstaltung ist ausdrücklich verboten!

Die gesamte Kommunikation findet über die Mailingliste statt.

• Prof. Dr. Thomas Ludwig
• Anna Fuchs (Ansprechpartner Übungen)
• Dr. Hermann Lenhart
• Dr. Jannek Squar

Die in der Vorlesung dargestellten Konzepte und Mechanismen des Hochleistungsrechnens werden jeweils inhaltlich abgeschlossen in einer Vorlesungsstunde präsentiert. Ein genauer und verbindlicher Zeitplan erscheint hier zu Beginn der Vorlesungszeit.

• Folien Folien (mit Notizen)

Kursiv markierte Themen sind nicht klausurrelevant. Änderungen vorbehalten.

• 03.11. Einleitung
• 05.11. Leistungsoptimierung sequentieller Anwendungen
• 10.11. Hardware-Architekturen
• 12.11. Parallele Programmierung
• 17.11. Betriebssystemaspekte
• 19.11. Programmierung mit OpenMP
• 24.11. Programmierung mit POSIX-Threads
• 26.11. Hochleistungsrechnen in der Klimaforschung
• 01.12. Vernetzungskonzepte
• 03.12. Programmiermodell Nachrichtenaustausch
• 08.12. Wissenschaftliche Visualisierung - Michael Böttinger, DKRZ (Live-Vortrag)
• 10.12. Werkzeugarchitekturen
• 15.12. Online-Live Historische Betrachtungen
• 17.12. Kosten-Nutzen-Analyse
• 05.01. Maschinelles Lernen - Christopher Kadow, DKRZ (Live-Vortrag) Folien
• 07.01. Fehlersuche
• 12.01. Leistungsanalyse
• 14.01. Leistungsoptimierung und Reproduzierbarkeit
• 19.01. Hybride Programmierung - Panagiotis Adamidis, DKRZ (Live-Vortrag)
• 21.01. Hochleistungs-Eingabe/Ausgabe
• 26.01. Parallele Eingabe/Ausgabe
• 28.01. Rechnerrraumführung - entfällt vorläufig, wir hoffen auf einen Nachtermin
• 02.02. Mathematische Bibliotheken - Philipp Neumann, HSU (Q&A, liegt rechtzeitg als Video vor)
• 04.02. Die TOP500-Liste
• 09.02. Fehlertoleranz
• 11.02. Rechnerbeschaffung
• 16.02. Online-Live Zukünftige Entwicklungen
• 18.02. Online-Live Nachbesprechung

• Online-Live Hybride Programmierung (Vortragender: Panos Adamidis)
• Online-Q&A Mathematische Bibliotheken (Vortragender: Philipp Neumann)
• Online-Live Visualisierung in der Klimaforschung (Vortragender: Michael Böttinger)
• Online-Live Maschinelles Lernen (Vortragender: Christopher Kadow)
• Rechnerraumführung

Vorläufig

• 22.02.2021 Klausur (9:30–11:30, TBD)
• 15.03.2021 Klausur (9:30–11:30, TBD)

• 03./05.11. Ablauf und Einführung Linux-Cluster
  • Abgabe: So. 08.11, 23:59
  • Zusätzliche Informationen: Organisation
• 10./13.11. Debugging
  • Abgabe: Sa. 14.11., 23:59
  • Zusätzliche Informationen:
• 17./19.11. Leistungsoptimierung sequentieller Anwendungen
  • Abgabe: Sa. 21.11., 23:59
• 24./26.11 OpenMP
  • Abgabe: 28.11., 23:59
  • Zusätzliche Informationen: OpenMP Cheat Sheet
• 01./03.12. POSIX-Threads
  • Abgabe: 05.12., 23:59
• 08./11.12. Einführung MPI
  • Abgabe: 12.12., 23:59
  • Zusätzliche Informationen: MPI 3.1 Specification
• 15./17.12. Besprechung Einführung MPI
  • PDE-Parallelisierungsschema – Abgabe: 19.12.2020, 23:59
  • PDE-Parallelisierung (Jacobi) – Abgabe: 09.01.2021, 23:59
• 05./07.01. Besprechung PDE-Parallelisierungsschema
• 12./14.01. Besprechung PDE-Parallelisierung (Jacobi)
  • PDE-Parallelisierung (Gauß-Seidel) – Abgabe: 23.01., 23:59
• 19./21.01. PDE-Parallelisierung (Gauß-Seidel) Zwischenbesprechung
• 26./28.01. Besprechung PDE-Parallelisierung (Gauß-Seidel)
  • PDE-Auswertung – Abgabe: 06.02., 23:59
  • PDE-Spurdatenanalyse – Abgabe: 06.02., 23:59
  • Zusätzliche Informationen:
• 02./04.02. fällt aus
• 09./11.02. Besprechung Auswertung und Spurdatenanalyse
• 16./18.02. Klausurvorbereitung