Hochleistungsrechnen ist eine wichtige Technik der Informatik, mit deren Hilfe in den Natur- und Ingenieurwissenschaften neue Erkenntnisse gewonnen werden. Insbesondere die durch das Hochleistungsrechnen ermöglichte computergestützte Simulation wird neben der Theorie und dem Experiment zum dritten Standbein vieler Wissenschaften. Neue Einsichten z. B. im Bereich der Klimaforschung, der Bioinformatik, der Teilchenphysik und des Automobilbaus werden durch Simulationen computerbasierter Modelle gewonnen und sind ohne Hochleistungsrechnen schon seit vielen Jahren nicht mehr möglich.

Ein zunehmend wichtiger Aspekt ist dabei die Ein-/Ausgabe von Daten, die einen signifikanten Einfluss auf die Gesamtleistung der Anwendungen haben kann. Die unterschiedlichen Entwicklungsgeschwindigkeiten der Prozessoren auf der einen Seite und der Speicherhardware auf der anderen Seite führen zu einem Ungleichgewicht der Leistungsfähigkeit dieser Komponenten. Gepaart mit den immer größer werdenden Datenmengen (Big Data) ist es notwendig sich intensiv mit der Hochleistungs-Ein-/Ausgabe zu beschäftigen um künftigen Anforderungen gerecht werden zu können.

In der Vorlesung werden die Grundlagen der Ein-/Ausgabe im Hochleistungsrechnen gelehrt; die Übungen dienen der praktischen Anwendung und Umsetzung der erworbenen Kenntnisse.

Im Rahmen der Vorlesung wird der komplette Ein-/Ausgabe-Stack betrachtet: Speichergeräte und -netze (Festplatten, Solid-State-Laufwerke, Storage Area Networks etc.), lokale und verteile Dateisysteme (im Kernel und auf Anwendungsebene, neuartige Konzepte wie Snapshots und Deduplizierung) und die darauf aufsetzenden E/A-Schnittstellen (POSIX, MPI-IO, NetCDF, ADIOS). Zusätzlich werden Gründe und Lösungsansätze für Leistungsprobleme diskutiert und alternative Ansätze für die Ein-/Ausgabe (wie z.B. Cloud-Schnittstellen) vorgestellt. Beispiele und Probleme werden im Kontext realer wissenschaftlicher Anwendungen aus dem Bereich der Erdsystemforschung motiviert.

Die Vorlesung eignet sich für Studierende der Informatik und Bioinformatik im Masterstudiengang.

Empfohlene Vorkenntnisse:

• Praktische Kenntnis einer Programmiersprache und die Fähigkeit, einfache Programme zu erstellen
• Kenntnis der Grundmechanismen von Betriebssystemen
• Grundkenntnisse des Hochleistungsrechnens

Die Teilnehmer werden in die Lage versetzt, die Ein-/Ausgabe paralleler Programme mit verschiedenen Programmierkonzepten umzusetzen und im Ablauf zu optimieren.

• Prof. Dr. Michael Kuhn (Ansprechpartner)

• 08.04. Speichergeräte und -verbünde Folien
• 15.04. Dateisysteme (Übung in Raum 023) Folien
• 22.04. Moderne Dateisysteme Folien
• 29.04. Parallele verteilte Dateisysteme Folien
• 06.05. OrangeFS Folien
• 13.05. MPI-IO Folien
• 27.05. Bibliotheken Folien
• 03.06. Optimierungen Folien
• 10.06. Leistungsanalyse Folien
• 17.06. Grid, Cloud und Peer to Peer Folien
• 24.06. Datenreduktion Folien
• 01.07. Zukünftige Entwicklungen Folien
• 08.07. Aktuelle Forschungsprojekte
  • Folien (Kompression in Lustre)
  • Folien (HPC in Scientific Computing and Beyond: Climate Use Case)
  • Folien (Transparent I/O Optimization, Hierarchical-Storage Simulation, Earth-System-Data Middleware)
• 15.07. Nachbesprechung

Das Rückmeldungsscript kann genutzt werden, um komfortabel eine automatisch auswertbare Rückmeldung zu erzeugen.

• 08.04. Einführung Übungsblatt 0 Übungsblatt 1 Materialien
  • Abgabe: 13.04. 08:00
  • Zusätzliche Informationen: Folien
• 13.04. E/A-Werkzeuge Übungsblatt 2 Materialien
  • Abgabe: 20.04. 08:00
  • Zusätzliche Informationen: Folien
• 20.04. FUSE-Dateisystem Übungsblatt 3 Materialien
  • Abgabe: 27.04. 08:00
  • Zusätzliche Informationen: Folien
• 27.04. Memory-FUSE-Dateisystem Übungsblatt 4 Materialien
  • Abgabe: 11.05. 08:00 (Zwischenabgabe Designdokument: 04.05. 08:00)
  • Zusätzliche Informationen: Folien
• 11.05. Design eines persistenten Dateisystems Übungsblatt 5
  • Abgabe: 25.05. 08:00
• 11.05. Implementierung eines persistenten Dateisystems Übungsblatt 6 Materialien
  • Abgabe: 08.06. 15.06. 08:00
• 15.06. Nicht-zusammenhängende und kollektive E/A Übungsblatt 7 Materialien
  • Abgabe: 22.06. 08:00
• 22.06. OrangeFS und Darshan Übungsblatt 8
  • Abgabe: 29.06. 08:00
• 29.06. Kompression Übungsblatt 9 Materialien
  • Abgabe: 06.07. 08:00

• http://c.learncodethehardway.org/book/
• https://github.com/libfuse/libfuse
• https://pthree.org/2012/04/17/install-zfs-on-debian-gnulinux/
• http://events.linuxfoundation.org/events/vault/program/slides
• http://www.snia.org/…/AlbertChen_JimMalina_Host_Managed_SMR_revision5.pdf
• http://www.snia.org/…/EricBarton_DAOS_Architecture_Extreme_Scale.pdf

• High Performance Parallel I/O (Prabhat, Quincey Koziol); October 23, 2014 by Chapman and Hall/CRC; ISBN: 9781466582347
• Understanding the Linux Kernel (Daniel P. Bovet, Marco Cesati)
• Professional Linux Kernel Architecture (Wolfgang Maurer)