Evaluierung moderner HPC-Architekturen und -Beschleuniger

Das Praktikum widmet sich der Untersuchung der Struktur und des Verhaltens von parallelen Hochleistungsrechnern mit den Methoden der quantitativen Analyse. Durch Experimentation, Messung und Modellierung soll das komplexe Verhalten von modernen Parallelrechnern im Vergleich verschiedener Architekturen analysiert werden.

Das Praktikum wird in Zusammenarbeit mit dem Leibniz Rechenzentrum (LRZ) und der TU München durchgeführt. Technische Basis wird ein neu installiertes heterogenes Hardware-Testbett am LRZ sein (BEAST)

Sie werden:

• die Möglichkeit, an der neuesten HPC-Technologie wie CPUs oder GPUs von Intel, AMD, NVidia, Marvell, Fujitsu zu arbeiten, (insbesondere A64FX - treibt einen der schnellsten Supercomputer der Welt (Fugaku) von TOP500-Rankings) haben,
• verschiedene Merkmale neuartiger Technologien auf Node-level erkunden,
• über Leistungsoptimierungen auf Node-level erfahren,
• an den Vorträgen der Hersteller über ihre neueste Hardware teilnehmen,
• verschiedene Programming-models auf Node-level für Multicore-CPUs und -Accelerators, wie OpenMP (für GPU), SIMD, Synchronisation lernen,
• für spätere Projekte - OpenCL, SYCL oder CUDA verwenden können.

Dieses Praktikum wird nur in englischer Sprache angeboten.

Das Praktikum ist in zwei Arten von Aufgaben unterteilt.

• Bei der ersten Aufgabenart wird von den Studierenden erwartet, dass Sie meistens an allen Architekturen arbeiten.
• Im zweiten Teil (Projekte) arbeiten Sie ausschließlich an einer bestimmten Architektur.

Studierende arbeiten in Gruppen (2-3 Personen pro Gruppe) und erstellen Berichte für jede Aufgabe sowie kurze Präsentationen ihrer Evaluationsergebnisse (jede Woche werden 2 Gruppen ausgewählt, die ihre Berichte präsentieren). Die Benotung erfolgt auf der Grundlage des Berichts und der Kurzpräsentationen. Dazu gehört auch der verwendete Quellcode der Evaluation, der den Berichten hinzugefügt werden muss. Das Praktikum wird gemäß der Studienordnung der LMU mit 6 ECTS-Punkten bewertet.

Voraussetzung für die Teilnahme am Praktikum ist die erfolgreiche Teilnahme am Kurs "Parallel and High Performance Computing". Gute Kenntnisse in C/C++ unter Linux, und Verständnis von Begriffen der Computerarchitektur wie SIMD, multi-core, SMT, processor caches.

• Zeitplan: wöchentliche Treffen - jeden Donnerstag 16:00 - 18:00 Uhr
• Ort: Präsenzveranstaltung
• [TUM] Seminarraum 01.07.023 an der TUM (FMI Garching BT07, Boltzmannstr. 3, 1.OG)
• [LMU] Nebengebäude N005/N006 an der LMU (Oettingenstrasse 67)

• October 19 [TUM]: Organization and Introduction, Shared Memory Programming with OpenMP Lecture, Assignment 1 (A1): Vector Triad on CPU.
• October 26 [TUM]: Accelerator Programming with OpenMP Offloading Lecture, Presentation A1, A2: Vector Triad on GPU with OpenMP.
• November 2 [TUM]: Introduction to DCDB, Presentation A2, A3: Profiling Tools and DCDB.
• November 9 [TUM]: Presentation A3, A4: Matrix Multiplication on CPU and GPU with OpenMP.
• November 16: no lab course
• November 23 [TUM]: Instruction-Level Parallelism (Instruction Latency and Throughput, Branch Prediction) Lecture, Presentation A4, A5: Instruction-Level Parallelism.
• November 30 [TUM]: Memory Latency Lecture, Presentation A5, A6: Memory Latency.
• December 7 [LMU]: Introduction to CUDA and HIP, Presentation A6, A7: Matrix Multiplication on GPU with CUDA/HIP.
• December 14 [TUM]: Presentation A7, Project 1: Matrix Profile.
• December 21 [TUM]: Project 1 Discussion.
• January 11 [TUM]: Project 1 Submission and Presentation, Project 2: Multi-Grid Method.
• January 18 [LMU]: Project 2 Discussion.
• January 25 [LMU]: Project 2 Submission and Presentation.
• February 1: LRZ-Tour / Spare.
• February 8: LRZ-Tour / Spare.

Das Praktikum Evaluierung moderner HPC-Architekturen und -Beschleuniger nimmt an der Zentralanmeldung für Masterpraktika via Moodle teil. Die Bewerbung ist bis 8. Oktober 2023 möglich.