Modulbeschreibung

Die Studierenden

• verstehen Deep Learning als Optimierungsaufgabe, bei der ein parametrisiertes Modell mithilfe von Backpropagation (Gradientenabstiegsverfahren) auf Basis von Daten, Zielfunktion (Loss), Optimierer und Bewertungsmetrik trainiert wird.
• können entscheiden, in welchen Fällen und Anwendungen ein tiefes neuronales Netz eine gute Wahl für ein bestimmtes ML-Problem ist.
• kennen die wichtigsten Architekturen (MLP, CNN, LSTM, GRU, AE, VAE) von tiefen Neuronalen Netzen und können diese in Python (Pytorch oder Keras/Tensorflow) implementieren, trainieren und deren Performance für einen ML-Task beurteilen.
• können den konzeptionellen Unterschied zwischen diskriminativen und generativen Modellen erklären und geeignete Modellklassen für Klassifikation, Regression und Datengenerierung auswählen.
• verstehen den Einsatz rekurrenter neuronaler Netze (LSTM, GRU) als generative Modelle für Sequenzen (z. B. Zeitreihen oder Text) und können einfache generative Sequenzmodelle implementieren.
• erhalten einen Einblick in moderne Transformer-Architekturen und können das Grundprinzip des Attention-Mechanismus sowie dessen Vorteile gegenüber rekurrenten Architekturen erläutern.
• kennen grundlegende Regularisierungsmethoden für tiefe neuronale Netze und können Hyperparameter von Architekturen systematisch (z.B. mittels Gittersuche) anpassen.
• sind in der Lage, ihr Verständnis von tiefen neuronalen Netzen und deren Anwendungen in einem selbst gewählten Projekt praktisch zu demonstrieren.

Elektrotechnik & Lineare Algebra 1 und 2

Das Modul findet im Frühlingssemester statt und wird Online angeboten.

Es wird ein Projekt bewertet.

Während der Unterrichtsphase wird eine Projektarbeit mittels Bericht (Gewicht 50%) und einem Fachgespräch (Gewicht 50%) bewertet.

Die Studierenden

• verstehen Deep Learning als Optimierungsaufgabe, bei der ein parametrisiertes Modell mithilfe von Backpropagation (Gradientenabstiegsverfahren) auf Basis von Daten, Zielfunktion (Loss), Optimierer und Bewertungsmetrik trainiert wird.
• können entscheiden, in welchen Fällen und Anwendungen ein tiefes neuronales Netz eine gute Wahl für ein bestimmtes ML-Problem ist.
• kennen die wichtigsten Architekturen (MLP, CNN, LSTM, GRU, AE, VAE) von tiefen Neuronalen Netzen und können diese in Python (Pytorch oder Keras/Tensorflow) implementieren, trainieren und deren Performance für einen ML-Task beurteilen.
• können den konzeptionellen Unterschied zwischen diskriminativen und generativen Modellen erklären und geeignete Modellklassen für Klassifikation, Regression und Datengenerierung auswählen.
• verstehen den Einsatz rekurrenter neuronaler Netze (LSTM, GRU) als generative Modelle für Sequenzen (z. B. Zeitreihen oder Text) und können einfache generative Sequenzmodelle implementieren.
• erhalten einen Einblick in moderne Transformer-Architekturen und können das Grundprinzip des Attention-Mechanismus sowie dessen Vorteile gegenüber rekurrenten Architekturen erläutern.
• kennen grundlegende Regularisierungsmethoden für tiefe neuronale Netze und können Hyperparameter von Architekturen systematisch (z.B. mittels Gittersuche) anpassen.
• sind in der Lage, ihr Verständnis von tiefen neuronalen Netzen und deren Anwendungen in einem selbst gewählten Projekt praktisch zu demonstrieren.

Deep Learning ist eine Klasse moderner Methoden des maschinellen Lernens, bei denen neuronale Netze als parametrisierte Modelle verstanden werden, die durch die Lösung eines Optimierungsproblems trainiert werden. Der Lernprozess basiert auf der Anpassung von Modellparametern mittels Backpropagation und iterativer Optimierungsverfahren, wobei Daten, Zielfunktion (Loss), Optimierer und Bewertungsmetriken gemeinsam den Trainingsprozess bestimmen. Durch die Kombination fortgeschrittener Optimierungsalgorithmen mit spezialisierten Architekturbausteinen ist es möglich, neuronale Netze zu entwickeln, die komplexe Datenstrukturen wie Tabellendaten, Bilder, Text und Audiosignale sowohl als Eingabe als auch als Ausgabe verarbeiten können. Deep Learning erlaubt es, hierarchische Repräsentationen von Daten zu lernen, die in ihrer Struktur funktionalen Prinzipien des menschlichen Gehirns ähneln.

Dieser Kurs führt die Teilnehmer in klassische neuronale Netzwerkarchitekturen ein, darunter Multilayer Perceptrons (MLP), Convolutional Neural Networks (CNN), rekurrente Netzwerke wie Long Short-Term Memory (LSTM) und Gated Recurrent Units (GRU) sowie Autoencoder (AE). Neben diskriminativen Modellen werden auch generative Modellansätze behandelt, die es erlauben, neue Daten wie Texte, Zeitreihen oder Bilder zu erzeugen. Darüber hinaus erhalten die Studierenden einen Einblick in moderne generative Architekturen wie Transformer-Modelle, wobei insbesondere das Prinzip des Attention-Mechanismus und dessen Bedeutung für die Verarbeitung langer Sequenzen in der natürlichen Sprachverarbeitung und Datengenerierung erläutert wird.

Anwendungsbeispiele aus den Bereichen Computer Vision, Zeitreihenanalyse, Sicherheit, Natural Language Processing (NLP) und Datengenerierung verdeutlichen die praktische Relevanz der behandelten Methoden. Aspekte des High Performance Computing (HPC) zeigen, wie Deep Learning effizient auf grafischen Verarbeitungseinheiten (GPUs) sowie auf verteilten Rechensystemen eingesetzt werden kann.
Der Schwerpunkt des Kurses liegt auf der praktischen Anwendung von Deep-Learning-Methoden, ergänzt durch eine Einführung in die zugrunde liegenden mathematischen Konzepte. Die Studierenden implementieren und trainieren neuronale Netze mit der Programmiersprache Python unter Verwendung von PyTorch und/oder Keras.

Unterrichtsgespräch im Klassenverband (Online)
Selbststudium (Übungen, Vor- und Nachbereitung der Lerninhalte)
Projektarbeit

• Sebastian Raschka: Python Machine Learning - Second Edition: Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow (Englisch) Taschenbuch, Packt Publishing; Auflage: 2nd Revised edition (20. September 2017), ISBN-13: 978-1787125933
• Aurélien Géron: Hands-On Machine Learning with Scikit-Learn and TensorFlow, Concepts, Tools, and Techniques to Build Intelligent Systems, O'Reilly Media, March 2017
• David Foster: Generative Deep Learning, O'Reilly Media, Inc., ISBN: 9781492041948, 2019
• Francois Chollet , Deep Learning with Python, Manning Publications, ISBN: 9781617294433, 2017

Die Unterrichtssprache ist deutsch, teile der Literatur können in Englisch sein.