Modulbeschreibung
Deep Reinforcement Learning
Kurzzeichen:
Unterrichtssprache:
ECTS-Credits:
Arbeitsaufwand (h):
Leitidee:
Die Studierenden
- kennen die Anwendungsmöglichkeiten von Reinforcement Learning (RL) in Robotik und Automation.
- können RL in Python implementieren und relevante Bibliotheken (z.B. TensorFlow, Keras) einsetzen.
- können beurteilen, ob sich RL zur Lösung einer Aufgabe eignet.
- können eine RL Aufgabe formal beschreiben.
- verstehen den Zusammenhang zwischen Deep-Learning und Reinforcement Learning.
- können einen Robotik-Simulator (z.B. openAI-Gym) einsetzen.
- können den Lernprozess quantifizieren und dokumentieren.
Modulverantwortung:
Standort (angeboten):
Vorausgesetzte Module:
Zusätzliche Eingangskompetenzen:
Ebenfalls vorausgesetzt sind die beiden Module Elektrotechnik und Lineare Algebra I und II.
Modultyp:
Bemerkungen:
Der Kurs ist anwendungsorientiert. Gute Programmierkenntnisse sind von Vorteil. Python wird nicht vorausgesetzt.
Die Wahlmodule "Deep Reinforcement Learning" und "Machine Learning" sind unabhängig voneinander. Sie ergänzen sich inhaltlich und können gleichzeitig besucht werden.
Modulbewertung:
Leistungsnachweise und deren Gewichtung
Während der Unterrichtsphase:
Während der Unterrichtsphase wird eine Prüfung geschrieben und Übungen bewertet.
Bewertungsart:
Gewichtung:
Während der Unterrichtsphase wird eine Projektarbeit mittels Bericht (Gewicht 50%) und einem Fachgespräch bewertet (Gewicht 50%).
Bemerkungen:
Es findet keine abgesetzte Modulschlussprüfung statt.
Inhalte
Angestrebte Lernergebnisse (Abschlusskompetenzen):
Die Studierenden
- kennen die Anwendungsmöglichkeiten von Reinforcement Learning (RL) in Robotik und Automation.
- können RL in Python implementieren und relevante Bibliotheken (z.B. TensorFlow, Keras) einsetzen.
- können beurteilen, ob sich RL zur Lösung einer Aufgabe eignet.
- können eine RL Aufgabe formal beschreiben.
- verstehen den Zusammenhang zwischen Deep-Learning und Reinforcement Learning.
- können einen Robotik-Simulator (z.B. openAI-Gym) einsetzen.
- können den Lernprozess quantifizieren und dokumentieren.
Modul- und Lerninhalt:
Problembeschreibung:
- Beschreiben eines RL-Problems als Markov-Entscheidungsprozess
- Grundbegriffe: state, action, reward, policy, Q-value
- Bellman Gleichungen
- Vergleich zu Regelungstechnik
Algorithmen:
- SARSA, Deep-Q
- Backprop (Deep RL)
- evtl. Modell-basiertes RL
Programmierung:
- Bibliotheken: Keras, Tensorflow
- Simulation: openAI-Gym
Projekt
- Projekt aus den Bereichen Robotik ( z.B. https://gym.openai.com/envs/#robotics ) oder Spiele (z.B. 4-Gewinnt)
Lehr- und Lernmethoden:
Unterrichtsgespräch im Klassenverband
Selbststudium (Übungen, Vor- und Nachbereitung der Lerninhalte)
Projektarbeit (Einzelarbeit oder im Zweierteam)
Lehrmittel/-materialien:
- online Ressourcen
- Mitschrift der Studenten
- Auszüge aus R. Sutton, A. Barto, ”Reinforcement Learning: An Introduction” ISBN-13: 978-0262039246
- Fachartikel, z.B: “Human-level control through deep reinforcement learning”, Mnih et. al, 2015, Nature