Modulbeschreibung

Das Modul befähigt Studierende, agentische Systeme zu verstehen, zu implementieren und kritisch zu bewerten – sowohl im Kontext autonomer physischer Systeme als auch für softwarebasierte, generative Agenten. Die Studierenden entwickeln ein integriertes Verständnis agentischer Systeme und sind in der Lage, autonome Entscheidungsmechanismen von der formalen Modellierung bis zur praktischen Implementierung moderner KI-Agenten umzusetzen.

Der Einsatz von Künstlicher Intelligenz in mechatronischen Systemen – etwa in autonomen Maschinen, robotischen Assistenzsystemen oder datengetriebener Zustandsüberwachung – stellt hohe Anforderungen an Zuverlässigkeit, Nachvollziehbarkeit und Sicherheit. Neben einer hohen Vorhersagegenauigkeit müssen solche Systeme transparent, robust und vertrauenswürdig sein, insbesondere in sicherheitskritischen oder regulierten Anwendungsfeldern.
Dieses Modul vermittelt die methodischen Grundlagen zur Entwicklung und Bewertung vertrauenswürdiger KI-Systeme entlang des gesamten Lebenszyklus eines Machine-Learning-Modells. Beginnend mit MLOps-Konzepten wie Reproduzierbarkeit, statistische Fehleranalyse (Std.-Abweichung/Kreuzvalidierung), Deployment, Monitoring und Wartung lernen die Studierenden, wie ML-Modelle zuverlässig in reale technische Systeme integriert und betrieben werden. Darauf aufbauend werden Methoden der Interpretierbarkeit und Erklärbarkeit (XAI) eingeführt, die es erlauben, Modellentscheidungen zu analysieren, zu visualisieren und kritisch zu hinterfragen.
Ein weiterer Schwerpunkt liegt auf der Quantifizierung von Unsicherheit in KI-Systemen. Die Studierenden lernen, zwischen verschiedenen Formen von Unsicherheit zu unterscheiden und moderne Bayes’sche und approximative Verfahren anzuwenden, um Risiken in datengetriebenen Entscheidungen sichtbar zu machen. Ein kurzer Deep Dive in Multi-Layer-Perzeptrons und Transformer-Modelle macht nachvollziehbar, wie diese Architekturen Fakten repräsentieren und Informationen transformieren – und so GPTs ermöglichen, gute Texte zu erzeugen. Durch die Kombination von MLOps, XAI und Uncertainty entsteht ein ganzheitliches Verständnis dafür, wie KI-Systeme in mechatronischen Anwendungen verlässlich, nachvollziehbar und verantwortungsvoll gestaltet werden können.

Der Kurs «Industrial AI Projekt» bildet den integrativen Abschluss der AI- und Data-Science-Ausbildung im Bachelorstudiengang Mechatronik. Ziel des Moduls ist es, das beherrschte Anwenden der in den vorangegangenen Modulen erworbenen Methoden, Konzepte und Werkzeuge in einem realitätsnahen industriellen Kontext unter Beweis zu stellen. Im Zentrum steht die projektbasierte Arbeit an einer komplexen, offenen Problemstellung aus dem Bereich Industrial AI. Die Studierenden bearbeiten das Projekt in Zweier-Teams und durchlaufen dabei den vollständigen Entwicklungszyklus eines KI-Systems – von der Problemdefinition über Modellierung, Training und Evaluation bis hin zu Deployment, Dokumentation und Präsentation. Besonderer Wert wird auf Robustheit, Nachvollziehbarkeit und industrielle Umsetzbarkeit gelegt.

Das Modul findet im Frühlingssemester statt.

Im Kurs Agentic Computing finden zwei Testate statt. 

In den beiden Kursen Trustworthy AI und Industrial AI-Projekt wird je eine Projektarbeit bewertet.

Es findet eine Modulschlussprüfung im Kurs Agentic Computing (Gewicht 50%) statt.

Während dem Semester finden im Kurs Agentic Computing finden zwei Testate statt. In den beiden Kursen Trustworthy AI und Industrial AI-Projekt wird je eine Projektarbeit (Gewicht je 25%) bewertet.

Agentische Systeme bilden die Grundlage moderner autonomer Technologien in Robotik, künstlicher Intelligenz und softwarebasierten Assistenzsystemen. Sie beschreiben Systeme, die ihre Umwelt wahrnehmen, Entscheidungen treffen und zielgerichtet handeln, um langfristige Ziele zu erreichen. Dieses Modul vermittelt einen durchgängigen methodischen Rahmen vom klassischen Reinforcement Learning bis hin zu modernen generativen und LLM-basierten Agenten. 

Ausgehend von der formalen Beschreibung agentischer Entscheidungsprozesse mittels Markov-Entscheidungsprozessen (MDPs) lernen die Studierenden zunächst tabellarische und wertbasierte Verfahren kennen. Darauf aufbauend werden Deep-Reinforcement-Learning-Methoden für hochdimensionale Zustands- und Aktionsräume eingeführt, wie sie insbesondere in der Robotik und kontinuierlichen Regelung auftreten. Moderne Algorithmen wie DQN, Actor-Critic, SAC und PPO (GRPO) werden sowohl theoretisch fundiert als auch praktisch umgesetzt.

In einem zweiten Schwerpunkt erweitert das Modul den Begriff des Agenten auf sprachbasierte, generative Agenten, die auf Large Language Models (LLMs) basieren. Konzepte wie Reasoning, Tool-Use, State-Management, Multi-Agent-Koordination und MCPs werden eingeführt und mit aktuellen Frameworks praktisch umgesetzt. Dadurch entsteht eine konzeptionelle Brücke zwischen klassischem RL, Entscheidungsfindung und modernen agentischen KI-Systemen. Weiterhin werden die Grenzen sowie die rechtlichen und sicherheitstechnischen Aspekte von LLM-Agenten diskutiert.

Der Kurs befähigt Studierende, agentische Systeme zu verstehen, zu implementieren und kritisch zu bewerten – sowohl im Kontext autonomer physischer Systeme als auch für softwarebasierte, generative Agenten. Die Studierenden entwickeln ein integriertes Verständnis agentischer Systeme und sind in der Lage, autonome Entscheidungsmechanismen von der formalen Modellierung bis zur praktischen Implementierung moderner KI-Agenten umzusetzen.

Die Studierenden

• können das Agent–Environment-Paradigma und Markov-Entscheidungsprozesse (MDP) formal erklären,
• können den Unterschied zwischen wertbasierten, policybasierten und actor-critic Verfahren erläutern,
• können zentrale Konzepte moderner LLM-basierter Agenten (Reasoning, Tool-Use, Memory, Multi-Agent-Systeme, Kontext) beschreiben.
• können einfache RL-Environments nach Gym-Standard implementieren,
• können tabellarische und Deep-RL-Algorithmen (z. B. Q-Learning, DQN, PPO, GRPO) praktisch einsetzen,
• können LLM-Agenten mit Prompting, ReAct-Schleifen und Tool-Anbindung implementieren,
• können bestehende Frameworks (z. B. Stable Baselines, LangChain, LangGraph) zielgerichtet nutzen,
• können das Lernverhalten agentischer Systeme hinsichtlich Stabilität, Exploration und Effizienz analysieren,
• können Unterschiede zwischen diskreten und kontinuierlichen Aktionsräumen bewerten,
• können Agentenarchitekturen hinsichtlich State-Management, Skalierbarkeit und Robustheit vergleichen,
• können ein funktionales agentisches System für eine gegebene Problemstellung entwerfen und umsetzen,
• können Deep-RL- oder LLM-basierte Agenten zu mehrstufigen Entscheidungs- oder Multi-Agent-Systemen kombinieren,
• können agentische Systeme für robotische, interaktive oder wissensbasierte Anwendungen konzipieren.

• Grundlagen agentischer Systeme und Markov-Entscheidungsprozesse (MDP)
•  Agent–Environment-Loop, episodische und kontinuierliche Aufgaben
• Reinforcement-Learning-Workflow und Aufbau von RL-Environments (z.B. Gym-Standard)
• Tabellarische wertbasierte Methoden: Value Iteration, Policy Iteration
• Model-free Reinforcement Learning: TD-Learning, SARSA, Q-Learning, Exploration–Exploitation
• Übergang zu Deep Reinforcement Learning und Funktionsapproximation
• Deep Q-Networks (DQN): Experience Replay, Target Networks, Stabilität
• Policy-Gradient-Methoden (REINFORCE) und stochastische Policies
• Actor–Critic-Verfahren (A2C) und Advantage-Funktionen
• Kontinuierliche Kontrollprobleme und Maximum-Entropy-RL (Soft Actor-Critic)
• Moderne On-Policy-Verfahren (z.B. PPO, GRPO)
• Grundlagen von Large Language Models (LLMs) und Transformer-Architekturen
• Prompt- und Context-Engineering und LLMs als Reasoning Engines
• Agentische Reasoning-Patterns (z.B. Chain-of-Thought, ReAct)
• Tool-Nutzung und Agentenframeworks (z. B. LangChain)
• State, Memory und graphbasierte Agenten (LangGraph, Human-in-the-loop)
• Multi-Agent-Systeme, Orchestrierung und Arbeitsteilung

Kontaktunterricht mit Theorie und Praxisanteil
Vorlesung, Selbststudium, Übungen

[1.]    Phil Winder: Reinforcement Learning, Industrial Applications of Intelligent Agents, O’Reilly Media, Inc., Sebastopol, CA
         95472 (2020), ISBN 9781098114831, https://rl-book.com/     
[2.]    Laura Graesser, Keng Wah Loon: Foundations of Deep Reinforcement Learning: Theory and Practice in Python, Addison-
         Wesley Data & Analytics (2019)
[3.]    HaoDong et al.: Deep Reinforcement Learning: Fundamentals, Research and Applications,
         https://link.springer.com/book/10.1007/978-981-15-4095-0
[4.]    Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
         ISBN: 978-0262039246. https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf 
[5.]    Michael Albada: Building Applications with AI Agents, O’Reilley (2025),

         https://github.com/michaelalbada/BuildingApplicationsWithAIAgents 
[6.]    Victor Dibia: Designing Multi-Agent Systems: Principles, Patterns, and Implementation for AI Agents,

         ISBN 979-8993101200,  https://github.com/victordibia/designing-multiagent-systems 
[7.]    Valliappa Lakshmanan, Hannes Hapke: Generative AI Design Patterns, O’Reilly (2025),

         https://github.com/lakshmanok/generative-ai-design-patterns 
[8.]    Shao, Z., Wang, P., Zhu, Q., Xu, R., Song, J., Zhang, M., Li, Y.K., Wu, Y., & Guo, D. (2024). DeepSeekMath: Pushing the

         Limits of Mathematical Reasoning in Open Language Models. ArXiv, abs/2402.03300. 

Unterrichtssprache Deutsch (Fachbegriffe und Material teilweise auf Englisch)