Modulbeschreibung

Agentische Systeme bilden die Grundlage moderner autonomer Technologien in Robotik, künstlicher Intelligenz und softwarebasierten Assistenzsystemen. Sie beschreiben Systeme, die ihre Umwelt wahrnehmen, Entscheidungen treffen und zielgerichtet handeln, um langfristige Ziele zu erreichen. Dieses Modul vermittelt einen durchgängigen methodischen Rahmen vom klassischen Reinforcement Learning bis hin zu modernen generativen und LLM-basierten Agenten. 

Ausgehend von der formalen Beschreibung agentischer Entscheidungsprozesse mittels Markov-Entscheidungsprozessen (MDPs) lernen die Studierenden zunächst tabellarische und wertbasierte Verfahren kennen. Darauf aufbauend werden Deep-Reinforcement-Learning-Methoden für hochdimensionale Zustands- und Aktionsräume eingeführt, wie sie insbesondere in der Robotik und kontinuierlichen Regelung auftreten. Moderne Algorithmen wie DQN, Actor-Critic, SAC und PPO (GRPO) werden sowohl theoretisch fundiert als auch praktisch umgesetzt.

In einem zweiten Schwerpunkt erweitert das Modul den Begriff des Agenten auf sprachbasierte, generative Agenten, die auf Large Language Models (LLMs) basieren. Konzepte wie Reasoning, Tool-Use, State-Management, Multi-Agent-Koordination und MCPs werden eingeführt und mit aktuellen Frameworks praktisch umgesetzt. Dadurch entsteht eine konzeptionelle Brücke zwischen klassischem RL, Entscheidungsfindung und modernen agentischen KI-Systemen. Weiterhin werden die Grenzen sowie die rechtlichen und sicherheitstechnischen Aspekte von LLM-Agenten diskutiert.

Der Kurs befähigt Studierende, agentische Systeme zu verstehen, zu implementieren und kritisch zu bewerten – sowohl im Kontext autonomer physischer Systeme als auch für softwarebasierte, generative Agenten. Die Studierenden entwickeln ein integriertes Verständnis agentischer Systeme und sind in der Lage, autonome Entscheidungsmechanismen von der formalen Modellierung bis zur praktischen Implementierung moderner KI-Agenten umzusetzen.

Die Studierenden

• können das Agent–Environment-Paradigma und Markov-Entscheidungsprozesse (MDP) formal erklären,
• können den Unterschied zwischen wertbasierten, policybasierten und actor-critic Verfahren erläutern,
• können zentrale Konzepte moderner LLM-basierter Agenten (Reasoning, Tool-Use, Memory, Multi-Agent-Systeme, Kontext) beschreiben.
• können einfache RL-Environments nach Gym-Standard implementieren,
• können tabellarische und Deep-RL-Algorithmen (z. B. Q-Learning, DQN, PPO, GRPO) praktisch einsetzen,
• können LLM-Agenten mit Prompting, ReAct-Schleifen und Tool-Anbindung implementieren,
• können bestehende Frameworks (z. B. Stable Baselines, LangChain, LangGraph) zielgerichtet nutzen,
• können das Lernverhalten agentischer Systeme hinsichtlich Stabilität, Exploration und Effizienz analysieren,
• können Unterschiede zwischen diskreten und kontinuierlichen Aktionsräumen bewerten,
• können Agentenarchitekturen hinsichtlich State-Management, Skalierbarkeit und Robustheit vergleichen,
• können ein funktionales agentisches System für eine gegebene Problemstellung entwerfen und umsetzen,
• können Deep-RL- oder LLM-basierte Agenten zu mehrstufigen Entscheidungs- oder Multi-Agent-Systemen kombinieren,
• können agentische Systeme für robotische, interaktive oder wissensbasierte Anwendungen konzipieren.

• Grundlagen agentischer Systeme und Markov-Entscheidungsprozesse (MDP)
•  Agent–Environment-Loop, episodische und kontinuierliche Aufgaben
• Reinforcement-Learning-Workflow und Aufbau von RL-Environments (z.B. Gym-Standard)
• Tabellarische wertbasierte Methoden: Value Iteration, Policy Iteration
• Model-free Reinforcement Learning: TD-Learning, SARSA, Q-Learning, Exploration–Exploitation
• Übergang zu Deep Reinforcement Learning und Funktionsapproximation
• Deep Q-Networks (DQN): Experience Replay, Target Networks, Stabilität
• Policy-Gradient-Methoden (REINFORCE) und stochastische Policies
• Actor–Critic-Verfahren (A2C) und Advantage-Funktionen
• Kontinuierliche Kontrollprobleme und Maximum-Entropy-RL (Soft Actor-Critic)
• Moderne On-Policy-Verfahren (z.B. PPO, GRPO)
• Grundlagen von Large Language Models (LLMs) und Transformer-Architekturen
• Prompt- und Context-Engineering und LLMs als Reasoning Engines
• Agentische Reasoning-Patterns (z.B. Chain-of-Thought, ReAct)
• Tool-Nutzung und Agentenframeworks (z. B. LangChain)
• State, Memory und graphbasierte Agenten (LangGraph, Human-in-the-loop)
• Multi-Agent-Systeme, Orchestrierung und Arbeitsteilung

Testate und Modulschlussprüfung

Kontaktunterricht mit Theorie und Praxisanteil
Vorlesung, Selbststudium, Übungen

[1.]    Phil Winder: Reinforcement Learning, Industrial Applications of Intelligent Agents, O’Reilly Media, Inc., Sebastopol, CA
         95472 (2020), ISBN 9781098114831, https://rl-book.com/     
[2.]    Laura Graesser, Keng Wah Loon: Foundations of Deep Reinforcement Learning: Theory and Practice in Python, Addison-
         Wesley Data & Analytics (2019)
[3.]    HaoDong et al.: Deep Reinforcement Learning: Fundamentals, Research and Applications,
         https://link.springer.com/book/10.1007/978-981-15-4095-0
[4.]    Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
         ISBN: 978-0262039246. https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf 
[5.]    Michael Albada: Building Applications with AI Agents, O’Reilley (2025),

         https://github.com/michaelalbada/BuildingApplicationsWithAIAgents 
[6.]    Victor Dibia: Designing Multi-Agent Systems: Principles, Patterns, and Implementation for AI Agents,

         ISBN 979-8993101200,  https://github.com/victordibia/designing-multiagent-systems 
[7.]    Valliappa Lakshmanan, Hannes Hapke: Generative AI Design Patterns, O’Reilly (2025),

         https://github.com/lakshmanok/generative-ai-design-patterns 
[8.]    Shao, Z., Wang, P., Zhu, Q., Xu, R., Song, J., Zhang, M., Li, Y.K., Wu, Y., & Guo, D. (2024). DeepSeekMath: Pushing the

         Limits of Mathematical Reasoning in Open Language Models. ArXiv, abs/2402.03300. 

Unterrichtssprache Deutsch (Fachbegriffe und Material teilweise auf Englisch) 

Die Studierenden

• können den Lebenszyklus von Machine-Learning-Systemen und die Besonderheiten gegenüber klassischer Softwareentwicklung erklären,
• können zentrale Konzepte von MLOps, Interpretierbarkeit (XAI) und Unsicherheit beschreiben,
• können die Begriffe Fairness, Accountability und Transparency im Kontext technischer KI-Systeme erläutern,
• können zwischen aleatorischer und epistemischer Unsicherheit unterscheiden.
• können trainierte ML-Modelle deployen und über einfache Schnittstellen (z. B. REST-APIs) bereitstellen,
• können grundlegende Monitoring- und Drift-Erkennungsstrategien anwenden,
• können gängige XAI-Methoden (z. B. Feature, Permutation Importance, SHAP, LIME) praktisch einsetzen,
• können Verfahren zur Unsicherheitsschätzung (z. B. MC Dropout, Ensembles) implementieren und nutzen.
• können ML-Systeme hinsichtlich Robustheit, Transparenz und Wartbarkeit analysieren,
• können Modellentscheidungen mit Hilfe von XAI-Methoden kritisch interpretieren,
• können Statistische Evaluationsmethoden wie Kreuzvalidierung und statistische T-Test,
• können Unsicherheitsinformationen zur Risikobewertung von Vorhersagen heranziehen,
• können typische Schwachstellen wie Overconfidence, Data Drift oder Concept Drift identifizieren.
• können verschiedene Erklär- und Unsicherheitsmethoden im Hinblick auf Aussagekraft, Stabilität und Rechenaufwand vergleichen,
• können den Einsatz von KI-Systemen in sicherheitskritischen mechatronischen Anwendungen kritisch beurteilen,
• können technologische und ethische Grenzen datengetriebener Systeme reflektieren.
• können ein einfaches, vertrauenswürdiges KI-System entwerfen, das MLOps-, XAI- und Uncertainty-Aspekte integriert,
• können ML-Modelle so gestalten, dass sie überwachbar, erklärbar und risikobewusst eingesetzt werden können,
• können Ergebnisse verständlich dokumentieren und für technische Stakeholder kommunizieren.

• MLOps-Grundlagen: ML-Lifecycle, CI/CD für ML, Reproduzierbarkeit
• Deployment & Serving von ML-Modellen (Docker, REST-APIs, Microservices)
• Monitoring & Wartung von ML-Systemen (Performance, Drift, Retraining-Strategien)
• Grundlagen vertrauenswürdiger KI: Transparenz, Interpretierbarkeit, Fairness (FAT ML)
• Intrinsisch interpretierbare Modelle und Feature-Importance-Methoden
• Modellagnostische Erklärmethoden: z.B. PDP, ICE, SHAP, LIME
• Visualisierung neuronaler Netze, insbesondere CNNs (Feature Visualization, Saliency, Grad-CAM)
• Unsicherheitsquantifizierung: aleatorische vs. epistemische Unsicherheit, Kalibrierung, OOD
• Approximative bayesische Methoden (MC Dropout, Ensembles, Bootstrapping)
• Bayes’sche neuronale Netze und Variational Inference
• Integration von MLOps, XAI und Uncertainty für robuste KI-Systeme
• Ethische und praktische Herausforderungen beim Einsatz von KI in technischen Systemen

Projektarbeit

• Kontaktunterricht mit Theorie und Praxisanteil
• Vorlesung, Selbststudium, Übungen
• Der Praxisteil umfasst ein Projekt zur praxisorientierten Anwendung der in der Theorie erarbeiteten Inhalte.

[1.]    Robert Crowe, Hannes Hapke: Machine Learning Production Systems, O’Reilly (2024)
[2.]    Noah Gift, Alfredo Deza: Practical MLOps, O’Reilly (2021)
[3.]    Mark Treveil, Nicolas Omont, Clément Stenac, Kenji Lefevre, Du Phan: Introducing MLOps (2021)
[4.]    Molnar, C. (n.d.). Interpretable Machine learning. https://christophm.github.io/interpretable-ml-book/
[5.]    Ribeiro et. al. Explainable AI. In ML Security (2022). https://unica-mlsec.github.io/mlsec/slides/07-xAI.pdf 
[6.]    Tutorials for eXplainable Artificial Intelligence (XAI) methods — XAI Tutorials. (n.d.). https://xai-tutorials.readthedocs.io/
[7.]    Meng, K., Bau, D., Andonian, A., & Belinkov, Y. (2022). Locating and Editing Factual Associations in GPT. Neural

         Information Processing Systems.

Unterrichtsprache ist Deutsch (Fachbegriffe und Material teilweise auf Englisch) 

Die Studierenden

• können ein eigenständiges Industrial-AI-System entwerfen, implementieren und demonstrieren,
• können technische Ergebnisse verständlich dokumentieren und kommunizieren (Poster oder Blog),
• können ein reproduzierbares Projektartefakt (Code, Bericht, Demo) erstellen, das industriellen Standards entspricht.
• können den industriellen Anwendungskontext ihres Projekts (z. B. Robotik, autonome Systeme, agentische KI) fachlich einordnen,
• können relevante Anforderungen an industrielle KI-Systeme (Robustheit, Reproduzierbarkeit, Sicherheit, Wartbarkeit) erklären,
• können Modell, Daten, Infrastruktur und Betrieb (MLOps) beschreiben.
• können Methoden aus Machine Learning, Reinforcement Learning, Agentic Systems oder Simulation zielgerichtet einsetzen,
• können industrielle Werkzeuge und Frameworks (z. B. Isaac Sim, Omniverse, MLOps-Stacks, Agentenframeworks) praktisch nutzen,
• können eine funktionierende KI-Pipeline (Training, Evaluation, Deployment) implementieren,
• können Versionskontrolle und kollaborative Entwicklung mit GitLab anwenden.
• können ihr System hinsichtlich Performance, Stabilität und Robustheit analysieren,
• können Simulationsergebnisse kritisch mit realen oder realitätsnahen Szenarien vergleichen,
• können Fehlerquellen (z. B. Sim2Real-Gap, Overfitting, instabiles Training, Drift) identifizieren und begründen.
• können Designentscheidungen und Modellwahl im industriellen Kontext begründet rechtfertigen,
• können Grenzen und Risiken ihrer Lösung kritisch reflektieren,
• können alternative Ansätze (Modelle, Architekturen, Agentenstrategien) sachlich vergleichen.

Der Kurs «Industrial AI Projekt» bildet den integrativen Abschluss der AI- und Data-Science-Ausbildung im Bachelorstudiengang Mechatronik. Ziel des Moduls ist es, das beherrschte Anwenden der in den vorangegangenen Modulen erworbenen Methoden, Konzepte und Werkzeuge in einem realitätsnahen industriellen Kontext unter Beweis zu stellen. Im Zentrum steht die projektbasierte Arbeit an einer komplexen, offenen Problemstellung aus dem Bereich Industrial AI. Die Studierenden bearbeiten das Projekt in Zweier-Teams und durchlaufen dabei den vollständigen Entwicklungszyklus eines KI-Systems – von der Problemdefinition über Modellierung, Training und Evaluation bis hin zu Deployment, Dokumentation und Präsentation. Besonderer Wert wird auf Robustheit, Nachvollziehbarkeit und industrielle Umsetzbarkeit gelegt.

Mögliche Projektstellungen umfassen unter anderem:

• Robotersteuerung durch Simulation und Training in NVIDIA Isaac Sim / Omniverse mit anschließender Übertragung auf einen realen Universal Robot,
• Steuerung autonomer Systeme (z. B. Drohnen) mittels Reinforcement Learning,
• Aufbau einer robusten Machine-Learning-Pipeline nach MLOps-Richtlinien (Versionierung, Deployment, Monitoring),
  Entwicklung eines agentischen Systems (z. B. RL- oder LLM-basierte Agenten) in Zusammenarbeit mit einem industriellen Partner.

Die Studierenden arbeiten mit modernen Entwicklungswerkzeugen und orientieren sich an industriellen Best Practices, insbesondere in Bezug auf Softwarequalität, Reproduzierbarkeit, Dokumentation und Teamarbeit. Die Projektergebnisse werden öffentlichkeitswirksam aufbereitet und praktisch demonstriert.

Der Leistungsnachweis besteht aus einem Projekt mittels einer Projektpräsentation sowie einem vollständig dokumentierten Code-Repository. Ergänzend erstellen die Studierenden wahlweise ein Poster oder einen Blog-Post, um ihre Ergebnisse adressatengerecht zu kommunizieren.

Laborarbeit
Selbststudium, Project-based Learning