Modulbeschreibung

Optimierungsverfahren bilden eine zentrale Grundlage moderner mechatronischer Systeme und ingenieurwissenschaftlicher Anwendungen. In der Praxis stehen Ingenieurinnen und Ingenieure regelmässig vor der Aufgabe, aus einer Vielzahl möglicher Systemparameter jene zu bestimmen, die ein gewünschtes Verhalten, eine optimale Leistung oder minimale Kosten gewährleisten. Solche Fragestellungen treten insbesondere im Inverse Design auf, bei dem nicht das Systemverhalten simuliert, sondern aus Zielvorgaben auf geeignete Design- und Steuerungsparameter geschlossen wird. Diese Probleme führen in der Regel auf nichtlineare Optimierungsprobleme, deren systematisches Verständnis und numerische Lösung für die Ingenieurpraxis unerlässlich ist. Das Modul vermittelt den Studierenden grundlegende Konzepte und Methoden der kontinuierlichen und diskreten Optimierung. Sie lernen, Optimierungsprobleme korrekt zu klassifizieren und geeignete Lösungsverfahren auszuwählen. Ein besonderer Fokus liegt auf glatten, nichtrestringierten Optimierungsproblemen in ein- und mehrdimensionalen Räumen sowie auf restringierten Problemen, die mithilfe der Karush-Kuhn-Tucker-Bedingungen (KKT) analysiert und formuliert werden. Neben analytischen Aspekten werden zentrale numerische Verfahren zur Lösung realitätsnaher Optimierungsprobleme eingeführt.

Lineare Optimierungsprobleme werden sowohl geometrisch in zwei Dimensionen als auch algorithmisch mit dem Simplex-Verfahren behandelt, wodurch die Studierenden ein grundlegendes Verständnis für Struktur und Lösbarkeit von Optimierungsproblemen entwickeln. Ergänzend wird der Unterschied zwischen diskreter und kontinuierlicher Optimierung herausgearbeitet, um die Einordnung praktischer Problemstellungen zu erleichtern. Darüber hinaus schafft das Modul eine wichtige methodische Grundlage für moderne datengetriebene Verfahren. Insbesondere das in Deep-Learning-Verfahren eingesetzte Gradient Descent basiert auf Prinzipien der nichtlinearen Optimierung. Das im Modul erworbene Verständnis für Gradienten, Optimalitätsbedingungen und numerische Lösungsverfahren ermöglicht es den Studierenden, solche Algorithmen nicht nur anzuwenden, sondern auch kritisch zu analysieren und weiterzuentwickeln.

Die Studierenden:

• können Optimierungsprobleme korrekt klassifizieren und die entsprechenden Lösungsmethoden wählen.
• kennen den Unterschied zwischen diskreter und kontinuierlicher Optimierung.
• können lineare Optimierungsprobleme in zwei Dimensionen graphisch lösen.
• können lineare Optimierungsprobleme mit dem Simplex-Algorithmus lösen.
• können ein- und mehrdimensionale nichtrestringierte glatte Optimierungsprobleme lösen.
• kennen die KKT-Bedingung und können diese für restringierte Optimierungsprobleme aufstellen und lösen.
• kennen die grundlegenden numerischen Verfahren zur Lösung von restringierten und nichtrestringierten Optimierungsproblemen und können diese anwenden.

Klassifikation von Optimierungsproblemen

• Gleichungs- und Ungleichungsnebenbedingungen

Lineare Programme

• Graphische Lösung 2-dimensionaler Probleme
• Simplex-Algorithmus

Nichtlineare Optimierung

• Eindimensionale Optimierung
• Mehrdimensionale Optimierung ohne Nebenbedingung
• Karush-Kuhn-Tucker-Bedingung

Numerik der Optimierung

• Gradientenverfahren und Line Search
• Gradientenverfahren mit Momentum
• Newton-Algorithmus, Sekantenverfahren und Regula Falsi 
• Verfahren des Goldenen Schnitts und Bisektion 
• Strafverfahren und Barriere-Methode

Modulschlussprüfung

Kontaktunterricht mit Theorie und Praxisanteil
Vorlesung, Selbststudium, Übungen

Eine Kopie des handgeschriebenen Kursskripts wird auf der Moodle-Seite zur Verfügung gestellt.

Unterrichtssprache Deutsch (Fachbegriffe und Material teilweise auf Englisch) 

Die Studierenden:

• können die Grundprinzipien relationaler Datenbanksysteme und deren Rolle in mechatronischen Anwendungen (z. B. Sensor- und Produktionsdaten) erklären.
• können unterschiedliche Informationssystem-Architekturen (Client-Server, n-Tier, Cloud) einordnen und deren Einsatz bewerten.
• können grundlegende Konzepte von Transaktionen, Datenkonsistenz und analytischer Datenhaltung (z. B. Data Warehousing) anwenden.
• können einfache ER-Modelle erstellen und in relationale Datenmodelle überführen.
• können Datenmodelle in relationalen Datenbanken implementieren und SQL (DDL, DML) zur Datenabfrage und -manipulation einsetzen.
• können aus technischen Anwendungen über Schnittstellen (wie z.B. Java Database Connectivity JDBC) auf Datenbanken zugreifen.
• können Daten für Exploration und Prototyping (z. B. mit Pandas) aus Datenbanken extrahieren.
• können Datenmodelle hinsichtlich Normalformen, Konsistenz und Performance analysieren.
• können geeignete Datenbank- und Architekturlösungen für typische mechatronische Szenarien (Embedded, IoT, Cloud) auswählen.
• können den Einsatz von Data-Warehouse-Strukturen für Analyse- und Monitoring-Aufgaben begründen.
• können ein einfaches Data Warehouse für Mess- oder Produktionsdaten planen und realisieren.
• können ein konsistentes Datenbank- und Architekturkonzept für ein einfaches System entwerfen, das als Grundlage für Condition Monitoring, Datenanalyse oder Optimierungsaufgaben dient.

I. Grundlagen & Motivation
   - Bedeutung von Daten in mechatronischen Systemen.
   - Typische Anwendungsbeispiele aus Produktion, Monitoring und Sensorik.
   - Motivation für Datenbanken gegenüber einfachen Dateiformaten.
   - Einführung eines durchgängigen Anwendungsszenarios.

II. Relationale Datenbanken
   - Relationales Modell: Tabellen, Schlüssel und Beziehungen.
   - Grundprinzipien der Datenmodellierung und Umsetzung in relationale Schemata (ER-Diagramme, Schlüssel, Beziehungen,         Kardinalitäten).
   - SQL-Grundlagen zur Definition, Abfrage und Manipulation von Daten.
   - Praktische Nutzung eines leichtgewichtigen relationalen Datenbanksystems (z. B. SQLite) zur Speicherung und Abfrage von       Daten.
   - Datenkonsistenz und grundlegende Transaktionskonzepte.

III. Datenbanken in Anwendungen
   - Einbindung von Datenbanken in Softwareanwendungen.
   - Konzeptionelle Betrachtung von Architekturen.
   - Praxisbeispiele aus der Programmierung.

IV. Datenanalyse & Exploration
   - Abfrage, Aggregation und Aufbereitung von Mess- und Zustandsdaten aus Datenbanksystemen.
   - Explorative Datenanalyse und einfache Visualisierung zur Unterstützung von Monitoring- und Analyseaufgaben.
   - Anwendung typischer Auswertungsmethoden in mechatronischen Anwendungsfällen, wie Zustandsüberwachung oder                 Betriebsdatenauswertung.

V. Analytische Konzepte & Einführung in Data Warehousing
   - Unterschied zwischen operativer und analytischer Datenhaltung (OLTP vs. OLAP).
   - Grundidee von Data Warehouses und typische Einsatzszenarien in Monitoring und Analyse.
   - Aufbau eines einfachen Star-Schemas anhand von Mess- oder Produktionsdaten.
   - Zentrale OLAP-Konzepte: Aggregationen, Zeitdimension, Kennzahlen.
   - ETL als Grundkonzept: Datenübernahme von operativen Systemen in analytische Strukturen.

VI. NoSQL-Datenbanken
   - Überblick über NoSQL-Datenbanksysteme mit Fokus auf praxisrelevante Typen:
          Time-Series-Datenbanken (z. B. InfluxDB) für Sensorik, Monitoring und Zeitreihendaten.
          Dokumentenorientierte Datenbanken (z. B. MongoDB) für flexible JSON-Daten und Logfiles.
   - Typische Anwendungsfälle und Entscheidungshilfen für die Auswahl des passenden Datenbanktyps.
   - Vergleich relationaler und NoSQL-Datenbanken: Stärken, Schwächen und Einsatzszenarien.
   - Grundlegende Prinzipien von NoSQL: schemalose Datenhaltung, horizontale Skalierung, hohe Verfügbarkeit.

VII. Cloud-Datenbanken
   - Vorteile und Herausforderungen cloudbasierter Datenbanksysteme (z. B. Skalierbarkeit, Wartungsaufwand, Verfügbarkeit).
   - Konzeptuelle Überlegungen zu Zugriff, Sicherheit, Datenintegration und Kostenmanagement.
   - Einführung in gängige Cloud-Plattformen wie Google Cloud Platform (GCP), mit Beispielen für Cloud-Datenbanken und               Managed Services.
   - Praktische Demonstration eines Cloud-Datenbankeinsatzes: Verbindung von IoT- oder Produktionsdaten zu einer Cloud-             Lösung, einschliesslich Datenspeicherung, Zugriff und Analyse.

Modulschlussprüfung

• Kontaktunterricht mit Theorie und Praxisanteil
• Vorlesung, Selbststudium, Übungen
• Der Praxisteil umfasst ein Projekt zur praxisorientierten Anwendung der in der Theorie erarbeiteten Inhalte.

[1.]    Kudrass, Thomas (Hrsg.) (2015): Taschenbuch Datenbanken. 2. Auflage. München: Carl Hanser Verlag.
[2.]    Fehily, C. (2020). SQL Database Programming (5th ed.). Questing Vole Press.
         Der Autor stellt eine aktuelle HTML-Version des Buchs (Stand 2024) kostenlos zur Verfügung:     
         https://www.fehily.com/sql.html 
[3.]    Kimball, R., & Ross, M. (2013). The data warehouse toolkit: The definitive guide to dimensional modeling (3rd ed.). Wiley

Unterrichtssprache Deutsch (Fachbegriffe und Material teilweise auf Englisch)

Die Studierenden:

• können Deep Learning als Optimierungsaufgabe formulieren und den Trainingsprozess neuronaler Netze als Zusammenspiel von Daten, Modell, Zielfunktion, Optimierer, Bewertungsmetrik und Backpropagation erklären.
• können einfache neuronale Netze (MLP) implementieren, trainieren und deren Lernverhalten anhand von Loss- und Metrikverläufen interpretieren.
• können typische Trainingsprobleme wie Overfitting, Underfitting oder schlechte Konvergenz identifizieren und geeignete Gegenmassnahmen vorschlagen.
• verstehen die Funktionsweise von Convolutional Neural Networks und können erklären, wie Faltungen hierarchische Bildrepräsentationen extrahieren.
• können CNNs für Bildklassifikationsaufgaben implementieren, trainieren und auf reale Datensätze anwenden.
• können den Einsatz von Data Augmentation und Transfer Learning begründen und deren Einfluss auf Generalisierung und Modellleistung bewerten.
• können Methoden der Explainable AI (z. B. Feature-Visualisierungen) nutzen, um das Verhalten trainierter CNNs zu analysieren.
• verstehen die Repräsentation von Textdaten mittels Word Embeddings und können semantische Beziehungen im Vektorraum erklären.
• können rekurrente neuronale Netze (LSTM, GRU) zur Modellierung von Sequenzen implementieren und trainieren.
• können Sequence-to-Sequence-Modelle für einfache NLP- oder Zeitreihenaufgaben einsetzen und deren Stärken und Schwächen analysieren.
• können den konzeptionellen Unterschied zwischen diskriminativen und generativen Modellen erklären.
• verstehen den Einsatz neuronaler Netze als generative Modelle zur Datenerzeugung und können einfache generative Ansätze praktisch umsetzen.
• können kreative Anwendungen wie Style Transfer konzeptionell einordnen und technisch nachvollziehen.
• verstehen das Grundprinzip des Attention-Mechanismus und können erklären, wie Transformer-Modelle Sequenzen ohne Rekurrenz verarbeiten.
• können die Vorteile von Transformer-Architekturen gegenüber RNN-basierten Modellen analysieren, insbesondere im Kontext langer Sequenzen.
• können Large Language Models als spezielle generative Modelle einordnen und deren Bedeutung für aktuelle Anwendungen im Bereich NLP kritisch reflektieren.

I. Grundlagen des Deep Learnings & Trainings

• Einführung in Künstliche Neuronale Netze
• Grundidee neuronaler Netze, Optimierungsproblem, Backpropagation, Modell–Daten–Loss–Optimierer
• Klassifizierung mit Multilayer Perceptrons (MLPs)
• The Machine-Learning-Workflow: Datenaufbereitung, Training, Validierung, Test, Metriken
• DNN Trainieren: Optimierer, Lernraten, Overfitting, Regularisierung, praktische Trainingsstrategien

II. Computer Vision mit CNNs (Räumliche Daten & Bildverarbeitung)

• Einführung in CNNs: Faltungen, Feature Maps, Pooling, Architekturen
• CNNs auf kleinen Datensätzen, Data Augmentation
• Generalisierung, Regularisierung, praktische Tricks
• Transfer-Learning und Fine-Tuning
• Vortrainierte Netze, Feature Extractor vs. Fine-Tuning
• Was CNNs lernen: Explainable AI (XAI)
• Visualisierung von Features, Grad-CAM, Interpretierbarkeit

III. Sequenzmodelle & Natural Language Processing (Sequenzielle Daten)

• Natural Language Processing (NLP): Word Embeddings
• Vektorrepräsentationen von Sprache, semantische Ähnlichkeit
• RNNs und Sequence2Sequence-Modelle
• LSTM/GRU, Encoder–Decoder, zeitliche Abhängigkeiten

IV. Generative Modelle & Repräsentationslernen

• Daten erzeugen, komprimieren, transformieren
• Generative Modelle: Diskriminativ vs. generativ, Sequenzgenerierung, Sampling
• Autoencoder: AE, VAE, latente Räume, Dimensionsreduktion
• Style Transfer: Generative Bildtransformation, kreative Anwendungen

V. Moderne Architekturen & Ausblick (State of the Art & Einordnung)

• Large Language Models
• Transformer, Attention-Mechanismus, LLMs

Projektarbeit mittels Bericht und mündlicher Prüfung

Kontaktunterricht mit Theorie und Praxisanteil (2 SWS)
Lab-Sessions, Selbststudium und Übungen (2 SWS)

[1.]    Francois Chollet , Deep Learning with Python, Manning Publications, ISBN: 9781617294433, 2017
[1.]    Simon J.D. Prince: Understanding Deep Learning, The MIT Press (2023), http://udlbook.com 
[2.]    Christopher M. Bishop: Deep Learning. Foundations and Concepts (2024), ISBN 978-3-031-45467-7,
         https://doi.org/10.1007/978-3-031-45468-4
[3.]    Sebastian Raschka: Python Machine Learning - Second Edition: Machine Learning and Deep Learning with Python, scikit-

         learn, and TensorFlow (Englisch) Taschenbuch, Packt Publishing; Auflage: 2nd Revised edition (20. September 2017),
         ISBN-13: 978-1787125933
[4.]    Aurélien Géron: Hands-On Machine Learning with Scikit-Learn and TensorFlow, Concepts, Tools, and Techniques to Build
         Intelligent Systems, O'Reilly Media, March 2017

Unterrichtssprache Deutsch (Fachbegriffe und Material teilweise auf Englisch)