Loading
     

Modulbeschreibung - Detailansicht

Wichtigste Meldungen anzeigenMeldungsfenster schließen
Moduldetails
Topics in Optimization for Data-Driven Applications
Fakultät für Elektrotechnik und Informationstechnik
TUEIFEI
5
1
EI71053
2019W
Zuordnungen zu SPO-Versionen
Lehrveranstaltungen und Prüfungsveranstaltungen
Beschreibungen
19W
Export
Allgemeine Daten (Modulhandbuch)
Master
Einsemestrig
Wintersemester
Deutsch/Englisch
Arbeitsaufwand (Work Load)
150
60
90
Studien- und Prüfungsleistungen
Die Bewertung erfolgt durch eine schriftliche Abschlussprüfung am Semesterende (90 min). In dieser Prüfung lösen die Studierenden Aufgaben, in denen sie die in Vorlesung und Übung erlernten Methoden und Fähigkeiten anwenden. Diese Aufgaben können Rechnungen und Beweisskizzen beinhalten. In der Prüfung sind keine Hilfsmittel zugelassen.
J
N
Beschreibung
Grundkenntnisse in linearer Algebra, Analysis, Wahrscheinlichkeitstheorie, konvexer Optimierung, und höheren Programmiersprachen wie z.B. MATLAB, Python, oder R.
Kenntnisse in dynamischen Systemen, maschinellem Lernen, und Statistik sind von Vorteil aber nicht zwingend erforderlich.
Nach einer erfolgreichen Teilnahme an diesem Modul sind die Studierenden unter anderem in der Lage die grundlegenden Prinzipien und Mechanismen von verschiedenen iterativen Optimierungsverfahren zu verstehen, sowie Vorteile und Nachteile bezüglich der Komplexität, die die vorgestellten Verfahren aufweisen, zu erkennen und zu reflektieren. Sie haben ein theoretisches Gerüst um Grundsätze in datengetriebenen Anwendungen zu erfassen und gegebenenfalls die vorgestellten Methoden zu erweitern und für weitere (datengetriebene) Anwendungen zu implementieren.
Das Hauptziel dieses Kurses ist die Einführung und mathematische Analyse iterativer Optimierungsmethoden, die sich für datengetriebenen Anwendungen in der Ingenieurpraxis (z.B. maschinelles Lernen, netzwerkbasierende Anwendungen, technische Betriebsführung) eignen. Typischerweise werden in solchen Anwendungen Methoden benötigt, die fähig sind, große Datenmengen zu verarbeiten, die eine geringe Verarbeitungslatenzzeit aufweisen, und die eine große Anzahl von kontrollierbaren Einflussfaktoren handhaben können. Aus diesem Grund, liegt das Hauptaugenmerk dieser Veranstaltung auf Optimierungsmethoden erster (bzw. nullter) Ordnung, die lediglich die erste Ableitung (bzw. den augenblicklichen Wert) der Zielfunktion benötigen. Spezifisch werden die folgende Themen in dieser Lehrveranstaltung behandelt:
1. Methoden erster Ordnung für unbeschränkte nichtlineare Optimierungsprobleme (Subgradientenverfahren für konvexe Funktionen, fundamentale Grenze für Optimierungsmethoden erster Ordnung, stochastisches Subgradientenverfahren für konvexe Funktionen, Nesterovs Beschleunigung für Gradientenverfahren, Methoden erster Ordnung für nicht-konvexe Funktionen).
2. Methoden erster Ordnung für Optimierungsprobleme unter Beschränkung und Unsicherheit (Gradientenprojektionsverfahren und Mirror Descent, Primal-Duale Lagrange-Methoden, Adaptive Subgradientenmethoden, Methoden erster Ordnung für robuste Optimierung).
3. Dynamische Programmierung (Markov Entscheidungsproblem, Bellman Gleichung und Optimalitätsprinzip, Wert-Iterationsmethode, Approximationsmethoden für die Implementationen in großen Skalen)
Darüber hinaus werden makroskopische und verteilte Aspekte der vorgestellten Methoden behandelt. Mögliche Themen sind unter anderem: Methoden erster Ordnung in einem spieltheoretischen Rahmen, Verteilte Optimierungsmethoden erster Ordnung.
Außerdem werden Anwendungen aus folgenden Bereichen diskutiert: Signalverarbeitung, Überwachtes Lernen, Online Lernen, bestärkendes Lernen, Ressourcenmanagement in Netzwerkanwendungen.
Entwicklung der theoretischen Konzepte und Argumentationen an der Tafel, Diskussion der praktischen Anwendungen wahlweise durch Tafel- oder Beamerpresentationen, Numerische Simulationen, Übungsaufgaben.
Tafel- und Beamerpresentation sowie Übungsblätter.
Y. Nesterov, „Lectures on Convex Optimization“, Springer International Publishing, 2018
S. Bubeck, „Convex Optimization: Algorithms and Complexity“, Now Publisher Inc., 2015
A. Ben-Tal, A. Nemirovski, „Lectures on Modern Convex Optimization“, SIAM, 2001
S. Shalev-Shwartz, „Online Learning and Online Convex Optimization“, Now Publisher Inc., 2011
M. L. Puterman, „Markov Decision Process: Discrete Stochastic Dynamic Programming“, John Wiley & Sons, 2014
F. Facchinei and J. Pang, „Finite-Dimensional Variational Inequalities and Complementarity Problems“, Springer, 2007
Weitere Literatur wird in der Lehrveranstaltung bekanntgegeben.
Modulverantwortliche*r
Prof. H. Boche