Optimization for Machine Learning


Optymalizacja ciągła dla studentów stacjonarnych

Nowoczesne techniki optymalizacji

Laboratorium 7

Rozszerzenia algorytmu stochastycznego spadku wzdłuż gradientu: momentum, Nesterov Accelerated Gradient (NAG), Adaptive Gradient (AdaGrad), RMSProp, Adaptive Moment Estimation (Adam)

Opis i materiały dydaktyczne

Metoda Newtona

Laboratorium 6

Metoda Newtona, przybliżenie kwadratowe funkcji, metoda Newtona-Raphsona, hesjan, metoda Levenberga-Marquardta

Opis i materiały dydaktyczne

Algorytm stochastycznego spadku wzdłuż gradientu

Laboratorium 5

Algorytm stochastycznego spadku wzdłuż gradientu, mini-batch, dobór prędkości optymalizacji, sprawdzanie numeryczne gradientu

Opis i materiały dydaktyczne

Algorytm spadku wzdłuż gradientu

Laboratorium 4

Algorytm spadku wzdłuż gradientu, gradient, dobór prędkości optymalizacji

Opis i materiały dydaktyczne

Metody analityczne

Laboratorium 3

Idea spadku wzdłuż gradientu (w 1D), pochodna, badanie zmienności funkcji, pochodna jako najlepsze liniowe przybliżenie funkcji

Opis i materiały dydaktyczne

Optymalizacja bezgradientowa

Laboratorium 2

Algorytm przeszukiwania jednostajnego, losowego, dychotomizacji, bisekcji. Funkcje wypukłe, operacje zachowujące wypukłość.

Opis i materiały dydaktyczne

Wprowadzenie do optymalizacji ciągłej

Laboratorium 1

Wprowadzenie do optymalizacji ciągłej, zastosowania optymalizacji ciągłej, funkcje wielowymiarowe, rodzaje problemów optymalizacyjnych, biblioteka cvxopt, informacje organizacyjne.

Opis i materiały dydaktyczne