Optimization for Machine Learning


Optymalizacja ciągła dla studentów stacjonarnych

Nowoczesne techniki optymalizacji

Laboratorium 7

Rozszerzenia algorytmu stochastycznego spadku wzdłuż gradientu: momentum, Nesterov Accelerated Gradient (NAG), Adaptive Gradient (AdaGrad), RMSProp, Adaptive Moment Estimation (Adam)

Opis i materiały dydaktyczne

Metoda gradientów sprzężonych

Laboratorium 6

Optymalizacja w kierunkach własnych, metoda gradientów sprzężonych Polaka-Ribiere’a i Fletchera-Reevesa, funkcje wypukłe.

Opis i materiały dydaktyczne

Metoda Newtona

Laboratorium 5

Metoda Newtona, przybliżenie kwadratowe funkcji, metoda Newtona-Raphsona, hesjan, metoda Levenberga-Marquardta

Opis i materiały dydaktyczne

Algorytm (stochastycznego) spadku wzdłuż gradientu

Laboratorium 4

Algorytm spadku wzdłuż gradientu, algorytm stochastycznego spadku wzdłuż gradientu, mini-batch, dobór prędkości optymalizacji, sprawdzanie numeryczne gradientu

Opis i materiały dydaktyczne

Metoda najszybszego spadku

Laboratorium 3

Optymalizacja w wielu wymiarach, forma kwadratowa, algorytm Gaussa-Seidela, metoda najszybszego spadku wzdłuż gradientu, wektory własne.

Opis i materiały dydaktyczne

Optymalizacja funkcji jednowymiarowych

Laboratorium 2

Algorytm przeszukiwania jednostajnego, losowego, dychotomizacji, bisekcji. Funkcje wielowymiarowe, pochodna, gradient.

Opis i materiały dydaktyczne

Wprowadzenie do optymalizacji ciągłej

Laboratorium 1

Wprowadzenie do optymalizacji ciągłej, zastosowania optymalizacji ciągłej, funkcje wielowymiarowe, rodzaje problemów optymalizacyjnych, biblioteka cvxopt, informacje organizacyjne.

Opis i materiały dydaktyczne