Informacje i materiały dodatkowe do przedmiotu uczenie maszynowe

Przedmiot dla studentów Informatyki, specjalności ISWD oraz ITI (Politechnika Poznanska) - edycja 2020 w trudnym okresie

Prowadzący:

Z uwagi na zawieszone zajęcia prosimy o kontakt emailowy + uruchomię możliwości konsulatacje przez komunikatory

Poniżej różne materiały ułatwiajace samodzielne studiowanie i rozszerzajace wiedzę z zakresu kolejnych wykładów

1. Indukcja drzew oraz ich upraszczanie (ang. pruning)

   • Moje robocze notatki do dawnego skryptu dydaktycznego zagadnienia alg ID3, C4.5 oraz upraszczanie. Zawierają niezbędne podstawy teoretyczne dla klasycznych algorytmów.
   • Rozdział z książki Introduction to Data Mining: Pang-Ning Tan, Michael Steinbach, Vipin Kumar nt. drzew w data mining w j.angielskim
   • Warto zapoznac się z moim anglojęzycznym wykładem zawierającym więcej detali nt. przeuczenia oraz tree pruning.
   • Przykładowe obliczenia algorytmu Id3, wersji binaryzacji drzew znajdują się w starszych slajdach
   
   
   Ponadto polecam spojrzenie do dalszych źródeł:
   • Artykul przegladowy nt. Metod budowy drzew (kryteria split) oraz podstawowych metod tzw. pruningu Top-Down Induction of Decision Trees Classifiers – A Survey: Lior Rokach and Oded Maimon: IEEE Transactions on Systems, Man and Cybernetics, 2002.
   • Przeglad podstawowych metod pruningu A Comparative Analysis of Methods for Pruning Decision Trees By F.Esposito, D.Malerva, G. Semeraro, J.Kay IEEE Trans. PAMI 1997
   • Wykład p. A.Nowak z USl nt. drzew, zawierający dużo przykładów obliczeniowych (w tym wyliczania miar podzialu drzew (z wykorzystaniem entropi informacji)

2. Indukcja reguł

   • Moje robocze notatki do dawnego skryptu dydaktycznego przeglad algorytmów sekwencyjnego pokrywania, przykład algorytmu LEM2, miary oceny reguł oraz strategie klasyfikacyjne. Zawierają niezbędne podstawy teoretyczne dla klasycznych algorytmów indukcji regul.
   • Artykuł przeglądowy J.Furnkranz: Separate-and-Conquer Rule Learning. omawiający podstawy algorytmów sekwenecyjnego pokrywania [w j.angielskim]
   • Warto zapoznać się z moją rozprawą habilitacyjną zawierającym więcej detali nt. bardziej zaawansowanych algorytmów odkrywania reguł z danych, także dla tzw. interpretacji oraz opisy w odkrywaniu wiedzy.
   • Przykład wykładu nt. Indukcji reguł J.Furnkranz'a z TU Darmstadt z miarami oceny reguł
   • Dawny wykład T.Mitchell'a nt Learning Rule Sets, zawiera także watki reguł w ILP.
   • Rozdział J.Grzymały nt. obliczeń działania algorytmów LEM-2 oraz klasycznego AQ.
   
   
   Ponadto polecam spojrzenie do dalszych źródeł:
   • Artykul przegladowy nt.tzw. pruningu reguł Pruning Algorithms for Rule Learning
   • Artykul J.Stefanowski nt. Algorytmu MODLEM indukcji reguł Pt: On Combined Classifiers, Rule Induction and Rough Sets. LNCS 4374, pp. 329–350, 200 zawiera także opis różnego rodzaju uogólnień.
   • Artykuł z JSI Slovenia Saso Dzeroski et al nt. zastosowań reguł. Data analysis with rule induction.
   • Przegląd różnego rodzaju reguł w kontekście oprogramowania WEKA

3. Klasyfikacja bayesowska

   Wstępnie polecam wykłady prof. T.Mitchella z Carnegie Mellon University - Naive Bayes; w szczególności youtube lecture
   
   
   Ponadto polecam spojrzenie do dalszych linków:
   • Blog nt. podstaw Naive Bayes (wraz z przykladem w R) By Selva Prabhakaran | Posted at machinelearningplus
   • Blog nt. aspektów i wersji estymacji prawd. do Naive Bayes (wraz z przykladami w Python) Jason Brownlee at Machine Learning Mastery
   • Informacje nt. Wykorzystania Naive Bayes w klasyfikacji tekstów NLP Stanford - WWW rozdziaĹ‚ z ksiazki introduction to Infromation Retrieval
   • Wykład Dan Jurafsky (NLP Stanford University) nt. Text classification with Naive Bayes

4. Klasyfikator k najbliższych sąsiadów

   • Właściowości teoretyczne algorytmu k-NN, zawierają także rozszerznie interpretacji probabilistycznej jako ball kernal estimator oraz ważne pojęcie bias-variance decomposition
   • Tekst wytłumaczenia bias-variance decomposition esej Scott Fortmann-Roe [w j.angielskim] z odniesniem do k-NN
   
   
   Ponadto polecam spojrzenie do dalszych źródeł:
   • Przegląd miar odległości Zestawienie politechniki Sląskiej
   • Artykul D.Aha i inni pt: Instance-based learning algorithms zawiera także opis różnego rodzaju uogólnień alg IBL.
   • Artykuł Wilson, Martinez pt. Reduction Techniques for Instance-Based Learning Algorithms - Przegląd różnych podejśc do edytowanej redukcji zbioru przykładów w k-NN

5. Metody oceny klasyfikatorów - miary oraz eksperymentalne oszacowanie

   • Wykład prof. Nathalie Japkowicz nt. Performance Evaluation for Classifiers , [w j.ang] zawiera podstawowe miary oraz przegląd technik statystycznych
   • Wykład Vaclav Hlavac Classifier performance evaluation tzw. survey [w j.angielskim] z przegladem miar oceny, także dla danych niezbalansowanych.
   
   Ponadto polecam spojrzenie do dalszych źródeł:
   • Artykul Janez Demsar'a Statistical Comparisons of Classifiers over Multiple Data Sets, Journal of Machine Learning Research 7 (2006) 1–30 [j. ang.], nt. statystycznych testów dla porównywania predykcji wielu klasyfikatorów
   • Artykul Garcia S., Herrera F. An Extension on of Statistical Comparisons of Classifiers over Multiple Data Sets, Journal of Machine Learning Research 9 (2008) 2677-2694 [j. ang.], szerzej nt. statystycznych testów dla porównywania predykcji wielu klasyfikatorów
   • Artykul Brzezinski D. i inni: Visual-Based Analysis of Classification Measures and their Properties for Class Imbalanced Problems, Information Science (2018) [j. ang.], szerzej przegląd miar oceny dla klasyfikacji niezbalansowanych danych oraz wizualnej analizy ich własności matematycznych

6. Klasyfikatory liniowe / analiza dyskryminacyjna

   • Wykład prof. Olga Veksler nt. LDA i QDA , zawiera podstawy analizy dyskryminacyjnej z odniesieniem do idei R.Fishera
   • Tekst B.Ghojogh, M.Crowley Linear and Quadratic Discriminant Analysis: Tutorial tzw. survey [w j.angielskim] z przeglądem analizy dyskryminacyjnej.
   • Strona z dokumentacji scikit-learn , zawiera opis liniowej i nieliniowej analizy dyskryminacyjnej

7. Metody wektorów wspierajacych (support vector machines)

   • Wykład prof. Andrew Ng z Stanford nt. SVM, zawiera podstawy
   • Wykład R. Berwick, Village Idiot z MIT Guide to Support vector machines, zawiera proste wytłumaczenie matematyczne zadania programowania matematycznego w SVM
   • Wykład M. Ziebia; Klasyfikator SVM wyklad polsko-jezyczny P.Wroc.
   
   
   • C. Burges: A tutorial on SVM for pattern recognition Data Mining and Knowledge Discovery | January 1998, Vol 2: pp. 121-167; [ang[ dobry tekst przegladowy
   • Tekst Ding et al. An overview on semi-supervised support vector machine tzw. survey [w j.angielskim] podstawowe informacje o rozszerzenia dla uczenia cześciowo nadzorowanego
   • Strona z dokumentacji Meyer, libsvm, zawiera wstep do biblioteki oprogramowania

8. Zespoly klasyfikatorow (ensembles / multiple classsifiers)

   • R.Polikar: Ensemble learning na tzw. Scholarpedia
   • Wyklad nt. Ensemble classifiers z TU Darmstadt - bagging, boosting i stacking
   • T.Diettrich: multiple classifiersartykul nt. zespolow - podstawy

9. Wybrane sieci neuronowe MLP i RBF

   • M.Orr: Introduction to RBF neural netwroks ; z podstawami matematycznymi
   • Wyklad nt. Radial_Basis_Function_Networks_RBF ; autorstwa Vashigi
   • Elżbieta Richter UJ Sieci neuronowe o radialnych funkcjach bazowych ; dobry wyklad przegladowy
   • Wykład A.Bartkowiak Int Inf. UWroc Sieci RBF o radialnych funkcjach bazowych; podstawowe informacje

10. Grupowanie i sieci neuronowe Kohonena

    • Murtagh et al: Methods of Hierarchical Clustering ; przeglad algorytmów hierarchicznego grupowania
    • Blog nt. HIERARCHICAL CLUSTERING IN R: THE ESSENTIALS ; przyklad uzycia algorytmów hierarchicznego grupowania oraz implementacje w R
    • Projekt inzynierski moich ex-studentow Clasterix ; zawiera implementacje Java podstawoych algorytmow hierarchicznego grupowania
    • Wyklad Olga Veksler nt. Hierarchical clustering ; uniwersystet w Ottawa
    
    
    • Blog Jason Brownlee Learning Vector Quantization for Machine Learning opis LVQ po angielsku
    • Kohonen T., Honkela. T: Kohonen networks ; strona WWW w ramach scholarpedia [j.ang]; zawiera duzo odnosnikow do dalszych zrodel
    • Strona Sieci neuronowe Kononena Websom ; strona WWW współpracowników poświecona WebSOM
    • Strona Java WEKA implementation of LVQ and SOM
    • Wykład Chen Pierre tw Sieci LVQ; nt sieci LVQ Kohonena - krótko [j.ang]
    • Wykład A.Nowak Brzezinskia Int Inf. USlaski Sieci SOM; nt sieci SOM Kohonena
    • Somervuo P., Kohonen T: Self-Organizing Maps and Learning Vector Quantization for Feature Sequences artykul [j.ang]
    • Artykul Application of Kohonen Neural Networks in Classification of Biologically Active Compounds nt. zastosowan biologicznych sieci Kohonena
    • Du K. Neural Networks Clustering artykul [j.ang]

11. Poszukiwanie reguł asocjacyjnych

    • R. Aggrawal et al: Mining association rules between sets of itemsets ; oryginalny artykuł [j.ang]
    • Wyklad nt. algorytmu Apriori ; autorstwa A . Nowak [U.Slaski]
    • Przemysław Bieniek Reguły asocjacyjne w R ; dobry materiał jak poszukiwać reguł z wykorzystaniem R
    • Blog A. Garg z towardsdatascience guide to Association Rules ; proste wyjasnienie [j.ang]/li>

12. Indukcyjne programowanie w logice

    • Svetla Boytcheva: Overview of Inductive Logic Programming (ILP) Systems ; Artykuł przegladowy [j.ang]
    • Wykład COM3250: Learning First Order Rules nt. ILP i reguł wg. dawnej książki T.Mitchella [j.ang]
    • Wykład: Symbolic AI A.Freitas - z wytłumaczeniem ILP [j.ang]
    • Zestaw materiałów: Lecture 14: Inductive Logic Programming as a machine learning technique wykładowych z uniwersytetu Bham UK [j.ang]
    • Wykład Bernard ESPINASSE Aix-Marseille Université (AMU), France: Logical & Relational Learnings szerszy wykład nt. uczenia relacji [j.ang]

13. Uwagi koncowe

    • Tom Mitchell Key ideas in machine learning ; Artykuł nt. kierunków rozwoju ML [j.ang]
    • Pedro Dominigos A Few Useful Things to Know about Machine Learning Communications of the ACM, 55 (10), 78-87, 2012.; Artykuł nt. istotnych aspektów ML [j.ang]
    • Pedro Dominigos osobiste spojrzenie na to czym jest ML [j.ang]
    • M. I. Jordan i T. M. Mitchell Machine learning: Trends, perspectives, and prospects . ; artykuł nt, osobistych poglądów o ML [j.ang]
    • ACM Tech Talk with Micheal I Jordan "The Decision-Making Side of Machine Learning" youtube recording [j.ang]

Dalsze materiały beda stopniowo umieszczane na stronie i przede wszystkim przekazywane emeilowo przez prowadzącego

Ostatnia aktualizacja -- Last revision:  June 12, 2020 - J.Stefanowski