Uczenie maszynowe w R

Część I: Klasyfikacja

• Podstawowe metody uczenia maszynowego
  • Zasady uczenia i testowania
  • Optymalizacja parametrów
  • Wstępne przetwarzanie w procesie uczenia
• Klasyfikacja
• Biblioteka caret

Dział informatyki zajmujący się przewidywaniem danych na podstawie danych.

Uczenie maszynowe wywodzi się ze sztucznej inteligencji i statystyki, a algorytmy z tej dziedziny często pojawiają się przy okazji terminów: data science, statistical data analysis, deep learning, AI, knowledge discovery czy data mining.

• Istnieje wzorzec w problemie
• Nie potrafimy zamodelować wzorca matematycznie
• Mamy dane dotyczące problemu

Yaser Abu-Mostafa

• Nadzorowane
  • klasyfikacja (Regresja logistyczna, CART, k-NN, Sieci neuronowe, Naiwny Bayes, Ripper, Bagging, Boosting, Random Forest)
  • regresja (Regresja liniowa, Regresja nieliniowa, GBM, SGD)
• Nienadzorowane
  • grupowanie (k-means, AHC, DBSCAN, Affinity Propagation, SOM)
  • reguły asocjacyjne (Apriori, FP-Growth, Prefix Span)

Klasyfikacja jest procesem trzyetapowym:

1. Konstrukcja modelu w oparciu o zbiór uczący
2. Ocena modelu na przykładach testowych
3. Użycie modelu na nowych danych

Podział na zbiór uczący i testowy może być wykonany na kilka sposobów w zależności od rozmiarów i charakterystyki zbioru danych:

• oddzielny zbiór testowy (ang. holdout set)
• ocena krzyżowa (ang. k-fold cross-validation)
• pojedyncze przykłady testowe (ang. leave-one-out cv)
• losowanie ze zwracaniem (ang. bootstraping)
• wielokrotna ocena krzyżowa (ang. repeated cross-validation)

Istotny elementem podziału danych na zbiór uczący i testowy jest stratyfikacja (losowanie warstwowe).

Proporcje klas/wartości powinny być porównywalne w zbiorze uczącym i testowym! Szczególnie w przypadku występowania niezbalansowania klas!

Klasyfikacja

Accuracy, AUC ROC, G-mean, Precision, Recall, F-score, Sensitivity, Specificity, Kappa

Regresja

R² , MAE, MSE, RMSE

Grupowanie

RAND, Precision, Recall, F-score, Homogenity, Completeness, Silhouette, ARI, AMI

Ocena klasyfikatorów na zbiorze uczącym nie jest wiarygodna jeśli rozważamy predykcję nowych faktów.

Nadmierne dopasowanie do specyfiki danych uczących powiązane jest najczęściej z utratą zdolności uogólniania.

Ocena zdolności predykcyjnych klasyfikatora powinna być wykonywana na danych, które nie były wykorzystane do uczenia klasyfikatora!

Do rozwiązania problemu klasyfikacji istnieje wiele rożnych algorytmów, które z reguły posiadają wiele parametrów wpływających na ich zdolność predykcji.

Problem wyboru najlepszego modelu klasyfikacyjnego (model = dane + algorytm + parametry) po angielsku zwany jest model selection.

Problem znalezienia najlepszego modelu klasyfikacyjnego wymaga uczenia i testowania wielu modeli, aby, korzystając z wybranej miary oceny, wybrać najlepszy.

Aby nie doprowadzić do przeuczenia, model powinien być wybierany w oparciu o inne dane niż zbiór testowy!

W procesie uczenia wszelkie operacje na danych powinny się opierać tylko na zbiorze uczącym. Jeśli chcemy znormalizować dane (\( \mu=0 \), \( \sigma=1 \)), powinniśmy to robić w oparciu o rozkład danych w zbiorze uczącym, a nie korzystając ze wszystkich danych.

Podczas testowania należy korzystać z przetwarzania wstępnego stworzonego na zbiorze uczącym, a nie testowym!

Oznacza to m.in. inne przetwarzanie wstępne dla każdej iteracji oceny krzyżowej…

• holdout (uczący, walidacyjny, testowy)
• k-fold cv (cv[uczący, walidacyjny], testowy)
• nested k-fold cv (cv[cv[uczący, walidacyjny], testowy])
• …

Popularne schematy: holdout, 10-fold cv + holdout, 5x2-fold cv + holdout, holdout + 10x10 cv

• Bardzo dużo gotowych algorytmów uczących
• Algorytmy rozproszone po różnych paczkach
• Niespójności w nazewnictwie w zależności od paczki
• W efekcie trudności w porównywaniu wielu metod

• Biblioteka do uczenia i testowania
• Uspójniania wywołania między różnymi paczkami
• Implementuje podstawowe schematy uczenia i optymalizacji parametrów
• Ponad 200 algorytmów
• Ułatwia zrównoleglanie uczenia na wiele procesorów

Zainstalujmy bibliotekę caret:

install.packages("caret", dependencies = c("Depends", "Suggests"))

library(mlbench)
data(Sonar)
kable(summary(Sonar))

library(caret)
set.seed(23)
inTraining <-
    createDataPartition(
        # atrybut do stratyfikacji
        y = Sonar$Class,
        # procent w zbiorze uczącym
        p = .75,
        # chcemy indeksy a nie listę
        list = FALSE)

training <- Sonar[ inTraining,]
testing  <- Sonar[-inTraining,]

ctrl <- trainControl(
    # powtórzona ocena krzyżowa
    method = "repeatedcv",
    # liczba podziałów
    number = 2,
    # liczba powtórzeń
    repeats = 5)

Oprócz powtarzanej oceny krzyżowej domyślnie dostępne są również: tradycyjna ocena krzyżowa, bootstraping czy ocena krzyżowa z pojedynczym przykładem.

caret domyślnie optymalizuje parametry wybierając trzy wartości dla każdego zdefiniowanego dla modelu parametru optymalizacyjnego.

set.seed(23)
fit <- train(Class ~ .,
             data = training,
             method = "rf",
             trControl = ctrl,
             # Paramter dla algorytmu uczącego
             ntree = 10)

W powyższym przykładzie tworzony jest model klasyfikacyjny zgodnie z algorytmem Random Forest. caret obsługuje obecnie ponad 200 różnych implementacji algorytmów, których listę można znaleźć na stronie projektu.

fit

Random Forest 

157 samples
 60 predictor
  2 classes: 'M', 'R' 

No pre-processing
Resampling: Cross-Validated (2 fold, repeated 5 times) 
Summary of sample sizes: 79, 78, 78, 79, 78, 79, ... 
Resampling results across tuning parameters:

  mtry  Accuracy   Kappa    
   2    0.7209023  0.4311814
  31    0.7541870  0.5033600
  60    0.7324895  0.4598274

Accuracy was used to select the optimal model using the largest value.
The final value used for the model was mtry = 31.

rfClasses <- predict(fit, newdata = testing)
confusionMatrix(data = rfClasses, testing$Class)

Confusion Matrix and Statistics

          Reference
Prediction  M  R
         M 22  4
         R  5 20

               Accuracy : 0.8235         
                 95% CI : (0.6913, 0.916)
    No Information Rate : 0.5294         
    P-Value [Acc > NIR] : 1.117e-05      

                  Kappa : 0.6467         

 Mcnemar's Test P-Value : 1              

            Sensitivity : 0.8148         
            Specificity : 0.8333         
         Pos Pred Value : 0.8462         
         Neg Pred Value : 0.8000         
             Prevalence : 0.5294         
         Detection Rate : 0.4314         
   Detection Prevalence : 0.5098         
      Balanced Accuracy : 0.8241         

       'Positive' Class : M              

rfGrid <- expand.grid(mtry = 10:30)
gridCtrl <- trainControl(
    method = "repeatedcv",
    summaryFunction = twoClassSummary,
    classProbs = TRUE,
    number = 2,
    repeats = 5)

set.seed(23)
fitTune <- train(Class ~ .,
             data = training,
             method = "rf",
             metric = "ROC",
             preProc = c("center", "scale"),
             trControl = gridCtrl,
             tuneGrid = rfGrid,
             ntree = 30)

fitTune

Random Forest 

157 samples
 60 predictor
  2 classes: 'M', 'R' 

Pre-processing: centered (60), scaled (60) 
Resampling: Cross-Validated (2 fold, repeated 5 times) 
Summary of sample sizes: 79, 78, 78, 79, 78, 79, ... 
Resampling results across tuning parameters:

  mtry  ROC        Sens       Spec     
  10    0.8881095  0.8523810  0.7267267
  11    0.8859958  0.8523810  0.7262012
  12    0.8719755  0.8452381  0.6963213
  13    0.8666622  0.8214286  0.7075075
  14    0.8808228  0.8404762  0.7427928
  15    0.8717593  0.8142857  0.7185435
  16    0.8737872  0.8404762  0.7236486
  17    0.8682388  0.8309524  0.7346096
  18    0.8732992  0.8214286  0.7290541
  19    0.8807441  0.8452381  0.7291291
  20    0.8702658  0.8333333  0.7403904
  21    0.8687732  0.8095238  0.7346847
  22    0.8658882  0.8285714  0.7186937
  23    0.8759965  0.8404762  0.6854354
  24    0.8687473  0.8380952  0.6965465
  25    0.8617564  0.8119048  0.6963213
  26    0.8756265  0.8428571  0.7121622
  27    0.8667257  0.8119048  0.7258258
  28    0.8723053  0.8190476  0.7267267
  29    0.8683174  0.7952381  0.7482733
  30    0.8714643  0.8333333  0.7181682

ROC was used to select the optimal model using the largest value.
The final value used for the model was mtry = 10.

rfTuneClasses <- predict(fitTune,
                         newdata = testing)
confusionMatrix(data = rfTuneClasses,
                testing$Class)

Confusion Matrix and Statistics

          Reference
Prediction  M  R
         M 25  3
         R  2 21

               Accuracy : 0.902           
                 95% CI : (0.7859, 0.9674)
    No Information Rate : 0.5294          
    P-Value [Acc > NIR] : 1.209e-08       

                  Kappa : 0.8028          

 Mcnemar's Test P-Value : 1               

            Sensitivity : 0.9259          
            Specificity : 0.8750          
         Pos Pred Value : 0.8929          
         Neg Pred Value : 0.9130          
             Prevalence : 0.5294          
         Detection Rate : 0.4902          
   Detection Prevalence : 0.5490          
      Balanced Accuracy : 0.9005          

       'Positive' Class : M               

library(pROC)
rfTuneProbs <- predict(fitTune,
                       newdata = testing,
                       type="prob")
rocCurve <- roc(response = testing$Class,
                predictor = rfTuneProbs[, "M"],
                levels = rev(levels(testing$Class)))

Jeśli algorytm na to pozwala, oprócz predykcji w postaci klas, można również uzyskać wartości prawdopodobieństw wskazania każdej z klas.

• aby nauczyć model bez optymalizacji parametrów, należy w ustawić w trainControl parametr method = "none"
• oprócz dokładnego przeszukiwania przestrzeni parametrów można również testować tylko losowe wartości za pomocą parametru search = "random" w trainControl i tuneLength w train
• caret oferuje sporo różnych wizualizacji wyników, ale są one dostosowane do różnych systemów graficznych

• Załaduj zbiór danych churn:

library(modeldata)
data(mlc_churn)
churnData <- data.frame(mlc_churn)

• Podziel ten zbiór na uczący i testowy (75% w zbiorze uczącym)
• Przetestuj dwa algorytmy klasyfikacyjne
• Zastanów się czy warto wstępnie przetworzyć zbiór
• Określ przestrzeń przeszukiwania parametrów
• Porównaj algorytmy za pomocą wykresu