\documentclass[a4paper,11pt]{article}
\usepackage{latexsym}
\usepackage[polish]{babel}
\usepackage[utf8]{inputenc} 
\usepackage[MeX]{polski}
\usepackage{nicefrac}

\author{Imię Nazwisko $\quad$ Imię Nazwisko}

\title{MMDS Challenge -- Projekt eksploracji danych\\ 
\large{{\bf Raport I} \\ Organizacja, wstępne przetwarzanie danych oraz wyszukiwanie najbliższych sąsiadów }} 

\date{31 października 2016}

\begin{document}

\maketitle 


\section{Konkurs Roq.ad (10p)}

\subsection{Sformułowanie problemu}

Krótki i zwięzły opis zadania konkursowego.

(maks. \nicefrac{1}{2} strony)

\subsection{Opis danych}

Opis danych udostępnionych w materiałach do pierwszych zajęć wraz z podstawowymi statystykami: rozmiar, liczba atrybutów, liczba przykładów, liczba klas, dominująca klasa, procent niezerowych wartości cech.

(maks. \nicefrac{1}{2} strony)

\subsection{Reprezentacja danych w pamięci zewnętrznej i operacyjnej}

Krótki opis (bardzo zwięzły i konkretny) z uwzględnieniem:
\begin{itemize}
	\item opisu reprezentacji z jej zaletami i wadami, również z perspektywy eksperymentów, które należy przeprowadzić,
	\item dyskusji na temat czasu utworzenia i objętości reprezentacji danych,
	\item dyskusji na temat czasu wczytywania do pamięci, dostępu do danych i objętości danych,
	\item dyskusji na temat napotkanych trudności.
\end{itemize}

Można opisać więcej niż jedno rozwiązanie w celach porównawczych.

(maks. \nicefrac{3}{4} strony)

\subsection{Standaryzacja danych}

Wyniki eksperymentów wraz z odpowiednimi komentarzami i wnioskami.

Podaj dla pierwszej cechy średnie, odchylenia standardowe, wartość najmniejszą i największą, oraz wartość najmniejszą i największą spośród wszystkich wartości cech, dla danych surowych, oraz dla obu wymienionych podczas drugich zajęć sposobów ich przetwarzania. 

Przykładowa tabela w {\LaTeX}-u została pokazana w Tabeli~\ref{tab:problem_1}.
\begin{table}[h!]
	\begin{center}
		\begin{tabular}{lllllll}
			Nazwa & średnia & odchylenie & min. & max. & min. globalne  & max. globalne\\ 
			\hline
			nazwa & 0.00 & 1.00 & -1 & 1 & -1 & 1\\
			nazwa & 0.00 & 1.00 & -1 & 1 & -1 & 1\\
			nazwa & 0.00 & 1.00 & -1 & 1 & -1 & 1\\
			\hline
		\end{tabular}
	\end{center}
	\caption{Wyniki eksperymentalne}
	\label{tab:problem_1}
\end{table}

(maks. \nicefrac{1}{2} strony)

\subsection{Podsumowanie}

Na końcu jest zawsze miejsce na krótkie podsumowanie (maks. \nicefrac{1}{4} strony).

\bigskip 

\section{Konkurs Data Ninja (35p)}

\subsection{Sformułowanie problemu}

Krótki i zwięzły opis zadania konkursowego.

(maks. \nicefrac{1}{2} strony)


\subsection{Opis danych}

Opis danych udostępnionych w ramach konkursu Data Ninja, wraz z podstawowymi informacjami o nich, takimi jak rozmiar, liczba przykładów, opis struktury danych.

Warto przedstawić przykładowe dane.

(maks. \nicefrac{1}{2} strony)

\subsection{Reprezentacja danych w pamięci zewnętrznej i operacyjnej}

Krótki opis (bardzo zwięzły i konkretny) z uwzględnieniem:
\begin{itemize}
\item opisu reprezentacji z jej zaletami i wadami, również z perspektywy eksperymentów, które należy przeprowadzić,
\item dyskusji na temat konfiguracji i administracji danego rozwiązania,
\item dyskusji na temat czasu utworzenia i objętości reprezentacji danych,
\item dyskusji na temat czasu wczytywania do pamięci, dostępu do danych i objętości danych,
\item dyskusji na temat napotkanych trudności.
\end{itemize}

Można opisać więcej niż jedno rozwiązanie w celach porównawczych.

Jeżeli dane zostały zorganizowane w dedykowany sposób dla danego eksperymentu, to należy to odpowiednio zaznaczyć i opisać.

(maks. 1 strona)


\subsection{Wstępne przetwarzanie danych}

W dalszej części raportu będzie należało opisać wyniki eksperymentu przeprowadzonego na zbiorze danych przygotowanym z surowych danych training.zip. W tym rozdziale należy opisać sposób przeprowadzenia ekstrakcji cech, użytą reprezentację danych oraz napotkane problemy.

Tytuły ofert z surowych danych o ogłoszeniach należy przekształcić do reprezentacji \emph{bag of words}. Przekształcenie należy wykonać używając 100 najczęściej występujących słów w tytułach. Można, ale nie jest to konieczne, przeprowadzić uprzednio stemming lub lematyzację. Eksperymenty należy przeprowadzić tylko na ogłoszeniach, w których tytułach występuje przynajmniej jedno słowo ze zbioru 100 najczęściej występujących słów -- należy odrzucić pozostałe ogłoszenia ze zbioru danych na potrzeby tego eksperymentu.

(maks. 1 strona)


\subsection{Eksperyment}

W tym rozdziale należy umieścić wyniki eksperymentów wraz z odpowiednimi komentarzami i wnioskami.
Należy wykonać następujące zadania:
\begin{enumerate}
\item Znalezienie najczęstszych kategorii ofert pogrupowanych po cechach i po parach cech,
\item Wyszukiwanie najbliższych sąsiadów dla ofert w otrzymanej reprezentacji ofert.
\end{enumerate}

W treści sprawozdania można przedstawić przykładowe wyniki grupowania i wyszukiwania najbliższych sąsiadów.

Dla wszystkich eksperymentów należy podać czasy wykonania. Przy wyznaczaniu czasów nie należy brać pod uwagę czasu wyświetlania wyników. Cały eksperyment można powtórzyć parokrotnie i uśrednić wyniki (można podać błąd standardowy). 


\subsubsection{Grupowanie}
Dla każdej cechy wyszukaj kategorie przypisane do ogłoszeń posiadających daną cechę oraz ich liczbę, a następnie dla każdej pary cech wyszukaj kategorie przypisane do ogłoszeń posiadających daną parę cech oraz ich liczbę. Dla każdej cechy oraz pary cech podaj trzy najczęściej występujące kategorie oraz ich prawdopodobieństwa. Sprawdź wyniki dla 30 najczęściej występujących cech, oraz dla 30 najczęściej występujących par cech. W raporcie można podać przykładowe rezultaty.


\subsubsection{Wyszukiwanie najbliższych sąsiadów}

Wyszukaj 10 najbliższych sąsiadów dla każdego ogłoszenia z pierwszych 1000 (dla chętnych 10 tyś. ogłoszeń). Szukanie odbywa się w całym zbiorze danych będącym wynikiem wstępnego przetwarzania danych, tzn. na zbiorze zawierającym 100 cech oraz tylko przykłady zawierające co najmniej jedną cechę. 
Dla każdego zbioru najbliższych sąsiadów sprawdź liczbę wystąpień kategorii, do których są przypisani, oraz sprawdź, czy zgadza się ona z kategorią ogłoszenia, dla którego zostali wyszukani ci najbliżsi sąsiedzi.  W raporcie można podać przykładowe rezultaty

Jako miarę podobieństwa przy wyszukiwaniu najbliższych sąsiadów należy zastosować współczynnik Jaccarda. Mierzy on podobieństwo między dwoma zbiorami i jest zdefiniowany jako iloraz mocy części wspólnej zbiorów i mocy sumy tych zbiorów:
$$
    J (A,B) = {{|A \cap B|}\over{|A \cup B|}} \,,
$$
gdzie $A$ i $B$ są zbiorami, które odpowiadają obiektom opisanym przez atrybuty binarne.

Dla poniższego przykładu zbiór $A =$ $\{$bmw, seria, 1, nawigacja$\}$ odpowiada pierwszemu obiektowi, a zbiór $B$ = $\{$volvo, nawigacja, opony$\}$ drugiemu. W postaci tabelarycznej możemy te zbiory zapisać następująco:

\begin{center}
\begin{tabular}{cccccccc}
bmw & seria & 1 & nawigacja & volvo & opony & kabriolet \\
\hline
 1 & 1 & 1 & 1 & 0 & 0 & 0\\
 0 & 0 & 0 & 1 & 1 & 1 & 0 \\
\hline
\end{tabular}
\end{center}

Dla tego przykładu współczynnik Jaccarda wynosi:
$$
J (A,B) = \frac{1}{6}
$$


(maks. 4 strony). 


\subsection{Podsumowanie}

Na końcu jest zawsze miejsce na krótkie podsumowanie (maks. \nicefrac{1}{2} strony).

\bigskip 

\noindent
{\bf Całość raportu nie może przekraczać 10 stron.}


\end{document}  
