Do zaliczenia przedmiotu każda osoba musi napisać dwa wybrane przez siebie skrypty i wysłać je jako dwa osobne załączniki mailem do 7 czerwca (AoE). Proszę o wpisanie [SO] na początku tematu maila.

Poniżej lista tematów skryptów. Do listy tematów mogę dopisać inne – proszę o propozycje mailem.

Jeżeli skrypt tworzy tymczasowe pliki na czas swojego działania, to trzeba zapewnić że:

• nie nadpisze istniejących plików,
• wszystkie tymczasowe pliki zostaną usunięte przy zakończeniu pracy (zarówno normalnym, jak przez sygnał INT lub TERM),
• uruchomienie skryptu współbieżnie ze sobą samym musi nie psuć się z powodu użycia tych samych plików tymczasowych.

Temat 1. Samorozpakowujący się skrypt kompilujący i sprawdzający poprawność działania skompilowanego programu
Skrypt ma osadzone archiwum z kodem źródłowym wybranego programu. Po uruchomieniu skrypt sprawdza czy spełnione są określone wymagania, m. inn: czy są dostępne potrzebne kompilatory i biblioteki, czy jest dość miejsca na dysku, czy wskazany katalog docelowy nie istnieje bądź jest pusty. Następnie skrypt rozpakowuje kod źródłowy do wskazanego katalogu docelowego i kompiluje go. Po skompilowaniu skrypt tworzy środowisko testowe (np. pliki testowe) do sprawdzenia czy skompilowany kod działa poprawnie, wykonuje testy i po przejściu testów usuwa niepotrzebne pliki (środowisko testowe, pośrednie pliki kompilacji, kod źródłowy).

Temat 2. Skrypt instalujący i konfigurujący LAMP na wybranej dystrybucji Linuksa.
Skrypt ma być uruchamiany jako root na konkretnej dystrybucji Linuksa. Najpierw ma zainstalować wybrany serwer HTTP (np. apache, nginx, lighttpd…), wybrany serwer bazy danych (mysql, mariadb, postgresql, …) oraz PHP. Następnie skrypt ma skonfigurować zainstalowane serwery – umieścić wcześniej przygotowaną stronę w głównym katalogu serwera HTTP, stworzyć bazę danych i konfigurować dostęp do niej, oraz skonfigurować działanie PHP na serwerze HTTP.
Dostęp do bazy danych musi być chroniony losowym hasłem, umieszczanym w trakcie działania skryptu w pliku konfiguracyjnym instalowanej strony.
LAMP to nazwa na typowy zestaw programów potrzebnych do działania wielu popularnych aplikacji webowych.

Temat 3. Rekurencyjne oczyszczanie nazw plików.
Skrypt ma rekurencyjnie poprawiać nazwy plików we wszystkich podanych jako argumenty katalogach tak, by zawierały w nazwach tylko znaki z listy dozwolonych znaków. Skrypt przyjmuje przełączniki, które: określają dozwolone znaki w nazwach plików, wybierają na co są zastępowane niedozwolone znaki, wybierają co ma się dziać jeśli po oczyszczeniu wiele nazw katalogów mapuje się na tę samą nazwę – czy zawartości katalogów są łączone czy na koniec nazw katalogów dodawane są końcówki (np. kolejne liczby). Skrypt musi wspierać wielobajtowe znaki (np. Unicode) w liście dozwolonych znaków. Żaden plik nie może zostać utracony w wyniku działania skryptu; jeśli nazwy dwóch zwykłych plików po oczyszczeniu są identyczne, do nazwy jednego z plików należy dodać końcówkę (np. kolejne liczby).
Podpowiedź: sed 's/[^dozwolone]/_/gi zastępuje wszystkie znaki spoza listy dozwolone na _. Końcówka i ignoruje wielkość liter.

$ tree
.
├── dir
│   ├── my data
│   │   ├── 1.txt
│   │   └── 3.txt
│   └── my_data
│       ├── 2.txt
│       └── 3.txt
└── Super[something]
    ├── super!
    │   └── chaszcze#5
    └── super🕴
        └── gąszcz
$ ./fix_names --allowed 'a-z0-9ąćęłńóśźź' --case-insensitive --replacement '_' --merge  dir
$ tree
.
├── dir
│   └── my_data
│       ├── 1.txt
│       ├── 2.txt
│       ├── 3.txt
│       └── 3.txt.1
└── Super[something]
    ├── super!
    │   └── chaszcze#5
    └── super🕴
        └── gąszcz
$ ./fix_names --allowed 'a-z0-9ąćęłńóśźź' --case-insensitive --replacement '_' --suffix dir 'Super[something]'
$ tree
.
├── dir
│   └── my_data
│       ├── 1.txt
│       ├── 2.txt
│       ├── 3.txt
│       └── 3.txt.1
└── Super_something_
    ├── super_
    │   └── chaszcze_5
    └── super_.1
        └── gąszcz

Temat 4. Wykres bieżącego użycia sieci.
Skrypt odczytuje z systemu informacje o ilości przesłanych i odebranych bajtów przez wyspecyfikowaną w argumentach skryptu kartę sieciową ifname. Na tej podstawie co jakiś czas (określony w argumentach skryptu) oblicza prędkość odbioru i wysłania danych jako różnicę bajtów podzieloną przez czas od poprzedniego pomiaru. Po każdym pomiarze skrypt uaktualnia rysowane przez siebie wykresy prędkości wysłania i odbierania danych. Razem wykresy muszą zajmować całe dostępne okno terminala i muszą mieć czas jako poziomą oś. Dodatkowo skrypt ma używać wybranych znaków Unicode pozwalających na większą dokładność niż cały znak (np. ⢀⢠⢰⢸⡀⣀⣠⣰⣸⡄⣄⣤⣴⣼⡆⣆⣦⣶⣾⡇⣇⣧⣷⣿, ▁▂▃▄▅▆▇█ czy ▗▐▖▄▟▌▙█).
Liczbę wysłanych/odebranych znaków można odczytać z pliku /sys/class/net/ifname/statistics/tx_bytes i …/rx_bytes, bądź z wyników komend ethtool --statistics ifname oraz ip [--json] --statistics show dev ifname.
Zaleca się użycie znaków sterujących (por. man console_codes) do przesuwania kursora w wybrane miejsce ekranu.
Dla inspiracji możesz spojrzeć jak formatuje wykresy program btop.

Temat 5. Automatyzacja uruchamiania benchmarków i robienia wykresów z wynikami.
Temat wymaga wybrania na początku programu który dla różnej wartości jednego parametru generuje powiązany z nim wynik (bądź inną metrykę).
Skrypt przyjmuje kilka argumentów: listę bądź zakres wartości parametru, liczbę powtórzeń i pierwszą część nazwy tworzonych przez skrypt plików.
Skrypt ma uruchamiać wybrany program z kolejnymi wartościami parametru, powtarzając uruchomienie z każdą wartością parametru tyle razy ilu powtórzeń zażądano w argumentach skryptu. Skrypt ma umieszczać wyniki w pliku/plikach tekstowych.
Następnie skrypt ma wygenerować obrazek (np. svg/png) z wykresem (np. punktowym, liniowym) zależności wyniku od wartości parametru. Na wykresie dla każdej wartości parametru ma być umieszczona średnia z wyników wraz ze słupkiem błędu.
Wykresy możesz generować narzędziami takimi jak gnuplot czy R.
Jeśli nie masz pomysłu na program do ewaluacji, możesz użyć komendy szukającej liczby pierwszej o długości N bitów – openssl prime -generate -bits N – i użyć czasu wykonania jako metryki (wyniku).

Temat 6. Skrypt testujący program z kombinacjami dwóch parametrów.
Na początku skryptu ma znajdować się lista możliwych wartości każdego z dwóch zmienianych parametrów oraz komenda do uruchamiania z miejscem na wstawienie wartości tych parametrów.
Skrypt ma za zadanie uruchomić podaną komendę dla wszystkich kombinacji parametrów. Standardowe wyjście testowanego programu (bądź produkowany plik, jeśli program tworzy plik z wynikiem zamiast pisać do standardowego wyjścia) ma zostać umieszczone w pliku o nazwie jednoznacznie wskazującej na parametry z którymi został uruchomiony program. Pliki mają zostać umieszczone w katalogu którego nazwa zawiera nazwę testowanego programu oraz datę i godzinę uruchomienia skryptu. Każdy gotowy plik ma być kompresowany.
Skrypt ma wyświetlać na standardowym wyjściu bieżąco testowaną kombinację parametrów i czas uruchomienia bieżącego testu.
Wybór testowanego programu dowolny. Przykładowy program który można testować to program fio, testujący wydajność operacji wejścia-wyjścia. Przykładowo do badania wydajności dysku można w Bashu użyć komendy:
fio <(echo -e "[foo] \n time_based \n runtime=1s \n filename=/tmp/testFile \n filesize=10M \n ioengine=posixaio \n readwrite=randrw \n rwmixread=10 \n blocksize=4k")
Parametry do zmiany to np. rozmiar bloku i procent odczytów.

Temat 7. Przygotowywanie i uruchomienie testu na zdalnej maszynie.
Skrypt ma utworzyć tymczasowy katalog w którym umieści pliki z listy (lista czytana z pliku lub konfigurowalna na początku skryptu). Następnie skrypt ma przygotować plik konfiguracyjny i umieścić w nim wartości podane jako argumenty skryptu. Następnie pliki mają być skopiowane do maszyny zdalnej (adres maszyny ma być ustawialny w zmiennej na początku skryptu) i na zdalnej maszynie ma zostać uruchomiony wskazany program (też ustawialny w zmiennej na początku skryptu). Standardowe wyjście i standardowy błąd uruchomionego programu mają trafić do pliku z nazwą programu i bieżącą datą.
Wybór testowanego programu i format pliku konfiguracyjnego dowolny. Przykładowy program który można testować i format pliku konfiguracyjnego można wziąć z poprzedniego tematu.

Temat 8. Pokaz slajdów / prezentacja w Bashu.
Skrypt ma wyświetlać w terminalu po kolei pliki znajdujące się we wskazanym w argumentach skryptu katalogu. Nawigacja między kolejnymi "slajdami" ma odbywać się przy wykorzystaniu odpowiednich klawiszy z klawiatury, po naciśnięciu których skrypt ma przechodzić do kolejnego slajdu, przechodzić do poprzedniego slajdu, oraz wyświetlać listę plików i z tej listy przejść do dowolnego slajdu. Na każdym slajdzie, poza treścią pliku, ma znajdować się pasek stanu z numerem slajdu, łączną liczbą slajdów i nazwą pliku.
Jeśli któryś z plików jest kodem źródłowym, ma on zostać wypisany z kolorowaniem składni.
W Bashu, komenda read -sn1 wczytuje pojedynczy znak bez wypisywania go na ekran. Zauważ, że strzałka generuje trzy znaki.
Do kolorowania składni użyj zewnętrznego narzędzia (np. pygmentize).

Temat 9. Generowanie miniaturek i tworzenie prostego indeksu HTML.
Skrypt przyjmuje jako argument listę katalogów. Skrypt generuje dla każdego obrazu znajdującego się bezpośrednio w podanych katalogach miniaturę o określonym rozmiarze i umieszcza ją w podkatalogu tn w katalogu w którym znajduje się obraz. Miniaturkom ustawia czasy modyfikacji, zmiany i dostępu na identyczne jak odpowiednie czasy obrazu. Dodatkowo, w każdy katalogu w którym był przynajmniej jeden obraz skrypt generuje plik index.html. Plik ma być poprawną stroną HTML o tytule identycznym jak nazwa katalogu. Strona ma zawierać, dla każdego pliku obrazu, jeden element <div style="display:inline-block"> w którym znajduje się miniaturka obrazu i jego nazwa, a kliknięcie w ten element musi otwierać ten obraz.
Skrypt wypisuje na ekranie nazwę każdego przetwarzanego obrazu.
W zadaniu zaleca się skorzystać z programu file do wykrywania typu MIME i pakietu narzędzi imagemagick do operacji na obrazkach (tzn. programu magick).

Temat 10. Tworzenie śladów GPX z geotagowanych zdjęć.
Skrypt ma przeglądać rekurencyjnie podane katalogi w poszukiwaniu plików .jpg. Dla każdego znalezionego pliku skrypt ma wyciągnąć pozycję GPS (GPSPosition) oraz datę i czas wykonania zdjęcia (CreateDate) z tagów (metadanych) EXIF. Na tej podstawie ma zostać utworzony plik GPX zawierający ślady (pozycja + data) oraz ścieżki (pozycja + URL do zdjęcia). Odcinki śladów/ścieżek mają być tworzone tak, by kolejne zdjęciami w jednym odcinku dzieliło mniej niż ustalony czas (np. godzina). Zdjęcia bez wymaganych tagów mają być pomijane. Skrypt ma wypisywać podsumowanie: łączną liczbę zdjęć, liczbę zdjęć z tagami, oraz liczbę wygenerowanych śladów/ścieżek.
Do napisania i testowania skryptu potrzebujesz geotagowanych zdjęć – proszę je zorganizować we własnym zakresie, np. robiąc zdjęcia telefonem bądź aparatem fotograficznym z działającym odbiornikiem GPS.
Polecenie exiftool pozwala wyciągać metadane z plików. Liczne narzędzia, np. gpxsee, wyświetlą plik GPX (pod warunkiem że będzie zgodny z odpowiednim standardem).

<gpx version="1.1">
    <trk>
        <name>2024.04.01</name>
        <trkseg>
            <trkpt lat="52.40417" lon="16.95063">
                <time>2024-04-01T12:00:00Z</time>
            </trkpt>
            <trkpt lat="52.40292" lon="16.94928">
                <time>2024-04-01T12:01:00Z</time>
            </trkpt>
        </trkseg>
    </trk>
    <rte>
        <name>2024.04.01</name>
        <rtept lat="52.40417" lon="16.95063">
            <link href="file:///home/user/zdjecia/1.jpg"><text>/home/user/zdjecia/1.jpg</text><type>image/jpeg</type></link>
            <desc>&lt;img width=128 height=128 src="/home/user/zdjecia/1.jpg"&gt;</desc>
        </rtept>
        <rtept lat="52.40292" lon="16.94928">
            <link href="file:///home/user/zdjecia/2.jpg"><text>/home/user/zdjecia/2.jpg</text><type>image/jpeg</type></link>
            <desc>&lt;img width=128 height=128 src="/home/user/zdjecia/2.jpg"&gt;</desc>
        </rtept>
    </rte>
</gpx>

Temat 11. Porządkowanie zdjęć.
Skrypt przyjmuje jako pierwszy argument katalog docelowy, a jako kolejne listę katalogów źródłowych.
Skrypt ma porządkować katalog ze zdjęciami. Ma przenieść każdy plik z katalogów źródłowych (rekurencyjnie) do podkatalogu rok/miesiąc/dzień w katalogu docelowym i zmienić plikom nazwy na godzina_minuta_sekunda__stara_nazwa. Jako datę skrypt ma brać dane EXIF (CreateDate, DateTimeOriginal) lub datę modyfikacji pliku jeśli plik nie ma danych EXIF. Jeśli dwa pliki z katalogów źródłowych mają tę samą nazwę i daty, skrypt ma dodawać na koniec nazwy (przed rozszerzenie) kolejne numery tak żeby nie stracić żadnego pliku.
W trackie pracy skrypt ma wypisywać linię plik źródłowy --> plik docelowy
W zadaniu zaleca się skorzystać z programu exiftool do wyciągania metadanych o pliku.

Temat 12. Wyszukiwanie identycznych plików.
Skrypt przyjmuje jako argument listę katalogów.
Skrypt przeszukuje rekurencyjnie podane katalogi w poszukiwaniu identycznych plików. Najpierw grupuje znalezione pliki rozmiarami, następnie w każdej grupie w której jest więcej niż jeden plik liczy sumy MD5 każdego pliku. Jeśli dwa lub więcej plików ma tę samą sumę MD5, porównuje je dla pewności programem cmp.
Skrypt wypisuje na standardowe wyjście grupy identycznych plików (każda nazwa w osobnej linii) oddzielone od siebie pustą linią.

Temat 13. Rekurencyjne wyszukiwanie tekstu w katalogach.
Skrypt przyjmuje jako pierwszy argument wyszukiwane wyrażenie, jako kolejne listę katalogów.
Skrypt wyszukuje w plikach w podanych katalogach (rekurencyjnie) podanego wyrażenia. Skrypt sprawdza rodzaj pliku i dla formatów zawierających tekst, ale nie będących plikami tekstowymi ma w locie (bez tworzenia plików na dysku) przetworzyć plik na tekst i w nim wyszukiwać podanego wyrażenia. Skrypt ma obsługiwać przynajmniej wyciąganie strumienia tekstu z plików PDF (pdftotext), ma szukać w plikach skompresowanych (.gz/.bz2/.xz…) używając odpowiednio zgrep/bzgrep/xzgrep…, oraz w archiwach ZIP takich jak pliki .zip, książki elektroniczne (.epub/.mobi/…), dokumenty MS Office (.docx/.pptx/…) czy pliki Open Document Format (.odt/.odp/…), używając np. unzip -c do ich rozpakowania.
Skrypt pozwala za pomocą przełączników wybrać format wyjścia: albo same nazwy pasujących plików, albo dla każdego pliku w którym jest szukany tekst wypisuje nazwę pliku oddzieloną dwukropkiem od pierwszej pasującej linii, albo dla wszystkich pasujących linii wypisuje nazwę pliku oddzieloną dwukropkiem od tej linii.
Skrypt ma nie wyświetlać komunikatów o braku dostępu do plików.

Temat 14. Kopie zapasowe z wykorzystaniem rsync.
Skrypt ma wykonywać różnicową kopię zapasową, używając: listy katalogów źródłowych umieszczonej w osobnym pliku oraz listy wzorców ścieżek które mają być wykluczone z kopii zapasowej. Kopie zapasowe mają trafiać do określonego (w zmiennej na początku skryptu) katalogu na zdalnej maszynie (rsync wspiera przesyłanie plików po SSH). Po wykonaniu skryptu wskazana ścieżka ma zawierać katalogi nazwane jak katalogi na w liście katalogów źródłowych, z identyczną zawartością jak katalogi źródłowe, za wyjątkiem plików których ścieżka pasuje do listy wykluczeń. Każdorazowe uruchomienie skryptu ma tworzyć osobny katalog z datą uruchomienia skryptu do którego trafiają zmienione od ostatniego uruchomienia skryptu pliki.
(NB: program rsync z odpowiednimi argumentami automatycznie wykona powyższe zadania.)
Po wykonaniu kopii skrypt ma stworzyć plik z listą plików usuniętych od ostatniego uruchomienia skryptu, plik z listą zmienionych plików oraz plik z listą nowych plików, pod nazwami składającymi się z daty uruchomienia skryptu oraz przyrostków .del, .mod i .new.
W trakcie działania skrypt ma wypisywać co robi. Po skończeniu, skrypt ma wypisać ile czasu zajęło zrobienie kopii zapasowej i jak duży jest katalog z usuniętymi i zmodyfikowanymi plikami.
W skrypcie należy użyć programu rsync z opcjami --backup, --backup-dir oraz --exclude-from. Zaleca się też skorzystać z programów find i comm do generowania list plików.

Temat 15. Sprawdzanie czy program generuje poprawny wynik.
Skrypt przyjmuje jako argument nazwę polecenia.
Skrypt z pliku (o nazwie ustawionej jako zmienna na początku skryptu) czyta kolejno ścieżki do pliku z poprawnymi wynikami oraz listę argumentów z którymi takie wyniki powinny zostać otrzymane. Dla każdego takiego pliku skrypt uruchamia podane polecenie z odpowiadającymi argumentami i porównuje wynik polecenia z oczekiwanym. Skrypt ma uruchamiać polecenie równolegle, tak by wykorzystywać wszystkie dostępne wątki procesorów.
Skrypt wyświetla na standardowym wyjściu kolejne nazwy plików z oczekiwanymi wynikami i jeśli testowany program wygenerował poprawne wyniki, to dodaje słowo pass, a jeśli nie, dodaje na czerwono słowo FAIL i wypisuje pierwszą różniącą się linię. Jeśli w trakcie uruchomienia testowany program wypisał jakieś dane na standardowy błąd, to skrypt pod linią dotyczącą testowanych argumentów ma wyświetlić te dane, wcinając każdą linię tabulatorem.