Jan Kończak

Do zaliczenia przedmiotu każda osoba musi napisać dwa wybrane przez siebie skrypty i wysłać je mailem do 26.05. Proszę o wpisanie [SO] na początku tematu maila.

Poniżej lista tematów skryptów. Do listy tematów mogę dopisać inne – proszę o propozycje mailem.

Temat 1. Samorozpakowujący się skrypt kompilujący i sprawdzający poprawność działania skompilowanego programu
Skrypt ma osadzone archiwum z kodem źródłowym wybranego programu. Po uruchomieniu skrypt sprawdza czy spełnione są określone wymagania, m. inn: czy są dostępne potrzebne kompilatory i biblioteki, czy jest dość miejsca na dysku, czy wskazany katalog docelowy nie istnieje bądź jest pusty. Następnie skrypt rozpakowuje kod źródłowy do wskazanego katalogu docelowego i kompiluje go. Po skompilowaniu skrypt tworzy środowisko testowe (np. pliki testowe) do sprawdzenia czy skompilowany kod działa poprawnie, wykonuje testy i po przejściu testów usuwa niepotrzebne pliki (środowisko testowe, pośrednie pliki kompilacji, kod źródłowy).

Temat 2. Skrypt instalujący i konfigurujący LAMP na wybranej dystrybucji Linuksa.
Skrypt ma być uruchamiany jako root na konkretnej dystrybucji Linuksa. Najpierw ma zainstalować wybrany serwer HTTP (np. apache, nginx, lighttpd…), wybrany serwer bazy danych (mysql, mariadb, postgresql, …) oraz PHP. Następnie skrypt ma skonfigurować zainstalowane serwery – umieścić wcześniej przygotowaną stronę w głównym katalogu serwera HTTP, stworzyć bazę danych i konfigurować dostęp do niej, oraz skonfigurować działanie PHP na serwerze HTTP.
Dostęp do bazy danych musi być chroniony losowym hasłem, umieszczanym w trakcie działania skryptu w pliku konfiguracyjnym instalowanej strony.
LAMP to nazwa na typowy zestaw programów potrzebnych do działania wielu popularnych aplikacji webowych.

Temat 3. Rekurencyjne oczyszczanie nazw plików.
Skrypt ma rekurencyjnie poprawiać nazwy plików we wszystkich podanych jako argumenty katalogach tak, by zawierały w nazwach tylko znaki z listy dozwolonych znaków. Skrypt przyjmuje przełączniki, które: określają dozwolone znaki w nazwach plików, wybierają na co są zastępowane niedozwolone znaki, wybierają co ma się dziać jeśli po oczyszczeniu wiele nazw plików mapuje się na tę samą nazwę – w przypadku katalogów musi być wybór czy zawartości katalogów są łączone czy na koniec nazw katalogów dodawane są końcówki (np. kolejne liczby). Skrypt musi wspierać wielobajtowe znaki (np. Unicode) w liście dozwolonych znaków.
Podpowiedź: sed 's/[^dozwolone]/_/gi zastępuje wszystkie znaki spoza listy dozwolone na _. Końcówka i ignoruje wielkość liter.

$ tree
.
├── dir
│   ├── my data
│   │   ├── 1.txt
│   │   └── 3.txt
│   └── my_data
│       ├── 2.txt
│       └── 3.txt
└── Super[something]
    ├── super!
    │   └── chaszcze#5
    └── super🕴
        └── gąszcz
$ ./fix_names --allowed 'a-z0-9ąćęłńóśźź' --case-insensitive --replacement '_' --merge  dir
$ tree
.
├── dir
│   └── my_data
│       ├── 1.txt
│       ├── 2.txt
│       ├── 3.txt
│       └── 3.txt.1
└── Super[something]
    ├── super!
    │   └── chaszcze#5
    └── super🕴
        └── gąszcz
$ ./fix_names --allowed 'a-z0-9ąćęłńóśźź' --case-insensitive --replacement '_' --suffix dir 'Super[something]'
$ tree
.
├── dir
│   └── my_data
│       ├── 1.txt
│       ├── 2.txt
│       ├── 3.txt
│       └── 3.txt.1
└── Super_something_
    ├── super_
    │   └── chaszcze_5
    └── super_.1
        └── gąszcz

Temat 4. Wykres bieżącego użycia sieci.
Skrypt odczytuje z systemu informacje o ilości przesłanych i odebranych bajtów przez wyspecyfikowaną w argumentach skryptu kartę sieciową ifname. Na tej podstawie co jakiś czas (określony w argumentach skryptu) oblicza prędkość odbioru i wysłania danych jako różnicę bajtów podzieloną przez czas od poprzedniego pomiaru. Po każdym pomiarze skrypt uaktualnia rysowane przez siebie wykresy prędkości wysłania i odbierania danych. Razem wykresy muszą zajmować całe dostępne okno terminala i muszą mieć czas jako poziomą oś. Dodatkowo skrypt ma używać wybranych znaków Unicode pozwalających na większą dokładność niż cały znak (np. ⢀⢠⢰⢸⡀⣀⣠⣰⣸⡄⣄⣤⣴⣼⡆⣆⣦⣶⣾⡇⣇⣧⣷⣿, ▁▂▃▄▅▆▇█ czy ▗▐▖▄▟▌▙█).
Liczbę wysłanych/odebranych znaków można odczytać z pliku /sys/class/net/ifname/statistics/tx_bytes i …/rx_bytes, bądź z wyników komend ethtool --statistics ifname oraz ip [--json] --statistics show dev ifname.
Zaleca się użycie znaków sterujących (por. man console_codes) do przesuwania kursora w wybrane miejsce ekranu.

Temat 5. Automatyzacja uruchamiania benchmarków i robienia wykresów z wynikami.
Temat wymaga wybrania na początku programu który dla różnej wartości jednego parametru generuje powiązany z nim wynik (bądź inną metrykę).
Skrypt przyjmuje kilka argumentów: listę bądź zakres wartości parametru, liczbę powtórzeń i pierwszą część nazwy tworzonych przez skrypt plików.
Skrypt ma uruchamiać wybrany program z kolejnymi wartościami parametru, powtarzając uruchomienie z każdą wartością parametru tyle razy ilu powtórzeń zażądano w argumentach skryptu. Skrypt ma umieszczać wyniki w pliku/plikach tekstowych.
Następnie skrypt ma wygenerować obrazek (np. svg/png) z wykresem (np. punktowym, liniowym) zależności wyniku od wartości parametru. Na wykresie dla każdej wartości parametru ma być umieszczona średnia z wyników wraz ze słupkiem błędu.
Wykresy możesz generować narzędziami takimi jak gnuplot czy R.
Jeśli nie masz pomysłu na program do ewaluacji, możesz użyć komendy szukającej liczby pierwszej o długości N bitów – openssl prime -generate -bits N – i użyć czasu wykonania jako metryki (wyniku).

Temat 6. Skrypt testujący program z kombinacjami dwóch parametrów.
Na początku skryptu ma znajdować się lista możliwych wartości każdego z dwóch zmienianych parametrów oraz komenda do uruchamiania z miejscem na wstawienie wartości tych parametrów.
Skrypt ma za zadanie uruchomić podaną komendę dla wszystkich kombinacji parametrów. Standardowe wyjście testowanego programu (bądź produkowany plik, jeśli program tworzy plik z wynikiem zamiast pisać do standardowego wyjścia) ma zostać umieszczone w pliku o nazwie jednoznacznie wskazującej na parametry z którymi został uruchomiony program. Pliki mają zostać umieszczone w katalogu którego nazwa zawiera nazwę testowanego programu oraz datę i godzinę uruchomienia skryptu. Każdy gotowy plik ma być kompresowany.
Skrypt ma wyświetlać na standardowym wyjściu bieżąco testowaną kombinację parametrów i czas uruchomienia bieżącego testu.
Wybór testowanego programu dowolny. Przykładowy program który można testować to program fio, testujący wydajność operacji wejścia-wyjścia. Przykładowo do badania wydajności dysku można w Bashu użyć komendy:
fio <(echo -e "[foo] \n time_based \n runtime=1s \n filename=/tmp/testFile \n filesize=10M \n ioengine=posixaio \n readwrite=randrw \n rwmixread=10 \n blocksize=4k")
Parametry do zmiany to np. rozmiar bloku i procent odczytów.

Temat 7. Przygotowywanie i uruchomienie testu na zdalnej maszynie.
Skrypt ma utworzyć tymczasowy katalog w którym umieści pliki z listy (lista czytana z pliku lub konfigurowalna na początku skryptu). Następnie skrypt ma przygotować plik konfiguracyjny i umieścić w nim wartości podane jako argumenty skryptu. Następnie pliki mają być skopiowane do maszyny zdalnej (adres maszyny ma być ustawialny w zmiennej na początku skryptu) i na zdalnej maszynie ma zostać uruchomiony wskazany program (też ustawialny w zmiennej na początku skryptu). Standardowe wyjście i standardowy błąd uruchomionego programu mają trafić do pliku z nazwą programu i bieżącą datą.
Wybór testowanego programu i format pliku konfiguracyjnego dowolny. Przykładowy program który można testować i format pliku konfiguracyjnego można wziąć z poprzedniego tematu.

Temat 8. Przypomnienie o najbliższych urodzinach.
Skrypt korzysta z pliku w którym znajdują się cykliczne wydarzenia – daty i opisy (format pliku dowolny, przykład formatu: 12.31 imieniny Sylwestra).
Bez argumentów, skrypt wyświetla wszystkie wydarzenia które dotyczą najbliższych dwóch tygodni, lub jeśli w przeciągu dwóch tygodni są mniej niż trzy wydarzenia, to wyświetla trzy najbliższe wydarzenia.
Z właściwymi argumentami skrypt dodaje nowe wydarzenia, usuwa istniejące bądź wypisuje najbliższe wystąpienie każdego wydarzenia porządkując wyniki chronologicznie.

Temat 9. Pokaz slajdów / prezentacja w Bashu.
Skrypt ma wyświetlać w terminalu po kolei pliki znajdujące się we wskazanym w argumentach skryptu katalogu. Nawigacja między kolejnymi "slajdami" ma odbywać się przy wykorzystaniu odpowiednich klawiszy z klawiatury, po naciśnięciu których skrypt ma przechodzić do kolejnego slajdu, przechodzić do poprzedniego slajdu, oraz wyświetlać listę plików i z tej listy przejść do dowolnego slajdu. Na każdym slajdzie, poza treścią pliku, ma znajdować się pasek stanu z numerem slajdu, łączną liczbą slajdów i nazwą pliku.
Jeśli któryś z plików jest kodem źródłowym, ma on zostać wypisany z kolorowaniem składni.
W Bashu, komenda read -sn1 wczytuje pojedynczy znak bez wypisywania go na ekran. Zauważ, że strzałka generuje trzy znaki.
Do kolorowania składni użyj zewnętrznego narzędzia (np. pygmentize).

Temat 10. Generowanie miniaturek.
Skrypt przyjmuje jako argument listę katalogów. Skrypt generuje dla każdego obrazu znajdującego się bezpośrednio w podanych katalogach miniaturę o określonym rozmiarze i umieszcza ją w podkatalogu tn w katalogu w którym znajduje się obraz. Miniaturkom ustawia czasy modyfikacji, zmiany i dostępu na identyczne jak odpowiednie czasy obrazu. Dodatkowo w każdym podkatalogu tn skrypt tworzy obraz o nazwie cover.jpg z pierwszymi 25 miniaturkami ułożonymi w siatce 5x5.
Skrypt wypisuje na ekranie nazwę każdego przetwarzanego obrazu.
W zadaniu zaleca się skorzystać z programu file do wykrywania typu MIME i pakietu narzędzi imagemagick do operacji na obrazkach (tzn. programów convert/magick oraz montage).

Temat 11. Tworzenie śladów GPX z geotagowanych zdjęć.
Skrypt ma przeglądać rekurencyjnie podane katalogi w poszukiwaniu plików .jpg. Dla każdego znalezionego pliku skrypt ma wyciągnąć pozycję GPS (GPSPosition) oraz datę i czas wykonania zdjęcia (CreateDate) z tagów (metadanych) EXIF. Na tej podstawie ma zostać utworzony plik GPX zawierający ślady (pozycja + data) oraz ścieżki (pozycja + URL do zdjęcia). Odcinki śladów/ścieżek mają być tworzone tak, by kolejne zdjęciami w jednym odcinku dzieliło mniej niż ustalony czas (np. godzina). Zdjęcia bez wymaganych tagów mają być pomijane. Skrypt ma wypisywać podsumowanie: łączną liczbę zdjęć, liczbę zdjęć z tagami, oraz liczbę wygenerowanych śladów/ścieżek.
Do napisania i testowania skryptu potrzebujesz geotagowanych zdjęć – proszę je zorganizować we własnym zakresie, np. robiąc zdjęcia telefonem bądź aparatem fotograficznym z działającym odbiornikiem GPS.
Polecenie exiftool pozwala wyciągać metadane z plików. Liczne narzędzia, np. gpxsee, wyświetlą plik GPX (pod warunkiem że będzie zgodny z odpowiednim standardem).

<gpx version="1.1">
    <trk>
        <name>2024.04.01</name>
        <trkseg>
            <trkpt lat="52.40417" lon="16.95063">
                <time>2024-04-01T12:00:00Z</time>
            </trkpt>
            <trkpt lat="52.40292" lon="16.94928">
                <time>2024-04-01T12:01:00Z</time>
            </trkpt>
        </trkseg>
    </trk>
    <rte>
        <name>2024.04.01</name>
        <rtept lat="52.40417" lon="16.95063">
            <link href="file:///home/user/zdjecia/1.jpg"><text>/home/user/zdjecia/1.jpg</text><type>image/jpeg</type></link>
            <desc>&lt;img width=128 height=128 src="/home/user/zdjecia/1.jpg"&gt;</desc>
        </rtept>
        <rtept lat="52.40292" lon="16.94928">
            <link href="file:///home/user/zdjecia/2.jpg"><text>/home/user/zdjecia/2.jpg</text><type>image/jpeg</type></link>
            <desc>&lt;img width=128 height=128 src="/home/user/zdjecia/2.jpg"&gt;</desc>
        </rtept>
    </rte>
</gpx>

Temat 12. Porządkowanie zdjęć.
Skrypt przyjmuje jako pierwszy argument katalog docelowy, a jako kolejne listę katalogów źródłowych.
Skrypt ma porządkować katalog ze zdjęciami. Ma przenieść każdy plik z katalogów źródłowych (rekurencyjnie) do podkatalogu rok/miesiąc/dzień w katalogu docelowym i zmienić plikom nazwy na godzina_minuta_sekunda__stara_nazwa. Jako datę skrypt ma brać dane EXIF (CreateDate, DateTimeOriginal) lub datę modyfikacji pliku jeśli plik nie ma danych EXIF. Jeśli dwa pliki z katalogów źródłowych mają tę samą nazwę i daty, skrypt ma dodawać na koniec nazwy (przed rozszerzenie) kolejne numery tak żeby nie stracić żadnego pliku.
W trackie pracy skrypt ma wypisywać linię plik źródłowy --> plik docelowy
W zadaniu zaleca się skorzystać z programu exiftool do wyciągania metadanych o pliku.

Temat 13. Ściąganie obrazków ze strony.
Skrypt przyjmuje jako argument listę adresów URL do stron www.
Skrypt pobiera wskazane strony i wyciąga z nich adresy obrazów (przez obraz należy rozumieć tag <img … z argumentem src). Następnie skrypt ściąga wszystkie obrazy z nazwami nie istniejącymi w bieżącym katalogu. Skrypt ściąga obrazy równolegle, ale z określoną górną ilością współbieżnych pobierań.
Skrypt wypisuje na ekranie każdy znaleziony na stronie obraz, wypisuje czy istnieje w bieżącym katalogu czy też będzie pobrany, oraz wypisuje komunikat o zakończeniu pobierania każdego obrazu.
W zadaniu zaleca się skorzystać z programu wget lub curl do pobierania plików z sieci.

Temat 14. Wyszukiwanie identycznych plików.
Skrypt przyjmuje jako argument listę katalogów.
Skrypt przeszukuje rekurencyjnie podane katalogi w poszukiwaniu identycznych plików. Najpierw grupuje znalezione pliki rozmiarami, następnie w każdej grupie w której jest więcej niż jeden plik liczy sumy MD5 każdego pliku. Jeśli dwa lub więcej plików ma tę samą sumę MD5, porównuje je dla pewności programem cmp.
Skrypt wypisuje na standardowe wyjście grupy identycznych plików (każda nazwa w osobnej linii) oddzielone od siebie pustą linią.

Temat 15. Rekurencyjne wyszukiwanie tekstu w katalogach.
Skrypt przyjmuje jako pierwszy argument wyszukiwane wyrażenie, jako kolejne listę katalogów.
Skrypt wyszukuje w plikach w podanych katalogach (rekurencyjnie) podanego wyrażenia. Skrypt sprawdza rodzaj pliku i dla formatów zawierających tekst, ale nie będących plikami tekstowymi ma w locie (bez tworzenia plików na dysku) przetworzyć plik na tekst i w nim wyszukiwać podanego wyrażenia. Przykładowo, z plików PDF skrypt wyciąga strumienie tekstu (pdftotext), do plików skompresowanych (.gz/.bz2/.xz…) skrypt używa odpowiednio zgrep/bzgrep/xzgrep…, a archiwa ZIP take jak pliki .zip, książki elektroniczne (.epub/.mobi/…), dokumenty MS Office (.docx/.pptx/…) czy pliki Open Document Format (.odt/.odp/…) mają być najpierw rozpakowane (np. z użyciem unzip -c).
Skrypt ma wypisywać na standardowe wyjście nazwy plików w których znajduje się szukane wyrażenie. Skrypt ma nie wyświetlać komunikatów o braku dostępu do plików.

Temat 16. Kopie zapasowe z wykorzystaniem rsync.
Skrypt ma wykonywać różnicową kopię zapasową, używając: listy katalogów źródłowych umieszczonej w osobnym pliku oraz listy wzorców ścieżek które mają być wykluczone z kopii zapasowej. Kopie zapasowe mają trafiać do określonego (w zmiennej na początku skryptu) katalogu na zdalnej maszynie (rsync wspiera przesyłanie plików po SSH). Po wykonaniu skryptu wskazana ścieżka ma zawierać katalogi nazwane jak katalogi na w liście katalogów źródłowych, z identyczną zawartością jak katalogi źródłowe, za wyjątkiem plików których ścieżka pasuje do listy wykluczeń. Każdorazowe uruchomienie skryptu ma tworzyć osobny katalog z datą uruchomienia skryptu do którego trafiają zmienione od ostatniego uruchomienia skryptu pliki.
(NB: program rsync z odpowiednimi argumentami automatycznie wykona powyższe zadania.)
Po wykonaniu kopii skrypt ma stworzyć plik z listą plików usuniętych od ostatniego uruchomienia skryptu, plik z listą zmienionych plików oraz plik z listą nowych plików, pod nazwami składającymi się z daty uruchomienia skryptu oraz przyrostków .del, .mod i .new.
W trakcie działania skrypt ma wypisywać co robi. Po skończeniu, skrypt ma wypisać ile czasu zajęło zrobienie kopii zapasowej i jak duży jest katalog z usuniętymi i zmodyfikowanymi plikami.
W skrypcie należy użyć programu rsync z opcjami --backup, --backup-dir oraz --exclude-from. Zaleca się też skorzystać z programów find i comm do generowania list plików.

Temat 17. Porównanie metod kompresji.
Skrypt przyjmuje jeden argument – nazwę pliku.
Skrypt kompresuje podany plik używając przynajmniej programów gzip, bzip2, xz i zstd z przynajmniej trzema porównywalnymi ustawieniami (profilami) dla każdego z tych programów (np. domyślne ustawienia, najwyższy poziom kompresji, średni poziom kompresji i użycie wielu wątków).
Skrypt mierzy czas kompresji i rozmiar skompresowanych plików i na tej podstawie wyświetla na ekranie tabele czasu kompresji i poziomu kompresji mające w kolumnach nazwy programów a w wierszach profile (ewentualnie na odwrót).
Tabele mają być powtórzone dla wartości bezwzględnych (tzn. w mega-/kilo-/bajtach i sekundach) oraz wartościach procentowych względem rozmiaru oryginalnego pliku i najkrótszego czasu.
Skrypt ma kompresować plik do plików tymczasowych usuwanych po wykonaniu pomiarów, oraz nie może nadpisać ani usunąć żadnego z istniejących plików (rozważ użycie programu mktemp).

Temat 18. Sprawdzanie czy program generuje poprawny wynik.
Skrypt przyjmuje jako argument nazwę polecenia.
Skrypt z pliku (o nazwie ustawionej jako zmienna na początku skryptu) czyta kolejno ścieżki do pliku z poprawnymi wynikami oraz listę argumentów z którymi takie wyniki powinny zostać otrzymane. Dla każdego takiego pliku skrypt uruchamia podane polecenie z odpowiadającymi argumentami i porównuje wynik polecenia z oczekiwanym. Skrypt ma uruchamiać polecenie równolegle, tak by wykorzystywać wszystkie dostępne wątki procesorów.
Skrypt wyświetla na standardowym wyjściu kolejne nazwy plików z oczekiwanymi wynikami i jeśli testowany program wygenerował poprawne wyniki, to dodaje słowo pass, a jeśli nie, dodaje na czerwono słowo FAIL i wypisuje pierwszą różniącą się linię. Jeśli w trakcie uruchomienia testowany program wypisał jakieś dane na standardowy błąd, to skrypt pod linią dotyczącą testowanych argumentów ma wyświetlić te dane, wcinając każdą linię tabulatorem.