==== Skrypty powłoki ==== Do zaliczenia przedmiotu każda osoba musi napisać dwa wybrane przez siebie skrypty i wysłać je mailem do 26.05. Proszę o wpisanie [SO] na początku tematu maila. Poniżej lista tematów skryptów. Do listy tematów mogę dopisać inne – proszę o propozycje mailem. ==== Lista tematów ==== **~~Temat.#~~.** Samorozpakowujący się skrypt kompilujący i sprawdzający poprawność działania skompilowanego programu \\ Skrypt ma osadzone [[https://en.wikipedia.org/wiki/Archive_file|archiwum]] z kodem źródłowym wybranego programu. Po uruchomieniu skrypt sprawdza czy spełnione są określone wymagania, m. inn: czy są dostępne potrzebne kompilatory i biblioteki, czy jest dość miejsca na dysku, czy wskazany katalog docelowy nie istnieje bądź jest pusty. Następnie skrypt rozpakowuje kod źródłowy do wskazanego katalogu docelowego i kompiluje go. Po skompilowaniu skrypt tworzy środowisko testowe (np. pliki testowe) do sprawdzenia czy skompilowany kod działa poprawnie, wykonuje testy i po przejściu testów usuwa niepotrzebne pliki (środowisko testowe, pośrednie pliki kompilacji, kod źródłowy). **~~Temat.#~~.** Skrypt instalujący i konfigurujący LAMP na wybranej dystrybucji Linuksa. \\ Skrypt ma być uruchamiany jako root na konkretnej dystrybucji Linuksa. Najpierw ma zainstalować wybrany serwer HTTP (np. apache, nginx, lighttpd…), wybrany serwer bazy danych (mysql, mariadb, postgresql, …) oraz PHP. Następnie skrypt ma skonfigurować zainstalowane serwery – umieścić wcześniej przygotowaną stronę w głównym katalogu serwera HTTP, stworzyć bazę danych i konfigurować dostęp do niej, oraz skonfigurować działanie PHP na serwerze HTTP. \\ Dostęp do bazy danych musi być chroniony losowym hasłem, umieszczanym w trakcie działania skryptu w pliku konfiguracyjnym instalowanej strony. \\ [[https://en.wikipedia.org/wiki/LAMP_(software_bundle)|LAMP]] to nazwa na typowy zestaw programów potrzebnych do działania wielu popularnych aplikacji webowych. **~~Temat.#~~.** Rekurencyjne oczyszczanie nazw plików. \\ Skrypt ma rekurencyjnie poprawiać nazwy plików we wszystkich podanych jako argumenty katalogach tak, by zawierały w nazwach tylko znaki z listy dozwolonych znaków. Skrypt przyjmuje przełączniki, które: określają dozwolone znaki w nazwach plików, wybierają na co są zastępowane niedozwolone znaki, wybierają co ma się dziać jeśli po oczyszczeniu wiele nazw plików mapuje się na tę samą nazwę – w przypadku katalogów musi być wybór czy zawartości katalogów są łączone czy na koniec nazw katalogów dodawane są końcówki (np. kolejne liczby). Skrypt musi wspierać wielobajtowe znaki (np. Unicode) w liście dozwolonych znaków. \\ Podpowiedź: ''sed 's/[^//dozwolone//]/_/g//i//'' zastępuje wszystkie znaki spoza listy ''//dozwolone//'' na ''_''. Końcówka ''//i//'' ignoruje wielkość liter.
++++ Przykładowe wywołanie skryptu i wynik działania | 
$ tree
.
├── dir
│   ├── my data
│   │   ├── 1.txt
│   │   └── 3.txt
│   └── my_data
│       ├── 2.txt
│       └── 3.txt
└── Super[something]
    ├── super!
    │   └── chaszcze#5
    └── super🕴
        └── gąszcz
$ ./fix_names --allowed 'a-z0-9ąćęłńóśźź' --case-insensitive --replacement '_' --merge  dir
$ tree
.
├── dir
│   └── my_data
│       ├── 1.txt
│       ├── 2.txt
│       ├── 3.txt
│       └── 3.txt.1
└── Super[something]
    ├── super!
    │   └── chaszcze#5
    └── super🕴
        └── gąszcz
$ ./fix_names --allowed 'a-z0-9ąćęłńóśźź' --case-insensitive --replacement '_' --suffix dir 'Super[something]'
$ tree
.
├── dir
│   └── my_data
│       ├── 1.txt
│       ├── 2.txt
│       ├── 3.txt
│       └── 3.txt.1
└── Super_something_
    ├── super_
    │   └── chaszcze_5
    └── super_.1
        └── gąszcz
++++ **~~Temat.#~~.** Wykres bieżącego użycia sieci. \\ Skrypt odczytuje z systemu informacje o ilości przesłanych i odebranych bajtów przez wyspecyfikowaną w argumentach skryptu kartę sieciową //ifname//. Na tej podstawie co jakiś czas (określony w argumentach skryptu) oblicza prędkość odbioru i wysłania danych jako różnicę bajtów podzieloną przez czas od poprzedniego pomiaru. Po każdym pomiarze skrypt uaktualnia rysowane przez siebie wykresy prędkości wysłania i odbierania danych. Razem wykresy muszą zajmować całe dostępne okno terminala i muszą mieć czas jako poziomą oś. Dodatkowo skrypt ma używać wybranych znaków Unicode pozwalających na większą dokładność niż cały znak (np. ''⢀⢠⢰⢸⡀⣀⣠⣰⣸⡄⣄⣤⣴⣼⡆⣆⣦⣶⣾⡇⣇⣧⣷⣿'', ''▁▂▃▄▅▆▇█'' czy ''▗▐▖▄▟▌▙█''). \\ Liczbę wysłanych/odebranych znaków można odczytać z pliku ''/sys/class/net/%%%%//ifname//%%%%/statistics/tx_bytes'' i ''…/rx_bytes'', bądź z wyników komend ''ethtool --statistics ifname'' oraz ''ip [--json] --statistics show dev //ifname//''. \\ Zaleca się użycie znaków sterujących (por. ''man console_codes'') do przesuwania kursora w wybrane miejsce ekranu. **~~Temat.#~~.** Automatyzacja uruchamiania benchmarków i robienia wykresów z wynikami. \\ Temat wymaga wybrania na początku programu który dla różnej wartości jednego parametru generuje powiązany z nim wynik (bądź inną metrykę). \\ Skrypt przyjmuje kilka argumentów: listę bądź zakres wartości parametru, liczbę powtórzeń i pierwszą część nazwy tworzonych przez skrypt plików. \\ Skrypt ma uruchamiać wybrany program z kolejnymi wartościami parametru, powtarzając uruchomienie z każdą wartością parametru tyle razy ilu powtórzeń zażądano w argumentach skryptu. Skrypt ma umieszczać wyniki w pliku/plikach tekstowych. \\ Następnie skrypt ma wygenerować obrazek (np. svg/png) z wykresem (np. punktowym, liniowym) zależności wyniku od wartości parametru. Na wykresie dla każdej wartości parametru ma być umieszczona średnia z wyników wraz ze słupkiem błędu. \\ Wykresy możesz generować narzędziami takimi jak ''gnuplot'' czy ''R''. \\ Jeśli nie masz pomysłu na program do ewaluacji, możesz użyć komendy szukającej liczby pierwszej o długości ''//N//'' bitów – ''openssl prime -generate -bits //N//'' – i użyć czasu wykonania jako metryki (wyniku). **~~Temat.#~~.** Skrypt testujący program z kombinacjami dwóch parametrów. \\ Na początku skryptu ma znajdować się lista możliwych wartości każdego z dwóch zmienianych parametrów oraz komenda do uruchamiania z miejscem na wstawienie wartości tych parametrów. \\ Skrypt ma za zadanie uruchomić podaną komendę dla wszystkich kombinacji parametrów. Standardowe wyjście testowanego programu (bądź produkowany plik, jeśli program tworzy plik z wynikiem zamiast pisać do standardowego wyjścia) ma zostać umieszczone w pliku o nazwie jednoznacznie wskazującej na parametry z którymi został uruchomiony program. Pliki mają zostać umieszczone w katalogu którego nazwa zawiera nazwę testowanego programu oraz datę i godzinę uruchomienia skryptu. Każdy gotowy plik ma być kompresowany. \\ Skrypt ma wyświetlać na standardowym wyjściu bieżąco testowaną kombinację parametrów i czas uruchomienia bieżącego testu. \\ Wybór testowanego programu dowolny. Przykładowy program który można testować to program ''fio'', testujący wydajność operacji wejścia-wyjścia. Przykładowo do badania wydajności dysku można w Bashu użyć komendy: \\ ''fio <(echo -e "[foo] \n time_based \n runtime=1s \n filename=/tmp/testFile \n filesize=10M \n ioengine=posixaio \n readwrite=randrw \n rwmixread=10 \n blocksize=4k")'' \\ Parametry do zmiany to np. rozmiar bloku i procent odczytów. **~~Temat.#~~.** Przygotowywanie i uruchomienie testu na zdalnej maszynie. \\ Skrypt ma utworzyć tymczasowy katalog w którym umieści pliki z listy (lista czytana z pliku lub konfigurowalna na początku skryptu). Następnie skrypt ma przygotować plik konfiguracyjny i umieścić w nim wartości podane jako argumenty skryptu. Następnie pliki mają być skopiowane do maszyny zdalnej (adres maszyny ma być ustawialny w zmiennej na początku skryptu) i na zdalnej maszynie ma zostać uruchomiony wskazany program (też ustawialny w zmiennej na początku skryptu). Standardowe wyjście i standardowy błąd uruchomionego programu mają trafić do pliku z nazwą programu i bieżącą datą. \\ Wybór testowanego programu i format pliku konfiguracyjnego dowolny. Przykładowy program który można testować i format pliku konfiguracyjnego można wziąć z poprzedniego tematu. **~~Temat.#~~.** Przypomnienie o najbliższych urodzinach. \\ Skrypt korzysta z pliku w którym znajdują się cykliczne wydarzenia – daty i opisy (format pliku dowolny, przykład formatu: ''12.31 imieniny Sylwestra''). \\ Bez argumentów, skrypt wyświetla wszystkie wydarzenia które dotyczą najbliższych dwóch tygodni, lub jeśli w przeciągu dwóch tygodni są mniej niż trzy wydarzenia, to wyświetla trzy najbliższe wydarzenia. \\ Z właściwymi argumentami skrypt dodaje nowe wydarzenia, usuwa istniejące bądź wypisuje najbliższe wystąpienie każdego wydarzenia porządkując wyniki chronologicznie. **~~Temat.#~~.** Pokaz slajdów / prezentacja w Bashu. \\ Skrypt ma wyświetlać w terminalu po kolei pliki znajdujące się we wskazanym w argumentach skryptu katalogu. Nawigacja między kolejnymi "slajdami" ma odbywać się przy wykorzystaniu odpowiednich klawiszy z klawiatury, po naciśnięciu których skrypt ma przechodzić do kolejnego slajdu, przechodzić do poprzedniego slajdu, oraz wyświetlać listę plików i z tej listy przejść do dowolnego slajdu. Na każdym slajdzie, poza treścią pliku, ma znajdować się pasek stanu z numerem slajdu, łączną liczbą slajdów i nazwą pliku. \\ Jeśli któryś z plików jest kodem źródłowym, ma on zostać wypisany z kolorowaniem składni. \\ W Bashu, komenda ''read -sn1'' wczytuje pojedynczy znak bez wypisywania go na ekran. Zauważ, że strzałka generuje trzy znaki. \\ Do kolorowania składni użyj zewnętrznego narzędzia (np. ''pygmentize''). **~~Temat.#~~.** Generowanie miniaturek. \\ Skrypt przyjmuje jako argument listę katalogów. Skrypt generuje dla każdego obrazu znajdującego się bezpośrednio w podanych katalogach miniaturę o określonym rozmiarze i umieszcza ją w podkatalogu ''tn'' w katalogu w którym znajduje się obraz. Miniaturkom ustawia czasy modyfikacji, zmiany i dostępu na identyczne jak odpowiednie czasy obrazu. Dodatkowo w każdym podkatalogu ''tn'' skrypt tworzy obraz o nazwie ''cover.jpg'' z pierwszymi 25 miniaturkami ułożonymi w siatce 5x5. \\ Skrypt wypisuje na ekranie nazwę każdego przetwarzanego obrazu. \\ W zadaniu zaleca się skorzystać z programu ''file'' do wykrywania typu MIME i pakietu narzędzi imagemagick do operacji na obrazkach (tzn. programów ''convert''/''magick'' oraz ''montage''). **~~Temat.#~~.** Tworzenie śladów GPX z geotagowanych zdjęć. \\ Skrypt ma przeglądać rekurencyjnie podane katalogi w poszukiwaniu plików ''.jpg''. Dla każdego znalezionego pliku skrypt ma wyciągnąć pozycję GPS (//GPSPosition//) oraz datę i czas wykonania zdjęcia (//CreateDate//) z tagów (metadanych) EXIF. Na tej podstawie ma zostać utworzony plik GPX zawierający ślady (pozycja + data) oraz ścieżki (pozycja + URL do zdjęcia). Odcinki śladów/ścieżek mają być tworzone tak, by kolejne zdjęciami w jednym odcinku dzieliło mniej niż ustalony czas (np. godzina). Zdjęcia bez wymaganych tagów mają być pomijane. Skrypt ma wypisywać podsumowanie: łączną liczbę zdjęć, liczbę zdjęć z tagami, oraz liczbę wygenerowanych śladów/ścieżek. \\ Do napisania i testowania skryptu potrzebujesz geotagowanych zdjęć – proszę je zorganizować we własnym zakresie, np. robiąc zdjęcia telefonem bądź aparatem fotograficznym z działającym odbiornikiem GPS. \\ Polecenie ''exiftool'' pozwala wyciągać metadane z plików. Liczne narzędzia, np. ''gpxsee'', wyświetlą plik GPX (pod warunkiem że będzie zgodny z odpowiednim standardem).
++++ Przykładowy (uproszczony) plik GPX | 2024.04.01 2024.04.01 /home/user/zdjecia/1.jpgimage/jpeg <img width=128 height=128 src="/home/user/zdjecia/1.jpg"> /home/user/zdjecia/2.jpgimage/jpeg <img width=128 height=128 src="/home/user/zdjecia/2.jpg"> ++++ **~~Temat.#~~.** Porządkowanie zdjęć. \\ Skrypt przyjmuje jako pierwszy argument katalog docelowy, a jako kolejne listę katalogów źródłowych. \\ Skrypt ma porządkować katalog ze zdjęciami. Ma przenieść każdy plik z katalogów źródłowych (rekurencyjnie) do podkatalogu ''rok/miesiąc/dzień'' w katalogu docelowym i zmienić plikom nazwy na ''godzina_minuta_sekunda__//stara_nazwa//''. Jako datę skrypt ma brać dane EXIF (//CreateDate//, //DateTimeOriginal//) lub datę modyfikacji pliku jeśli plik nie ma danych EXIF. Jeśli dwa pliki z katalogów źródłowych mają tę samą nazwę i daty, skrypt ma dodawać na koniec nazwy (przed rozszerzenie) kolejne numery tak żeby nie stracić żadnego pliku. \\ W trackie pracy skrypt ma wypisywać linię ''plik źródłowy --> plik docelowy'' \\ W zadaniu zaleca się skorzystać z programu ''exiftool'' do wyciągania metadanych o pliku. **~~Temat.#~~.** Ściąganie obrazków ze strony. \\ Skrypt przyjmuje jako argument listę adresów URL do stron www. \\ Skrypt pobiera wskazane strony i wyciąga z nich adresy obrazów (przez obraz należy rozumieć tag '' W zadaniu zaleca się skorzystać z programu ''wget'' lub ''curl'' do pobierania plików z sieci. **~~Temat.#~~.** Wyszukiwanie identycznych plików. \\ Skrypt przyjmuje jako argument listę katalogów. \\ Skrypt przeszukuje rekurencyjnie podane katalogi w poszukiwaniu identycznych plików. Najpierw grupuje znalezione pliki rozmiarami, następnie w każdej grupie w której jest więcej niż jeden plik liczy sumy MD5 każdego pliku. Jeśli dwa lub więcej plików ma tę samą sumę MD5, porównuje je dla pewności programem ''cmp''. \\ Skrypt wypisuje na standardowe wyjście grupy identycznych plików (każda nazwa w osobnej linii) oddzielone od siebie pustą linią. **~~Temat.#~~.** Rekurencyjne wyszukiwanie tekstu w katalogach. \\ Skrypt przyjmuje jako pierwszy argument wyszukiwane wyrażenie, jako kolejne listę katalogów. \\ Skrypt wyszukuje w plikach w podanych katalogach (rekurencyjnie) podanego wyrażenia. Skrypt sprawdza rodzaj pliku i dla formatów zawierających tekst, ale nie będących plikami tekstowymi ma w locie (bez tworzenia plików na dysku) przetworzyć plik na tekst i w nim wyszukiwać podanego wyrażenia. Przykładowo, z plików PDF skrypt wyciąga strumienie tekstu (''pdftotext''), do plików skompresowanych (''.gz''/''.bz2''/''.xz''…) skrypt używa odpowiednio ''zgrep''/''bzgrep''/''xzgrep''…, a archiwa ZIP take jak pliki ''.zip'', książki elektroniczne (''.epub''/''.mobi''/…), dokumenty MS Office (''.docx''/''.pptx''/…) czy pliki Open Document Format (''.odt''/''.odp''/…) mają być najpierw rozpakowane (np. z użyciem ''unzip -c''). \\ Skrypt ma wypisywać na standardowe wyjście nazwy plików w których znajduje się szukane wyrażenie. Skrypt ma nie wyświetlać komunikatów o braku dostępu do plików. **~~Temat.#~~.** Kopie zapasowe z wykorzystaniem ''rsync''. \\ Skrypt ma wykonywać różnicową kopię zapasową, używając: listy katalogów źródłowych umieszczonej w osobnym pliku oraz listy wzorców ścieżek które mają być wykluczone z kopii zapasowej. Kopie zapasowe mają trafiać do określonego (w zmiennej na początku skryptu) katalogu na zdalnej maszynie (rsync wspiera przesyłanie plików po SSH). Po wykonaniu skryptu wskazana ścieżka ma zawierać katalogi nazwane jak katalogi na w liście katalogów źródłowych, z identyczną zawartością jak katalogi źródłowe, za wyjątkiem plików których ścieżka pasuje do listy wykluczeń. Każdorazowe uruchomienie skryptu ma tworzyć osobny katalog z datą uruchomienia skryptu do którego trafiają zmienione od ostatniego uruchomienia skryptu pliki. \\ (NB: program ''rsync'' z odpowiednimi argumentami automatycznie wykona powyższe zadania.) \\ Po wykonaniu kopii skrypt ma stworzyć plik z listą plików usuniętych od ostatniego uruchomienia skryptu, plik z listą zmienionych plików oraz plik z listą nowych plików, pod nazwami składającymi się z daty uruchomienia skryptu oraz przyrostków ''.del'', ''.mod'' i ''.new''. \\ W trakcie działania skrypt ma wypisywać co robi. Po skończeniu, skrypt ma wypisać ile czasu zajęło zrobienie kopii zapasowej i jak duży jest katalog z usuniętymi i zmodyfikowanymi plikami. \\ W skrypcie należy użyć programu ''rsync'' z opcjami ''--backup'', ''--backup-dir'' oraz ''--exclude-from''. Zaleca się też skorzystać z programów ''find'' i ''comm'' do generowania list plików. **~~Temat.#~~.** Porównanie metod kompresji. \\ Skrypt przyjmuje jeden argument – nazwę pliku. \\ Skrypt kompresuje podany plik używając przynajmniej programów ''gzip'', ''bzip2'', ''xz'' i ''zstd'' z przynajmniej trzema porównywalnymi ustawieniami (profilami) dla każdego z tych programów (np. domyślne ustawienia, najwyższy poziom kompresji, średni poziom kompresji i użycie wielu wątków). \\ Skrypt mierzy czas kompresji i rozmiar skompresowanych plików i na tej podstawie wyświetla na ekranie tabele czasu kompresji i poziomu kompresji mające w kolumnach nazwy programów a w wierszach profile (ewentualnie na odwrót). \\ Tabele mają być powtórzone dla wartości bezwzględnych (tzn. w mega-/kilo-/bajtach i sekundach) oraz wartościach procentowych względem rozmiaru oryginalnego pliku i najkrótszego czasu. \\ Skrypt ma kompresować plik do plików tymczasowych usuwanych po wykonaniu pomiarów, oraz nie może nadpisać ani usunąć żadnego z istniejących plików (rozważ użycie programu ''mktemp''). **~~Temat.#~~.** Sprawdzanie czy program generuje poprawny wynik. \\ Skrypt przyjmuje jako argument nazwę polecenia. \\ Skrypt z pliku (o nazwie ustawionej jako zmienna na początku skryptu) czyta kolejno ścieżki do pliku z poprawnymi wynikami oraz listę argumentów z którymi takie wyniki powinny zostać otrzymane. Dla każdego takiego pliku skrypt uruchamia podane polecenie z odpowiadającymi argumentami i porównuje wynik polecenia z oczekiwanym. Skrypt ma uruchamiać polecenie równolegle, tak by wykorzystywać wszystkie dostępne wątki procesorów. \\ Skrypt wyświetla na standardowym wyjściu kolejne nazwy plików z oczekiwanymi wynikami i jeśli testowany program wygenerował poprawne wyniki, to dodaje słowo ''pass'', a jeśli nie, dodaje na czerwono słowo ''FAIL'' i wypisuje pierwszą różniącą się linię. Jeśli w trakcie uruchomienia testowany program wypisał jakieś dane na standardowy błąd, to skrypt pod linią dotyczącą testowanych argumentów ma wyświetlić te dane, wcinając każdą linię tabulatorem. ~~META: language = pl ~~