Przetwarzanie rozproszone

Wykład wprowadzający

dr inż. Arkadiusz Danilecki

Plan wykładu

  1. Formalności...
  2. Czym się zajmujemy na przetwarzaniu rozproszonym?
  3. Po co to robimy?
  4. Przykłady
  5. Definicje

Formalności

Przetwarzanie rozproszone

System rozproszony składa się z autonomicznych jednostek przetwarzających (węzłów) połączonych siecią komunikacyjną.

Systemy rozproszone charakteryzują się brakiem pamięci współdzielonej przez węzły i dlatego komunikacja odbywa się w nich tylko za pomocą wymiany wiadomości (komunikatów).

Interesuje nas takie przetwarzanie w tym systemie, którego składniki (procesy) mogą rezydować na osobnych węzłach.

Przetwarzanie rozproszone

System rozproszony składa się z autonomicznych jednostek przetwarzających (węzłów) połączonych siecią komunikacyjną.

Systemy rozproszone charakteryzują się brakiem pamięci współdzielonej przez węzły i dlatego komunikacja odbywa się w nich tylko za pomocą wymiany wiadomości (komunikatów).

Interesuje nas takie przetwarzanie w tym systemie, którego składniki (procesy) mogą rezydować na osobnych węzłach.

Przetwarzanie rozproszone

System rozproszony składa się z autonomicznych jednostek przetwarzających (węzłów) połączonych siecią komunikacyjną.

Systemy rozproszone charakteryzują się brakiem pamięci współdzielonej przez węzły i dlatego komunikacja odbywa się w nich tylko za pomocą wymiany wiadomości (komunikatów).

Interesuje nas takie przetwarzanie w tym systemie, którego składniki (procesy) mogą rezydować na osobnych węzłach.

Przetwarzanie rozproszone

System rozproszony składa się z autonomicznych jednostek przetwarzających (węzłów) połączonych siecią komunikacyjną.

Systemy rozproszone charakteryzują się brakiem pamięci współdzielonej przez węzły i dlatego komunikacja odbywa się w nich tylko za pomocą wymiany wiadomości (komunikatów).

Interesuje nas takie przetwarzanie w tym systemie, którego składniki (procesy) mogą rezydować na osobnych węzłach.

Ale właściwie po co?

  1. Efektywność inwestowania
  2. Lepsze wykorzystanie zasobów
  3. Skalowalność
  4. Niezawodność
  5. Wydajność!

A nie można by zwiększyć taktowania procesorów?

A nie można by zwiększyć taktowania procesorów?

A nie można by zwiększyć taktowania procesorów?

A może by tak instruction level parallelism?

Czyli na to liczymy ...

  1. Efektywność inwestowania
  2. Lepsze wykorzystanie zasobów
  3. Skalowalność
  4. Niezawodność
  5. Wydajność!

A to musimy rozwiązać ...

  1. Optymalne alokowanie zasobów
  2. Niezawodność
  3. Optymalizacja algorytmów
  4. Synchronizacja
  5. Ocena poprawności algorytmów
  6. Realizacja zaawansowanych modeli przetwarzania
  7. Bezpieczeństwo
  8. Pobór mocy i temperatury

Pobór mocy

Największa elektrownia w Polsce (Bełchatów) generuje ok. 5100 MW

W 2000 roku krajowe maksymalne zapotrzebowanie do 22,3GW (22300 MW).

1624kWh - średnie zużycie energii w gospodarstwie domowym (rocznie - 4 osobowe 2000 kWh, 2 osobowe 1000-1800kWh, dom jednorodzinny 2000-4200kWh)

Pobór mocy

Największa elektrownia w Polsce (Bełchatów) generuje ok. 5100 MW

Największa elektrownia wiatrowa w Margoninie: 120 MW

W 2000 roku krajowe maksymalne zapotrzebowanie do 22,3GW (22300 MW).

1624kWh - średnie zużycie energii w gospodarstwie domowym (rocznie - 4 osobowe 2000 kWh, 2 osobowe 1000-1800kWh, dom jednorodzinny 2000-4200kWh)

Pobór mocy centrum obliczeniowych w Polsce

W 2022, 14% centrów danych wymagało ponad 200kW

Pobór mocy centrum obliczeniowych na świecie

W 2022, centra danych to ok 1% globalnego poboru elektryczności - 240 do 240 TWh

W 2011, szacowano że jedno centrum obliczeniowe google pobiera 70 MW; Wówczas centrum MS w Quincy wymagało 48 MW

Prawo Koomey'a

Optymistyczny trend!

Jak wykorzystać ciepło z serwerowni

Ogrzewanie Starego Browaru, bibliotek... albo basenu w Wielkiej Brytanii

Jak chłodzić

Chłodzenie nowymi rodzajami płynów albo...

Skala przetwarzania

  1. System końcowe, klastry
  2. intranet
  3. internet

Rodzaj przetwarzania

  1. Supercomputing
  2. Aplikacje wymagające dużej przepustowości
  3. Aplikacje przetwarzające wielkie zbiory danych
  4. Aplikacje umożliwiające współpracę
  5. Aplikacje udostępniające zdalne zasoby

Supercomputing top500

Moc obliczeniowa Apple iphone 14 (2022) to ok 2TFlops

Supercomputing top500

Moc obliczeniowa Apple iphone 14 (2022) to ok 2TFlops

Najlepszy superkomputer w roku 2000 na liście top500 miał ok 5GFlops

Supercomputing top500

Moc obliczeniowa Apple iphone 14 (2022) to ok 2TFlops

Najlepszy superkomputer w roku 2000 na liście top500 miał ok 5GFlops

Jeszcze w 2005 załapałby się w okolice 350 miejsca

Supercomputing top500

Źródło:Getting up to speed, Graham, Snir, Patterson; 2005

Supercomputing top500

Źródło:Getting up to speed, Graham, Snir, Patterson; 2005

Supercomputing top500

Lista z czerwca 2023

Przykłady

  1. Grid
  2. Przetwarzanie w chmurach
  3. internet of things
  4. Internet
  5. Google
  6. Obliczenia z pomocą ochotników (@home)

Internet

Historia

z prezentacji Jacka Gajewskiego i Macieja Kozłowskiego

  1. 1987 - regularna "wydzwaniana" łączność email Wydziału Fizyki UW i CAMK PAN z CERN w Genewie
  2. 1989 zabiegi o dołączenie Polski do sieci EARN/bitnet
  3. 1990 koniec embarga technologicznego
  4. 30.06.1990 domena internetowa .pl
  5. 1991 internet (klasa adresów IP, łączność IP)

Historia

z prezentacji Jacka Gajewskiego i Macieja Kozłowskiego

Historia

z prezentacji Jacka Gajewskiego i Macieja Kozłowskiego

Historia

z prezentacji Jacka Gajewskiego i Macieja Kozłowskiego

Google

Google

1996 Larry Page pracuje w Uniwersytecie Stanford nad projektem Cyfrowej biblioteki

Do Page'a dołącza Sergey Brin. Marzec 1996 zaczynają indeksować strony

Google

1996 Larry Page pracuje w Uniwersytecie Stanford nad projektem Cyfrowej biblioteki

Do Page'a dołącza Sergey Brin. Marzec 1996 zaczynają indeksować strony

Serwer najpiew w uniwersytecie, potem w garażu u Susan Wojcicki

Google

1996 Larry Page pracuje w Uniwersytecie Stanford nad projektem Cyfrowej biblioteki

Do Page'a dołącza Sergey Brin. Marzec 1996 zaczynają indeksować strony

Serwer najpiew w uniwersytecie, potem w garażu u Susan Wojcicki

Google

Do Page'a dołącza Sergey Brin. Marzec 1996 zaczynają indeksować strony

Serwer najpiew w uniwersytecie, potem w garażu u Susan Wojcicki

Google

Uniwersytet Stanford, Backrub project, 1998:

  1. Main: Sun Ultra II Dual 200MHz, 256MB of RAM, 3 × 9GB HDD i 6 × 4GB HDD
  2. 2 × 300 MHz Dual Pentium II, 512MB RAM, 9 × 9GB HDD
  3. 8 × 9GB HDD (ofiarowany przez IBM).
  4. 10 × 9GB HDD (własnoręcznie wykonany)
  5. Java+Python + linux

Google

Obecnie... Nie wiadomo!

  1. 2016 - ok 2.5 miliona "serwerów"
  2. Ok 68 centrów obliczeniowych, w tym w Warszawie
  3. przestrzeń dyskowa liczona w exabajtach
  4. własne systemy plików!

Allegro

Allegro

BOINC ( Seti@Home )

Zestaw projektów, które wyewoluowały z pierwotnego pomysłu szukania cywilizacji pozaziemskich

Seti@Home

Zestaw projektów, które wyewoluowały z pierwotnego pomysłu szukania cywilizacji pozaziemskich

Zaczęło się od pomysłu rzuconego w 1997 roku

Seti@Home

Zestaw projektów, które wyewoluowały z pierwotnego pomysłu szukania cywilizacji pozaziemskich

Zaczęło się od pomysłu rzuconego w 1997 roku

As of September 1996 seti@home is only a proposal, but we feel certain that it will happen soon. The potential customers for seti@home include astronomy and space enthusiasts (e.g., members of The Planetary Society), science fiction fans (e.g., "Trekkies"), Internet adventurers ("netheads"), science teachers and their students, and other science and technology enthusiasts. All we need to make this global participatory project a reality is sponsorship by a visionary, high-tech corporation. The project is good science and it will generate great publicity and goodwill for any sponsor, as well as for science in general and bioastronomy in particular. Any takers?

Seti@Home

Zaczęło się od pomysłu rzuconego w 1997 roku

As of September 1996 seti@home is only a proposal, but we feel certain that it will happen soon. The potential customers for seti@home include astronomy and space enthusiasts (e.g., members of The Planetary Society), science fiction fans (e.g., "Trekkies"), Internet adventurers ("netheads"), science teachers and their students, and other science and technology enthusiasts. All we need to make this global participatory project a reality is sponsorship by a visionary, high-tech corporation. The project is good science and it will generate great publicity and goodwill for any sponsor, as well as for science in general and bioastronomy in particular. Any takers?
  1. W ciągu następnego roku zarejestrowało się 400 000 chętnych osób.
  2. W 1999 roku udostępniona zostaje pierwsza wersja oprogramowania. Liczba pobrań w pierwszym tygodniu przekracza 200 tys.
  3. 26 września 2001 projekt osiągnął on 1 ZettaFLOP (1021 operacji zmiennoprzecinkowych), co daje średną moc 71 TeraFLOP/s. Dla porównania w tym samym czasie najszybszy komputer IBM ASC White miał moc obliczeniową 12.3 TeraFLOP/s.

Seti@Home

Zaczęło się od pomysłu rzuconego w 1997 roku

As of September 1996 seti@home is only a proposal, but we feel certain that it will happen soon. The potential customers for seti@home include astronomy and space enthusiasts (e.g., members of The Planetary Society), science fiction fans (e.g., "Trekkies"), Internet adventurers ("netheads"), science teachers and their students, and other science and technology enthusiasts. All we need to make this global participatory project a reality is sponsorship by a visionary, high-tech corporation. The project is good science and it will generate great publicity and goodwill for any sponsor, as well as for science in general and bioastronomy in particular. Any takers?
  1. W ciągu następnego roku zarejestrowało się 400 000 chętnych osób.
  2. W 1999 roku udostępniona zostaje pierwsza wersja oprogramowania. Liczba pobrań w pierwszym tygodniu przekracza 200 tys.
  3. 26 września 2001 projekt wykonał łączną liczbę 1 ZettaFLOP (10^21 operacji zmiennoprzecinkowych), co daje średną moc 71 TeraFLOP/s. Dla porównania w tym samym czasie najszybszy komputer IBM ASC White miał moc obliczeniową 12.3 TeraFLOP/s.

Seti@Home

Zaczęło się od pomysłu rzuconego w 1997 roku

As of September 1996 seti@home is only a proposal, but we feel certain that it will happen soon. The potential customers for seti@home include astronomy and space enthusiasts (e.g., members of The Planetary Society), science fiction fans (e.g., "Trekkies"), Internet adventurers ("netheads"), science teachers and their students, and other science and technology enthusiasts. All we need to make this global participatory project a reality is sponsorship by a visionary, high-tech corporation. The project is good science and it will generate great publicity and goodwill for any sponsor, as well as for science in general and bioastronomy in particular. Any takers?
  1. W ciągu następnego roku zarejestrowało się 400 000 chętnych osób.
  2. W 1999 roku udostępniona zostaje pierwsza wersja oprogramowania. Liczba pobrań w pierwszym tygodniu przekracza 200 tys.
  3. 26 września 2001 projekt wykonał łączną liczbę 1 ZettaFLOP (10^21 operacji zmiennoprzecinkowych), co daje średną moc 71 TeraFLOP/s. Dla porównania w tym samym czasie najszybszy komputer IBM ASC White miał moc obliczeniową 12.3 TeraFLOP/s.

Seti@Home

  1. W ciągu następnego roku zarejestrowało się 400 000 chętnych osób.
  2. W 1999 roku udostępniona zostaje pierwsza wersja oprogramowania. Liczba pobrań w pierwszym tygodniu przekracza 200 tys.
  3. 26 września 2001 projekt wykonał łączną liczbę 1 ZettaFLOP (10^21 operacji zmiennoprzecinkowych), co daje średną moc 71 TeraFLOP/s. Dla porównania w tym samym czasie najszybszy komputer IBM ASC White miał moc obliczeniową 12.3 TeraFLOP/s.
  4. 26 września 2023 - 1.8 mln użytkowników, 36 tyś jednocześnie aktywnych z 243 krajów. W 2013 szacowano moc obliczeniową na ponad 680 teraFlops.

Seti@Home

  1. W ciągu następnego roku zarejestrowało się 400 000 chętnych osób.
  2. W 1999 roku udostępniona zostaje pierwsza wersja oprogramowania. Liczba pobrań w pierwszym tygodniu przekracza 200 tys.
  3. 26 września 2001 projekt wykonał łączną liczbę 1 ZettaFLOP (10^21 operacji zmiennoprzecinkowych), co daje średną moc 71 TeraFLOP/s. Dla porównania w tym samym czasie najszybszy komputer IBM ASC White miał moc obliczeniową 12.3 TeraFLOP/s.
  4. 26 września 2023 - 1.8 mln użytkowników, 36 tyś jednocześnie aktywnych z 243 krajów. W 2013 szacowano moc obliczeniową na ponad 680 teraFlops.

Zamknięty w 2020

Seti@Home

Jak to działało?

Zestaw projektów, które wyewoluowały z pierwotnego pomysłu szukania cywilizacji pozaziemskich

  1. Jak zachęcić ludzi do uczestnictwa?
  2. Jak właściwie oceniać wkład uczestników?
  3. Jak zniechęcać oszustów?
  4. Jak radzić sobie z błędnymi wynikami?
  1. Jak zachęcić ludzi do uczestnictwa?

    2. ankieta z 2006

  2. Jak właściwie oceniać wkład uczestników?
  3. Jak zniechęcać oszustów?
  4. Jak radzić sobie z błędnymi wynikami?
  1. Jak zachęcić ludzi do uczestnictwa?
  2. Jak właściwie oceniać wkład uczestników?
  3. Jak zniechęcać oszustów?
  4. Jak radzić sobie z błędnymi wynikami?

BOINC

  1. Jak zachęcić ludzi do uczestnictwa?
  2. Jak właściwie oceniać wkład uczestników?
  3. Jak zniechęcać oszustów?
  4. Jak radzić sobie z błędnymi wynikami?

BOINC

  1. Jak zachęcić ludzi do uczestnictwa?
  2. Jak właściwie oceniać wkład uczestników?
  3. Jak zniechęcać oszustów?
  4. Jak radzić sobie z błędnymi wynikami?

Volunteer computing

  1. Przetwarzanie w przeglądarkach
  2. Grywalizacja
  3. Citizen science - analiza zdjęć...