IB109 Návrh a implementace paralelních systémů. Organizace kurzu a úvod. RNDr. Jiří Barnat, Ph.D.

Transkript

1 IB109 Návrh a implementace paralelních systémů Organizace kurzu a úvod RNDr. Jiří Barnat, Ph.D.

2 Sekce B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 2/25 Organizace kurzu

3 Organizace kurzu B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 3/25 Místo a čas pondělí 16:00-17:40, B007 Ukončení předmětu Závěrečný písemný test na odpřednášený obsah Možno získat několik bodů za nepovinné domácí úlohy Požadavky na úspěšné ukončení předmětu Z: bodové hodnocení testu nad 50% ZK: bodové hodnocení testu nad 50%(E), 60%(D), 70%(C), 80%(B), 90%(A)

4 Cíl kurzu IB109 B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 4/25 Cílem předmětu je seznámit studenty s Problematikou programování paralelních aplikací, Programátorskými prostředky pro vývoj paralelních aplikací, Možnostmi studia tématu na FI. Úspěšný absolvent kurzu Umí identifikovat paralelně proveditelné úlohy. Má základní přehled o problémech souvisejících s paralelizací. Nebojí se implementovat vlastní vícevláknové nebo jinak paralelní aplikace či systémy. Má představu o tom, co se děje v zákulisí použitých knihoven pro podporu programování paralelních aplikací. Umí tyto knihovny správně použít.

5 Organizace kurzu B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 5/25 Osnova: Úvod a motivace. Základní metody v návrhu paralelních algoritmů. Výkonnostní analýza paralelních algoritmů. Příklady paralelních řešení různých problémů. Paralelní algoritmy v prostředí s distribuovanou pamětí. Message Passing Interface (MPI). Paralelní algoritmy v prostředí se sdílenou pamětí. OpenMP, Intel TBB, POSIX Threads.

6 Předpoklady a kontext na FI B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 6/25 IB109 Kurz určený pro bakalářské studium Povinný v rámci oboru Paralelní a distribuované systémy Předpoklady Základní znalosti o fungování výpočetních prostředků a operačních systémů. Základní zkušenost s imperativním programováním sekvenčních algoritmů.

7 Kontext v rámci FI B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 7/25 Předměty PA150 Principy operačních systémů Vlákna, procesy, monitory, semafory, synchronizace. Hierarchie pamětí. IV100 Paralelní a distribuované výpočty Distribuované systémy a algoritmy. Komunikační protokoly. Směrovací algoritmy a tabulky. Distribuované algoritmy pro detekci ukončení, volbu vůdce, vzájemné vyloučení, hledání nejkratší cesty. Byzantská shoda. IV010 Komunikace a paralelismus Teoretický model paralelních procesů a komunikace. CCS. Synchronizace, vnitřní akce. Ekvivalence systémů pomocí slabé/silné bisimulace a relace kongruence.

8 Kontext v rámci FI pokr. B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 8/25 Předměty IA039 Architektura superpočítačů a intenzivní výpočty Procesory. Paralelní počítače. Překladače. MPI. PVM a koordinační jazyky. Profilování a měření výkonu. PV192 Paralelní algoritmy Paralelní zpracování, Klasifikace paralelních systémů, Úrovně paralelismu, Paralelní počítače, Systémy s distribuovanou pamětí, MPI P065 UNIX Programování a správa systému I Procesy a vlákna v UNIX. Meziprocesová a mezivláknová komunikace.

9 Kontext v rámci FI B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 9/25 Laboratoře IV074 Laboratoř paralelních a distribuovaných systémů PV177 Laboratoř pokročilých síťových technologií????? Laboratoř architektury a konstrukce číslicových počítačů Projekty IV112 Projekt z distribuovaných systémů (podzim)

10 Studijní materiály B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 10/25 Knihy A. Grama, A. Gupta, G. Karypis, V. Kumar: Introduction to Parallel Computing (second edition) G. R. Andrews: Foundations of Multithreaded, Parallel and Distributed Programming I. Foster: Designing and Building Parallel Programs W. Group, E. Lusk, A. Skjellum: Using MPI...

11 Studijní materiály B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 11/25 E-zdroje: Kurzy a jejich studijní materiály na různých univerzitách (Foundations of Multithreded, Parallel, and Distributed Programming) prog ws Parallel Programing Workshop (MPI, OpenMP) Domovské stránky projektů MPI, TBB, OpenMP, BOOST,... Online tutoriály...

12 Sekce B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 12/25 Motivace

13 Paralelismus B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 13/25 Souběžnost Existence dvou a více procesů (v obecném smyslu slova) v jeden časový okamžik. Všudypřítomný a nevyhnutelný jev. Prakticky je nevyhnutelný i v Computer Science Fyzikální důvody. Vyšší výkon (např. GPU) Souběžnost je teoreticky zajímavá. Historicky možný kandidát na problém P=NP. Složitostní třída NC. Inherentně sekvenční problémy.

14 Proč by se o paralelismus měl zajímat řadový programátor? B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 14/25 Programátor chce zvýšit výkon své aplikace na paralelních platformách. Programátor chce oddělit nesouvisející části aplikace a realizovat je odděleně. Programátor chce řešit problém nezvládnutelný standardní sekvenční cestou.

15 Výpočetních platformy abstraktně IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 15/25 Abstraktní model výpočetního systému Procesor - Datová cesta - Paměť Všechny části systému mohou být úzkým místem vůči výkonnosti aplikace jako celku. Parallelismus je přirozený způsob překonání úzkých míst.

16 Procesory B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 16/25 Procesory Neustálá potřeba zvyšovat výkon. Výkon procesoru spojován s Moorovým zákonem. Moorův zákon Gordon Moore, spoluzakladatel Intelu Počet tranzistorů v procesoru se zdvojnásobí přibližně každých 18 měsíců. Metody zvyšování výkonu procesorů Zvyšování frekvence vnitřních hodin. Multiplicita, Paralelismus

17 Moore s Law B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 17/25

18 Moore s Law B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 18/25

19 Trend ve vývoji procesorů B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 19/25 Pozorování Řešení Výrobcům procesorů se nedaří zvyšovat výkon jednoho jádra. Fyzikální zákony brání neustálé miniaturizaci. v současnosti 45nm technologie (předchozí technologie 65nm) fyzikální limit je 5nm (nelze udržet elektrony v atomu) Vyrábí se vícejaderné procesory. Pravděpodobný způsob zvyšování výkonu i v budoucnosti. Související problém Sekvenční algoritmy nemohou nadále těžit z rostoucího výkonu procesorů. Paralelizace software je nevyhnutelný směr vývoje.

20 Datové cesty B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 20/25 Role paralelismu v komunikaci: Příklady Větší propustnost komunikačních linek Alternativní/záložní komunikační linky Snižování latence Urychlovače produkují data rychleji než je možné je doručit k výpočetním prostředkům a zpracovat je, dokonce rychleji, než je možné je sekvenčně uložit. P2P sítě řeší problém asymetrie down/up rychlostí a zátěže exponovaných uzlů

21 Paměť B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 21/25 Fakta: Výkon procesorů převyšuje výkon jiných komponent Cesta procesor paměť disk je zdlouhavá Kaskády cache pamětí, souběžné uložení informace na více místech Cache paměť obecně: Kopie části dat v rychleji dostupném místě Může a nemusí být kontrolovatelná uživatelem nebo OS Příklady Cache s různou možností kontroly Operační paměť jako cache pro přístup na disk Proces virtualizace paměti L1/L2 cache v rámci CPU

22 Použití mnoha paměťových modulů B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 22/25 Více modulů znamená Větší množství uložitelných/zapamatovatelných informací Větší množství linek do paměti (větší propustnost) Režie na udržení konzistence Příklady Disková pole RAID 1, RAID 5 I/O efficient algoritmy Algoritmy, které obcházejí virtualizaci paměti kontrolovanou OS, a místo toho realizují vlastní způsob použití operační paměti jako cache pro data na disku. Řadová PC SSD disky pro operační systém a swapovací prostor

23 Vývoj paralelních systémů je náročnější Důvody: Nutnost specifikace souběžných úkolů a jejich koordinace. Paralelní algoritmy. Nedostačující vývojová prostředí. Nedeterminismus při simulaci paralelních aplikací. Absence reálného modelu paralelního počítače. Rychlý vývoj a zastarávání použitých technologií. Výkon aplikace náchylný na změny v konfiguraci systémů.... Příklad Momentálně je doporučován pro hry 2-jádrový procesor, proč ne 4-jádrový, když je zcela určitě výkonnější? Je obtížné napsat herní engine, který by fungoval dobře na 1-jádrovém stroji a na 4-jádrovém stroji běžel 4x rychleji. B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 23/25

24 HPC B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 24/25 HPC (High Performance Computing) Oblast Computer Science Výpočty na vysoce paralelních platformách Nejrychlejší počítač světa dle ( BlueGene/L Processors: Main Memory: GB Year: 2005 Vendor: IBM GFLOPS: (ve špičce ) 280 bilionů FLOPS

25 Nejrychlejší počítač světa dle ( IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 25/25