IB109 Návrh a implementace paralelních systémů. Analytický model paralelních programů. RNDr. Jiří Barnat, Ph.D.

Transkript

1 IB109 Návrh a implementace paralelních systémů Analytický model paralelních programů RNDr. Jiří Barnat, Ph.D.

2 Analytický model paralelních programů B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 2/?? Vyhodnocování sekvenčních algoritmů Časová a prostorová složitost Funkce velikosti vstupu Vyhodnocování paralelních algoritmů Paralelní systém = algoritmus + platforma Složitost Přínos paralelismu Přenositelnost... V této kapitole Jak posuzovat výkon paralelních algoritmů a systémů

3 Sekce IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 3/?? Režie (overhead) paralelních programů

4 Režie (overhead) paralelních programů B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 4/?? Fakta Důvody S použiti n-násobných HW zdrojů, lze očekávat n-násobné zrychlení výpočtu. V praxi velmi vzácné, a pokud nastává tak důvody jsou většinou v neoptimálním navržení sekvenčního algoritmu. Způsobeno režií paralelního programu. Režie interakce, prostoje, složitost paralelního algoritmu Nerovnoměrné zvyšování HW zdrojů Zvýšení počtu procesorů nepomůže, pokud aplikace není závislá na čistém výpočetním výkonu

5 Režie (overhead) paralelních programů B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 5/?? Komunikace Cena samotné komunikace Příprava dat k odeslání, zpracování přijatých dat Prostoje (Lelkování, Idling) Nerovnoměrné generování zátěže na jednotlivé procesy Čekání na zdroje či data Synchronizace Větší výpočetní složitost paralelního algoritmu Sekvenční algoritmus nejde paralelizovat (například DFS) Typicky existuje vícero paralelních algoritmů, nutné charakterizovat čím platí za paralelismus

6 Sekce B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 6/?? Metriky výkonosti

7 Čas výpočtu (Execution time) B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 7/?? Otázky Jak měřit výkon/kvalitu paralelního algoritmu? Podle čeho určit nejlepší/nejvhodnější algoritmus pro danou platformu? Čas výpočtu sekvenční algoritmus Doba, která uplyne od spuštění výpočtu do jeho ukončení. T S Čas výpočtu paralelní algoritmus Doba, která uplyne od spuštění výpočtu do doby, kdy skončí poslední z paralelních výpočtů. Zahrnuje, distribuci vstupních i sběr výstupních dat. T P

8 Celková režie paralelismu (Total overhead) B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 8/?? Celková režie: Označujeme T O Zahrnuje veškeré elementy způsobující režii paralelního programu. Celkové množství času stráveného paralelním výpočtem bez času výpočtu sekvenčního algoritmu. Paralelní a sekvenční algoritmy mohou být zcela odlišné. Sekvenčních algoritmů může existovat víc. T S čas výpočtu nejlepšího sekvenčního algoritmu. Funkce celkové režie Jaký je čas výpočtu jednotlivých procesů? Doba od skončení výpočtu jednoho procesu do skončení celého paralelního výpočtu se považuje za režii (idling). T O = pt P T S

9 Zrychlení (Speed-up) B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 9/?? Základní přínos paralelizace Problémy jdou vždy řešit sekvenčním algoritmem. Paralelizací lze dosáhnout pouze zrychlení výpočtu. Ostatní výhody jsou diskutabilní a těžko měřitelné. Základní míra účinnosti samotné paralelizace Poměr časů potřebných k vyřešení úlohy na jedné procesní jednotce a p procesních jednotkách. Uvažuje se vždy čas nejlepšího sekvenční algoritmu. V praxi se často (a nesprávně) používá čas potřebný k vyřešení úlohy paralelním algoritmem spuštěném na jedné procesní jednotce. S = T S T P, kde T S odpovídá nejlepšímu sekv. algoritmu

10 Zrychlení B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 10/?? Příklad sčítání n čísel s použitím n procesních jednotek. Sekvenčně je potřeba Θ(n) operací, čas Θ(n) Paralelně je potřeba Θ(n) operací, ale v čase Θ(log n) Zrychlení S = Θ( n log n ) Teoretická hranice zrychlení S použitím p procesních jednotek je maximální zrychlení p Super-lineární zrychlení Jev, kdy zrychlení je větší jak p

11 Amdahlův zákon B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 11/?? Otázka Jaké největší možné zrychlení systému, pokud se paralelizací urychlí pouze část výpočtu? Amdahlův zákon S max = 1 (1 P)+ P S P P podíl systému, který je urychlen paralelizací S P zrychlení dosažené paralelizací nad daným podílem Příklad Paralelizací lze urychlit 4-násobně 30% kódu, tj. P = 0.3 a S P = 4. Maximální celkové zrychlení S max je S max = 1 (1 0.3) = = = 1.29

12 Super-lineární zrychlení Falešné super-lineární zrychlení Uvažme datovou distribuci na 2 procesní jednotky, a operaci kvadratickou ve velikosti dat. Zrychlení S = n2 ( n 2 )2 = 4 při použití 2 procesních jednotek. Problém neuvažován optimální sekvenční algoritmus. Skutečné super-lineární zrychlení Větší agregovaná velikost cache pamětí. Při snížení množství dat na jeden procesní uzel se účinnost cache pamětí zvýší. Výpočet je na 1 p datech víc jak p-krát rychlejší. Super-lineární zrychlení v závislosti na instanci problému Průzkumová dekompozice úlohy při hledání řešení. Paralelní verze může vykonat menší množství práce. V konkrétní instanci lze paralelní prohledávání simulovat i sekvenčním algoritmem, obecně ale nelze. IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 12/??

13 Efektivita B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 13/?? Fakta Pouze ideální paralelní systém s p procesními jednotkami může dosahovat zrychlení p. Efektivita Příklad Jednotky typicky nemohou věnovat 100% výkonu úloze. Podíl času, po který jednotka vykonává užitečný kód. Lze definovat jako podíl zrychlení S vůči počtu jednotek p. E = S p. Zrychlení je v praxi < p, efektivita v rozmezí (0, 1. Jaká je efektivita sčítání n čísel na n procesorech? S = Θ( n log n ) E = Θ( S n ) = Θ( 1 log n )

14 Cena B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 14/?? Cena řešení problému na daném paralelním systému Součin počtu procesních jednotek a doby paralelního výpočtu: C = p T P Označována také jako množství práce, které paralelní systém vykoná, nebo jako pt p produkt Alternativně lze použít pro výpočet účinnosti (E = T S C ) Cenově optimální paralelní systém Cena sekvenčního výpočtu odpovídá nejlepšímu T S Paralelní systém je cenově optimální, pokud cena řešení roste asymptoticky stejně rychle jako cena sekvenčního výpočtu Cenově optimální systém musí mít efektivitu rovnou Θ(1) Příklad Sčítání n čísel na n procesorech C = Θ(nlog n), není cenově optimální

15 Cena příklad B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 15/?? Uvažme n procesorový systém, který třídí seznam n čísel v čase (log n) 2 Nejlepší sekvenční algoritmus má T S = nlog n S = n log n, E = 1 log n C = n(log n) 2 Není cenově optimální, ale pouze o faktor log n Uvažme, že v praxi p << n (p je mnohem menší než n) T P = n(log n) 2 /p a tedy S = p log n Konkrétně: n = 2 10, log n = 10 a p = 32 S = 3.2 Konkrétně: n = 2 20, log n = 20 a p = 32 S = 1.6 Závěr: cenová optimalita je nutná

16 Sekce B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 16/?? Vliv granularity na cenovou optimalitu

17 Vliv granularity na cenovou optimalitu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 17/?? Tvrzení Volbou granularity lze ovlivnit funkci cenové optimality. Pozorování V praxi p << n, přesto navrhujeme algoritmy tak, aby granularita byla až na úrovni jednotlivých položek vstupu, tj. předpokládáme p = n. Deškálování (scale-down) Uměle snižujeme granularitu (vytváříme hrubší úlohy). Snižujeme overhead spojený s komunikací. Může zachovávat cenovou optimalitu.

18 Vliv granularity na cenovou optimalitu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 18/?? Příklad 1) Sčítání n čísel na p procesorech (n = 16, p = 4) Mapování (i mod p), tj. (n/p) čísel na 1 procesor. Simulace prvních log p kroků stojí (n/p)log p operací, tj. proběhne v čase Θ((n/p)log p). Následně simulace původního algoritmu probíhá lokálně v paměti jednoho procesoru, tj. v čase Θ(n/p). Celkový T P je Θ((n/p)log p) Cena C = Θ(nlog p), tj. není cenově optimální Původní T P bylo Θ(log n), změna o faktor n p ( log p log n )

19 Vliv granularity na cenovou optimalitu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 19/?? Příklad 2) Sčítání n čísel na p procesorech (n = 16, p = 4) Nechť n a p jsou mocniny dvojky (n a p jsou soudělné) Mapování (i mod p) Každá jednotka nejprve sečte data lokálně v čase Θ(n/p) Problém redukován na sčítání p čísel na p procesorech Celkový T P je Θ(n/p + log p) Cena C = Θ(n + plog p), Cenově optimální, pokud n > p log p (cena C = Θ(n))

20 Sekce B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 20/?? Škálovatelnost paralelních programů

21 Škálovatelnost paralelních programů Fakta Programy jsou testovány na malých vstupních datech na systémech s malým počtem procesních jednotek. Použití deškálovaní zkresluje měření výkonu aplikace. Algoritmus, který vykazuje nejlepší výkon na testovaných datech, se může ukázat být tím nejhorším algoritmem, při použití na skutečných datech. Odhad výkonu aplikace nad reálnými vstupními daty a větším počtu procesních jednotek je komplikovaný. Škálovatelnost Zachování výkonu a efektivity při zvyšování počtu procesních jednotek a zvětšování objemu vstupních dat. Závěr Je třeba uvážit analytické techniky pro vyhodnocování výkonu a škálování. B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 21/??

22 Charakteristiky škálování Efektivita B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 22/?? Efektivita paralelních programů: Celková režie (T O ) E = S p = T S pt P = T O T S Přítomnost sekvenční části kódu je nevyhnutelná. Pro její vykonání je třeba čas t serial. Po tuto dobu jsou ostatní procesní jednotky nevyužité. T O > (p 1)t serial T O roste minimálně lineárně vzhledem k p, často však i asymptoticky více. Úloha konstantní velikosti (T S fixní) Se zvyšujícím se p, efektivita nevyhnutelně klesá. Nevyhnutelný úděl všech paralelních programů.

23 Charakteristiky škálování Příklad B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 23/?? Problém Sečíst n čísel s využitím p procesních jednotek Uvažme cenově optimální verzi algoritmu. T p = ( n p + log p). Lokální operace a komunikace stojí 2 jednotky času. Charakteristiky T P = n p + 2log p n S = n p +2log p 1 E = 1+ 2plog p n

24 Charakteristiky škálování Škálovatelný systém B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 24/?? Při zachování T S Rostoucí počet procesních jednotek snižuje efektivitu. Při zachování počtu procesních jednotek Rostoucí T S (velikost vstupních dat) má tendenci zvyšovat efektivitu. Škálovatelné systémy Efektivitu lze zachovat při souběžném zvyšování T S a p. Poměr, ve kterém se T S a p musí zvyšovat, aby se zachovala efektivita. Čím menší poměr T S /p tím lepší škálovatelnost. Škálovatelnost je schopnost paralelního systému zvýšit zrychlení s počtem procesních jednotek.

25 Izoefektivita jako metrika škálování B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 25/?? Vztahy T P = T S +T O (T S,p) S = T S T P = E = Pozorování p pt S T S +T O (T S,p) T S T S +T O (T S,p) = 1 1+T O (T S,p)/T S Efektivitu lze zachovat, pouze pokud T O (T S, p)/t S je konstantní Úpravou vztahu pro efektivitu: T S = E 1 E T O(T S, p) K = E/(1 E) konstanta odvozená od míry efektivity Funkce izoefektivity T S = KT O (W, p)

26 Izoefektivita jako metrika škálování B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 26/?? Funkce izoefektivity T S = KT O (W, p) Pozorování Při konstantní efektivitě, lze T S vyjádřit jako funkci p Vyjadřuje vztah, jak se musí zvýšit T S při zvýšení p Nižší funkce říká, že systém je snáze škálovatelný Isoefektivitu nelze měřit u systémů, které neškálují

27 Izoefektivita jako metrika škálování příklad B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 27/?? Příklad Součet n čísel na p procesorech E = 1 1+(2p log p)/n = 1 1+T O (W,p)/T S T O = 2p log p Funkce izoefektivity: T S = K2p log p Funkce izoefektivity: Θ(p log p) Při zvýšení procesních jednotek z p na p se pro zachování efektivity musí zvětšit velikost problému o faktor (p log p )/(p log p).

28 Izoefektivita jako metrika škálování příklad B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 28/?? Komunikační režie V případě součtu n čísel na p procesních jednotkách je komunikační režie závislá pouze na p. Obecně ale může být vztah T O složitější, a isofunkce těžko vyjádřitelná čistě na p Konstantní efektivita vyžaduje, aby T 0 /T S bylo shora omezené, a tedy T O nemůže obsahovat T S s mocninou větší jak 1. Hypotetický příklad T O = p 3/2 + p 3/4 T 3/4 S Funkce isoefektivity pro jednotlivé členy v součtu: Kp 3/2, K 4 p 3 Θ(p 3 )

29 Cenová optimalita a izoefektivita B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 29/?? Optimální cena Pro cenově optimální systémy požadujeme pt P = Θ(T S ). Po dosazení ze základních izo vztahů dostáváme: T S + T O (T S, p) = Θ(T S ) Cenová optimalita může být zachována pouze pokud: režie je nejvýše lineární vůči složitosti sekvenčního algoritmu, tj. funkce T O (T S, p) O(T S ) složitost sekvenčního algoritmu je minimálně tak velká jako režie, tj. funkce T S Ω(T O (T S, p))

30 Spodní odhad na izoefektivitu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 30/?? Izoefektivita Čím nižší/menší funkce, tím lepší škálovatelnost. Snaha o minimální hodnotu izofunkce. Sublineární izoefektivita Pro problém tvořený N jednotkami práce je optimální cena dosažitelná pouze pro maximálně N procesních jednotek. Přidáváním dalších jednotek vyústí v idling některých jednotek a snižování efektivity. Aby se efektivita nesnižovala musí množství práce růst minimálně lineárně vzhledem k p. Funkce izoefektivity nemůže být sublineární.

31 Stupeň souběžnosti a funkce izoefektivity B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 31/?? Stupeň souběžnosti Míra počtu operací, které může úloha provádět paralelně. Označme D(T S ) funkci vyjadřující počet paralelně proveditelných operací v závislosti na velikosti vstupu. Izoefektivita a stupeň souběžnosti Stupeň souběžnosti limituje efektivitu T S = K T S D(T S ) T O(T S, p) Funkce izoefektivity může být optimální Θ(p) pouze pokud stupeň souběžnosti je Θ(T S ) Příklad Gaussova eliminace T S = Θ(n 3 ), D(T S ) = Θ(n 2 ) Izoefektivita: Θ(p 3/2 )

32 Sekce B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 32/?? Další metriky

33 Minimální doba výpočtu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 33/?? Jaká je minimální možná doba výpočtu (TP min ) při dostupnosti dostatečného počtu procesních jednotek? Pozorování, při rostoucím p T P se asymptoticky blíží k TP min Po dosažení TP min se T P zvětšuje spolu s p Jak zjistit T min P? Nechť p 0 je řešením diferenciální rovnice dt P dp = 0 Dosazení p 0 do vztahu pro T P dává hodnotu T min P Příklad součet n čísel p procesními jednotkami T P = n dt p + 2log p, p 0 = n 2, P dp = n p p T min P = 2log n = Θ(log n)

34 Optimální doba výpočtu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 34/?? cost opt TP označuje minimální čas, ve kterém může být problém řešen cenově optimálním paralelním systémem. Pozorování Jestliže funkce izoefektivity je T S = Θ(f (p)), tak Problém, může být řešen cenově optimálně pouze pokud T S = Ω(f (p)) (vztah izoefektivity a cenové optimality) Pro cenově optimální řešení musí být p = O(f 1 (T S )) Cenově optimalita vyjádřena vztahem pt P = T S, tj. T P = T S p Lze odvodit, že ( cost opt T ) S TP = Ω f 1 (T S )

35 Optimální doba výpočtu příklad B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 35/?? Příklad sčítání n čísel s využitím p procesních jednotek Izoefektivita Θ(p log p) T S = n = f (p) = p log p takže máme n = p log p p = n log p n log n f 1 (T S ) = Θ ( n log n ) cost opt TP = Θ(log n) Pozorování T min P = T cost opt P Cenově optimální řešení je zároveň asymptoticky nejlepší

36 Optimální a minimální doba výpočtu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 36/?? Pozorování cost opt P Existují případy, kdy T > TP min (vzácné) Například pro systém, kde T O = p 3/2 + p 3/4 T 3/4 T min P = Θ(T 1/2 S cost opt ) ale TP = Θ(T 2/3 S ) S platí cost opt Vlastnost systému s TP > TP min Přidáním neúměrně velkého počtu procesních jednotek se asymptoticky pomaleji zkrátí doba výpočtu Například zvýšení počtu procesních jednotek o faktor n sníží čas výpočtu o faktor log n

37 Asymptotická analýza paralelních programů B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 37/?? Algoritmus A1 A2 A3 A4 p n 2 log n n n T P 1 n S n log n log n n nlog n nlog n n E log n n 1 log n n 1 pt P n 2 n log n n 1.5 n log n Otázky Jaký algoritmus je nejlepší? Použily jsme vhodné odhady složitosti? Je dostupná odpovídající paralelní architektura?

38 Jiné metriky škálování B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 38/?? Požadavky na aplikace se neslučující s existujícími metrikami Schopnost reakce v reálném čase Dominující paměťové nároky Škálované zrychlení Zrychlení, pokud se T S vyjádří jako funkce k p Příklad, násobení matic Vztah T S vůči paměťovým nárokům Θ(n 2 ) = c m p T S jako časová složitost Θ(n 3 ) = c t p