IB109 Návrh a implementace paralelních systémů. Organizace kurzu a úvod. RNDr. Jiří Barnat, Ph.D.

Transkript

1 IB109 Návrh a implementace paralelních systémů Organizace kurzu a úvod RNDr. Jiří Barnat, Ph.D.

2 Sekce IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 2/25 Organizace kurzu

3 Organizace kurzu B109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 3/25 Místoačas pondělí 16:00-17:40, B007 Ukončení předmětu Závěrečný písemný test na odpřednášený obsah Možno získat několik bodů za nepovinné domácí úlohy Požadavky na úspěšné ukončení předmětu Z: bodové hodnocení testu nad 50% ZK: bodové hodnocení testu nad 50%(E),60%(D),70%(C),80%(B),90%(A)

4 Cíl kurzu IB109 IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 4/25 Cílem předmětu je seznámit studenty s Problematikou programování paralelních aplikací, Programátorskými prostředky pro vývoj paralelních aplikací, Možnostmi studia tématu na FI. Úspěšný absolvent kurzu Umí identifikovat paralelně proveditelné úlohy. Má základní přehled o problémech souvisejících s paralelizací. Nebojí se implementovat vlastní vícevláknové nebo jinak paralelní aplikace či systémy. Mápředstavuotom,cosedějevzákulisípoužitýchknihoven pro podporu programování paralelních aplikací. Umí tyto knihovny správně použít.

5 Organizace kurzu IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 5/25 Osnova: Úvod a motivace. Základní metody v návrhu paralelních algoritmů. Výkonnostní analýza paralelních algoritmů. Příklady paralelních řešení různých problémů. Paralelní algoritmy v prostředí s distribuovanou pamětí. Message Passing Interface(MPI). Paralelní algoritmy v prostředí se sdílenou pamětí. OpenMP, Intel TBB, POSIX Threads.

6 Předpoklady a kontext na FI IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 6/25 IB109 Kurz určený pro bakalářské studium Povinný v rámci oboru Paralelní a distribuované systémy Předpoklady Základní znalosti o fungování výpočetních prostředků a operačních systémů. Základní zkušenost s imperativním programováním sekvenčních algoritmů.

7 KontextvrámciFI IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 7/25 Předměty PA150 Principy operačních systémů Vlákna, procesy, monitory, semafory, synchronizace. Hierarchie pamětí. IV100 Paralelní a distribuované výpočty Distribuované systémy a algoritmy. Komunikační protokoly. Směrovací algoritmy a tabulky. Distribuované algoritmy pro detekci ukončení, volbu vůdce, vzájemné vyloučení, hledání nejkratší cesty. Byzantská shoda. IV010 Komunikace a paralelismus Teoretický model paralelních procesů a komunikace. CCS. Synchronizace, vnitřní akce. Ekvivalence systémů pomocí slabé/silné bisimulace a relace kongruence.

8 KontextvrámciFI pokr. IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 8/25 Předměty IA039 Architektura superpočítačů a intenzivní výpočty Procesory. Paralelní počítače. Překladače. MPI. PVM a koordinační jazyky. Profilování a měření výkonu. PV192 Paralelní algoritmy Paralelní zpracování, Klasifikace paralelních systémů, Úrovně paralelismu, Paralelní počítače, Systémy s distribuovanou pamětí, MPI P065 UNIX Programování a správa systému I Procesy a vlákna v UNIX. Meziprocesová a mezivláknová komunikace.

9 KontextvrámciFI IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 9/25 Laboratoře IV074 Laboratoř paralelních a distribuovaných systémů PV177 Laboratoř pokročilých síťových technologií????? Laboratoř architektury a konstrukce číslicových počítačů Projekty IV112 Projekt z distribuovaných systémů(podzim)

10 Studijní materiály IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 10/25 Knihy A. Grama, A. Gupta, G. Karypis, V. Kumar: Introduction to Parallel Computing(second edition) G. R. Andrews: Foundations of Multithreaded, Parallel and Distributed Programming I. Foster: Designing and Building Parallel Programs W.Group,E.Lusk,A.Skjellum:UsingMPI...

11 Studijní materiály IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 11/25 E-zdroje: Kurzy a jejich studijní materiály na různých univerzitách (Foundations of Multithreded, Parallel, and Distributed Programming) prog ws Parallel Programing Workshop(MPI, OpenMP) Domovské stránky projektů MPI, TBB, OpenMP, BOOST,... Online tutoriály...

12 Sekce IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 12/25 Motivace

13 Paralelismus IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 13/25 Souběžnost Existence dvou a více procesů(v obecném smyslu slova) v jeden časový okamžik. Všudypřítomný a nevyhnutelný jev. Prakticky je nevyhnutelný i v Computer Science Fyzikální důvody. Vyšší výkon(např. GPU) Souběžnost je teoreticky zajímavá. Historicky možný kandidát na problém P=NP. Složitostní třída NC. Inherentně sekvenční problémy.

14 Proč by se o paralelismus měl zajímat řadový programátor? IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 14/25 Programátor chce zvýšit výkon své aplikace na paralelních platformách. Programátor chce oddělit nesouvisející části aplikace a realizovat je odděleně. Programátor chce řešit problém nezvládnutelný standardní sekvenční cestou.

15 Výpočetních platformy abstraktně IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 15/25 Abstraktní model výpočetního systému Procesor- Datová cesta- Paměť Všechny části systému mohou být úzkým místem vůči výkonnosti aplikace jako celku. Parallelismus je přirozený způsob překonání úzkých míst.

16 Procesory IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 16/25 Procesory Neustálá potřeba zvyšovat výkon. Výkon procesoru spojován s Moorovým zákonem. Moorův zákon Gordon Moore, spoluzakladatel Intelu Počet tranzistorů v procesoru se zdvojnásobí přibližně každých 18 měsíců. Metody zvyšování výkonu procesorů Zvyšování frekvence vnitřních hodin. Multiplicita, Paralelismus

17 Moore s Law IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 17/25

18 Moore s Law IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 18/25

19 Trend ve vývoji procesorů IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 19/25 Pozorování Řešení Výrobcům procesorů se nedaří zvyšovat výkon jednoho jádra. Fyzikální zákony brání neustálé miniaturizaci. v současnosti 45nm technologie(předchozí technologie 65nm) fyzikální limit je 5nm(nelze udržet elektrony v atomu) Vyrábí se vícejaderné procesory. Pravděpodobný způsob zvyšování výkonu i v budoucnosti. Související problém Sekvenční algoritmy nemohou nadále těžit z rostoucího výkonu procesorů. Paralelizace software je nevyhnutelný směr vývoje.

20 Datové cesty IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 20/25 Role paralelismu v komunikaci: Příklady Větší propustnost komunikačních linek Alternativní/záložní komunikační linky Snižování latence Urychlovače produkují data rychleji než je možné je doručit k výpočetním prostředkům a zpracovat je, dokonce rychleji, než je možné je sekvenčně uložit. P2P sítě řeší problém asymetrie down/up rychlostí a zátěže exponovaných uzlů

21 Paměť IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 21/25 Fakta: Výkon procesorů převyšuje výkon jiných komponent Cestaprocesor paměť diskjezdlouhavá Kaskády cache pamětí, souběžné uložení informace na více místech Cache paměť obecně: Kopie části dat v rychleji dostupném místě Může a nemusí být kontrolovatelná uživatelem nebo OS Příklady Cache s různou možností kontroly Operační paměť jako cache pro přístup na disk Proces virtualizace paměti L1/L2cachevrámciCPU

22 Použití mnoha paměťových modulů IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 22/25 Více modulů znamená Větší množství uložitelných/zapamatovatelných informací Větší množství linek do paměti(větší propustnost) Režie na udržení konzistence Příklady Disková pole RAID1,RAID5 I/O efficient algoritmy Algoritmy, které obcházejí virtualizaci paměti kontrolovanou OS, a místo toho realizují vlastní způsob použití operační pamětijakocacheprodatanadisku. Řadová PC SSD disky pro operační systém a swapovací prostor

23 Vývoj paralelních systémů je náročnější Důvody: Nutnost specifikace souběžných úkolů a jejich koordinace. Paralelní algoritmy. Nedostačující vývojová prostředí. Nedeterminismus při simulaci paralelních aplikací. Absence reálného modelu paralelního počítače. Rychlý vývoj a zastarávání použitých technologií. Výkon aplikace náchylný na změny v konfiguraci systémů.... Příklad Momentálně je doporučován pro hry 2-jádrový procesor, proč ne 4-jádrový, když je zcela určitě výkonnější? Je obtížné napsat herní engine, který by fungoval dobře na 1-jádrovém stroji a na 4-jádrovém stroji běžel 4x rychleji. IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 23/25

24 HPC IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 24/25 HPC(High Performance Computing) Oblast Computer Science Výpočty na vysoce paralelních platformách Nejrychlejší počítač světa dle( BlueGene/L Processors: Main Memory: GB Year: 2005 Vendor: IBM GFLOPS: (ve špičce ) 280 bilionů FLOPS

25 Nejrychlejší počítač světa dle( IB109 Návrh a implementace paralelních systémů: Organizace kurzu a úvod str. 25/25

26 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ÊÆ Öº Â ÖÒ Ø È º º

27 ÅÓØ Ú ÔÖÓ ØÙ ÙÑ ÔÐ Ø ÓÖ Ñ Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ à ÔÖÓ ÓÙ Ð Ñ Ø Ú Ú ÓÒÙ ÔÐ º  ÔÐÒ ÚÝÙú Ø ÑÓúÒÓ Ø Ô ÔÐ Ø ÓÖÑݺ ÎÓÐ Ú Ó Ò ÔÐ Ø ÓÖÑݺ ÈÓÙ Ò Þ Ü ØÙ õ Ò º

28 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ØÖ ØÒ ÑÓ Ð ÔÓ Ø ÈÖÓ ÓÖ ¹ ØÓÚ Ø ¹ È Ñ Ø

29 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ë ÅÓ ÖÒ Ö Ø ØÙÖ Ñ ÖÓÔÖÓ ÓÖ

30 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ È Ô Ð Ò ÙÔ Ö Ð ÖÒ Ö Ø ØÙÖ ÅÓØ Ú È Ô Ð Ò ÚÝõÓÚ Ò ÐÓ Ö Ø Ò Ø ËÒ Ó ÓÒ Ø Ú ÓÔ Ö Ú Ò ÓÑ Ø Ù ÁÒ ØÖÙ ÓÑÔÓÒÙ Ò Ñ ÖÓ Ò ØÖÙ Æ ÒÓØÐ Ú Ñ ÖÓ Ò ØÖÙ Ô Ð ÞÓÚ Ò Ú ÓÒÒ ÒÓØ Ý ÔÖÓ ÓÖÙ ÈÖ Ò Ô ØÓÚ ÖÒ Ð Ò Ý È ÒØ ÙÑ Ò ¾ À Ñ ¾¼ Ø Ô Ô Ð Ò

31 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ È Ð ÓÐ Â Ø Ð ÙÐÓú Ò Ú Ô Ñ Ø Ò Ô Ù Ó¹ÔÖÓ ÓÖÙ ¾ Ô Ô Ð Ò Å ÖÓ Ò ØÖÙ ÔÖÓÚ Ø ÐÒ Ú ÒÓÑ Ý ÐÙ ÔÖÓ ÓÖÙ ÁÒ ØÖÙØ ÓÒ Ø Á ÁÒ ØÖÙØ ÓÒ Ó Á ÇÔ Ö Ò Ø Ç Ü ÙØ ÆÓ ÇÔ Ö Ø ÓÒ ÆÇ ÏÖ Ø Ï ÓÑÔÓÞ Ò Ñ ÖÓ Ò ØÖÙ ÐÓ Ê½ Ö Á Á Ç Ê½ Ö Á Á Ç Ê½ ʾ Á Á ØÓÖ Ê½ Ö Á Á Ï

32 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ È Ð ¹ ÔÓ Ö ÓÚ Ò ÅÓúÒ õ Ò ÐÓ Ê½ ÐÓ Ê¾ ʽ ʾ ʽ ʾ ØÓÖ Ê½ ÐÓ Ê½ ʽ ʽ ʽ ØÓÖ Ê½ ÐÓ Ê½ ʽ ÐÓ Ê¾ ʾ ʽ ʾ ØÓÖ Ê½

33 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ú ÐÓ Ø ØÓÚ Þ Ú ÐÓ Ø Å ÖÓ Ò ØÖÙ ÔÖÓÚ Ø ÐÒ ú ÓÙ Ô ÔÖ Ú Ò Ø Ø ÖÑ ÔÖ Ù º Æ ÚÝÙú Ø Ý ÐÝ ÔÖÓ ÓÖÙ Ï Ø ÝÐ µ Î ÓÒÒ ÒÓØ ÚÝ ÓÒ ÆÓ ÇÔ Ö Ø ÓÒ ÀÓÖ ÞÓÒØ ÐһΠÖØ ÐÒ Â ÚÝØ ú Ò Ø Ú Ô ÓÞ Ñ Ô Ð Ù Æ Þ ÖÓ Å ÖÓ Ò ØÖÙ ÔÖÓÚ Ø ÐÒ ú ÚÓÐÒ ÒÓØ Ø Ö Ö Ð ÞÙ º  ÒÓØ ÚÝ ÓÒ Ñ ÖÓ Ò ØÖÙ ÔÓÙÞ ÔÓ Ù Ò Ñ ÖÓ Ò ØÖÙ Ô ÔÖ Ú Ò º Á Ç Ò Ú Ó ØÙÔÒ Ú ÒÓÑ Ý ÐÙº

34 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ú ÐÓ Ø ß ÔÓ Ö ÓÚ Ò Æ Ú ØÚ Ò Î ØÚ Ò Ú ÓÛ¹ Ö ÑÙ Ð ÓÖ ØÑÙ ÞÔ Ó Ù ÔÖÓ Ð ÚÙ Æ Ð Ù Ò ØÖÙ Þ Ú Ò Ú Ð Ù Ú ØÚ Ò Î ØÚ Ò Ò Ø Ú Ô Ð úò ú Ò ØÖÙ ÅÓúÒ õ Ò ÔÖÓ Ð ÑÙ ÞÔ Ó Ò Ú ØÚ Ò Ñ È Ú Ò Ú Ð Ù Ú ØÚ Ò Ô ÙÐ Ø ÚÒ ÔÖÓÚ Ò Ù ÈÖÓÚ Ò Ó ÓÙ Ú ØÚ Ù

35 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½¼» ¾ Ú ÖÞ ½º¼ ÈÐ ÒÓÚ Ò Ò ØÖÙ ÙÐ Ò µ ÈÓÞÓÖÓÚ Ò ÈÓ Ò ØÖÙ ÓÚÐ Ú Ù Ú ÓÒ Ú Þ Ô Ð µ ÈÖÓ Ð Ñ ÎÝØ ú Ø Ó Ò Ú Ô Ô Ð Ò È Ö Ð Ð ÑÙ Ô Þ ÓÚ Ò ÔÓ Ò ØÖÙ Ð Ñ ØÓÚ Ò È Ù ÔÓ Ò Ò ØÖÙ ÈÓ ÑÙ Ö Ô ØÓÚ Ø Þ Ú ÐÓØ ÇÔØ Ñ Ð Þ ÔÓ Ò ØÖÙ Ô ÓÑÔ Ð ÎÝ ÓÒ Ú Ò Ò ØÖÙ Ñ ÑÓ ÔÓ ÓÙØ¹Ó ¹ÓÖ Ö Ü ÙØ ÓÒµ Ö Û ÖÓÚ Ø Þ Ú ÐÓ Ø ¹½¼± ÔÖÓ ÓÖÙµ ÓÔ Ò Þ ÓÙÑ Ò Ù ÓÑ Þ Ò ØÓÖ Ú ØÚ Ò Å ú ÔÓÖÙõ Ø Ñ ÒØ Ù

36 ÎÄÁÏ Î ÖÝ ÄÓÒ ÁÒ ØÖÙØ ÓÒ ÏÓÖ µ ÈÖÓ ÓÖÝ Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½½» ¾ Ú ÖÞ ½º¼ ÐØ ÖÒ Ø ÚÒ Ô ØÙÔ õ Ø Þ Ú ÐÓ Ø Ô Ô Ð Ù Ó ØÙÔÒ ÔÓÙÞ Ø Ø Ò ÐÞ Þ ØÓÖ Ú ØÚ Ò µ ËÔ Ð ÞÓÚ Ò ÔÖÓ ÓÖÝ ÎÄÁϵ Æ Ó Ù Ø Þ Ú ÐÓ Ø Å Òõ Ð ÚÒ õ Ú ÓÒ õ ÆÙØÒÓ ÔÓÙú Ø ÓÚ Ò Ô Ð

37 Ë ÑÙÐØ Ò ÑÙÐØ Ø Ö Ò ËÅ̵ Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½¾» ¾ Ú ÖÞ ½º¼ ÈÖ Ò Ô ÔÖÓ ÓÖ ÚÝÙú Ú ÔÖ Þ Ò Ý ÐÝ ÚÝ ÓÒ Ú Ò Ò ØÖÙ Ò Ó ÚÐ Ò ÚÝú Ù ÙÔÐ Ø Ø ÔÖÓ ÓÖÙ Ò Ô Ð Ù Ö ØÖ µ ÚÐ Ò Ð ÁÒØ Ð È ÒØ ÙÑ ÀÝÔ Ö¹Ì Ö Ò Ì ÒÓÐÓ Ý ÀÌ̵ ú ¼± Ò Ö Ø Ú ÓÒÙ ÇË ÔÓ ÔÓÖÓÙ ËÅÈ Ú Ý Ø Ñ ËÅÌ»ÀÌÌ Ó Ú ÔÖÓ ÓÖÓÚ Ý Ø Ñ

38 ÅÙÐØ ¹ÓÖ ÔÖÓ ÓÖÝ Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ Î ÔÐÒÓ Ó ÒÓØÒ ÔÖÓ ÓÖ Ú ÒÓÑ ÔÙº Î Ó Ý Ø ÚÒ õ Ó Ö Ò Ò Ò Ò úõ ÖÓÚÒ Ò úõ Ò Ð Ý ÔÖÓ ÓÒÓÚ Ó Ùú Ú Ø Ð Æ Ú Ó Ý Ö úõ ÚÖÓ Ò ú ÒÓ Ù ÔÖÓ ÓÖÝ Ö Ð ØÓÚÓÙ ØÙ Ó Ô Ñ Ø Ù ÓÙÒÓ Ø Ú ¹ ÖÓÚ ÔÖÓ ÓÖÝ ËÅÌ

39 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ Ë ÇÑ Þ Ò ÓÙÚ Ô ØÙÔ Ñ Ó Ô Ñ Ø

40 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ ÊÝ ÐÓ Ø Ô Ñ ÓÚ Ó Ý Ø ÑÙ Ø Î ÓÒ ÔÖÓ ÓÖÙ Þ Ú Ò Ø ÙÐÓú Ò Ú Ô Ñ Ø Î ÓÒ Ô Ñ ÓÚ Ó Ý Ø ÑÙ Ò Ò ÔÖÓ ÔÖÓ ÓÖ Ó Ø Ø Ò Ã Ô Ñ Ø È Ö Ñ ØÖÝ Ô Ñ ÓÚ Ó Ý Ø ÑÙ Î Ð Ó Ø Ä Ø Ò Ó ÔÓØ Ò Ò Þ Ò Ò ÓÖÑ Þ Ò ÐÒ Ó Ø ÚÙ Ô Ñ Ò Û Ø µ Ñ Ü Ñ ÐÒ ÑÒÓú ØÚ Ø Ô Ò Ò Þ ÒÓØ Ù Ù

41 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ ÊÝ ÐÓ Ø Ô Ñ ÓÚ Ó Ý Ø ÑÙ ß Ô Ð Ý È Ð Ý ÐÓÙ Ó Ò ÔÙ Ø Ñ ÖÒ ÚÓ ÓÙ ÔÓÑÓ ¾ Ñ ÐÓÙ Þ Ö Ò È ÓÒ Ø ÒØÒ Ñ Ø Ò Þ Ô Ñ Ø ØÖÚ Þ Ò Ù Ò ØÖÙ Ô ÐÙõÒ ÓÔ Ö Ò Þ Ô Ñ Ø Ú ÔÖ Ñ ÖÙ Ò º Â Ò ÚÝõõ Ö ÐÒ ÖÝ ÐÓ Ø ÚÝ ÓÒ Ú Ò Ù ÙÐÓú Ò Ó Ú Ô Ñ Ø ÀÞ ÔÖÓ ÓÖ Ñ

42 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ ÈÖ Ò Ô Å Òõ Ð ÖÝ Ð õ Ô Ñ Ò ÔÓÑ Ð ØÓÚ Ø È ÔÖÚÒ Ñ Ø Ò Ó ÓÐ Ø Ò Ò ÓÖÑ ÙÐÓú Ó È Ò Ð Ù Ñ Ø Ò Þ Ó ÓÐ Ô ÚÓ Ò Ò ÓÖÑ Ø ÔÓÙÞ Þ ËÓÙÚ ÔÓ ÑÝ Ð Ò ß ØÓÑ Ô Ñ ÓÚ ÐÓ ÙÐÓú Ò Ú À Ø Ö Ø Ó ß ÔÓ Ð Ó Þ Ò Ø Ú ÓÚ ÐÓ Ð Ø ß Ô ØÙÔÝ Ú Ñ Ð Ñ ÓÚ Ñ ÒØ ÖÚ ÐÙ ÈÖÓ ØÓÖÓÚ ÐÓ Ð Ø ß Ô ØÙÔ Ø Ñ ú ÙÐÓú Ò Ú

43 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ È Ð ÓÐ Ë Ø Ý Ñ Ø Ó ÒÓ Ó Ú ØÓÖÙº Å Ø Ú Ô Ñ Ø ÙÐÓú Ò ÔÓ º Ô ØÒ ÔÖ ÈÖÓ Þ Ò Ñ Ø ÔÓ ÐÓÙÔ ÈÓÐÓú Ý Ú Ð Ò Ó Ú ØÓÖÙ Ò Ø ÒÝ Ó ØÖ Ò ÒÝ Þ ÓÔ ÓÚ Ò Æ Ý Ñ ú ÚÝ õ Ø ÓÑÔ Ð ØÓÖ Ú Ö Ñ ÓÔØ Ñ Ð Þ Ì Ð Ò Ò Ø Ö Ø ÓÒ Ô Ì Ò ÔÖÓ Þ Ò Ø Ö Ò Ó ÔÖÓ ØÓÖÙ ÔÓ Ð ú

44 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ Ú ÖÝ Ó Ð Ò Ô Ñ ÓÚ Ó Ý Ø ÑÙ È Ð È ÔÖ úò Ñ Ø Ò ØÖÚ Þ Ò ÒÓ Ó ÐÓÚ ÏÓÖ ¾ ÝØݵ Þ Ô Ñ Ø ÔÖ Ñ ÖÒ Ò º ÈÖÓ ÓÖ ÞÔÖ ÓÚ Ú Ð Ò ÖÒ ÞÒ Ñ ÐÓÛº Å Þ ÔÖÓ ÓÖ Ñ Ô Ñ Ø Ð Ò Ó Ú Ð Ó Ø ½ ÝØ º Â Ò ÚÝõõ Ö ÐÒ ÖÝ ÐÓ Ø ÞÔÖ ÓÚ Ú Ò ÞÒ ÑÙ ÀÞ ÔÖÓ ÓÖ Ñ Æ Ó Ú Ø ÔÓÞÓÖ ÓÚ ÔÖÓ ØÓÖÓÚ ÐÓ Ð Ø ÒÙØÒÓ Ø ÔÖÓ ÔÐÒ ÚÝÙú Ø ÐÝ ÔÖÓ ÓÖÙ ÇÖ Ò Þ Ø Ú Ô Ñ Ø Ñ ú ÓÚÐ ÚÒ Ø Ú ÓÒ ÔÐ

45 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾¼» ¾ Ú ÖÞ ½º¼ ÐØ ÖÒ Ø ÚÒ Ô ØÙÔÝ Ó Ø Ð Ø Ò ß Ô Ð ÖÓÙÞ Ò Ù ÔÓÑ Ð Ó ÒØ ÖÒ ØÙ ÅÓúÒ õ Ò ÇØ Ú Ø ØÖ Ò Ý Ø Ö Ù Ñ Ø ú Þ Ú Ð ÈÙ Ø Ø Ú Ó Ò Ø Ö ÞÒ Ú Ñ Þ Ò Ñ Ô Ô Ò Ø ÖÓÙÞ Ø ÔÓ ØÖ Ò ÖÓÙÞ Ó Ø ØÒ Ì Ò Ý ÈÖ Ø Ò ÅÙÐØ Ø Ö Ò ÓÚ ÔÖÓ ØÓÖÓÚ ÐÓ Ð Ø ÑÓÖØ Þ Ð Ø Ò µ

46 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾½» ¾ Ú ÖÞ ½º¼ ÐØ ÖÒ Ø ÚÒ Ô ØÙÔÝ Ó Ø Ð Ø Ò ÅÙÐØ Ø Ö Ò È Ñ ÓÚ Ý Ø Ñ ÑÙ Ñ Ø Ó Ø Ø ÒÓÙ ÔÖÓÔÙ ØÒÓ Ø Ý Ó ÐÓÙú Ð Ú ÖÓ ÔÓú Ú Ô Þ ÓÚ Ò Ø Ò Ð Ø Ò ÈÖÓ ÓÖ ÑÙ Ø ÓÔ Ò Ð ÚÒ Ô Ô Ò Ø Ñ Þ ÚÐ ÒÝ Ü ØÙ Ô Ð ÞÓÚ Ò Ö Ø ØÙÖÝ ÑÓúÒ Ô ÔÒÓÙØ ÓÒØ ÜØ Ú ÒÓÑ Ý ÐÙµ ÃÓÒØ ÜØÝ ÒÓØÐ Ú ÚÐ Ò ÑÓ ÓÙ Ó ÙÔÓÚ Ø Ò ØÖ Ú ÐÒ ÑÒÓú ØÚ Ø Ò úóú Ø Ø Ö Ø Ó ÚÝÒÙÓÚ Ø ÚÝõõ õ Ù Ô Ñ Ò Ø Ó Ô Ñ Ø Ì ÑØÓ Ô ØÙÔ Ñ ÑÓúÒ Ô Ú Ø ÔÖÓ Ð Ñ Ú Ð Ð Ø Ò Ò ÔÖÓ Ð Ñ Ò Ó Ø Ø Ò õ Ý Ô Ñ

47 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾¾» ¾ Ú ÖÞ ½º¼ ÐØ ÖÒ Ø ÚÒ Ô ØÙÔÝ Ó Ø Ð Ø Ò ÈÖ Ø Ò ÈÓú ÓÚ Ø Ø Ú Ô Ø Ù Ý ú Ù ÓÙ ÔÓØ ÝÐ ú Ú ÄÞ ÓÔØ Ñ Ð Þ ú Ò ÖÓÚÒ Ô Ð È Ð õ Ò Ô Ø Ò Ò ÓÖÑ Ù Ö Ñ ØÓ ÔÖÓ ÚÐ ØÒ ÚÔÓ Ø Ò Ô Ð Ó Ø Ò ¹Ð Ò ÓÖÑ Ó Ö ØÖÙ Ó ½¼ Ý Ð Ú Ø ÒØÓ Ö Ø Ò Ñ Ò Ð Ù ½¼ Ý Ð ÔÓÙú ص Æ ÐÞ ÓÔ Ò Ò Ø Úõ ÒÓ

48 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ Ë È Ö Ð Ð ÑÙ Þ ÔÓ Ð Ù ÔÖÓ Ö Ñ ØÓÖ

49 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ ÊÓÐ ÔÖÓ Ö Ñ ØÓÖ È Ö Ð Ð ÑÙ È Ö Ð ÐÒ ÓÙ ÑÓ Ø ØÒ Ò Þ Ú Ð ÐÓ ÈÖÓ Ö Ñ ØÓÖ Ô Ù È Ö Ð ÐÒ Ü ØÙ ÐÓ Ý Â ÚÞ ÑÒÓÙ ÒØ Ö Ê ÞÒ ÖÓÚÒ ÔÓ Ð Ù ú ÔÖÓ Ö Ñ Ò ÐÓ ú Ò ØÖÙ ÑÓ Ø ØÒ ÐÓ

50 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ È Ö Ð Ð ÑÙ Þ Ð ÇË ÇÔ Ö Ò Ý Ø Ñ ÑÙÐØ Ø Ò ÈÖÓ Ý Ó Ö Þ Ò Ú ÇË Ú Ú Ú ÖØÙ ÐÒ ÔÓ Ø ÎÐ Ò ÔÖÓ Ý Ú Ö Ñ ÔÖÓ Ù Ð ÔÖÓ ØÓÖ Ð Ý ÈÐ ÒÓÚ Ò È ÐÓÚ Ò ÔÖÓ Ø ÔÖÓ Ñ ÚÐ Ò Ñ ÈÖ ÑÔØ ÚÒ ÔÐ ÒÓÚ Ò Æ ÔÖ ÑÔØ ÚÒ ÓÓÔ Ö Ø ÚÒ µ ÔÐ ÒÓÚ Ò

51 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ È Ö Ð Ð ÑÙ Ò ÖÓÚÒ Ò ØÖÙ ÅÓúÒÓ Ø ÎÝ ÓÒ Ò Ò Ó Ú Ò ØÖÙ ËÁ»ÅÁµ ÇÔ ÖÙ ÒÓÙ Ò Ó Ú ØÓÚÑ ÒØ Ø Ñ Ë»Å µ ËÁË ËØ Ò Ö Ò ÔÓ Ð ÔÖÓ Ö Ñ ØÓÖ Ò ÒÓ ÚÐ ÒÓ ÚÔÓ ØÙ ÅÁÅ ËØ Ò Ö Ò ÔÓ Ð ÔÖÓ Ö Ñ ØÓÖ Ò ÚÔÓ ØÒ ÔÐ Ø ÓÖÑÙ Ó Ð ÅÙÐØ ÔÖÓ ÓÖÝ ÐÙ Ø ÖÝ

52 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ È Ö Ð Ð ÑÙ Ò ÖÓÚÒ Ò ØÖÙ ß ÔÓ Ö ÓÚ Ò ËÁÅ Â Ò ÓØÖÓÐÒ ÒÓØ ÓÚÐ Ù ÔÖÓ Ò ÒÓØ ÅÓúÒÓ Ø Ñ ÓÚ Ò ÒÓØÐ Ú ÔÓÐÓú ÒÓ»Ò µ ÅÓúÒÓ Ø Ð Ø ÚÒ Ó»ÔÓ Ñ Ò Ò Ó ÚÝ Ó ÒÓÓÚ Ò Ò úù Ú ÓÒµ ÁÒØ Ð ÅÅ ÓÔÖÓ ÓÖ ÑÙÐØ Ñ ÜØ Ò ÓÒµ Ö Ð Ö ØÓÖÝ È Ð ÓÙ Ø ÚÓÙ Ú ØÓÖ ú Ò ½º º Ð Òµ

53 ÅÓ ÐÝ ÒØ Ö Ô Ö Ð ÐÒ ÐÓ Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ Ë Ð Ò Ö ÓÚ ÔÖÓ ØÓÖ ÁÒØ Ö Ô ØÓÚ Ó ØÝ Ú Ð Ò Ñ ÔÖÓ ØÓÖÙ ËÝ Ø ÑÝ ÙÒ ÓÖÑÒ Ñ Ò ÙÒ ÓÖÑÒ Ñ Ô ØÙÔ Ñ Ø Ñ ÍÅ Ú º ÆÍÅ µ Ø Ò µ ÐÓ ÐÒ ÓÔ ß ÈÖ Ú ØÒ ÓÚ Ò µ Ö ÓÚ ÐÓ Ý È Ú Ò ÞÔÖ Ú ÈÓ Ð Ò ÞÔÖ Ú Ô ÜØ ÖÒ Ñ ÙÑ ËÝÒ ÖÓÒÒ» ÝÒ ÖÓÒ

54 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ ÃÓÑÙÒ Ú Ð Ò Ô Ñ Ø Ê ¹ÓÒÐÝ ÓÑÙÒ ÇÔ Ö ÓÙ Ò Þ Ú Ð ÑÓ ÓÙ ÔÖÓ Ø ÓÙ úò Æ Ò ÔÓØ ÜØ ÖÒ ÝÒ ÖÓÒ Þ Ý ÞÔ ØÒ Ú Þ Ê»ÛÖ Ø ÓÑÙÒ ØÝÔÙ ½ Æ ÈÖÓ Ð Ñ ÓÒÞ Ø Ò Ø Ò Ø Ò ÔÐ ØÒ Ñ Þ Ø Úݵ ÈÓØ ÝÒ ÖÓÒ Þ ÔÓ Ó Ù ÞÑ ÒÝ Þ Ö Ò Ø ÑÓúÒ ÑÙ Ø Ò ÙÑÓúÒ Ø Ø ÓÚ Ø Ò ÔÐ ØÒ Ø ÃÓ Ö Ò ÚÝÖÓÚÒ Ú Ô Ñ Ø Æ Ô Ð ÓÔ ÓÚ Ò Ò Ñ Ò Ó ÒÓØÝ Ê»ÛÖ Ø ÓÑÙÒ ØÝÔÙ Æ Å ÈÖÓ Ð Ñ ÓÙ úò Ó Þ Ô Ù ÆÙØÒÓ Ø ÚÞ ÑÒ Ó ÚÝÐÓÙ Ò

55 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¼» ¾ Ú ÖÞ ½º¼ ÃÓÑÙÒ Ú Ð Ò Ô Ñ Ø ß ÝÒ ÖÓÒ Þ ÅÓúÒ õ Ò ÝÒ ÖÓÒ Þ Æ Ò Ø Ò Ö ÞÓÚ Ò ú Ò ÀÏ ÔÓ ÔÓÖ õ Ò ÑÙ Ø Ó ØÛ ÖÓÚ ØÓÑ ÓÔ Ö Ì Ø Ò Ë Ø Ü Ò ÇÔ Ö ÚÝ ÓÒ Ò Ò ÔÖÓ ÓÖÙ Ø º Ò Ò úõ µ ÑÒ Ò ÔÖÓ Ú ÞÔÓú Ò Ñ Æ Ó Ø Ø Ò ËÔÖ ÚÒ õ Ò ÝÒ ÖÓÒ Þ ÑÝ Ò Ð ØÓÚ ØÝ ÖÒ µ ÚÝÐ Ø Ô Ó Ù ÑÖ Ò Ý ÐÝ ÔÖÓ ÓÖ Ò Ò Ö

56 ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ Ë Ð Ò Ô Ñ Ð Ò Ö ÓÚ ÔÖÓ ØÓÖ Ö Ø ØÙÖ Ð ÒÓÙ Ô Ñ Ø Ë Ö ¹Ñ ÑÓÖÝ Ö Ø ØÙÖ µ Ç ÞÙ Ò ÝÞ Ù ÔÓ Ò ÔÐ Ø ÓÖÑÝ Ë Ð Ò Ö ÓÚ ÔÖÓ ØÓÖ Ë Ö ¹ Ö ¹ Ô µ Ç ÞÙ Ò ÐÓ Ù ÔÓ Ò ÔÐ Ø ÓÖÑÝ ÈÖÓ Ø Ý ÔÖÓ Ö Ñ ØÓÖ ÓÔ ÒÅÈ ÑÙ ÔÓ Ó Ò Ö Ø ÚÝ Ò ÖÓÚÒ Þ ÖÓ ÓÚ Ó Ù Ò Ô Ð Ô Ö Ð ÐÒ Ô Ð Ò Ð Ù Ý ÐÙ ÈÇËÁ Ø Ö ÔÖÓ Ö Ñ ØÓÖ ÈÁ Ò ÚÝØÚ Ò ÔÖ ÚÙ ÚÐ Ò

57 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ È Ú Ò ÞÔÖ Ú ÈÖ Ò Ô ÈÐ Ø ÓÖÑ ØÚÓ Ò Ô ÔÖÓ Ò Ñ ÒÓØ Ñ Å ÒÓÞÒ Ò ÚÞ ÑÒ ÞÒ Ñ ÒØ ØÓÖÝ ÈÖÓ Ò ÒÓØ Ý ÓÑÙÒ Ù ÔÓÑÓ ÞÔÖ Ú Ð Ò ÔÖ Ñ Ø Ú ÓÙ Ó Ð Ò Ô ÑÙØ ÞÔÖ ÚÝ ÔÖ Ú ÌÚÓ Ò ÔÓÐÓú Ñ Ö Ø ÔÓÚ ÒÒ µ Ø Ó Ð Ø Ð Ø ÐÓ Ü ØÙ Ñ ÑÓ Ö ÓÚ ÔÖÓ ØÓÖ Ó Ð Ø Ð Ö Ø È Ñ ÓÑÙÒ Ò Ó Ñ

58 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ÈÖÓ Ø Ý ÔÖÓ Ö Ñ ØÓÖ ÈÖÓ Ö Ñ ØÓÖ ÔÖÓ Ø Ý ÅÈÁ Ø Ò Ö Ó ØÝ Ì È»Áȵ ÈÓÞÒ Ñ ÃÓÑÙÒ Ô Ú Ò ÞÔÖ Ú Ò ÚÝÒÙÙ ÒÙØÒ Ö Ø ØÙÖÙ Ò Ð ÒÑ Ö ÓÚÑ ÔÖÓ ØÓÖ Ñ

59 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ÃÓÑ Ò Îõ ÒÝ ÓÑ Ò ÓÙ ÑÓúÒ Ü ØÙ Ö Ø ØÙÖÝ Ð ÒÓÙ Ô Ñ Ø Ð ÒÑ Ö ÓÚÑ ÔÖÓ ØÓÖ Ñ Ð ÒÓÙ Ô Ñ Ø Ô Ú Ò Ñ ÞÔÖ Ú ØÖ ÙÓÚ ÒÓÙ Ô Ñ Ø Ô Ú Ò Ñ ÞÔÖ Ú ØÖ ÙÓÚ ÒÓÙ Ô Ñ Ø Ð ÒÑ Ö ÓÚÑ ÔÖÓ ØÓÖ Ñ

60 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ë ÎÒ Ø Ò Ù ÔÓ Ò Ô Ö Ð ÐÒ ÔÐ Ø ÓÖ Ñ

61 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Á ÐÒ Ô Ö ÐÐ ÐÒ ÔÓ Ø Ì ÓÖ Ø ÑÓ Ð ÔÓ Ø Ê Å ¹ Ê Ò ÓÑ Å Ò ÈÊ Å ¹ È Ö ÐÐ Ð Ê Ò ÓÑ Å Ò ÈÊ Å Ô ÝÒ ÖÓÒÒ ÔÖÓ ÓÖ ÐÓ ÐÒ ÙÒ ÓÖÑÒ Ô ØÙÔÒ Ô Ñ ÈÖÓ Ð Ñ Ô ØÙÔÙ ÒÓÑÙ Ñ ØÙ Ú Ô Ñ Ø Ü ÐÙÞ ÚÒ ÓÙ úò Ñ ØÝÔÝ ÈÊ Å Ê Ï Ê Ï Ê Ï Ê Ï

62 ÈÊ Å Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ÈÖÓ Ð Ñ Ø ÓÔ Ö Ï õ Ò ÔÓ Ð ÔÖÓØÓ ÓÐ ÓÑÑÓÒ Ï ÙÑÓúÒ Ò ÔÓÙÞ ÔÓ Ù Þ Ô ÓÚ Ò Ó ÒÓØ Ó Ò Ö ØÖ ÖÝ Ò Þ Ô Ù Ô Ó Ø ØÒ ÐúÓÙ ÈÖ ÓÖ ØÝ Ù Ô ÔÖÓ ÓÖ Ò Ú Øõ ÔÖ ÓÖ ØÓÙ ËÙÑ Ú Ð Ò Ó ÒÓØ ÓÙ Ø Þ Ô ÓÚ Ò Ó ÒÓØ È ØÙÔ Ó Ô Ñ Ø Ê Ï Å Ô Ñ ÓÚ Ñ Ø È ÔÖÓ ÓÖ Å È ÝÒ ÖÓÒ ÞÓÚ Ò ØÓÚ Ô Ô Ò ÔÖ Ø Ý Ò Ö Ð ÞÓÚ Ø ÐÒ Â ÓÙ Ò ÑÓúÒÓ Ø ÔÓ Ò ØÝ ÔÖÓ ÓÖ ß Ô Ñ Ø

63 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ËÔÓ Ù Ø ÁÒØ ÖÓÒÒ Ø Ò Ò ØÛÓÖ µ Å Ò ÑÙ ÔÖÓ Ô ÒÓ Ø Ñ Þ ÔÖÓ Ò Ñ ÒÓØ Ñ ÙÞÐÝ ÔÖÓ ÓÖݵ ÚÞ ÑÒ ÔÖÓ Ò Ñ ÒÓØ Ñ Ô Ñ Ø Ð ¹ ÓÜ Ò Ð ÔÖÓ Ø ÔÓ Ò Æ Ú ØÙÔ Å Ú ØÙÔ ÔÓ Ò ÚÝ ÞÙ Ö ÞÒ Ô Ö Ñ ØÖÝ Ð Ø Ò ÔÖÓÔÙ ØÒÓ Ø ÖÓ Ù ØÒÓ Ø ÞÔ ÒÓ Ø ÃÐ Ø ËØ Ø Ø Ð Ð Ò Ý Ó Ú ØÙÔÒ Ó Ú ØÙÔÒ ÑÙ Ó Ù Úõ ÒÝ ÙÞÐÝ ÓÙ ÔÖÓ Ò ÝÒ Ñ Ð Ò Ý Ô Ô Ò Ñ Û Ø µº

64 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ÎÐ ØÒÓ Ø Ø ÈÖ Ñ Ö Å Ü ÑÙÑ Þ Ò Ö Øõ ÚÞ Ð ÒÓ Ø Ñ Þ Ú Ñ ÔÖÓ Ò Ñ ÙÞÐÝ ÃÓÒ Ø Ú Ø» õ Ô Ñ ËØÙÔ Ò Å Ò ÑÙÑ Þ ÔÓ ØÙ ÙÒ ØÒ Ø Ñ Þ Ú Ñ ÔÖÓ Ò Ñ ÙÞÐÝ Å Ò Ñ ÐÒ ÔÓ Ø Ð Ò ú Ó ØÖ Ò Ò Ú ÖÓÞ Ð Ò Ø Ò Ú Ò ÔÓ Ò Ø Å Ü Ñ ÐÒ ÔÓ Ø Ð Ò ÔÓ Ò Ò Ñ ÙÞÐ Ñ ÈÓ Ø Ð Ò ÚÞ Ð Ñ ÔÓ ØÙ ÔÖÓ Ò ÙÞÐ ÈÓ Ø ÚÒ Ø Ò ÙÞÐ Ø ËÐÓú ØÓ Ø Ô Ô Ò

65 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¼» ¾ Ú ÖÞ ½º¼ Ë ÓÚ ØÓÔÓÐÓ Ê ÞÒ ØÓÔÓÐÓ Ú Ó Ò ÔÖÓ Ö ÞÒ Ðݺ È ÚÓÐ ØÓÔÓÐÓ ÞÓ Ð Ù Ò Î ÓÒ ÈÖ Ñ Ö Ä Ø Ò µ ÃÓÒ Ø Ú Ø ÈÖÓÔÙ ØÒÓ Øµ ÐÓ Ó Ù»Ò ÐÓ Ù Ô ÒÓ ÊÓ Ù ØÒÓ Ø ÞÔ ÒÓ Ø Ë ÓÔÒÓ Ø Ø ÚÒ Ó ÖÓ ØÙ Å Ø Ó ÊÓÞõ Ø ÐÒÓ Ø ÃÓÑÔ Ø Ð Ø Ô ÓÞ Ú ÖÞ

66 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ Ë ÖÒ Ë Ð Ò Ñ ÙÑ ÎÐ ØÒÓ Ø Ò õ ÐÙ Ð Ò ÖÒ Ú ÔÓ ØÙ Ô ÔÓ Ò ÙÞÐ ÎÞ Ð ÒÓ Ø Úõ ÓÒ Ø ÒØÒ ÈÖÓÔÙ ØÒÓ Ø Ð ÔÓ Ø Ñ ÙÞÐ ÈÖÓÔÙ ØÒÓ Ø ÖÒ ÐÞ ÞÚõ Ø ÐÓ ÐÒ Ñ Î Ó Ò ÔÖÓ ÖÓ Ø ËØÙÔ ÙÞÐ ½ ËØÙÔ ÖÒ Æ ÌÝÔ ÔÓÙú Ø È Ã ÐÓÚ Ø Ø ÖÒ Ø ØÓÖ µ

67 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ È Ô Ò Ò úóú Ø ÖÓ Öµ ÈÖ Ú ØÒ ÔÓ Ò Å Ò Æ ÙÞÐ ÔÓÙú Ø Ñ ÅÜÆ Ô Ô Ò ÎÐ ØÒÓ Ø Ò Ú Ö Ø Ý Ú Å Æ ÎÞ Ð ÒÓ Ø Úõ ÓÒ Ø ÒØÒ ÎÞ ÑÒ Ò ÐÓ Ù ÔÓ Ò Ç Ø úò ÖÓÞõ Ø ÐÒ Ð õ ÐÓÚ Ø ÐÒ ÖÓ Ø Ò ÒÓ Ö Ð ÞÓÚ Ø ÐÒ ÌÝÔ ÔÓÙú Ø Ñ ÖÓÔÖÓ ÓÖÝ

68 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Î ÚÖ ØÚ Ø ÑÙÐØ Ø µ Ê Ð ÞÙ ÔÓ Ò Æ Ò Å ÔÓÑÓ Ò ÓÐ ÚÞ ÑÒ ÔÖÓÔÓ Ò ÐÓ ÚÖ Ø Ú ÎÐ ØÒÓ Ø ÃÓÑÔÖÓÑ Ñ Þ ÖÒ úóúñ Ø Ñ ÄÓ ÚÖØÚÝ ØÚÓ ÒÝ Ô Ô Ò Ñ ÐÓ Ù ÌÝÔ ÔÓÙú Ø Ñ ÖÓÔÖÓ ÓÖÝ

69 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Î ÚÖ ØÚ Ø ß Ô Ð ÇÑ ÐÓ Æ ÚÖ Ø Ú ÔÖÓÔÓ Ò Ð Ô Ö Ø Ù ÓÔ Ö Ô Ö Ø Ù ÔÓ Ò Þ ¹Ø ÔÓÞ Ò ¹ØÓÙ Ú Ò Ð Ù ÚÖ ØÚ ¾ ¼ Æ ¾µ Ò Ó ¾ ½ Æ Æ ¾ Ƶ ÀÏ Ö Ð Þ ÚÔÓ ØÙ ÚÖ ØÚÝ Ö Ð ÞÓÚ ÒÝ úóúñ Ô Ô Ò Ø Ú Ò Ó Ø Ú Ü Þ Ò Ø Ñ ÐÓÚ Ö Ý Ò Ø Ò ÔÓÞ Ó ÐÓ ÚÖ ØÚÝ ÓÑ ÔÖÓ Ü ÔÖ Ñ Ö Ø Ç ÐÓ Æµ

70 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ÃÐ Ý ÈÖ Ú ØÒ ÔÓ Ò ú Ó ú Ñ ÎÐ ØÒÓ Ø Ò ÔÓ Ø Ð Ò Ú Ö Ø Ú Æ Ò ØÙÔ ú Ó ÙÞÐÙ Æ ½ Ä Ò Ý Ò ÐÓ Ù ÖÓ Ø Ö Ð ÞÓÚ Ø ÐÒ ÐÓÚ Ø ÐÒ Þ ÔÓ Ñ Ò Ý ÞÚÝõÓÚ Ò ØÙÔÒ ÙÞÐÙ ÌÝÔ ÔÓÙú Ø ØÖ ØÒ Ô Ø Ú Ø

71 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ÀÚ Þ ËÔÓ Ò Ô Ò ÒØÖ ÐÒ Ô Ô Ò ÎÐ ØÒÓ Ø ÈÓ Ó Ò ÖÒ ËØ ÓÚ Ô Ô Ò Þ Ñ ØÓ Î ÓÒ õ ÐÙ Ð ÒØÖ ÐÒ Ó Ô Ô Ò ÄÞ Ö Ö Ý ÚÖ ØÚ Ø Ú Þ Ú Þ µ ÌÝÔ ÔÓÙú Ø Ø ÖÒ Ø

72 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ë Ø Ú ØÚ ÖÙ Ø Ñ µ ÈÖÓÔÓ Ò Æ ÙÞÐ ÔÖ Ñ Ö Ñ Ø Ô Æ Ñ ÒÞ ½ Ø Þµ ¾ Ñ ú µ ß Î Ö ÒØÝ ÇØ Ú Ò ÍÞ Ú Ò ÎÐ ØÒÓ Ø Ë Ø Ñ ÖÓÙØÓÚ Ô Ô Ò Ò Ó ÙÞÐÝ Ô ÔÓ Ð ÞÔÖ ÚÝ Ã ú ÙÞ Ð»Ô Ô Ò Ñ ØÙÔ ¾ ÈÓ Ø Ð Ò Ç Æµ Ò Þ Ú Ð Ó ÐÓú ØÓ Ø Ô Ô Ò ÐÓ Ù ÙÞ Ð ÚÝõÐ»Ó Öú Ñ Üº ¾ ÞÔÖ Ú Ò ÒÓÙµ ÌÝÔ ÔÓÙú Ø ÔÖ Ø Ò Ú ËÏ ÔÖØÓ ÓÐ Ò Ø ÓÖ

73 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ÀÝÔ Ö Ó Ø Ý ËÔÓ Ò Ú ØÚ ÖÙ Ò¹ÖÓÞÑ ÖÒ ÖÝ Ð ÎÐ ØÒÓ Ø ÍÞ Ð Ñ ØÙÔ ÐÓ Æ µ ÔÓÖØ ÈÓ Ø Ð Ò Ç Æ ÐÓ Æ µµ ÈÖ Ñ Ö Ø ÐÓ Æ µ ÈÓ ØÙÔ ÓÒ ØÖÙ Ò ÖÒ ÓÞÒ Ò ÙÞÐ Ð Ò Ñ Þ ÙÞÐÝ ÔÓ Ù Ð õ Ú ÒÓÑ ØÙ Ñ Ò Ñ ÐÒ ÚÞ Ð ÒÓ Ø ÔÓ Ø Ó Ð õò Ø ÌÝÔ ÔÓÙú Ø Ø Ð ÓÑÙÒ Ô Ø Ò Ø µ

74 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ ËØÖÓÑÝ Ë Ú ØÚ ÖÙ ¹ ÖÒ Ó ØÖÓÑÙ ÎÐ ØÒÓ Ø Ë Ø Ñ ÖÓÙØÓÚ Ô Ô Ò Ò Ó ÙÞÐÝ Ô ÔÓ Ð ÞÔÖ ÚÝ Å Þ Ö ÞÒÑ Ð ØÝ ØÖÓÑÙ ÔÖ Ú ÒÓ ÔÓ Ò ËÒ Ò ÖÓÙØÓÚ Ò ÚÞ Ð ÒÓ Ø Ç ÐÓ Æµµ Î ÓÒ Ò ÒÓ Ù Ð Ò Ý ØÙ Ò Ð Ò Ý ß ÔÖÓÔÙ ØÒÓ Ø Ð Ò Ý ÑÙ Ø Ú Øõ ÓÙ Ø ÔÖÓÔÙ ØÒÓ Ø Ð Ò ÔÓ ÖÙú Ò Ð Ø ÔÓ Ø ÚÒ Ø Ò ÙÞÐ ØÖÓÑÙ Ó Ö Ò Ò ÔÓ Ø Ñ ÙÞÐ ØÙÔ ÙÞÐ ÓÒ Ø ÒØÒ ËÒ ÒÓ ÖÓÞõ Ø ÐÒ

75 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¼» ¾ Ú ÖÞ ½º¼ È Ð Ý ÔÓ Ò ÔÖÓ ÓÖ ß Ô Ñ Ø ÅÙÐØ ÔÖÓ ÓÖÓÚ Ý Ø ÑÝ ÅÙÐØ ÓÖ ÔÖÓ ÓÖÝ ÅÙÐØ ÔÖÓ ÓÖÓÚ Ý Ø ÑÝ ÑÙÐØ ÓÖ ÔÖÓ ÓÖÝ Å ÚÒ Ô Ö ÐÐ ÐÒ ÔÐ Ø ÓÖÑÝ ÐÙ Ò»Ä

76 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ Ó Ö Ò ÃÓÒ Ø Ò ÐÓ ÐÒ ÓÔ Ô Ñ Ø ÒÓØÐ Ú ÔÖÓ Ò ÒÓØ Ú Ý Ø ÑÙ Ú ÔÖÓ Ò Ñ Ò ÓØ Ñ º ÈÖÓ Ð Ñ Ô Ò ÚÔÓ ØÒ ÓØ Ý Ó Ó Ô Ñ Ø Þ Ø Ú Ò Ú Ø ÐÒ ÔÖÓ Ó Ø ØÒ ÒÓØ Ý ÔÓ Ù ØÙØÓ Ó Ð Ø Ô Ñ Ø Ñ Ú º ÈÓ Ù ÓØ Ò Ó Ð Ø Ú Ò ÒÓØ Ý Ñ ú Ó Ø Ô ÞÔ ØÒ Ñ Þ Ô Ù Þ Ø ØÓ ÞØÖ Ø ÙÐÓú Ò Ò ÓÖÑ º

77 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ Ó Ö Ò ß ÑÓúÒ õ Ò ÈÖ Ò Ô Ã ú ÓÔ Ø Ñ Ô ÞÒ Þ ÔÐ ØÒ Ò ÓÐ Ú ËÔÖ Ú Ô ÞÒ Ù ÔÓÑÓ Ò Ð ÒÚ Ð Ø ÙÔ Ø ÍÔ Ø ÔÖÓØÓ ÓÐÝ È ÞÑ Ò Ø Ú Ò ÓÔ ÞÑ Ò Ò ÔÖÓÔ Ù Ó Ó Ø ØÒ ÓÔ Ò ÖÙ Ò ÝØ ÒÓÙ Þ Ø ú Ò ØÓÚÓÙ ØÙ Ò Ó Ø Þ Ø Ú Ú Ð Ò ú ÓÙ ÔÓÙú Ú Ò ÁÒÚ Ð Ø ÔÖÓØÓ ÓÐÝ È ÞÑ Ò Ø ÞÒ ÔÐ ØÒ Ó ÒÓØ Ú Ó Ø ØÒ ÓÔ Î Ô Ô Ô ØÙÔÙ Ò ÔÐ ØÒ Ó ÒÓØ Ø ØÓ Ó ÒÓØ ÑÙ ÞÒÓÚÙ Þ Ø ÔÐ ØÒ Ó ÒÓØ

78 Ó Ö Ò ß ¹ Ø ÚÓÚ ÑÓ Ð ÔÐ ØÒÓ Ø Ø Ë Ö Ó ÒÓØ ÔÐ ØÒ Ð ÔÓ Ú ÚÓÙ ÓÔ Ø Ò Ò Ñ Ò Ø Ú Ô ÐÓ ÐÒ ÖØÝ Ó Ø ØÒ ÒÚ Ð ÁÒÚ Ð Ó ÒÓØ Ò ÔÐ ØÒ Ø Ò ÒÙØÒÓ Ø Þ Ø ÔÐ ØÒÓÙ ÓÔ Ø Ò ÐÓ ÐÒ ÓÔ Ô Ô Ò ÖØÝ Ø ÒÓÙ Ö Ô ÐÓ ÐÒ ÖØÝ Ó Ø ØÒ ÒÚ Ð ÖØÝ Ò ÔÐ ØÒ ÓÔ Ó ÒÓØÝ Ø Ò Ò Ñ Ò Ø Ú Ô Ò Ñ Ò Ø Ú ÎÝÐ Ø ÐÓ ÐÒ ÒÚ Ð ÓÔ Ú Ð ÚÒ Ô Ñ Ø ÖØÝ Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼

79 ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ó Ö Ò ß Ò ÔÐ ØÒ Ð Ò Ð Ö Ò µ È ÔÓ Ð Ê ÞÒ ÔÖÓ ÓÖÝ ÑÓ Ù Ö ÞÒ Ó ÒÓØÝ Ú ÒÓÑ Ù Ó Ö Ò ÔÖÓØÓ ÓÐ ÔÖ Ù ÐÑ Ý ÈÖÓ Ð Ñ ÍÔ Ø ÔÖÓØÓ ÓÐÝ Ñ ú ÞÔ Ó Ø ÞØÖ ØÙ ÖÙ ÔÐ ØÒ Ó ÒÓØÝ Ú ÖÙ ÁÒÚ Ð Ø ÔÖÓØÓ ÓÐÝ Ò Ù Ø Ð ÔÙØÙ Þ Ò ÐÓ ÐÒ ÓÔ Ó ÖÙ Ø Ó Þ Þ Ô Ñ Ó ÒÓØÐ Ú Ó ÒÓØ

80 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ó Ö Ò ß ÒÓÓÔÝ Ý Ø ÑÝ ÈÖ Ò Ô Ø Ú ÐÓ ÐÒ ÓÔ Ñ Ø ÙÖ Ù Ø ØÙ Æ Ù Ø Ð ÑÓÒ ØÓÖÓÚ Ò Ø ØÓÚ Ø Ç ÔÓ ÐÓÙ Ú Ò ØÓÚ ØÖ Ò Ó Ø ØÒ ÒÓÓÔÝ ÔÖÓØÓ ÓÐ ÈÓú Ú Ò Ò Ø Ò Ó ÒÓØÝ Þ Ô Ñ Ø Ù ÔÓ Ó Ò ÖØÝ Ó ÒÓØÓÙ Þ ÐÓ ÐÒ ÓÔ È Þ Ô Ù Ó ÒÓØÝ Ó Ô Ñ Ø ÐÓ ÐÒ ÓÔ Ú Ø Ò Ò ÔÐ ØÒÓÙ ÇÑ Þ Ò ÎÝú Ù Ý Ø ÑÝ ÖÓ Ø Ø Ñ ÖÒ µ Ë ÓÔÒÓ Ø ÓÒØÖÓÐÝ ÔÓ Ò

81 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ó Ö Ò ß Ö ÈÖ Ò Ô Ã ú Ó ÒÓØ Ú Ô Ñ Ø Ù ÖúÙ Ò ÓÖÑ Ú Ø Ö ÐÓ ÐÒ ÓÔ µ Ò Þ Ø Ö Ô ØÙ ¹ Ø ÚÓÚ ÑÓ Ð È ØÖ Ò Ô ÖØ ÔÙ ÔÓÙÞ ØÝ ÔÖÓ Ò ÒÓØÐ Ý ú ÐÓ ÐÒ ÓÔ Ø Ó Ù Ö Ð Ú ÒØÒ Ø Ô Ñ Ø ÇÑ Þ Ò Ú Ó Ý ÅÒÓ Ó ØÖ Ò Þ Ø Ú Þ Ð ÐÓ ÐÒ Å Ò Ñ Ð ÞÙ ØÖ Ò ÞÔ Ó Ò Ó Ö Ò ÔÖÓØÓ ÓÐ Ñ Æ ÚÝú Ù ØÓÚÓÙ ØÙ ÔÓ ÔÓÖÙ Ø ÚÒ Úõ Ñ ÖÓÚ ÚÝ Ð Ò Æ ØÖ Ú ÐÒ Ô Ñ ÓÚ Ö ú Þ Ú Ð Ò ÔÓ ØÙ ÔÖÓ ÓÖ Ú Øõ Ò ØÓÑ ÐÓ Ò ú Ö ú ÚÝõÙ ÔÓ Ð Ò ÔÐ ØÒ Ð Ò ÔÓÐÓú Ð Ö Ò µ

82 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ó Ö Ò ß ØÖ ÙÓÚ Ò Ö ÈÖÓ Ð Ñ ÈÖÓØÓ ÓÐ Ö Ñ ÚÝú Ù ÒØÖ ÐÒ Ñ ØÓ ÔÖÓ Ó ÙÐÓú Ò Æ Ú Ó Ò ÔÖÓ Ý Ø ÑÝ ØÖ ÙÓÚ ÒÓÙ Ô Ñ Ø Î Ö ÒØ ÔÖÓØÓ ÓÐ ØÖ ÙÓÚ ÒÑ Ö Ñ Ö ÓÚ ÔÖÓ ØÓÖ ÐÓ Ý ÖÓÞ Ð Ò Ò Ø Ã ú Ø Ù ÖúÙ Ú ÚÐ ØÒ Ö Î Ó Ý ÓÑ Þ Ò È Ö Ð ÐÒ ÔÖÓØÓ ÓÐÙ ÔÖÓ Ù ÖúÓÚ Ò Ó Ö Ò ÐÓÚ Ø ÐÒ Î ÓÒ ÐÒ Þ Ú Ð Ó ÚÐ ØÒÓ Ø ÔÓ Ù Ø

83 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ë Ò ÓÑÙÒ

84 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ò ÓÑÙÒ Â Ò Þ Ð ÓÚ ØÓÖ ÓÚÐ Ú Ù Ú ÓÒ ÔÐ Ê ú Ô Ö Ð ÐÒ ÔÖÓ Ö Ñ Ú Ð Ó ØÝÔÙ ÓÑÙÒ È Ú Ò ÞÔÖ Ú Ë Ð Ò Ö ÓÚ ÔÖÓ ØÓÖ

85 Ò ÓÑÙÒ ß Ô Ú Ò ÞÔÖ Ú Ò Ò Ð Þ Ð ÓÚ Ò ÔÖÓ Þ Ò ÓÑÙÒ Ø ÔÖÓ Ô ÔÖ ÚÙ ÞÔÖ ÚÝ ÖÓÙØÓÚ Ò Ò ØÝ Þ Ô Ñ Ø Ò ÓÚ ÖÓÞ Ö Ò Ò ÓÔ Ô ÔÓ Ð Ò ÙÚÒ Ø Ø µ ØÖ Ú Ò Ò ÒÓØÐ Ú ÖÓÙØ Ö ÔÓ Ø Ó ÔÓ Ø ÖÓÙ ÔÙØÙ Ð Ú ÞÔÖ ÚÝ Þ Ô Ñ Ó ÔÓÖØÙ Ò Ó Ð Ò Ø Ò ÑÓØÒ Ó Ô ÒÓ Ù Ò Þ Ô ÒÓ ÒÓ Ó ÐÓÚ ÛÓÖ ¾ Øݵ ÇÚÐ ÚÒ ÒÓ õ ÓÙ Ô Ñ Ö Ø Û ½ Ö Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¼» ¾ Ú ÖÞ ½º¼

86 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ Ò ÓÑÙÒ ß Ô Ú Ò ÞÔÖ Ú ß Ô ÔÓ Ð Ò ÍÐÓú Ô ÔÓõÐ ÔÖ Ú Ò ÔÖÚ Ð Ô Ø ÔÓØ Ó Ð Ó Ð Ò È ØÓÚ Ò ÔÖ Ú ÖÓÞ ÓÙ ÓÚ Ò Ò Ô ØÝ È ØÝ ÓÚ Ó Ñ Ð ÔÐÒÓ Ó ÒÓØÒ ÞÔÖ ÚÝ Ê ú Ø Ò Ó Ù ÙÐÓú Ô ÔÓõÐ Ä Ôõ ÚÝÙú Ø Ð Ò Ô Ø Ô ÔÓ Ð Ò Ú Ò ú Ó ÚÝ Ð Ò Ð ÞÔÖ Ú µ ÌÅ Ø ËÔÓ ÓÚ Ò ÔÓ Ò Ö Þ ÖÚ Ô Ñ ÐÓ µ È ØÝ ÓÒ Ø ÒØÒ Ú Ð Ó Ø Ø µ Ç ÐÙ Ô Ø Ú ÀÏ µ Ø ¼

87 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ Ò ÓÑÙÒ ß Ô Ú Ò ÞÔÖ Ú ß Ò Ñ Ð ß Ð ÞÔÖ ÚÝ Ú ÐÓÚ ß ÔÓ Ø Ð Ò Ô Ø Ö ÞÔÖ Ú ÔÙØÙ ÍÐÓú Ô ÔÓõÐ Ø Ð Ø ÑØ Û µ È ØÓÚ Ò ÑØ Û½ ß Ò Ô ÚÓ Ù Ò Ô ØÝ Ö ß Ö ú Ô ØÙ Ò Ò Ð Ö Ô ÚÓ Ò ÞÔÖ ÚÝ Ñ ÐØ Ø Û Ö µ ß Ó ØÝ ½º Ô ØÙ Ñ Ö ½µØ Û Ö µ ß Ô Ñ Þ Ú Ô Ø Ø ÑØ Û½ ÐØ Ñ ÖµØ Û Ö µ ÌÅ Ø Ø ÐØ ÑØ Û

88 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ò ÓÑÙÒ ß Ô Ú Ò ÞÔÖ Ú ß Þ ÒÓ Ùõ Ò ÑÓ Ð Ò ÓÑÙÒ Ø ÐØ ÑØ Û Å ØÓ Ý Ö Ù ÒÝ ËÔÓ ÓÚ Ò Ñ Ð ÞÔÖ Ú Ö Ù Ù ÔÖ Ñ ÖÒÓÙ Ó ÒÓØÙ Ø µ Å Ò Ñ Ð Þ Ô Ò õ Ò Ó Ó Ñ٠ѵ Å Ò Ñ Ð Þ ÚÞ Ð ÒÓ Ø Ðµ ÒÓ Ùõ Ò ÑÓ Ð ÐØ Ú ÔÖ Ü Ò ÓÚÐ ÚÒ Ø ÐÒ ÐØ Ú ÑÓ ÖÒ Ñ ÀÏ Þ Ò Ø ÐÒ ÐØ Ø Ñ Úú Ý Ô Ú ú ÒÓ Ó ÒÓØÓÙ Ø Ø ÑØ Û Ð Ø Ò Ø ÚÒ õ Ô Ñ ØÖÓÑ Ü ØÙ Ò ØÖÓѵ

89 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ò ÓÑÙÒ ß Ð Ò Öº ÔÖÓ ØÓÖ Æ ÓÚÐ ÚÒ Ø ÐÒ ÓÚÐ Ú Ù ØÓÖÝ ÊÓÞÐÓú Ò Ô Ñ Ø ÔÓ Ù Ø Ô Ñ Ø Ú Ð Ó Ø ÚÝ ÞÓÚ Ò ÐÓ Ð Ø º º º µ ÈÖÓØÓ ÓÐÝ Ó Ö Ò Ð õò Ð Ò ÈÖ Ø Ò Ë Ð Ò ÀÏ ÇË ÒÑ ÔÐ Ñ ÅÓ Ð Ç Ò ÑÓ Ð Ò Ü ØÙ Ø ÑØÛ Ó Ö Ó

90 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ë Ì Ò Ý Ñ ÔÓÚ Ò

91 Å ÔÓÚ Ò ß ÑÓØ Ú Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Ì Ò Ô Þ Ò ÙÞÐÙ Ò Ø ÙÞ Ð Ú Ò Ø º ÅÓØ Ú Ð ÓÖ ØÑÝ ÑÓ ÓÙ Ú Ò Ø ÚÝ ÞÓÚ Ø Ð Ôõ Ú ÓÒ Ñ ÔÓÚ Ò ÐÞ Ó ÚÓ Ø Ñ ÖÙ Ö Ú ÓÒÙ Ð ÓÖ ØÑÙ Ô ÔÓÙú Ø Ð ÓÖ ØÑÙ Ò ÔÐ Ø ÓÖÑ ÒÑ ØÝÔ Ñ ÔÓ Ù Ø È Ð Â ÖÓÞõ Ø ÞÔÖ ÚÙ Þ ÒÓ Ó ÔÖÓ Ò Ó ÙÞÐÙ Ñ Þ Úõ ÒÝ ÙÞÐÝ Ú ÔÐÒ Ø Þ Úõ Ñ ÖÓÚ Ó ÚÝ Ð Ò

92 Å ÔÓÚ Ò ß Ñ ÔÓÚ Ò Ö Ó Ò Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Î µ ³ γ ³µ ÃÓÒ Ñ Ü Ñ ÐÒ ÔÓ Ø Ö Ò Ñ ÔÓÚ Ò Ò ÒÙ Ö ÒÙ ÓÚÐ Ú Ù Ñ ÖÙ Ö Ò úù Ø ÚÒ õ Ù Ô Ñ Ð Ø Ñ Ü Ñ ÐÒ ÔÓ Ø Ö Ò Ò Ø Ö Ñ ÔÙ Ò Ö Ò ÓÔ ÓÒ Ñ ú ÞÚõ Ø Ø ÚÒ õ Ù Ô Ñ ÜÔ ÒÞ ÔÓÑ Ö ÚÖ ÓÐ Ú Î Î ¼

93 Å ÔÓÚ Ò ß Ð Ò ÖÒ ÔÓÐ Ó ÝÔ Ö Ó Ø Ý Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Î ØÙԻΠØÙÔ Ä Ò ÖÒ ÔÓÐ ¾ ÙÞÐÝ ÓÞÒ ÒÑ Ó ¼ Ó ¾ ½ ¹ Ñ ÒÞ ÓÒ ÐÒ ÝÔ Ö Ó Ø Ò ÖÒ ÞÖ Ð Ò õ Ò ÖÝ Ö Ø Ö Ý Ó µ ¼ ½µ ¼ ½ ½µ ½ ÔÖÓ ¾ Ü Å ØÓ Ü ½µ ܵ ¾ Ü ¾ Ü ½ ½ ܵ ÔÖÓ ¾ Ü µ µ ½ µ Ð õ Ú Ò ÓÑ ØÙ ÝÔ Ö Ó Ø µ Ð Ø ÓÒ Ñ ÔÓÚ Ò ½

94 Å ÔÓÚ Ò ß Ø Ó ÝÔ Ö Ó Ø Ý Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº» ¾ Ú ÖÞ ½º¼ Î ØÙԻΠØÙÔ ÍÞ Ú Ò µ Ú Ð Ó Ø ¾ Ö ¾ Ö ¹ Ñ ÒÞ ÓÒ ÐÒ ÝÔ Ö Ó Ø Å ØÓ È Ð µ Ö ½µ ½µ Ó ÔÓÚ Þ Ø Þ Ò Ò ÖÒ µ Ý ÓÙ Ò ÚÖ ÓÐ Ú Ø Ð õ Ú Ò ÓÑ ØÙ Ð Ø ÓÒ ½ Ö Ð Ø Ñ ÔÓÚ Ò Ø Ó ¾Ü ÙÞÐ Ò ÖÝ Ðݺ

95 Å ÔÓÚ Ò ß Ø Ó Ð Ò ÖÒ Ó ÔÓÐ Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¼» ¾ Ú ÖÞ ½º¼ Î ØÙԻΠØÙÔ Ë Ó Ú Ð Ó Ø Ò ½ Ò ¾ Ò Ä Ò ÖÒ ÔÓÐ Ò ½ Ò ¾ Ò ÚÖ ÓÐÝ Å ØÓ ÁÒÚ ÖÒÞ Ñ ÔÓÚ Ò ÔÓÐ Ó Ø µ ÙÖ ÚÞØ ÚÖ ÓÐ Ç ÚÓ Ñ ÔÓÚ Ò Ò Ö Ò ÃÓÒ ÑÙ Ø Ú Øõ Ò ú ½ Ù Øõ Ó µ Ç ÔÓ Ò Ö Ò ÓÒ ÈÓ Ð ÔÓ ØÙ Ð Ò Ú Ø ÈÓ Ø Ð Ò ÒÙØÒ ÖÓÞ Ð Ò Ø Ò ¾ Ø Ò Ø µ

96 Å ÔÓÚ Ò ß ÝÔ Ö Ó Ø Ó ¾ Ø Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ½» ¾ Ú ÖÞ ½º¼ Î ØÙԻΠØÙÔ ÀÝÔ Ö Ó Ø Ô ÙÞÐÝ Ô Ù ÑÓÒ Ò ¾ Å ØÓ ¾ Ú Ð Ó Ø Ô Ô Ô Ô ÙÞÐ Á ÒØ Ù ¹ ÝÔ Ö Ó Ø Ó Ô Ô ¾ ¾ ÚÖ ÓÐ ÈÖÚÒ ¾ Ø ÙÖ Ù Ø ÖÝ ¾ Ø ÙÖ Ù ÐÓÙÔ Ø ÀÝÔ Ö Ó Ø Ù Ó ¾ ÚÖ ÓÐ ÔÓÑÓ ¾ ½ ¾ ¾ Ð Ò Ô ÃÓÒ ÙÖ Ò Ù ¹ ÝÔ Ö Ó Ø Ñ Ø º Ô ¾

97 Å ÔÓÚ Ò ß ÔÓÑ Ö Ò ¹Ú ÓÒ Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÐ Ø ÓÖÑÝ Ô Ö Ð ÐÒ Ó ÔÓ Ø Ò ØÖº ¾» ¾ Ú ÖÞ ½º¼ È ÔÓ Ð Ý Ò Ø Ô ÑÓ Ñ ÖÒ ÔÓ ØÙ Ð Ò ÀÝÔ Ö Ó Ø Ô ÚÖ ÓÐÝ Ø Ò Ö Ó ÙÞ Ú Ò ÐÓ Ôµ ¹ØÙ ÒÑ Ð Ò Ñ ÈÖ Ñ ÖÒ Ò ÓÑÙÒ Ú ÖÝ ÀÝÔ Ö Ó Ø Ø Ø ÐÓ Ôµ ¾ Ø Û Ñ Ë Ø Ø Ô Ô ¾ Ø Û Ñ ÐÓ Ôµ Å ú Ø Ð Ôõ Ù ÓÚ Ø ÒÓ Ùõõ Ø ÔÖÓÔÙ ØÒÓ Ø ÓÔÒÓÙ ÔÓ ÖØ ÓÒ ÞÔ Ó ÒÓÙ Ñ ÔÓÚ Ò Ñº

98 IB109 Návrh a implementace paralelních systémů Principy návrhu paralelních algoritmů RNDr. Jiří Barnat, Ph.D.

99 Práce programátora IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 2/41, verze 1.0 Identifikovat části práce, které je možné provádět souběžně a identifikovat jejich závislosti Mapovat souběžně proveditelné části práce do procesů Distribuovat vstupní, výstupní, i vnitřní data související s programem Spravovat souběžný přístup k datům a dalším sdíleným prostředkům Synchronizovat jednotlivé procesy v různých stádiích výpočtu tak, jak vyžaduje paralelní program Mít znalost přídavných programátorských prostředků související s vývojem paralelních algoritmů

100 Sekce IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 3/41, verze 1.0 Základy návrhu paralelních algoritmů

101 Dekompozice a Úlohy B109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 4/41, verze 1.0 Dekompozice Proces rozdělení celkové úlohy na podúlohy Některé podúlohy mohou být prováděny paralelně. (Pod)úlohy Programátorem definované Jednotky výpočtu získané dekompozicí Neuniformní velikost Po vyčlenění se považují za nadále nedělitelné [Nedefinované programátorem] Příklad NásobenímaticeA(n n)vektoremb C[i]= n j=1 A[i,j].B[j]

102 Graf závislostí úloh IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 5/41, verze 1.0 Definice Zachycuje závisloti prováděných úloh Definuje relativní pořadí provádění úloh Pozorování Orientovaný acyklický graf Úloha je připravena ke spuštění pokud úlohy na kterých zavisí, dokončili svůj výpočet Graf může být nespojitý, či dokonce prázdný Příklad Vyhledávání v databázi Model= Civic AND Year= 2006 AND (Color= Blue OR Color= Red )

103 Granularita, Stupeň souběžnosti Granularita Počet úloh na který se problém dekomponuje Mnoho malých úloh jemnozrná granularita(fine-grained) Málo větších úloh hrubozrná granularita(coarse-grained) Stupěň souběžnosti Počet úloh, které mohou být prováděny souběžně Průměrný maximální stupeň souběžnosti Průměrný stupeň souběžnosti Závislý na grafu závislostí a granularitě Množstí práce asociované k uzlům grafu Kritická cesta cesta, na které je součet prací maximální Průměrný stupeň souběžnosti je podíl délky kritické cesty vůči celkovému množství práce IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 6/41, verze 1.0

104 Praktická omezení pro neomezenou paralelizaci IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 7/41, verze 1.0 Granularita Zjemňování dekompozice může zvýšit stupeň souběžnosti Každý problém má vnitřní hranici granularity Interakce úloh Komunikující nezávislé úlohy, snižují stupeň souběžnosti Komunikace úloh zachycena v grafu interakcí Graf interakcí pokrývá graf závislostí Příklad Násobení řídkých matic(y = Ab) ÚlohyrozdělenypodleřádkuAab Prvky b jsou potřeba ve všech úlohách

105 Procesy a Mapování IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 8/41, verze 1.0 Procesy(úlohy) a procesory Jednotlivé úlohy jsou vykonávány fyzickými procesory Mapování Přiřazování úloh procesorům Ovlivňuje výkon aplikace(asymetrické architektury) Optimální mapování bere v potaz grafy závislostí a interakce Cíle mapování Minimalizovat celkový čas řešení úlohy Maximalizovat souběžnost Minimalizovat zatížení systému(zatížení datových cest)

106 Sekce IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 9/41, verze 1.0 Techniky dekompozice

107 Techniky dekompozice IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 10/41, verze 1.0 Fundamentální technika v návrhu paralelních algoritmů Obecné dekompozice Rekurzivní Datová Specializované dekompozice Průzkumová Spekulativní Hybridní

108 Rekurzivní dekompozice IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 11/41, verze 1.0 Vhodné pro problémy typu rozděl a panuj Princip Problém se dekomponuje na úlohy tak, aby jednotlivé úlohy mohly být dekomponovány stejným způsobem jako rodičovská úloha Někdy je třeba restrukturalizovat úlohu Příklad Quicksort Volba pivota Rozdělenípolenaprvkymenšínežavětšírovnonež Rekurzivně se opakuje dokud je množina prvků neprázdná Hledání minima v lineárním poli Typický příklad restrukturalizace Princip půlení prohledávaného pole

109 Datová dekompozice IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 12/41, verze 1.0 Základní princip Data se rozdělí na části(data partitioning) Úlohy se provádí souběžně nad jednotlivými částmi dat Datová dekompozice podle místa Vstupní data Výstupní data Vnitřní data Kombinace Mapování dat na úlohy Funkce identifikující vlastníka

110 Průzkumová dekompozice Princip Specializovaná technika paralelizace Vhodná pro prohledávácí úlohy Stavový prostor se rozdělí podle směru hledání Vlastnosti Pokud lze na grafu definovat podstrom můžeme se vyhnout úlohové interakci Při znalosti stavového prostoru lze dosáhnout optimálního vyvážení a zatížení procesorů Na rozdíl od datové dekompozice, úloha končí jakmile je nalezeno požadované Množství práce se liší od serializované verze Příklad Řešeníhlavolamu patnáct IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 13/41, verze 1.0

111 Spekulativní dekompozice Princip Specializovaná technika paralelizace Vhodná pro úlohy se sekvencí datově závislých podúloh Úloha, která čeká na výstup předchozí úlohy se spustí nad všemi možnými vstupy(výstupy předchozí úlohy) Vlastnosti Provádí se zbytečná práce Nemusí být ve výsledku lepší jak serializovaná verze Vhodné pro úlohy kde jistá hodnota mezivýsledku má velkou pravděpodobnost Vzniká potenciální problém při přístupu ke zdrojům (některé zdroje nemusí být sdílené v případě sekvenčního vykonávání úloh) Příklady Spekulativní provádění kódu(větvení) IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 14/41, verze 1.0

112 Hybridní dekompozice IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 15/41, verze 1.0 Kombinace různých způsobů dekompozice Příklad Hledání minima v poli Sekvenční verze najde minimum v O(n) Při použití datové a rekurzivní dekompozice lze trvání této úlohyzkrátitnao(n/p log(p)) Vstupní pole se datově dekomponuje na p stejných částí Najdou se minima v jednotlivých částech v čase O(n/p) Výsledky z jednotlivých třídění se zkombinují v čase O(log(p)) Teoreticky lze při dostatečném počtu procesorů nalézt minimum v čase O(log(n))

113 Sekce IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 16/41, verze 1.0 Vlastnosti úloh a interakcí

114 Vlastnosti úloh IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 17/41, verze 1.0 Způsob zadání(pod)úloh Statické Dekompozica úlohy na podúlohy je dána (případně vztažena na vstupní data) Dynamické Nové podúlohy jsou generovány až při provádění původně zadaných úloh Velikost úloh Relativní množství času potřebné k dokončení úlohy Uniformní vs. neunifornmí(pod)úlohy Dopředná znalost/neznalost velikosti úloh Velikost dat asociovaných k úloze Při volbě místa provádění úlohy zvážit lokalitu dat Vstupní versus výstupní data(patnácka)

115 Vlastnosti interkací Statické vs Dynamické Statické: Probíhají v předdefinovaném časovém intervalu Statické: Mezi předem známou množinou úloh Dynamické: Úloha musí být připravena na externí modifikaci dat či příjem zpráv Pravidelná vs nepravidelná V případě pravidelné interkace, lze implementaci uzpůsobit/optimalizovat Read-only vs Read-Write Sdílení dat a synchronizace Jednosměrná vs Obousměrná Jednosměrná interakce: problém relativní rychlosti úloh a připravenosti dat IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 18/41, verze 1.0

116 Sekce IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 19/41, verze 1.0 Techniky mapování a vyrovnávání zátěže

117 Techniky mapování a vyrovnávání zátěže Problémy Synchronizace úloh Závislost úloh IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 20/41, verze 1.0 Mapování úloh na procesy Minimalizace režie(overhead) výpočtu Naivní mapování(úloha=proces) Cíle mapování Redukovat prodlevy způsobené čekáním(idling) Redukovat zátěž způsobenou interakcí Redukovat režii spouštění, ukončování a přepínání procesů Vyrovnat zátěž na jednotlivé procesy Zachovat co nejvyšší stupeň souběžnosti Základní dělení Statické mapování vs Dynamické mapování

118 Schémata pro Statické Mapování IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 21/41, verze 1.0 Mapování založené na rozdělení dat Bloková distribuce Cyklická a blokově-cyklická distribuce Náhodná distribuce bloků Dělení grafu Mapování založené na rozdělení úloh Dělení dle grafu závislostí úloh Hierarchické dělení

119 Mapování založené na rozdělení dat IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 22/41, verze 1.0 Bloková distribuce datových polí Procesy svázány s daty, rozdělenými na souvislé bloky Vícerozměrné bloky(menší režie interakce) Příklad NásobenímaticA B=C DělenímaticeCna1-a2-rozměrnébloky Cyklická a blokově-cyklická distribuce datových polí Nerovnoměrné množství práce spojené s jednotlivými prvky pole blokové dělení způsobí nerovnoměrné zatížení Blokově-cyklická distribuce: dělení na menší díly a cyklické přiřazení procesům Zmenšování bloků vede k cyklické distribuci (blok je atomický prvek pole)

120 Mapování založené na rozdělení dat pokračování IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 23/41, verze 1.0 Náhodná distribuce bloků Zátěž související s prvky pole vytváří pravidelné vzory špatná distribuce v cyklickém rozdělení Náhodné přiřazení bloků procesům Grafové dělení Pro případy, kdy je nevhodné organizovat data do polí Data organizována jako graf Optimální dělení Stejný počet vrcholů v jednotlivých částech Co možná nejmenší počet hran mezi jednotlivými částmi NP-úplný problém

121 Mapování založené na rozdělení úloh IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 24/41, verze 1.0 Princip Graf závislostí úloh Grafové dělení(np-úplné) Speciální případy pro konkrétní tvar grafů Binární strom(rekurzivní dekompozice) Hierarchické mapování Úlohové dělení nebere v potaz neuniformitu úloh Shlukování úloh do nadúloh Definuje hierarchie(vrstvy) Jiné mapovací a dekomponovací techniky na jednotlivých vrstvách

122 Schémata pro Dynamické Mapování IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 25/41, verze 1.0 Motivace Statické mapování nedostatečné Dynamické vyvažování zátěže Centralizovaná schémata Úlohy shromažďovány v jednom místě Dedikovaná úloha pro přiřazování úloh procesům Samo-plánování Jakmile proces dokončí úlohu, vezme si další Blokové plánování Přístup ke shromaždisti úloh může být úzkým místem Přidělování úloh po blocích Příklad Tříděníprvkůvn nmaticia for (i=1; i<n; i++) newtask(sort(a[i],n));

123 Schémata pro Dynamické Mapování pokračování IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 26/41, verze 1.0 Distribuovaná schémata Množina úloh je distribuována mezi procesy Za běhu dochází k vzájemnému vyměňování úloh Netrpí nedostatky spojenými s centralizovaným řešením Možnosti Jakseurčíkdokomupošleúlohu Kdoanazákladěčehourčí,žejepotřebapřesunoutúlohu Kolik úloh má být přesunuto Kdyajakjeúlohapřesunuta Problém Efektivita přenosu úlohy na jiný proces

124 Sekce IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 27/41, verze 1.0 Metody pro redukci režie interakce

125 Metody pro redukci režie interakce IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 28/41, verze 1.0 Režie související s interakcí souběžných úloh je klíčovým faktorem související s výkonem paralelní aplikace. Faktory ovlivňující režii Objem přenášených dat Frekvence interakce Cena komunikace

126 Zvyšování datové lokality IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 29/41, verze 1.0 Snižuje objem přenášených dat Přesun sdílených datových struktur do lokálních kopií Minimalizovat objem sdílených dat Lokalizace výpočtu(lokální ukládání mezivýsledků) Režie protokolů pro udržení koherence lokálních kopií Snižuje frekvenci interakce Prostorová lokalizace přenášených dat Cache line Více zpráv v jedné(bufferování)

127 Minimalizace současných přístupů B109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 30/41, verze 1.0 Problém Přístup k omezenému zdroji ve stejný okamžik (contention) je řešen serializací požadavků Serializace požadavků způsobuje prodlevy Řešení Je-li potřeba N souběžných přístupů k datům Přistupovaná data se rozdělí do N bloků DatačtenavNiteracích V každé iteraci je každý blok čten jiným procesem Číslo čteného bloku v r-té iteraci j-tým procesem: (r+j)modulon

128 Překrývání výpočtu s interakcí IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 31/41, verze 1.0 Problém Čekání na příjem čí odeslání dat způsobuje nechtěné prodlevy Včasné vykonání akce(odeslání zprávy, načtení dat) Data musí být včas připravena Přijímací i odesílací strany mohou asynchronně komunikovat Existuje další úloha, která může být řešena po dobu komunikace Předvídání doby trvání komunikace Jiná řešení Přerušení v operačních systémech, HW podpora Žádné, kvůli režii způsobené násilným řešením

129 Replikace dat či výpočtů IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 32/41, verze 1.0 Problém Opakované drahé přístupy ke sdíleným datům Řešení pro read-only data Při prvotní interakci získat kopii dat(datová lokalita) Dále pracovat s lokální kopií Zvyšuje paměťové nároky výpočtu Řešení pro read-write data Replikovat vstupní data Mezivýsledky počítat lokálně raději než je ukládát a číst vzdáleně

130 Optimalizovaných operace pro kolektivní komunikaci IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 33/41, verze 1.0 Problém Stejná interakce mezi všemi procesy vykonávaná základními komunikačními primitivy je drahá. Řešení kolektivní komunikační operace pro přístup k datům pro komunikačně intenzivní výpočty pro synchronizaci Optimalizované implementace MPI

131 Překrývání Interakcí IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 34/41, verze 1.0 Problém Nedostatečná propustnost komunikační sítě či absence kolektivních komunikačních operací. Řešení Zvýšit využití sítě současnou komunikací mezi různými páry procesů Příklad 4procesyP 1,...,P 4 P 1 chcevšemposlatzprávum 1 P 1 P 2,P 2 P 3,P 3 P 4 P 1 P 2,P 2 P 3 P 1 P 4

132 Sekce IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 35/41, verze 1.0 Modely paralelních algoritmů

133 Model datového paralelismu IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 36/41, verze 1.0 Vymezení modelu Úlohy jsou staticky mapovány na procesy Úlohy provádějí identické operace nad různými daty Vlastnosti Uniformita úloh umožňuje statické vyvážení zátěže Dobře kompatibilní s oběma paradigmaty(sap, MP) Datově paralelní problémy typicky dobře škálují

134 Model grafu úloh IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 37/41, verze 1.0 Vymezení modelu Graf úloh řešení problému je netriviální Dekompozice a mapování podřízeno grafu úloh Vlastnosti Typicky relativně jednoduché úlohy pracující nad velkým množství dat Úlohy obvykle mapovány staticky Vhodné pro sdílený adresový prostor Příklad: grafické akcelerátory

135 Model algoritmu se zásobníkem úloh IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 38/41, verze 1.0 Vymezení modelu Zásobník(pool) úloh, které jsou dynamicky mapovány na procesory Vlastnosti Dynamické vyvažování zátěže Možnost definovat priority úloh Úlohy mohou vznikat za běhu Může vyžadovat protokol pro detekci ukončení Pro MP prostředí vyžaduje aby úlohy zpracovávaly relativně malé množství dat

136 Model Master-Slave IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 39/41, verze 1.0 Vymezení modelu Mezi procesy je jeden vytčený, který řídí výpočet a kontroluje ostatní procesy Vlastnosti Master proces určen staticky nebo volen Dynamické mapování úloh na procesy Možnost hierarchického vrstvení velení Je potřeba zajistit, aby se Master nestal úzkým místem výpočtu

137 Model pracovní linky nebo též producent-konzument IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 40/41, verze 1.0 Vymezení modelu Proud dat je postupně zpracováván jednotlivými procesy Vlastnosti Každý proces je konzumentem a producentem zároveň Proud může bý v různých tvarech řetěz či vícerozměnré pole strom orientovaný graf Granularita úloh ovlivňuje rozložení zátěže na procesory

138 Hybridní modely IB109 Návrh a implementace paralelních systémů: Principy návrhu paralelních algoritmů str. 41/41, verze 1.0 Vymezení modelu Kombinace zmíněných modelů Vlastnosti Jiné modely algoritmu na jiné úrovni abstrakce Vykazuje vlastnosti použitých modelů

139 IB109 Návrh a implementace paralelních systémů Základní komunikační primitava RNDr. Jiří Barnat, Ph.D.

140 Základní operace pro komunikaci IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 2/38, verze 1.1 Pozorování Cenakomunikace:t s +mt w Interakce úloh způsobuje prodlevy ve výpočtu Časové vzory v komunikaci Prostorové vzory v komunikaci Závěr Komunikační primitiva musí být co nejefektivnější V této kapitole Popis různých komunikačních operací Odvození ceny

141 Sekce IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 3/38, verze 1.1 Jeden na všechny a všichni na jednoho

142 Jeden na všechny a všichni na jednoho IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 4/38, verze 1.1 One-To-All Úloha posílá několika/všem ostatním identická data Data se duplikují, ve výsledku p kopií v lokálních adresových prostorech One-To-All, One-To-Many Broadcast All-To-One Několik/všechny úlohy posílají data jedné úloze Data se kombinují, ve výsledku jedna kopie v adresovém prostoru cílové úlohy All-To-One, Many-To-One Reduction Duální operace k One-To-All

143 Síť ve tvaru kruhu nebo lineárního pole IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 5/38, verze 1.1 Naivní způsob One-To-ALL pro p procesů Poslat p 1 zpráv postupně ostaním procesům Úzké místo: odesílatel Síť je nevyužitá, komunikuje pouze jedna dvojice procesů Technika rekurzivního zdvojení Nejprve první proces pošle zprávu jinému procesu Poté oba procesy pošlou zprávu jiné dvojici Poté čtveřice procesů pošle zprávu jiné čtveřici... První proces pošle nejvýše log(p) zpráv Souběh zpráv na linkách sítě Optimální vzdálenosti adresátů pro jednotlivá kola jsou p/2,p/4,p/8,p/16,...

144 Síť ve tvaru kruhu nebo lineárního pole IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 6/38, verze 1.1 Redukce All-To-One pro p procesů Probíhá duálně k One-To-All Prvně procesy s lichým číslem pošlou zprávu procesům s číslem o jedna menším, kde se zprávy zkombinují s hodnotou, kterou chcou vyslat procesy se sudým číslem Následně proběhne kombinace informací sousedních sudých procesů na procesech jejichž číslo je násobkem čtyř...

145 Síťvetvarusítě One-To-All ve 2-rozměrné síti o p uzlech Lzechápatjako přetízkůo puzlech V první fázi se propaguje informace do všech řetízků V druhé fázi se souběžně propaguje informace v jednotlivých řetízcích Celkově2(log( p)) One-To-All v d-rozměrné síti Stejnýprincip,velikostvjednomrozměrujep 1/d Celkovácenad(log(p 1/d )) All-To-One Fáze v opačném pořadí, duálně k One-To-All IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 7/38, verze 1.1

146 Síť ve tvaru hyperkostky a vyváženého binárního stromu IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 8/38, verze 1.1 Aplikuje se algoritmus pro sítě ve tvaru sítí Hyperkostkas2 d vrcholy d-dimenzionální síť s hloubkou sítě 2 Každá fáze proběhne v konstantní ceně odpovídající poslání 1 zprávy Nenastává contention (blokování zpráv vzniklé souběžným přístupem) Celková cena d Příklad Jak proběhne One-To-All na hyperkostce s dimenzí 3? Síť ve tvaru vyváženého binárního stromu Rozbalení algoritmu pro hyperkostku

147 Univerzální algoritmy IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 9/38, verze 1.1 Pozorování One-To-All procedury jsou si podobné Jdou nahradit univerzální procedurou Univerzální algoritmy OTA a ATO Předpokladají2 d uzlů(hyperkostka) Každý uzel identifikován bitovým vektorem ANDaXORbitovéoperace Cena d(t s +mt w )

148 Univerzální algoritmy OTA IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 10/38, verze procone-to-all(d,id,x) 2 mask:=2 d 1 3 fori:=d 1downto0 4 mask:=maskxor2 i 5 if(idandmask)=0 6 thenif(idand2 i )=0 7 thenmsgdestination:=idxor2 i 8 send X to msg destination 9 elsemsgsource:=idxor2 i 10 receive X from msg source 11 fi 12 fi 13 end 14 end

149 Univerzální algoritmy OTA libovolný odesílatel IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 11/38, verze proc General-One-To-All(d, id, src, X) 2 virtid:=idxorsrc 3 mask:=2 d 1 4 fori:=d 1downto0 5 mask:=maskxor2 i 6 if(virtidandmask)=0 7 thenif(virtidand2 i )=0 8 thenvirtdestination:=virtidxor2 i 9 send X to(virt destination XOR src) 10 elsevirtsource:=virtidxor2 i 11 receive X from(virt source XOR src) 12 fi 13 fi 14 end 15 end

150 Univerzální algoritmy ATO IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 12/38, verze procall-to-one(d,id,m,x,sum) 2 forj:=0tom 1dosum[j]:=X[j]end 3 mask:=0 4 fori:=tod 1 5 if(idandmask)=0 6 thenif(idand2 i )=0 7 thenmsgdestination:=idxor2 i 8 send sum to msg destination 9 elsemsgsource:=idxor2 i 10 receive X from msg source 11 forj:=0tom 1 12 sum[j]:=sum[j]+x[j] 13 end 14 fifi 15 mask:=maskxor2 i 16 end 17 end

151 Sekce IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 13/38, verze 1.1 Všichni všem a všichni od všech

152 Všichni všem a všichni od všech IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 14/38, verze 1.1 All-To-All Vysílání(Broadcast) Zobecnění komunikace typu One-To-All Všichni posílají informaci všem Různé procesy posílají různé zprávy All-To-All Redukce Zobecnění komunikace typu All-To-One Všichni posílají informaci všem Každá úloha má pro každou jinou úlohu jinou zprávu Naivní řešení Sekvenční/násobné použití One-To-All procedur Neefektivní využití sítě

153 Síť ve tvaru kruhu nebo lineárního pole Kruh 1. fáze: každý uzel pošle informaci svému sousedovi 2. až n-tá fáze: uzly sbírají a přeposílají příchozí zprávy Všechny linky jsou po celou dobu operace plně využité Optimální algoritmus Lineární pole Vysílání zpráv sousedům na obě strany Full-duplexlinky n 1fází Half-duplexlinky 2(n 1)fází Přiabsencičlenut h algoritmusprokruh Redukce Všechny zprávy procházejí přes všechny uzly Kombinace zpráv při přeposílání IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 15/38, verze 1.1

154 Síť ve tvaru sítě či hyperkostky IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 16/38, verze 1.1 Sítě 2fáze přetízkůo puzlech Poprvnífáziuzlymajíuzly pčástízcelkovéhopočtup částí zprávy Příklad sítě 3x3, každý posílá své ID každému Hyperkostka Rozšíření algoritmu pro sítě na d dimenzí Pokaždéfázi(zcelkovéhopočtud)jeobjemzpráv zdvojnásoben Redukce Duální postup

155 Analýza ceny všichni všem Kruhalineárnípole,puzlů T=(t s +t w m)(p 1) 2Dsíť,puzlů 1.fáze(t s +mt w )( p 1) 2.fáze(t s +m pt w )( p 1) Celkem:T=2t s ( p 1)+t w m(p 1) Hyperkostka,p=2 d uzlů T= logp i=1 (t s+2 i 1 t w m) T=t s logp+t w m(p 1) Pozorování Člent w m(p 1)sevyskytujevždy Pipeline několika OTA operací IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 17/38, verze 1.1

156 Sekce IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 18/38, verze 1.1 Operace kompletní redukce a prefixového součtu

157 Operace kompletní redukce IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 19/38, verze 1.1 Kompletní redukce(all reduce) Úlohy si vzájemně vyměňují data, která se kombinují Lze realizovat jako ATO redukci následovanou OTA vysíláním výsledku z předchozí redukce Použití a sémantika Úloha nemůže dokončit operaci, dokud všechny participující úlohy nepřispějou svým dílem Implementace synchronizačního primitiva bariéry Implementace NaivněpomocíATOaOTA,nebo Modifikací operace ATA(všichni všem) Narozdíl od ATA, zprávy se nekumulují ale kombinují CenaprohyperkostkujeT=(t s +t w m)logp

158 Operace prefixového součtu IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 20/38, verze 1.1 Prefixový součet(scan) Úlohy posílají data ostatním úlohám s menším ID Data se kombinují(redukce) Příklad Datavjednotlivýchuzlech: 3,1,4,0,2 Kombinace pomocí operace součtu Výslednádata 3,4,8,8,10 Implementace Vysílání typu ATA, či kompletní redukce Jaksepozná,žezprávapocházíoduzlusmenšímID? Všechny posílaná data obohacena o identifikátor původce Vzory v komunikaci, při fixním uspořádání sítě

159 Sekce IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 21/38, verze 1.1 Scatter and Gather

160 Scatter and Gather IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 22/38, verze 1.1 Scatter(též označováno jako Scan ) Jedna úloha posílá unikátní zprávu každé další úloze One-To-All zosobněná(personalized) komunikace NarozdílodOTAvysílánísežádnádataseneduplikují Gather(též označováno jako Concatenation ) Jedna úloha sbírá unikátní data od ostatních úloh All-To-One zosobněná(personalized) komunikace Narozdíl od ATO redukce se nevyskytuje kombinace dat Algorithmy Pozměněné verze ATO a OTA algoritmů Celkemlogpfází,skaždoufázíseobjemdatzvětšuje T=t s (logp)+t w m(p 1)

161 Sekce IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 23/38, verze 1.1 Všichni všem zosobněná komunikace

162 Všichni všem zosobněná komunikace B109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 24/38, verze 1.1 Vymezení Každá úloha posílá různá data ostatním úlohám Pro p participujících úloh: Dojdekvýměně2Dpolezpráv(p p)v1dprostoru(p) Také označováno jako totální výměna Příklad Transpozicematice(A T [i,j]=a[j,i]) Maticen nmapovánapořádcíchnanúloh Úlohajmákdispoziciprvky[j,0],[j,1],...[j,n 1] Úlohajchceznátprvky[0,j],[1,j],...[n 1,j]

163 Síť ve tvaru kruhu(lineárního pole) IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 25/38, verze 1.1 Princip Nejprve všechny úlohy pošlou jedním směrem zprávy pro zbývajícíchp 1úloh V každém dalším kole každá úloha vyextrahuje zprávu, která je určena jí a zbývající zprávy přepošle V posledním kole všechny úlohy přeposílají pouze jednu zprávu Analýza ceny Početkoljep 1,všechnyzprávymajívelikostm T= p 1 i=1 (t s+t w m(p i)) =t s (p 1)+ p 1 i=1 it wm =(t s +t w mp/2)(p 1)

164 Síťvetvarusítě IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 26/38, verze 1.1 Princip Síťje přetízkůodélce p Příklad ATA zosobněná komunikace na síti 3x3 uzly Cena Vkaždéfázijsouzprávyvelikostim pakomunikujese mezi puzly Cenajednéfáze:(t s +t w mp/2)( p 1) T=(2t s +t w mp)( p 1)

165 Síť ve tvaru hyperkostky IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 27/38, verze 1.1 Princip Aplikace algoritmu pro d-dimenzionální sítě Podél jedné dimenze se posílá vždy p/2 zpráv Příklad Krychle2 2 2uzlů Cena Vkaždéfázivyměněnomp/2dat logpfází T=(t s +t w mp/2)logp Navíc v každé fázi uzly přeuspořádávají/třídí zprávy, za cenuprovádít r mp logppráce

166 Síť ve tvaru hyperkostky optimalita IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 28/38, verze 1.1 Problém Každýuzelposíláapřijímám(p 1)dat Průměrná vzdálenost, na kterou data putují je(log p)/2 Celkovýprovoznasítijep m(p 1) (logp)/2 Počet linek v hyperkostce je p(log p)/2 Optimální algoritmus by měl dosáhnout složitosti T= t wpm(p 1)(logp)/2 (plogp)/2 =t w m(p 1) Závěr Pro ATA zosobněnou komunikaci není algoritmus pro sítě ve tvaru sítí optimální na sítích ve tvaru hyperkostky

167 Síť ve tvaru hyperkostky optimální algoritmus IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 29/38, verze proc All-To-All-Personal(d, id) 2 fori:=1to2 d 1 3 partner:=idxori 4 sendm id topartner 5 receivem partner frompartner 6 end 7 end Pozorování: Systematická a symetrická volba partnera Lze routovat tak, aby nedocházelo k blokování linek Cena: T=(t s +t w m)(p 1)

168 Sekce IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 30/38, verze 1.1 Cyklický posun

169 Permutace IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 31/38, verze 1.1 Permutace Obecnější komunikační primitiva Současně probíhající OTO přerozdělování dat Jedna úloha posílá data jedné jiné úloze Příklad Cyklický posun o q(circular q-shift) púloh Úlohaiposíládataúloze(i+q)modp Použití Specifické maticové operace Vyhledávání vzorů v textu či obrazu

170 Cyklickýposun Sítěvetvarusítí 1-dimenzionální Intuitivně: rotace o q pozic Směrrotacezávislýnaq,určísedlevýrazumin(q,p q) Dvourozměrné sítě Akcelerace cyklického posunu s využitím druhé dimenze než, ve které probíhá posun Jednadimenzemározměr puzlů Posunvdruhédimenziakcelerujeo pkroků Cena Nejvdálenějšíposunvjednédimenzije p/2 T=(t s +t w m)( p) Příklad Síť4x4uzly,cyklickýposuno5 IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 32/38, verze 1.1

171 Cyklický posun Síť ve tvaru hyperkostky B109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 33/38, verze 1.1 Princip Mapovánílineárníhopoledélky2 d nauzlyhyperkostky Binárně zrcadlený šedý kód(binary reflected Grey code) qsevyjádříjakosoučetmocninčísla2 Posun proběhne v tolika fázích, kolik je členů v součtu Cena Uzly ve vzdálenosti mocniny čísla 2, jsou od sebe vzdáleny nejvýše 2 kroky(vlastnost kódu) Členůvsoučtujenejvýšelogp Komunikace probíhá bez blokování linek T=(t s +mt w )(2logp) Se zpětným posunen je počet sčítanců max.(log p)/2 T=(t s +mt w )(logp)

172 Sekce IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 34/38, verze 1.1 Zvyšování rychlosti komunikačních primitiv

173 Dělení zpráv a víceportová komunikace B109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 35/38, verze 1.1 Pozorování V dosud vyjádřených cenách, vystupuje komunikace po dvou sousedících linkách jako 2 Při dostatečně dlouhých zprávách lze ale využít principu paketováníaatmsítíaasymptotickyseblížitk1 Zprávamrozdělenanapčástí(m 1,...,m p ) Viceportová komunikace Předpoklad, že uzel je schopen komunikovat přes všechny připojené linky současně V sítích ve tvaru sítí maximálně konstantní zrychlení Na hyperkostkách asymptotické zrychlení o faktor log p

174 Dělenízpráv OTA,ATO IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 36/38, verze 1.1 Vysílání jeden na všechny(ota) 1.fáze:Scatteroperace(zprávam i nauzeli) 2.fáze:ATAvysílánízprávm i Cenakaždéfáze:t s logp+t w (m/p)(p 1) Cena celkem: 2(t s logp+t w (m/p)(p 1)) 2(t s logp+t w m) Původnícena:(t s +t w m)logp Redukce všichni na jednoho(ato) Duálně(Gather a ATA redukce)

175 Dělení zpráv Kompletní redukce B109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 37/38, verze 1.1 Sémanticky ekvivalentní posloupnosti: OTA vysílání + ATO redukce Lze realizovat dělením zpráv jako ATAvysílání+Scatter+Gather+ATAredukce Což je ekvivalentní(při dělení zpráv) ATA vysílání + ATA redukce Cena Původně:(t s +t w m)logp Sdělenímzpráv:2(t s logp+t w m)

176 VazbanaMPI IB109 Návrh a implementace paralelních systémů: Základní komunikační primitiva str. 38/38, verze 1.1 Operace OTA vysílání ATO redukce ATA vysílání ATA redukce Kompletní redukce Gather Scatter ATA zosobněná komunikace Jméno MPI funkce MPI Bcast MPI Reduce MPI Allgather MPI Reduce scatter MPI Allreduce MPI Gather MPI Scatter MPI Alltoall

177 IB109 Návrh a implementace paralelních systémů Analytický model paralelních programů RNDr. Jiří Barnat, Ph.D.

178 Analytický model paralelních programů IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 2/38, verze 1.0 Vyhodnocování sekvenčních algoritmů Časová a prostorová složitost Funkce velikosti vstupu Vyhodnocování paralelních algoritmů Paralelní systém = algoritmus + platforma Složitost Přínos paralelismu Přenositelnost... V této kapitole Jak posuzovat výkon paralelních algoritmů a systémů

179 Sekce IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 3/38, verze 1.0 Režie(overhead) pararalních programů

180 Režie(overhead) pararalních programů IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 4/38, verze 1.0 Fakta S použítím n-násobných HW zdrojů, lze očekávat n-násobné zrychlení výpočtu. Vpraxivelmivzácné,apokudnastávátakdůvodyjsou většinou v neoptimálním navržení sekvenčního algoritmu. Způsobeno režíí paralelního programu. Důvody Režie interakce, prostoje, složitost paralelního algoritmu Nerovnoměrné zvyšování HW zdrojů Zvýšení počtu procesorů nepomůže, pokud aplikace není závislá na čístém výpočetním výkonu

181 Režie(overhead) pararalních programů IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 5/38, verze 1.0 Komunikace Cena samotné komunikace Připrava dat k odeslání, zpracování přijatých dat Prostoje(Lelkování, Idling) Nerovnoměrné generování zátěže na jednotlivé procesy Čekánínazdroječidata Synchronizace Větší výpočetní složitost paralelního algoritmu Sekvenční algoritmus nejde paralelizovat(například DFS) Typicky existuje vícero paralelních algoritmů, nutné charakterizovat čím platí za paralelismus

182 Sekce IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 6/38, verze 1.0 Metriky výkonosti

183 Čas výpočtu(execution time) B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 7/38, verze 1.0 Otázky Jak měřit výkon/kvalitu paralelního algoritmu? Podle čeho určit nejlepší/nejvohdnější algoritmus pro danou platformu? Čas výpočtu sekvenční algoritmus Doba, která uplyne od spuštění výpočtu do jeho ukončení T S Čas výpočtu paralelní algoritmus Doba, která uplyne od spuštění výpočtu do doby kdy skončí poslední z paralelních výpočtů Zahrnuje, distribuci vstupních i sběr výstupních dat T P

184 Celková režie paralelismu(total overhead) IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 8/38, verze 1.0 Celková režie: OznačujemeT O Zahrnuje veškeré elementy způsobující režii paralelního programu Celkové množství času stráveného paralelním výpočtem bez času výpočtu sekvenčního algoritmu Paralelní a sekvenční algoritmy mohou být zcela odlišné Sekvenčních algoritmů může existovat víc T S časvýpočtunejlepšíhosekenčníhoalgoritmu Funkce celkové režie Jaký je čas výpočtu jednotlivých procesů? Doba od skončení výpočtu jednoho procesu do skončení celého paralelního výpočtu se považuje za režii(idling) T O =pt P T S (Amdahl slaw)

185 Zrychlení(Speed-up) IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 9/38, verze 1.0 Základní přínos paralelizace Problémy jdou vždy řešit sekvenčním algoritmem. Paralelizací lze dosáhnout pouze zrychlení výpočtu. Ostatní výhody jsou čistě teoretické. Základní míra účinnosti samotné paralelizace Poměr časů potřebných k vyřešení úlohy na jedné procesní jednotce a p procesních jednotkách. Uvažuje se vždy čas nejlepšího sekvenční algoritmu. Vpraxisečasto(anesprávně)používáčaspotřebnýk vyřešení úlohy paralelním algoritmem spuštěném na jedné procesní jednotce. S= T S T P,kdeT S odpovídánejlepšímusekv.algoritmu

186 Zrychlení IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 10/38, verze 1.0 Příklad sčítání n čísel s použitím n procesních jednotek. Sekvenčně je potřeba Θ(n) operací, čas Θ(n) ParalelnějepotřebaΘ(n)operací,alevčaseΘ(logn) ZrychleníS=Θ( n logn ) Teoretická hranice zrychlení S použitím p procesních jednotek je maximální zrychlení p Superlineární zrychlení Jev,kdyzrychleníjevětšíjakp

187 Superlineární zrychlení Falešné superlineární zrychlení Uvažme datovou distribuci na 2 procesní jednotky, a operacikvadratickouvevelikostidat,pak( n 2 )2 < n2 2 ZrychleníS= n2 =4připoužití2procesníchjednotek ( n 2 )2 Problém neuvažován optimální sekvenční algoritmus Skutenčné superlineární zrychlení Větší agregovaná velikost cache pamětí Při snížení množství dat na jeden procensí uzel se učinnost cache pamětí zvýší Výpočetjena 1 p datechvícjakp-krátrychlejší Superlineární zrychlení v závislosti na instanci problému Průzkomová dekompozice úlohy a při hledání řešení Paralelní verze může vykonat menší množství práce V konkrétní instanci lze paralelní prohledávání simulovat i sekvenčním algoritmem, obecně ale nelze IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 11/38, verze 1.0

188 Efektivita Fakta Pouze ideální paralelní systém s p procesními jednotkami může dosahovat zrychlení p Jednotky typicky nemohou věnovat 100% výkonu úloze Efektivita Podíl času, po který jednotka vykonává užitečný kód Lze definovat jako podíl zrychlení S vůči počtu jednotek p E= S p Zrychleníjevpraxi <p,efektivitavrozmezí(0,1 Příklad Jaká je efektivita sčítání n čísel na n procesorech? S=Θ( n logn ) E=Θ( S n )=Θ( 1 logn ) B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 12/38, verze 1.0

189 Cena Cena řešení problému na daném paralelním systému Součin počtu procesních jednotek a doby paralelního výpočtu:c=p T P Označována také jako množství práce, které paralelní systémvykoná,nebojako pt p produkt Alternativnělzepoužítprovýpočetúčinosti(E= T S C ) Cenově optimální paralelní systém CenasekvenčníhovýpočtuodpovídanejlepšímuT S Paralelní systém je cenově optimálná, pokud cena řešení roste na asymptoticky stejně rychle jako cena sekvenčního výpočtu Cenově optimální systém musí mít efektivitu rovnou Θ(1) Příklad Sčítání n čísel na n procesorech C=Θ(nlogn),nenícenověoptimální IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 13/38, verze 1.0

190 Cena příklad Uvažme n procesorový systém, který třídí seznam n čísel v čase(logn) 2 NejlepšísekvenčníalgoritmusmáT S =nlogn S= n,e= 1 logn logn C=n(logn) 2 Nenícenověoptimální,alepouzeofaktorlogn Uvažme,ževpraxip<<n(pjemnohemmenšínežn) T P =n(logn) 2 /patedys= p logn Konkrétně:n=2 10,logn=10ap=32 S=3.2 Konkrétně:n=2 20,logn=20ap=32 S=1.6 Závěr: cenová optimalita je nutná IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 14/38, verze 1.0

191 Sekce IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 15/38, verze 1.0 Vliv granularity na cenovou optimalitu

192 Vliv granularity na cenovou optimalitu Tvrzení Volbou granularity lze modifikovat funkci cenové optimality Pozorování Vpraxip<<n Navhujeme algoritmy tak, že předpokládáme p = n Mapujeme n vstupních dat na p procesních jednotek Zvyšujeme granularitu a deškálujeme paralelní systém (scale down) Každá procesní jednotka simuluje n/p procesních jednotek, tj. provádí n/p více práce Při volbě vhodného mapování celkvý paralelní čas naroste nejvíce n/p krát, takže cena zůstane stejná Tento postup zachovává cenovou optimalitu IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 16/38, verze 1.0

193 Vliv granularity na cenovou optimalitu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 17/38, verze 1.0 Příklad 1) Sčítánínčíselnapprocesorech(n=16,p=4) Nechťnapjsoumocninydvojky(napjsousoudělné) Mapování(imodp) Prvníchlogpkrokůzcelkovýchlognjesimulovánov čase(n/p)log p V následujících log n log p krocích simulace původního algoritmu probíhá lokálně, je nutné sečíst n/p čísel lokálně CelkovýT P jeθ((n/p)logp) CenaC=Θ(nlogp),tj.nenícenověoptimální PůvodníT P byloθ(logn),změnaofaktor n p (logp logn )

194 Vliv granularity na cenovou optimalitu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 18/38, verze 1.0 Příklad 2) Sčítánínčíselnapprocesorech(n=16,p=4) Nechťnapjsoumocninydvojky(napjsousoudělné) Mapování(imodp) Každá jednotka nejprve sečte data lokálně v čase Θ(n/p) Problém redukován na sčítání p čísel na p procesorech CelkovýT P jeθ(n/p+logp) CenaC=Θ(n+plogp), Cenověoptimální,pokudn>plogp(cenaC=Θ(n))

195 Sekce IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 19/38, verze 1.0 Škálovatelnost paralelních programů

196 Škálovatelnost paralelních programů Fakta Programy testovány na malých vstupních datech na systémech s malým počtem procesních jednotek Použití deškálovaných systémů zkresluje měření výkonu aplikace Algoritmus, který vykazuje nejlepší výkon na testovaných datech, se může ukázat být tím nejhorším algoritmem, při použití na skutečných datech Odhad výkonu aplikace nad reálnými vstupními daty a větším počtu procesních jednotek je komplikovaný Škálovatelnost Zachování výkonu a efektivity při zvyšování počtu procesních jednotek a zvětšování objemu vstupních dat Závěr Analytické techniky pro vyhodnocování výkonu a škálování IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 20/38, verze 1.0

197 Charakteristiky škálování Efektivita IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 21/38, verze 1.0 Efektivita paralelních programů: E= S p = T S pt P = 1 1+ T O T S Celkovárežie(T O ) Přitomnost sekvenčního kusu kódu je nevyhnutelná Serialcomponent,vykonáníspotřebuječast serial,po tuto dobu jsou ostatní procesní jednotky nevyužité T O >(p 1)t serial T O rosteminimálnělineárněvp,častovšaki asymptoticky více Úlohakonstantnívelikosti(T S fixní) Se zvyšujícím se p, efektivita nevyhnutelně klesá Nevyhnutelný úděl všech paralelních programů

198 Charakteristiky škálování Příklad IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 22/38, verze 1.0 Problém Sečíst n čísel s využitím p procesních jednotek Cenově optimální verze algoritmu(n > plog p) Lokální operace 1 jednotka času, komunikace také 1 jednotka času Charakteristiky T P = n p +2logp n S= n p +2logp 1 E= 1+ 2plogp n

199 Charakteristiky škálování Škálovatelný systém PřizachováníT S Roustoucí počet procesních jednotek snižuje efektivitu Při zachování počtu procesních jednotek RoustoucíT S (velikostvstupníchdat)mátendenci zvyšovat efektivitu Škálovatelné systémy Efeketivita může být zachována při souběžném zvyšování T S ap Poměr,vekterémseT S apmusízvyšovat,abyse zachovala efektivita ČímmenšípoměrT S /ptímlepšíškálovatelnost Škálovatelnost je schopnost paralelního systému zvýšit zrychlení s počtem procesních jednotek pt P =(p+n)t P+n přidostatečněvelkémt S B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 23/38, verze 1.0

200 Izoefektivita jako metrika škálování B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 24/38, verze 1.0 Vztahy T P = T S+T O (T S,p) S= T S T P = E= p pt S T S +T O (T S,p) T S T S +T O (T S,p) = 1 1+T O (T S,p)/T S Pozorování Efektivitulzezachovat,pouzepokudT O (T S,p)/T S je konstantní Upravouvztahuproefektivitu:T S = E 1 E T O(T S,p) K=E/(1 E)konstantaodvozenáodmíryefektivity Funkce izoefektivity T S =KT O (W,p)

201 Izoefektivita jako metrika škálování IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 25/38, verze 1.0 Funkce izoefektivity Pozorování T S =KT O (W,p) Přikonstantníefektivitě,lzeT S vyjádřitjakofunkcip Vyjadřujevztah,jaksemusízvýšitT S přizvýšeníp Nižší funkce říká, že systém je snáze škalovatelný Isoefektivitu nelze měřit u systémů, které neškálují

202 Izoefektivita jako metrika škálování příklad Příklad Součet n čísel na p procesorech 1 E= = 1 1+(2plogp)/n 1+T O (W,p)/T S T O =2plogp Funkceizoefektivity:T S =K2plogp Funkce izoefektivity: Θ(p log p) Přizvýšeníprocesníchjednotekzpnap seprozachování efektivity musí zvětšit velikost problému o faktor (p logp )/(plogp). B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 26/38, verze 1.0

203 Izoefektivita jako metrika škálování příklad B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 27/38, verze 1.0 Komunikační režie Vpřípaděsoučtunčíselnapprocesníchjednotkáchje komunikační režie závislá pouze na p. ObecněalemůžebýtvztahT O složitější,aisofunkce těžko vyjádřitelná čistě na p Konstantníefektivitavyžaduje,abyT 0 /T S bylozhora omezené,atedyt O nemůžeobsahovatt S smocninou většíjak1. Hypotetický příklad T O =p 3/2 +p 3/4 T 3/4 S Funkce isoefektivity pro jednotlivé členy v součtu: Kp 3/2,K 4 p 3 Θ(p 3 )

204 Cenová optimalita a izoefektivita B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 28/38, verze 1.0 Optimální cena pt P =Θ(T S ) Po dosazení ze základních izo vztahů dostáváme: T S +T O (T S,p)=Θ(T S ) Cenová optimalita zachována pouze pokud T O (T S,p)=O(T S ) T S =Ω(T O (T S,p))

205 Spodní odhad na izoefektivitu IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 29/38, verze 1.0 Izoefektivita Čím nižší funkce, tím lepší škálovatelnost Optimálně by izofunkce měla být nejmenší možná Sublineární izoefektivita Pro problém tvořený N jednotkami práce, optimální cena dosažitelná pouze pro maximálně N procesních jednotek Přidáváním dalších jednotek vyústí v idling některých jednotek a snižování efektivity Aby se efektivita nesnižovala musí množství práce růst minimálně lineárně vzhledem k p Funkce izoefektivity nemůže být sublineární

206 Stupeň souběžnosti a funkce izoefektivity B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 30/38, verze 1.0 Stupeň souběžnosti Míra počtu operací, které může úloha provádět paralelně OznačmeD(T S )funkcivyjadřujícípočetparalelně proveditelných operací v závioslosti na velikosti vstupu Izoefektivita a stupeň souběžnosti Stupeň souběžnosti limituje efektivitu T S =K T S D(T S ) T O(T S,p) Funkce izoefektivity může být optimální Θ(p) pouze pokudstupeňsouběžnostijeθ(t S ) Příklad Gausova eliminace T S =Θ(n 3 ),D(T S )=Θ(n 2 ) Izoefektivita:Θ(p 3/2 )

207 Sekce IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 31/38, verze 1.0 Další metriky

208 Minimální doba výpočtu IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 32/38, verze 1.0 Jakájeminimálnímožnádobavýpočtu(T min P )přidostupnosti dostatečného počtu procesních jednotek? Pozorování, při rostoucím p T P seasymptotickyblížíkt min P PodosaženíT min P set P zvětšujespolusp JakzjistitT min P? Nechťp 0 jeřešenímdiferenciálnírovnice dt P dp =0 Dosazeníp 0 dovztahuprot P dáváhodnotut min P Příklad součet n čísel p procesními jednotkami T P = n p +2logp, dt P dp = n p p p 0 = n 2, Tmin P =2logn=Θ(logn)

209 Optimální doba výpočtu IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 33/38, verze 1.0 označuje minimální čas, ve kterém může být problém řešen cenově optimálním paralelním systémem. T costopt P Pozorování JestližefunkceizoefektivityjeT S =Θ(f(p)),tak Problém, může být řešen cenově optimálně pouze pokud T S =Ω(f(p))(vztahizoefektivityacenovéoptimality) Procenověoptimálnířešenímusíbýtp=O(f 1 (T S )) CenověoptimalitavyjádřenavztahempT P =T S,tj. T P = T S p Lze odvodit, že ( T costopt T ) S P =Ω f 1 (T S )

210 Optimální doba výpočtu příklad IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 34/38, verze 1.0 Příklad sčítání n čísel s využitím p procesních jednotek Izoefektivita Θ(p log p) T S =n=f(p)=plogptakžemámen=plogp p= n logp n logn ) f 1 (T S )=Θ ( n logn =Θ(logn) T costopt P Pozorování T min P =T costopt P Cenově optimální řešení je zároveň asymptoticky nejlepší

211 Optimální a minimální doba výpočtu B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 35/38, verze 1.0 Pozorování Existujípřípady,kdyT costopt P >TP min (vzácné) Napříkladprosystém,kdeT O =p 3/2 +p 3/4 T 3/4 S platí TP min =Θ(T 1/2 S )alet costopt P =Θ(T 2/3 S ) VlastnostsystémusT costopt P >T min P Přidáním neúměrně velkého počtu procesních jednotek se asymptoticky pomaleji zkrátí doba výpočtu Například zvýšení počtu procesních jednotek o faktor n snížíčasvýpočtuofaktorlogn

212 Asymptotická analýza paralelních programů IB109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 36/38, verze 1.0 Algoritmus A1 A2 A3 A4 p n 2 logn n n T P 1 n n nlogn S nlogn logn nlogn n E logn n 1 logn n 1 pt P n 2 nlogn n 1.5 nlogn Otázky Jaký algoritmus je nejlepší? Použily jsme vhodné odhady složitosti? Je dostupná odpovídající paralelní architektura?

213 Jiné metriky škálování B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 37/38, verze 1.0 Požadavky na aplikace se neslučující s existujícími metrikami Schopnost reakce v reálném čase Dominující paměťové nároky Škálované zrychlení Zrychlení,pokudseT S vyjádříjakofunkcekp Příklad, násobení matic VztahT S vůčipaměťovýmnárokům Θ(n 2 )=c m p T S jakočasovásložitost Θ(n 3 )=c t p

214 Sekvenční frakce B109 Návrh a implementace paralelních systémů: Analytický model paralelních programů str. 38/38, verze 1.0 Sekvenční část výpočtu T ser T S =T ser +T par T P =T ser + Tpar =T p ser + T S T ser p Sekvenční frakce f= Tser T S S= T S T P 1 S =f+1 f p f= 1/S 1/p 1 1/p Čím menší f tím vyšší efektivita

215 IB109 Návrh a implementace paralelních systémů Programování s předáváním zpráv RNDr. Jiří Barnat, Ph.D.

216 Sekce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 2/53, verze 1.0 Principy prográmování s předáváním zpráv

217 Vymezení prostředí IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 3/53, verze 1.0 MP Paradigma Nesdílený adresový prostor Explicitní paralelismus Pozorování Každý datový element musí být v nějakém lokálním adresovém prostoru Data explicitně dělena a umístěna do jednotlivých lokálních adresových prostorů Datová lokalita je klíčová vlastnost pro výkon Komunikace vyžaduje aktivní účast komunikujících stran Existují efektivně implementované podpůrné knihovny Programátor je zodpovědný za paralelizaci algoritmu

218 Struktura programů s předáváním zpráv IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 4/53, verze 1.0 Asynchroní paradigma Výpočet začne ve stejný okamžik(synchronně) ale Probíha asynchronně(různá vlákna různou rychlostí) Možnost synchronizace v jednotlivých bodech výpočtu Neplatí Trojúhelníková nerovnost v komunikaci Další vlastnosti Nedeterministické chování Těžší prokazování korektnosti Možnost provádění zcela odlišného kódu na jednotlivých procesních jednotkách Typicky však Single program multiple data Každá procesní jednotka má jednoznačnou identifikaci

219 Sekce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 5/53, verze 1.0 Send a Receive Základní stavební kameny

220 Send a Receive B109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 6/53, verze 1.0 send(void *sendbuf, int nelems, int dest) receive(void *recvbuf, int nelemns, int src) sendbuf ukazatel na bafr(blok paměti), kde jsou umístěna data připravená k odeslání recvbuf ukazatel na bafr(blok paměti), kam budou umístěna přijatá data nelems počet datových jednotek, které budou poslány, či přijaty(délka zprávy) dest adresátodesílanézprávy,tj.idtoho,komuje zpráva určena src odesílate zprávy, tj. ID toho, kdo zprávu poslal, nebo toho, od koho chci zprávu přijmout

221 Příklad na send a receive B109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 7/53, verze 1.0 Paralelní systém s 2 procesy 1 P0 P1 2 3 a = 100; receive (&a, 1, 0); 4 send(&a, 1, 1); printf("%d\n", a); 5 a = 0; CobymělobýtnavýstupuprocesuP1? Asynchronní sémantika send() a receive() Nutné z důvodu zachování výkonu aplikace ComůžebýtnavýstupuprocesuP1?

222 Blokující nebafrované operace Blokující operace Operace send() ukončena až tehdy, je-li to bezpečné vzhledem k sémantice, tj. že příjemce obdrží to, co bylo obsahem odesílaného bafru v okamžiku volání operace send() Ukončení operace send() nevynucuje a negarantuje, že příjemce již zprávu přijal Operace receive() skončí po příjetí dat a jejich umístění na správné místo v paměti Nebafrované operace Operace send() skončí až po dokončení operace komunikace, tj. až přijímací proces zprávu přijme V rámci operací send() a receive() před samotným přenosem dat probíhá synchronizace obou participujících stran(handshake) IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 8/53, verze 1.0

223 Blokující nebafrované operace problémy IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 9/53, verze 1.0 Prodlevy Způsobeno požadavkem na synchronizaci před vlastní komunikací Proces, který dosáhne bodu, kdy je připraven komunikovat čeká,aždostejnéhobodudospějeidruhýproces Volání send() a receive() ve stejný okamžik nelze garantovat na úrovni kódu Nemá velký vliv, pokud dominuje čas komunikace Uváznutí(deadlock) 1 P0 P1 2 3 send(&a, 1, 1); send(&a, 1, 0); 4 receive(&b, 1, 1); receive(&b, 1, 0);

224 Blokující bafrované operace IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 10/53, verze 1.0 Bafr v bafrované komunikaci Extra paměť zdánlivě mimo adresový prostor procesů Mezisklad zpráv při komunikaci Bafrované komunikační operace Operace send() skončí v okamžiku, kdy odesílaná data kompletně překopírováná do bafru Případná modifikace posílaných dat po skončení operace send(), ale před započetím vlastní komunikace se neprojeví Volání send(), vlastní komunikace a následné volání receive() na přijímací straně se nemusí časově překrývat

225 Blokující bafrované operace problémy Režie související s bafrováním Eliminace prodlev za cenu režie bafrování Ve vysoce synchroních aplikacích může být horší než používání blokujících nebafrovaných operací Velikost bafrů Pokud odesílatel generuje zprávy rychleji, než je příjemce schopen zprávy přijímat, velkikost bafrů může neúměrně růst(problém producent-konzument) Pokud je velikost pro bafry omezená, může docházet(a to nedeterministicky) k situaci, kdy je předem daná velikost bafrů nedostatečná(buffer overflow) Případné samovolné blokování odesílatele do té doby, než odesílatel přijme nějaká data a bafry se uvolní, může vést k uváznutí, podobně jako v případě nebafrované blokující komunikace IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 11/53, verze 1.0

226 Blokující bafrované operace problémy IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 12/53, verze 1.0 Uváznutí(i bez blokování odesílatele) 1 P0 P1 2 3 receive(&b, 1, 1); receive(&b, 1, 0); 4 send(&a, 1, 1); send(&a, 1, 0); Asymetrický model blokující bafrované komunikace Neexistence odpovídajících prostředků pro bafrovanou komunikaci Operace send() je blokující nebafrovaná Přijímacíprocesjepřerušenvběhuazprávajepřijatado bafru, kde čeká, dokud přijímací proces nezavolá odpovídající operaci receive() Dedikované vlákno pro obsluhu komunikace

227 Neblokující operace IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 13/53, verze 1.0 Motivace Komunikace, která nezpůsobuje prodlevy Neblokující operace Volání funkce může skončit dříve, než je to sémanticky bezpečné Existuje funkce na zjištění stavu komunikující operace Program nesmí modifikovat odesílaná data, dokud komunikace neskončí Po dobu trvání komunikace program může vykonávat kód Překrývání výpočtu a komunikace HW Realizace DMA

228 Přehled komunikačních módů IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 14/53, verze 1.0 Blokující Neblokující Bafrované Nebafrované send skončí jakmile jsou data nakopírována do bafru send skončí až po skončení odpovídajícího receive Sémantiku operací nelze porušit send skončí jakmile je inicializován DMA přenos send skončí ihned, odešle se pouze požadavek na komunikaci Korektní dokončení operací nutné zjišťovat opakováným dotazováním se

229 Sekce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 15/53, verze 1.0 Message Passing Interface

230 Message Passing Interface IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 16/53, verze 1.0 Standardizuje syntax a sémantiku komunikačních primitiv Přes 120 knihovních funkcí Rozhraní pro C, Fortran MPI verze 1.2 MPIverze2.0(ParalelníI/O,C++rozhraní,...) Existují různé implementace standardu mpich LAM/MPI Open MPI

231 Minimální použití MPI B109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 17/53, verze 1.0 MPI funkce Význam MPI Init Inicializuje MPI MPI Finalize Ukončuje MPI MPI Comm size Vrací počet participujících procesů MPI Comm rank Vrací identifikátor volajícího procesu MPI Send Posílá zprávu MPI Recv Přijímá zprávu Definice typů a konstant:#include "mpi.h" Návratová hodnota při úspěšném volání fce: MPI SUCCESS Kompilace: mpicc, mpicc, mpic++ Spuštění programu: mpirun

232 Inicializace a ukončení MPI knihovny IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 18/53, verze 1.0 Inicializace Nastavuje MPI prostředí Musí být voláno na všech procesorech Musí výt voláno jako první MPI funkce argv nesmí být modifikováno před voláním MPI Init MPI Init(int *argc, char ***argv) Finalizace Ukončuje MPI prostředí Musí být voláno na všech procesech Nesmí být následováno voláním MPI funkce Provádí různé úklidové práce int MPI Finalize()

233 MPI komunikátory Komunikační domény Sdružování participujících procesorů do skupin Skupiny se mohou překrývat Komunikátory Proměnné, které uchovávájí komunikační domény TypMPIComm Jsou argumentem všech komunikačních funkcí MPI Defaultní komunikátor: MPI COMM WORLD Zjišťování velikosti domény a identifikátoru v rámci domény int MPI Comm size(mpi Comm comm, int *size) int MPI Comm rank(mpi Comm comm, int *rank) rank je identifikátor procesu v dané doméně rank číslo v intervalu[0,size-1] IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 19/53, verze 1.0

234 Hello World IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 20/53, verze #include "mpi.h" 2 3 main (int argc, char *argv[]) 4 { 5 int npes, myrank; 6 7 MPI Init (&argc, &argv); 8 MPI Comm size(mpi COMM WORLD, &npes); 9 MPI Comm rank(mpi COMM WORLD, &myrank); printf("hello World! (%d out of %d)", 12 myrank,npes); MPI Finalize(); 15 }

235 Posílání zpráv IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 21/53, verze 1.0 int MPI Send(void *buf, int count, MPI Datatype datatype, int dest, int tag, MPIComm comm) Odešle data odkazovaná pointrem buf Na data se nahlíží jako na sekvenci instancí typu datatype Odešle se count po sobě jdoucích instancí dest je rank adresáta v komunikační doméně určené komunikátorem comm tag Přiložená informace typu int v intervalu[0,mpi TAG UB] Pro příjemce viditelná bez čtení obsahu zprávy Typicky odlišuje typ zprávy

236 Korespondece datových typů MPI a C IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 22/53, verze 1.0 MPI datový typ Odpovídající datový typ v C MPI CHAR signed char MPI SHORT signed short int MPI INT signed int MPI LONG signed long int MPI UNSIGNED CHAR unsigned char MPI UNSIGNED SHORT unsigned short int MPI UNSIGNED unsigned int MPI UNSIGNED LONG unsigned long int MPI FLOAT float MPI DOUBLE double MPI LONG DOUBLE long double MPIBYTE -- MPI PACKED --

237 Přijímání zpráv IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 23/53, verze 1.0 int MPI Recv(void *buf, int count, MPI Datatype datatype, int source, int tag, MPIComm comm, MPI Status *status) Přijme zprávu od příjemce s rankem source v komunikační doméně comm s tagem tag sourcemůžebýtmpianysource tagmůžebýtmpianytag Zpráva uložena na adrese určené pointrem buf Velikost bafru je určena hodnotami datatype a count Pokud je bafr malý, návratová hodnota bude MPI ERR TRUNCATE

238 Přijímání zpráv MPI Status B109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 24/53, verze 1.0 MPI Status typedef struct MPI Status { int MPI SOURCE; int MPITAG; int MPI ERROR; }; Vhodné zejména v případě příjmu v režimu MPIANYSOURCEneboMPIANYTAG MPI Status drží i další informace, například skutečný počet přijatých dat(délka zprávy) int MPI Get count(mpi Status *status, MPI Datatype datatype, int *count)

239 Posílání a přijímání zpráv sémantika IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 25/53, verze 1.0 MPI Recv Volání skončí až jsou data umístěna v bafru Blokující receive operace MPI Send MPI standard připouští 2 různé sémantiky 1) Volání skončí až po dokončení odpovídající receive operace 2) Volání skončí jakmile jsou posílaná data zkopírována do bafru Změna odesílaných dat je vždy sémanticky bezpečná Blokující send operace Možné důvody uváznutí Jiné pořadí zpráv při odesílání a přijímání Cyklické posílání a přijímání zpráv(večeřící filozofové)

240 Současné posílání a přijímání zpráv IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 26/53, verze 1.0 MPI Sendrecv Operace pro současné přijímání i odesílání zpráv Nenastává cyklické uváznutí Bafry pro odesílaná a přijímaná data musí být různé int MPISendrecv ( void *sendbuf, int sendcount, MPI Datatype senddatatype, int dest, int sendtag, void *recvbuf, int recvcount, MPI Datatype recvdatatype, int source, int recvtag, MPI Comm comm, MPI Status *status)

241 Současné posílání a přijímání zpráv Sendrecv replace IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 27/53, verze 1.0 Problémy MPI Sendrecv Bafry pro odesílaná a přijímaná data zabírají 2x tolik místa Složitá manipulace s daty díky 2 různým bafrům MPI Sendrecv replace Operace odešle data z bafru a na jejich místo nakopíruje přijatá data int MPI Sendrecv replace ( void *buf, int count, MPI Datatype datatype, int dest, int sendtag, int source, int recvtag, MPI Comm comm, MPI Status *status)

242 Sekce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 28/53, verze 1.0 Topologie a vkládání

243 Mapování procesů IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 29/53, verze 1.0 Nevýhody ručního mapování Určeno v době kompilace programu Nemusí odpovídat optimálnímu mapování Nevhodné zejména v případech nehomogenního prostředí Mapování přes MPI Mapování určeno za běhu programu MPI knihovna má k dispozici(alespoň částečnou) informaci o síťovém prostředí(například počet použitých procesorů v jednotlivých participujících uzlech) Mapování navrženo s ohledem na minimalizaci ceny komunikace

244 Kartézké topologie IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 30/53, verze 1.0 int MPICartcreate ( MPIComm commold, int ndims, int *dims, int *periods, int reorder, MPI Comm *comm cart) Pokud je v původní doméně comm old dostatečný počet procesorů, tak vytvoří novou doménu comm cart s virtuální kartézkou topologií Funkci musí zavolat všechny procesy z domény comm old Parametry kartézké topologie ndims počet dimenzí dims[] pole rozměrů jednotlivých dimenzích periods[] pole příznaků cyklické uzavřenosti dimenzí Příznak reorder značí, že ranky procesů se mají v rámci nové domény vhodně přeuspořádat Nepoužité procesy označeny rankem MPI COMM NULL

245 Koordináty procesorů v kartézkých topologiích IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 31/53, verze 1.0 Komunikační primitiva vyžadují rank adresáta Překlad z koordinátů(coords[]) do ranku int MPICartrank (MPIComm commcart, int *coords, int *rank) Překlad z ranku na koordináty maxdims je velikost vstupního pole coords[] int MPI Cart coord(mpi Comm comm cart, int rank, int maxdims, int *coords)

246 Sekce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 32/53, verze 1.0 Neblokující komunikace

247 Neblokující Send a Receive IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 33/53, verze 1.0 int MPI Isend(void *buf, int count, MPI Datatype datatype, int dest, int tag, MPIComm comm, MPI Request *request) int MPI Irecv(void *buf, int count, MPI Datatype datatype, int source, int tag, MPIComm comm, MPI Request *request) MPI Request Identifikátor neblokující komunikační operace Potřeba při dotazování se na dokončení operace

248 Dokončení neblokujících komunikačních operací IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 34/53, verze 1.0 int MPI Test(MPI Request *request, int *flag, MPI Status *status) Nulový flag znamená, že operace ještě probíhá Při prvním volání po dokončení operace se naplní status, zničírequestaflagnastavínatrue int MPI Wait(MPI Request *request, MPI Status *status) Blokující čekání na dokončení operace Po dokončení je request zničen a status naplněn int MPI Request free(mpi Request *request) Explicitní zničení objektu request Nemá vliv na probíhající operaci

249 Neblokující operace poznámky IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 35/53, verze 1.0 Párování Neblokující a blokující send a receive se mohou libovolně kombinovat Uváznutí Neblokující operace řeší většinu problémů s uváznutím Neblokující operace mají vyšší paměťové nároky Později zahájená neblokující operace může skončit dříve

250 Sekce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 36/53, verze 1.0 Kolektivní komunikace

251 Kolektivní operace IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 37/53, verze 1.0 Množina participujících procesů je určena komunikační doménou(mpi Comm) Všechny procesy v doméně musí volat odpovídající MPI funkci Obecně se kolektivní operace nechovají jako bariéry, tj. jeden proces může dokončit volání funkce dříve, než jiný proces vůbec dosáhne místa volání kolektivní operace Forma virtuální synchronizace Nepoužívají tagy(všichni vědí jaká operace se provádí) Pokud je nutné specifikovat zdrojový, či cílový process, musí tak učinit všechny participující procesy a jejich volba cílového, či zdrojového procesu musí být shodná MPI podporuje dvě varianty kolektivních operací posílají se stejně velká data(např. MPI Scatter) posílají se různě velká data(např. MPI Scatterv)

252 Bariéra IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 38/53, verze 1.0 int MPI Barrier(MPI Comm comm) Základní synchronizační primitivum Volání funkce skončí pokud všechny participující procesy zavolají MPI Barrier Není nutné, aby volaná funkce byla na stejném místě vprogramu

253 Všesměrové vysílání OTA B109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 39/53, verze 1.0 int MPI Bcast(void *buf, int count, MPI Datatype datatype, int source, MPI Comm comm) Rozesílá data uložená v bafru buf procesu source ostatním procesům v doméně comm Kromě buf musí být parametry funkce shodné ve všech participujícíh procesech Parametr buf na ostatních procesech slouží pro identifikaci bafru pro příjem dat

254 Redukce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 40/53, verze 1.0 int MPI Reduce(void *sendbuf, void *recvbuf, int count, MPI Datatype datatype, MPIOp op, int target, MPI Comm comm) Data ze sendbuf zkombinována operací op do recvbuf procesu target Všichni participující musí poskytnout recvbuf i když výsledek uložen pouze na procesu target Hodnoty count, datatype, op, target musí být shodné ve všech volajích procesech Možnost definovat vlastní operace typu MPI Op

255 Operátory redukce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 41/53, verze 1.0 Operace Význam Datové typy MPI MAX Maximum C integers and floating points MPI MIN Minimum C integers and floating points MPI SUM Součet C integers and floating points MPI PROD Součin C integers and floating points MPI LAND Logické AND C integers MPI BAND Bitové AND C integers and byte MPI LOR Logické OR C integers MPI BOR Bitové OR C integers and byte MPI LXOR Logické XOR C integers MPI BXOR Bitové XOR C integers and byte MPI MAXLOC Maximum a minimální Datové dvojice pozice s maximem MPI MINLOC Minimum a minimální Datové dvojice pozice s minimem

256 Datové páry a Kompletní Redukce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 42/53, verze 1.0 MPI datové páry C datový typ MPI 2INT int, int MPI SHORT INT short, int MPI LONG INT long, int MPILONGDOUBLEINT long double, int MPI FLOAT INT float, int MPI DOUBLE INT double, int int MPI Allreduce(void *sendbuf, void *recvbuf, int count, MPI Datatype datatype, MPIOp op, MPIComm comm)

257 Prefixový součet IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 43/53, verze 1.0 int MPI Scan(void *sendbuf, void *recvbuf, int count, MPI Datatype datatype, MPIOp op, MPIComm comm) Provádí prefixovou redukci Proces s rankem i má ve výsledku hodnotu vzniklou redukcíhodnotprocesůsrankem0aživčetně Jinak shodné s redukcí

258 Gather IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 44/53, verze 1.0 int MPI Gather(void *sendbuf, int sendcount, MPI Datatype senddatatype, void *recvbuf, int recvcount, MPI Datatype recvdatatype, int target, MPI Comm comm) Všichni posílají stejný typ dat Cílový proces obdrží p bafrů seřazených dle ranku odesílatele recvbuf, recvcount, recvbuf platné pouze pro proces s rankem target recvcount je počet odeslaných dat jedním procesem, nikoliv celkový počet přijímaných dat

259 Allgather IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 45/53, verze 1.0 int MPI Allgather(void *sendbuf, int sendcount, MPI Datatype senddatatype, void *recvbuf, int recvcount, MPI Datatype recvdatatype, MPI Comm comm) Bez určení cílového procesu, výsledek obdrží všichni recvbuf, recvcount, recvdatattype musí být platné pro všechny volající procesy

260 Vektorová varianta Gather IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 46/53, verze 1.0 int MPI Gatherv(void *sendbuf, int sendcount, MPI Datatype senddatatype, void *recvbuf, int *recvcounts, int *displs, MPI Datatype recvdatatype, int target, MPI Comm comm) Odesílatelé mohou odesílat různě velká data(různé hodnoty sendcount) Pole recvcounts udává kolik dat bylo přijato od jednotlivých procesů Pole displs udává, kde v bafru recvbuf začínají data od jednotlivých procesů

261 Vektorová varianta Allgather IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 47/53, verze 1.0 int MPI Allgatherv(void *sendbuf, int sendcount, MPI Datatype senddatatype, void *recvbuf, int *recvcounts, int *displs, MPI Datatype recvdatatype, MPI Comm comm)

262 Scatter IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 48/53, verze 1.0 int MPI Scatter(void *sendbuf, int sendcount, MPI Datatype senddatatype, void *recvbuf, int recvcount, MPI Datatype recvdatatype, int source, MPI Comm comm) Posílá různá data stejné velikosti všem procesům int MPI Scatterv(void *sendbuf, int *sendcounts, int *displs, MPI Datatype senddatatype, void *recvbuf, int recvcounts, MPI Datatype recvdatatype, int source, MPI Comm comm) Posílá různá data různé velikosti všem procesům

263 Alltoall B109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 49/53, verze 1.0 int MPI Alltoall(void *sendbuf, int sendcount, MPI Datatype senddatatype, void *recvbuf, int recvcount, MPI Datatype recvdatatype, MPI Comm comm) Posílá stejně velké části bafru sendbuf jednotlivým procesům v doméne comm Proces i obdrží část velikosti sendcount, která začíná na pozici sendcount * i Každýprocesmávbafrurecvbufnapozici recvcount * i data velikosti recvcount od procesu i

264 Vektorová varianta Alltoall IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 50/53, verze 1.0 int MPI Alltoallv(void *sendbuf, int *sendcounts, int *sdispls, MPI Datatype senddatatype, void *recvbuf, int *recvcounts, int *rdispls, MPI Datatype recvdatatype, MPI Comm comm) Pole sdispl určuje, kde začínají v bafru sendbuf data určená jednotlivým procesům Pole sendcounts určuje množství dat odesílaných jednotlivým procesům Pole rdispls a recvcounts udávají stejné infromace pro přijatá data

265 Sekce IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 51/53, verze 1.0 Skupiny a komunikátory

266 Dělení komunikační domény IB109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 52/53, verze 1.0 int MPICommsplit(MPIComm comm, int color, int key, MPI Comm *newcomm) Kolektivní operace, musí být volána všemi Parametr color určuje výslednou skupinu/doménu Parametr key určuje rank ve výsledné skupině Při shodě key rozhoduje původní rank

267 Dělení kartezkých topologií B109 Návrh a implementace paralelních systémů: Programování s předáváním zpráv str. 53/53, verze 1.0 int MPICartsub(MPIComm commcart, int *keepdims, MPI Comm *comm subcart) Pro dělení kartézkých topologií na topologie s menší dimenzí Pole příznaků keep dims určuje, zda bude odpovídající dimenze zachována v novém dělení Příklad Topologieorozměrech2 4 7 Hodnotou keep dims = {true,false,true} Vzniknou4novédoményorozměrech2 7

268 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ÊÆ Öº Â ÖÒ Ø È º º

269 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ¾» ½ Ú ÖÞ ½º¼ Ë ÈÖÓ Ø Ð ÒÓÙ Ô Ñ Ø

270 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº» ½ Ú ÖÞ ½º¼ ÎÝÑ Þ Ò ÔÖÓ Ø ÈÖÓ Ý Ú º ÚÐ Ò ÈÖÓ Ý ÖÚ Ó Ø ØÒ Ñ ÔÖÓ Ñ ÚÔÓ ØÒ ÔÖÓ Ø Ý ÈÖÓ Ý Ú Ó Ò Ò ÖÓÚÒ ÓÔ Ö Ò Ó Ý Ø ÑÙ Ú ÔÖÓ Ø Ú Ùú Ú Ø Ð ÎÐ Ò Ò Ñ Ö ú ÞÔ Ó ÒÓÙ ÖÚ Ò Ñ Ø ÎÐ Ò Ú Ó Ò ÔÖÓ Ô Ö Ð ÐÒ ÐÓ Ý õ Ò Ò Ñ Ùú Ú Ø Ð Ñ Þ ÔÓ Ð Ù ÓÔ Ö Ò Ó Ý Ø ÑÙµ ÎÐ Ò Ú Ö Ñ ÔÖÓ Ù ÜÔÐ ØÒ Ô Ö Ð Ð ÑÙ Ð Ñ ÒØ Ö Ò Ò Ô Ú Ò Ø Ð Ñ ÒØ Ö ÝÒ ÖÓÒ Þ

271 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº» ½ Ú ÖÞ ½º¼ Ð Ý ÔÓÙú Ø ÚÐ Ò ÎÐ ÒÓ Ä Ò ÖÒ Ú Ò ÚÝ ÓÒ Ú Ò Ò ØÖÙ ÚÔÓ Øµ Ê Ð ÞÙ ÒÙ ÐÓ Ù Ú Ô Ö Ð ÐÒ Ñ Ý Ø ÑÙ ÄÞ Ô Ø Ó Ô Ö Ð ÐÒ ú ÔÖÓ ÙÖÙ È Ð ½ ÓÖ ¼ Ò µ ¾ ÓÖ ¼ Ò µ Ñ Ö Ø Ø Ö ÔÖÓ ÙØ ØÖÓÛ µ ØÓÐ µµ µ

272 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº» ½ Ú ÖÞ ½º¼ ÈÖÓ Ý Ú Ö Ù ÚÐ Ò ÈÖÓ Á ÒØ ØÓÖÝ ÔÖÓ Ù ÚÐ ØÒ ÈÖÓÑ ÒÒ ÔÖÓ Ø ÔÖ ÓÚÒ Ö Ã Ê ØÖÝ Ó Ò À Ð Ç ÞÝ Ò ÓØ Ú Ò ÓÙ ÓÖÝ Ð Ò Ò ÓÚÒÝ Ê Ò Ò ÐÝ Ã Ò ÐÝ ÁÈ ÎÐ Ò Ñ ÔÖ Ú ØÒ Ó Ò Ê ØÖÝ ÖÓÒØÙ Ò Ð

273 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº» ½ Ú ÖÞ ½º¼ ÈÖÓ Ú ÓÔ Ö Ò Ñ Ý Ø ÑÙ

274 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº» ½ Ú ÖÞ ½º¼ ÎÐ Ò Ú Ö Ñ ÔÖÓ Ù

275 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº» ½ Ú ÖÞ ½º¼ ÈÖÓ ÔÖ ÖÓÚ Ø ÚÐ Ò Ô ÔÖÓ Ý Î ÓÒ ÔÐ ÎÝØÚÓ Ò ÔÖÓ Ù ÚÖ ÞÒ Ö úõ Ò ú ÚÝØÚÓ Ò ÚÐ Ò Å Þ ÔÖÓ ÓÚ ÓÑÙÒ ÔÖÓ Ð Ô Ú Ò ÞÔÖ Ú Ñ Ò Ø ÔÖÓÚ Ò Ú Ö Ñ ÒÓ Ó ÚÐ Ò Ú Ø ÐÒ Ú ÓÒØ ÜØÙ Ð Ó ÔÖÓ Ù ÎÐ Ò ÓÑÙÒ Ù ÒÙÐÓÚÓÙ Ð Ø Ò Ô ÒÓ ÓÚÓÙ ÖÝ ÐÓ Ø ÓÑ Þ ÒÓÙ ÔÓÙÞ ÖÝ ÐÓ Ø ÓÑÙÒ Ñ Þ Ô Ñ Ø ÔÖÓ ÓÖ Ñ ËÝÒ ÖÓÒ Þ ÚÐ Ò ÖÝ Ð õ Ä Ó Ø ÔÖÓ Ö ÑÓÚ Ò ÈÖÓ Ö ÑÓÚ Ò Ò úõ Ú ÔÓÖÓÚÒ Ò Ô Ú Ò Ñ ÞÔÖ Úµ Ã Ö Øõ

276 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº» ½ Ú ÖÞ ½º¼ ÈÖÓ õø ÔÓÙú Ú Ø ÚÐ Ò È ÒÓ Ø ÐÒÓ Ø ËØ Ò Ö ÞÓÚ Ò ÈÁ ÙÑÓú Ù Ó ÖÓÙ Ô ÒÓ Ø ÐÒÓ Ø ÎÚÓ ÔÐ Ñ ú ÔÖÓ Ø Ò úò ÔÖ ÓÚÒ Ø Ò Ë ÖÚ Ò Ð Ø Ò Ä Ø Ò Ô Ô ØÙÔÙ Ó Ô Ñ Ø Ô ÔÖÓÚ Ò Á»Ç ÓÔ Ö Ô ÓÑÙÒ ÈÖÓ Ö Ñ ØÓÖ Ý ÒÓ Ù õ Ò Ô ÖØ ÔÖÓ Ð ÚÝ ÞÔ Ó Ò Ð Ø Ò ÑÝ ÐÙÔÐÒÑ ÚÔÓ Ø Ñ ÈÐ ÒÓÚ Ò ÚÝÚ úóú Ò Þ Ø ú ÈÓÙú Ø Ó Ø Ø Ò Ó ÑÒÓú ØÚ ÚÐ Ò ÙÑÓúÒ Ô Ö Ð ÐÒ ÑÙ Ý Ø ÑÙ ÚÝÙú Ø ÖÓÚÒÓÑ ÖÒ Úõ ÒÝ Ó ØÙÔÒ ÔÖÓ Ø Ý Þ Ðõ ÒØ Ö Ö Ò ÔÖÓ Ö Ñ ØÓÖ ÅÓúÒÓ Ø Ø ÒÓÚ Ø ÔÖ ÓÖ ØÙ ÒÓØÐ Ú ÚÐ Ò

277 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½¼» ½ Ú ÖÞ ½º¼ Ð ÔÖÓ Ö ÑÓÚ Ò Ú Ð Ò Ñ Ö ÓÚ Ñ ÔÖÓ ØÓÖÙ Ê ÓÒ Ø ÓÒ Æ Ó ÓÒ ÐÓ Ø Ò ÚÖú Ò Ó Ý Ø ÑÙ Ø Ö ÔÖÓ ÚÙ Ò Ø ÖÑ Ò Ø Ñ ÓÚ Ò Ñ Ý Ø ÑÙ Ô ÓÔ ÓÚ Ò Ñ ÔÙõØ Ò µ Þ Ú Ð Ñ Ò ÔÓ Ú ÝØ ÓÚ Ò ÒÓØÐ Ú Ù ÐÓ Ø Ú Ý Ø ÑÙº Ì ÖÑ Ò Ó ÚÓÞ Ò Þ ØÙ Ý ¾ Ö ÞÒ Ò ÐÝ Þ ÚÓ Ó ØÓ Ó ÓÚÐ ÚÒ Ú ØÙÔ Ý Ø ÑÙ Ó ÔÖÚÒ º Ì Ö ¹ ÔÖÓ ÙÖÝ ÇÞÒ Ò ÔÖÓ ÙÖÝ ÔÖÓ Ö ÑÙ ú ÞÔ Ò ÔÖÓÚ Ø ÚÞ Ð Ñ Ñ ÒØ Ú ØÙÔÙ Ø Ð Ø ÚÔÓ ØÙµ Ò ÓÐ ÚÐ ÒÝ Þ Ð Ò Þ Ú Ð ÓÙ úò º

278 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½½» ½ Ú ÖÞ ½º¼ ÁÑÔÐ Ñ ÒØ Ø Ö ¹ ÔÖÓ ÙÖ Ê ¹ ÒØÖ ÒØÒ Ã Óú ÔÖÓÚ Ò Ú Ö Ñ Ò ÐÓ Ý Ñ ú Ø Ô ÖÙõ ÒÓ ÓÑÔÐ ØÒ ÔÖÓÚ Ò Ú Ö Ñ Ò ÐÓ Ý ÔÓØ Ó ÒÓÚ ÒÓ Ú Ö Ñ Ô ÚÓ Ò ÐÓ Ýº ÄÓ ÐÒ Ø ÒÓØÐ Ú ÚÐ Ò ÎÐ Ò ÑÓ ÓÙ Ù ÖúÓÚ Ø Ú ÖØÙ ÐÒ µ ÐÓ ÐÒ ÓÔ Ø ÈÓ Ù ÓÙ Ø Ô ØÙÔÓÚ Ò ÔÓÙÞ ÒÑ ÚÐ Ò Ñ ÑÔÐ Ñ ÒØ Þ Ø Ú Ø Ö ¹ Ê Þ Ó Ò Ö ¹ ÒØÖ ÒØÒ Ó Ù ÎÞ ÑÒ ÚÝÐÓÙ Ò Ò Ð Ò Ø Ë Ö Ð Þ ÔÓú Ú ÈÓÞÓÖ Ò ÙÚ ÞÒÙØ Ø ÖÒÙØ Ö ÓÒ Ø ÓÒ ÎÝÒÙÙ ÚÝÐ Ø Ô Ñ Ø Þ Ñ Ø Ú Ú ÓÒÙ ÔÐ

279 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½¾» ½ Ú ÖÞ ½º¼ ÁÑÔÐ Ñ ÒØ Ø Ö ¹ ÔÖÓ ÙÖ ËÔ ÒÐÓ Ø ÚÒ Ò Ò ÙÚÓÐÒ Ò Ô ØÙÔÙ Ó Ö Ø ÈÖÓ Ö Ø Ó Ý Ø ÚÒ õ Ò ú Ô Ô Ò Ò ÓÒØ ÜØ ÚÐ Ò Ò ØÓú Ô ÔÖÓ È Ø Ö ÓÒ Ú Ð ÓÖ ØÑÙ Å ÔÓú ÓÚ Ò ÚÐ ØÒÓ Ø ÈÓÞÓÖ Ò ÔÖÓÚ Ò Ò ØÖÙ Ñ ÑÓ ÔÓ Ñ ú ÞÔ Ó Ø Ò ÓÖ ØÒÓ Ø ÚÞ ÑÒ Ó ÚÝÐÓÙ Ò ÎÝú Ù ØÓÑ ÓÙ ÓÔ Ö Ú ÞÝ Ò úõ Ó ØÝÔÙ

280 ÁÑÔÐ Ñ ÒØ Ø Ö ¹ ÔÖÓ ÙÖ ØÓÑ ÓÔ Ö Ú Ð Ò Ö Ø ØÙ ÈÍ Ü À Ü Ò µ ÐÔ Å Ô ÈÓÛ ÖÈ ÊÅ ÄÄ»Ë ÇÔ Ö ØÝÔÙ Ø Ø¹ Ò ¹ Ø ½ ÒØ Ø Ø Ò Ø ÚÓÐ Ø Ð ÒØ µ ¾ ÒØ Ö Ñ ÚÓÐ Ø Ð Ü Ð ±¼ ±½ ÒÒÒØ Ö Öµ Ñ µ ¼ ½µ Ñ µ Ñ ÑÓÖÝ µ Ö ØÙÖÒ Ö Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½» ½ Ú ÖÞ ½º¼

281 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½» ½ Ú ÖÞ ½º¼ Æ ÔÐ ØÒ Ð Ò ÞÔ Ó Ò ÚÐ ÒÝ ß Ô Ð ËÔ È Ö Ð ÐÒ Ý Ø Ñ Ú ÔÖÓ ÓÖÝ ÈÖÓ Ö Ñ Ò ÓÐ Ò Ó Ò Ú ÖÓ ÚÐ ÒÝ ÈÓÐ Ó ÒÓØ ÒØ ÔÓÐ ÒÖ Ó Ø Ö ÎÐ Ò ÔÓ Ø Ú Ð ÒÓÙ Ó ÒÓØÙ ØÝÔÙ ÒØ ÚÔÓ ØÙ Ù Ð Ñ Þ Ú Ð ØÝÔÙ ÒØ Î Ö ÒØÝ ÑÔÐ Ñ ÒØ µ à ú ÚÐ ÒÓ ÓÔ ÓÚ Ò Þ Ô Ù Ó ØÓÚ Ó ÔÓÐ ÒØ Ö Ò ÔÓÞ ÙÖ ÒÓÙ Ó Á µ à ú ÚÐ ÒÓ Þ Ô Ù Ó ÐÓ ÐÒ ÔÖÓÑ ÒÒ Ô ÓÒ Ò Ñ Ò ÓÔ ÖÙ Ú Ð ÒÓÙ Ó ÒÓØÙ Ó ÔÓÐ Ò ÔÓÞ ÙÖ ÒÓÙ Ó Á µ Î Þ µ Ð Þ Ô Ò ÔÓÞ ÙÖ ÒÓÙ Ð Ñ ¾ Á ÇØ Þ ÃØ Ö ÑÔÐ Ñ ÒØ Ù Ò ÔÓÑ Ð õ ÔÖÓ

282 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½» ½ Ú ÖÞ ½º¼ Ë ÈÇËÁ Ì Ö ÈÁ

283 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½» ½ Ú ÖÞ ½º¼ À ØÓÖ ÈÇËÁ Ø Ò Ö À ØÓÖ ËÅÈ Ý Ø ÑÝ ÎÐ Ò ÑÔÐ Ñ ÒØÓÚ Ò ÒÓØÐ ÚÑ ÚÖÓ ÀÏ Á ÈÇËÁ ½¼¼ º½ Ø Ò Ö Á ÈÇËÁ ½¼¼ º½ ÈÖÓ Ö Ñ ØÓÖ ÖÓÞ Ö Ò ÔÖÓ ÈÇËÁ Ø Ö ÈØ Ö Â Ò ÒÓÖÑÝ ÆÌ Ì Ö Ï Ò ¾µ ËÓÐ Ö Ø Ö Â Ú Ø Ö º º º

284 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½» ½ Ú ÖÞ ½º¼ Ð Ò Ð Ò ËÔÖ Ú ÚÐ Ò ÎÝØÚ Ò Ó ÐÓÚ Ò ÔÓ ÓÚ Ò ÚÐ Ò ÙÒ Ò Ò Ø Ú Ò Þ õø Ò Ø ÚÙ ÚÐ Ò ÎÞ ÑÒ ÚÝÐÓÙ Ò ÑÙØ Ü µ ÎÝØÚ Ò Ò Ò Þ ÑÝ Ò Ó ÑÝ Ò ÑÙØ Ü ÙÒ Ò Ò Ø Ú Ò Þ õø Ò ØÖ ÙØ ÔÓ Ò ÑÙØ ÜÝ ÈÓ Ñ Ò ÓÚ»ÔÓ Ñ Ò Ò ÔÖÓÑ ÒÒ ÓÒ Ø ÓÒ Ð Ú Ö Ð µ ËÐÓÙú ÔÖÓ ÓÑÙÒ» ÝÒ ÖÓÒ Þ ÚÐ Ò ÙÒ Ò ÚÝØÚ Ò Ò Ò Ò Ò Ò Ð ÞÓÚ Ò Ô Ô Ó ÒÓØ ÔÓ Ñ Ò ÓÚ ÔÖÓÑ ÒÒ ÙÒ Ò Ò Ø Ú Ò Þ õø Ò ØÖ ÙØ ÔÖÓÑ ÒÒ

285 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½» ½ Ú ÖÞ ½º¼ ÈÇËÁ Ø Ò Ö È ¼ ÈÁ ÙÒ ÒÐÙ ÔØ Ö º È Ð ÚÓÐ ÓÙ ¹ÔØ Ö ÅÒ ÑÓØ Ò Ô ÔÓÒÝ ÙÒ ÔØ Ö ÔØ Ö ØØÖ ÔØ Ö ÑÙØ Ü ÔØ Ö ÑÙØ Ü ØØÖ ÔØ Ö ÓÒ ÔØ Ö ÓÒ ØØÖ ÔØ Ö Ý ÈÖ Ù ÖÝØÑ Ó ØÝ ÇÔ ÕÙ Ó Ø µ Ç ØÝ Ú Ô Ñ Ø Ó ú ÔÓ Ó ÔÖÓ Ö Ñ ØÓÖ Ò Ò Ú È ØÙÔÓÚ ÒÝ Ú Ö Ò ÔÓÑÓ Ó ÞÙ Ò Ð µ Æ Ó ØÙÔÒ Ó ØÝ Ò ÔÐ ØÒ Ò Ð Ò µ Ö Ö Ò

286 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ½» ½ Ú ÖÞ ½º¼ ØÖ ÙØÝ Ó Ø Á ÎÐ ØÒÓ Ø Úõ ÚÐ Ò ÑÙØ Ü ÔÓ Ñ Ò ÓÚ ÔÖÓÑ ÒÒ Ò Ø ÚÓÚ ÒÝ Ô ÐÒ Ñ Ó ØÝ Æ Ø Ö ÚÐ ØÒÓ Ø ÒØ ØÝ ÑÙ Ø Ô ÓÚ ÒÝ ú Ú Ó ÚÞÒ Ù ÒØ ØÝ ÌÝÔÝ ØÖ ÙØÓÚ Ó Ø ÎÐ Ò ÔØ Ö ØØÖ Ø ÅÙØ ÜÝ ÔØ Ö ÑÙØ Ü ØØÖ Ø ÈÓ Ñ Ò ÓÚ ÔÖÓÑ ÒÒ ÔØ Ö ÓÒ ØØÖ Ø ÎÞÒ ØÖÙ ÙÒ Ò Ø ØÖÓÝ Ó ÔÓÚ Ô ÔÓÒÓÙ È Ö Ñ ØÖ Ó Þ Ò Ó ÔÓÚ ØÖ ÙØÓÚ Ó Ø

287 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ¾¼» ½ Ú ÖÞ ½º¼ ËÔÖ Ú ÚÐ Ò ÎÝØÚ Ò ÚÐ Ò Ã ú ÔÖÓ Ö Ñ Ñ ÒÓ ÙÐØÒ ÚÐ ÒÓ Ðõ ÚÐ Ò ÑÙ Ø ÜÔÐ ØÒ ÚÝØÚÓ Ò ÔÖÓ Ö Ñ Ñ Ã ú ÚÐ ÒÓ ÚÝØÚÓ Ò µ Ñ ú Ð ÚÝØÚ Ø Ðõ ÚÐ Ò ÎÐ ÒÓ ÚÝØÚ ÒÓ ÙÒ ÔØ Ö Ö Ø ÎÝØÚ Ò ÚÐ ÒÓ Ò Ô ÔÖ Ú ÒÓ ÔÖÓÚ Ò Å ú Ø ÔÐ ÒÓÚ Ñ ÔÙõØ ÒÓ Ú Ò ú Ó ÓÒ ÚÓÐ Ò ÚÝØÚ ÙÒ Ò Î õ Ö Ø ÔÓØ Ò Ô ÔÙõØ Ò ÚÐ Ò ÑÙ Ø Ô ÔÖ Ú Ò Ô ÚÓÐ Ò Ñ ÚÝØÚ ÙÒ Å Ü Ñ ÐÒ ÔÓ Ø ÚÐ Ò Þ Ú Ð Ò ÑÔÐ Ñ ÒØ

288 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ¾½» ½ Ú ÖÞ ½º¼ ËÔÖ Ú ÚÐ Ò ÒØ ÔØ Ö Ö Ø ÔØ Ö Ø Ø Ö Ò Ð ÓÒ Ø ÔØ Ö ØØÖ Ø ØØÖ ÙØ ÚÓ Ø Ö ÙÒØ ÓÒµ ÚÓ µ ÚÓ Ö µ Ø Ö Ò Ð Ó Þ Ò ÚÝØÚÓ Ò ÚÐ ÒÓ ØØÖ ÙØ Ó Þ Ò ØÖ ÙØÝ ÚÝØÚÓ Ò Ó ÚÐ Ò ÆÍÄÄ ÔÖÓ ÙÐØÒ Ò Ø Ú Ò ØÖ ÙØ µ Ø Ö ÙÒØ ÓÒ Ù Þ Ø Ð Ò ÙÒ ÒÓÚ Ó ÚÐ Ò Ö Ù Þ Ø Ð Ò Ô Ö Ñ ØÖÝ ÙÒ Ø Ö ÙÒØ ÓÒ È Ô õò Ñ ÚÝØÚÓ Ò ÚÐ Ò ÚÖ ¼

289 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ¾¾» ½ Ú ÖÞ ½º¼ ËÔÖ Ú ÚÐ Ò Í ÓÒ Ò ÚÐ Ò Ò Ø Ú ÎÓÐ Ò Ñ ÙÒ ÔØ Ö Ü Ø ÈÓ Ù ÓÒ Ð ÚÒ ÙÒ ÖÓ ÓÚ Ó ÚÐ Ò Ò Ò ú ÚÓÐ Ò Ñ ÔØ Ö Ü Ø Â ¹Ð ÞÖÙõ ÒÓ ÒÑ ÚÐ Ò Ñ ÔÓÑÓ ÔØ Ö Ò Ð ÊÓ ÓÚ ÔÖÓ Ù ÓÒ Ò Ò ÐÒ Ò Ó ÚÓÐ Ò Ñ Ü Øµ ÚÓ ÔØ Ö Ü Ø ÚÓ Ú ÐÙ µ Í ÓÒ Ù ÚÐ Ò Ç ÞÝ Ò ÔÖÓ Ø Ý ÔÖÓ Ù ÓÙ ÓÖÝ ÁÈ ÑÙØ ÜÝ º º º µ ÓØ Ú Ò Ú Ö Ñ ÚÐ Ò Ò Þ Ú Ö Ø Ô Ø ÚÐ ÒÙ ÑÙ Ø ÙÚÓÐÒ Ò Ô Ù ÓÒ Ò Ñ ÚÐ Ò Ý Ø Ñ ÔÖÓÚ ÙÚÓÐÒ Ò ÔÖÓ Ø ú ÔÓ ÓÒ Ò ÖÓ ÓÚ Ó ÔÖÓ Ùµ Í Þ Ø Ð Ú ÐÙ Ô Ò Ô ÔÓ Ò ÚÐ Ò

290 ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ¾» ½ Ú ÖÞ ½º¼ ËÔÖ Ú ÚÐ Ò ß Ô Ð ½ ÒÐÙ ÔØ Ö º ¾ ÒÐÙ Ø Óº Ò ÆÍÅ ÌÀÊ Ë ÚÓ ÈÖ ÒØÀ ÐÐÓ ÚÓ Ø Ö µ ÔÖ ÒØ ± À ÐÐÓ ÏÓÖÐ ÒÒ Ø Ö µ ÔØ Ö Ü Ø ÆÍÄĵ ½¼ ÒØ Ñ Ò ÒØ Ö Ö Ö Ú µ ½½ ÔØ Ö Ø Ø Ö ÆÍÅ ÌÀÊ Ë ½¾ ÓÖ ÒØ Ø ¼ Ø ÆÍÅ ÌÀÊ Ë Ø µ ½ ÔØ Ö Ö Ø ²Ø Ö Ø ÆÍÄÄ ½ ÈÖ ÒØÀ ÐÐÓ ÚÓ µøµ ½ ÔØ Ö Ü Ø ÆÍÄĵ ½

291 Á ½¼ Æ ÚÖ ÑÔÐ Ñ ÒØ Ô Ö Ð ÐÒ Ý Ø Ñ ÈÖÓ Ö ÑÓÚ Ò Ú ÔÖÓ Ø Ð ÒÓÙ Ô Ñ Ø ØÖº ¾» ½ Ú ÖÞ ½º¼ ËÔÖ Ú ÚÐ Ò ÒØ ÔØ Ö Ó Ò ÔØ Ö Ø Ø Ö Ò Ð ÚÓ ÔØÖ Ú ÐÙ µ Ò Ó ÓÒ Ò ÚÐ Ò Ø Ö Ò Ð ÀÓ ÒÓØ ÔØÖ Ú ÐÙ Ù Þ Ø Ð Ò ÔÓ ÒØ Ö Ô ÓÚ Ò ÚÐ Ò Ñ Ø Ö Ò Ð Ô ÚÓÐ Ò ÔØ Ö Ü Ø ÆÙÒØ Ò Ô Ð ÔÓ Ù Ñ Ò Ñ ÚÖ Ø ÑÝ ÐÙÔÐÒÓÙ Ò ÚÖ ØÓÚÓÙ Ó ÒÓØÙ