Obsah. Kapitola 1 Hardware, procesory a vlákna Prohlídka útrob počítače...20 Motivace pro vícejádrové procesory...21

Transkript

1 Stručný obsah 1. Hardware, procesory a vlákna Programování s ohledemna výkon Identifikování příležitostí pro paralelizmus Synchronizace a sdílení dat Vlákna v rozhraní POSIX Práce s vlákny v systému Windows Automatická paralelizace a rozhraní OpenMP Ručně programovaná synchronizace a sdílení Škálování s vícejádrovými procesory Další techniky paralelizace Několik poznámek na závěr

2

3 Obsah Úvodem Komu je kniha určena...14 Cíle knihy...14 Struktura knihy...14 Poděkování...16 O autorovi...16 Zpětná vazba od čtenářů...17 Dotazy...17 Errata...17 Kapitola 1 Hardware, procesory a vlákna Prohlídka útrob počítače...20 Motivace pro vícejádrové procesory...21 Podpora pro více vláken na jediném čipu...23 Zvýšení rychlosti zpracování instrukcí pomocí proudových procesorových jader...27 Použití mezipaměti pro uchovávání právě používaných dat...29 Použití virtuální paměti pro uložení dat...31 Překlad z virtuálních adres na fyzické adresy...32 Charakteristické vlastnosti víceprocesorových systémů...34 Vliv prodlevy a šířky pásma na výkon...36 Překlad zdrojového kódu do jazyka symbolických adres...37 Srovnání výkonu 32bitového a 64bitového kódu...38 Zajištění správného pořadí paměťových operací...40 Rozdíly mezi procesy a vlákny...41 Shrnutí...44 Kapitola 2 Programování s ohledem na výkon Definování výkonu...46 Algoritmická složitost...47 Příklady algoritmické složitosti...48

4 6 Obsah Význam algoritmické složitosti...51 S algoritmickou složitostí je třeba zacházet opatrně...52 Vliv struktury na výkon...53 Výkon a výhodné kompromisy ve zdrojovém kódu a strukturách sestavení...53 Strukturování aplikací pomocí knihoven...56 Vliv datových struktur na výkon...66 Role kompilátoru...71 Dva typy optimalizace kompilátoru...73 Výběr vhodných možností kompilátoru...74 Jak využít optimalizaci mezi soubory pro zlepšení výkonu...75 Použití optimalizace pomocí informací z profilu...78 Jak může potenciální aliasing ukazatelů bránit optimalizacím kompilátoru...80 Identifikování míst, kde se spotřebovává čas, pomocí profilování...83 Běžně dostupné profilovací nástroje...84 Jak neoptimalizovat...89 Výkon podle návrhu...90 Shrnutí...91 Kapitola 3 Identifikování příležitostí pro paralelizmus Použití více procesů pro zlepšení produktivity systému...94 Více uživatelů využívajících jediný systém...96 Zlepšování efektivity stroje prostřednictvím konsolidace...96 Použití kontejnerů pro izolování aplikací sdílejících jeden systém...97 Hostování více operačních systémů pomocí hypervizorů...98 Použití paralelizmu pro zlepšení výkonu jediné úlohy Jeden přístup k vizualizaci paralelních aplikací Jak může paralelní zpracování změnit výběr algoritmů Amdahlův zákon Stanovení maximálního praktického počtu vláken Jak náklady na synchronizaci redukují škálování Vzory paralelizace Datový paralelizmus pomocí instrukcí SIMD Paralelizace pomocí procesů a vláken Více nezávislých úloh Více volně propojených úloh Více kopií téže úlohy Jediná úloha rozdělená na více vláken Práce na jediném prvku pomocí proudu úloh

5 Obsah 7 Rozdělení práce na klienta a server Rozdělení odpovědnosti mezi producentem a konzumentem Kombinování strategií paralelizace Jak závislosti ovlivňují schopnost kódu běžet paralelně Antizávislosti a výstupní závislosti Rozbití závislostí pomocí spekulování Kritické cesty Identifikování příležitostí pro paralelizaci Shrnutí Kapitola 4 Synchronizace a sdílení dat Soupeření o data Nástroje pro detekci soupeření o data Jak se soupeření o data vyhnout Synchronizační primitiva Mutexy a kritické oblasti Zámky spinlock Semafory Zámky čtenáři-zapisovač Bariéry Atomické operace a kód bez zámků Uváznutí typu deadlock a livelock Komunikace mezi vlákny a procesy Paměť, sdílená paměť a soubory mapované do paměti Podmínková proměnná Signály a události Fronty zpráv Pojmenované roury Komunikace prostřednictvím vrstev sítě Další přístupy ke sdílení dat mezi vlákny Soukromá data vlákna Shrnutí Kapitola 5 Vlákna v rozhraní POSIX Tvorba vláken Ukončení vlákna Předávání dat do a z podřízených vláken

6 8 Obsah Oddělená vlákna Nastavení atributů pro vlákna v rozhraní POSIX Kompilování vícevláknového kódu Ukončení procesu Sdílení dat mezi vlákny Ochrana přístupu pomocí zámků mutexu Atributy mutexu Použití zámků spinlock Zámky pro čtení a zápis Bariéry Semafory Podmínkové proměnné Proměnné a paměť Víceprocesové programování Sdílení paměti mezi procesy Sdílení semaforů mezi procesy Fronty zpráv Roury a pojmenované roury Komunikace mezi procesy pomocí signálů Sokety Reentrantní kód a příznaky kompilátoru Shrnutí Kapitola 6 Práce s vlákny v systému Windows Tvorba nativních vláken systému Windows Ukončování vláken Tvorba a obnova běhu pozastavených vláken Popisovače na prostředky jádra Metody synchronizace a sdílení prostředků Příklad nutnosti synchronizace mezi vlákny Ochrana přístupu ke kódu pomocí kritických sekcí Ochrana oblastí kódu pomocí mutexů Malé zámky pro čtení a zápis Semafory Podmínkové proměnné Signalizace dokončení události dalším vláknům či procesům Práce s širokými řetězci ve Windows Tvorba procesů

7 Obsah 9 Sdílení paměti mezi procesy Dědění popisovačů v podřízených procesech Pojmenování mutexů a jejich sdílení mezi procesy Komunikace pomocí rour Komunikace pomocí soketů Atomické aktualizace proměnných Alokování lokálního úložiště vlákna Nastavení priority vlákna Shrnutí Kapitola 7 Automatická paralelizace a rozhraní OpenMP Vytvoření paralelní aplikace pomocí automatické paralelizace Identifikace a paralelizace redukcí Automatická paralelizace kódů obsahujících volání Jak pomoci kompilátoru při automatické paralelizaci kódu Vytvoření paralelní aplikace pomocí rozhraní OpenMP Použití rozhraní OpenMP pro paralelizaci cyklů Chování aplikace využívající rozhraní OpenMP Stanovení oboru platnosti proměnných uvnitř paralelních oblastí rozhraní OpenMP Paralelizace redukcí pomocí rozhraní OpenMP Přístup k soukromým datům mimo paralelní oblast Zlepšení rozdělení práce pomocí plánování Použití paralelních sekcí k provádění nezávislé práce Vnořený paralelizmus Použití rozhraní OpenMP pro dynamicky definované paralelní úlohy Udržení dat jako soukromých pro vlákna Řízení běhového prostředí OpenMP Čekání na dokončení práce Omezení vláken provádějících určitou oblast kódu Provádění kódu v paralelní oblasti v určitém pořadí Sbalování cyklů pro lepší vyvážení pracovního zatížení Zajištění konzistence paměti Příklad paralelizace Shrnutí

8 10 Obsah Kapitola 8 Ručně programovaná synchronizace a sdílení Atomické operace Tvorba složitějších atomických operací pomocí instrukcí porovnání a prohození Vynucení pořadí paměťových operací pro zajištění správné operace Podpora direktiv pro uspořádání paměťových operací ze strany kompilátorů Přeuspořádání operací kompilátorem Proměnné deklarované pomocí klíčového slova volatile Atomické operace poskytované operačním systémem Algoritmy bez zámků Dekkerův algoritmus Producent-konzument s kruhovou pamětí Škálování k více konzumentům či producentům Škálování modelu producent-konzument na více vláken Model producent-konzument s atomickými operacemi Problém ABA Shrnutí Kapitola 9 Škálování s vícejádrovými procesory Omezení škálování aplikací Výkon limitovaný sériovým kódem Superlineární škálování Nevyvážené pracovní zatížení Přetížené zámky Škálování knihovního kódu Nedostatečná práce Algoritmické omezení Omezení škálování ze strany hardwaru Sdílení šířky pásma mezi jádry Falešné sdílení Konflikt a kapacita u mezipaměti Hladovění po prostředcích proudu Omezení škálování ze strany operačního systému Přetížení Zlepšení umístění v paměti pomocí svázání s procesorem Inverze priority Vícejádrové procesory a škálování Shrnutí

9 Obsah 11 Kapitola 10 Další techniky paralelizace Výpočty pomocí jednotky GPU Rozšíření jazyků Stavební bloky pro práci s vlákny Jazyk Cilk Technologie GCD Funkce navrhované pro následující standardy jazyků C a C Jazyk C++/CLI společnosti Microsoft Alternativní jazyky Technologie clusteringu Rozhraní MPI Algoritmus MapReduce jako strategie pro škálování Výpočetní soustavy Transakční paměť Vektorizace Shrnutí Kapitola 11 Několik poznámek na závěr Programování paralelních aplikací Identifikování úloh Odhad nárůstu výkonu Zjištění závislostí Soupeření o data a omezení škálování u zámků mutexu Granularita zamykání Paralelní kód na vícejádrových procesorech Optimalizace programů pro vícejádrové procesory Budoucnost Rejstřík