Cache paměť - mezipaměť 10.přednáška
Urychlení přenosu mezi procesorem a hlavní pamětí Hlavní paměť procesoru je typu DRAM a je pomalá. Proto se mezi pomalou hlavní paměť a procesor vkládá menší, ale rychlá vyrovnávací (cache) paměť SRAM. Rychlost cache paměti nespočívá jen v použití rychlejší technologie SRAM, ale také v tom, že je menší (je jednodušší proces dekódování adresy). Buchtela@pef.czu.cz 2
Mezipaměť - cache Mezipaměť (cache) je vlastně velmi rychlým paměťovým zásobníkem (typ SRAM), určeným k dočasnému ukládání dat, které procesor potřebuje nebo bude potřebovat s velkou pravděpodobností. Díky tomu je procesor schopen načíst data podstatně rychleji než přímo z hlavní paměti. V současnosti se v počítačích používají dvě až tři úrovně mezipamětí: L1 cache mezipaměť první úrovně L2 cache mezipaměť druhé úrovně L3 cache mezipaměť třetí úrovně Buchtela@pef.czu.cz 3
Mezipaměť procesor L1 cache L2 cache L3 cache hlavní paměť L1 cache integrována do procesoru velikost 8-64 KB pro ukládání právě využívané či potřebné pracovní sady dat a kódu pracuje stejnou rychlostí jako procesor Buchtela@pef.czu.cz 4
Mezipaměť procesor L1 cache L2 cache L3 cache hlavní paměť L2 cache, L3 cache součást procesoru nebo základní desky velikost L2:64-512 KB, L3:1-4MB mezistupeň mezi L1 a hlavní pamětí, obsahuje data, která procesor přímo nepoužívá, ale pravděpodobně bude potřebovat pracuje stejnou rychlostí jako procesor nebo základní deska stále rychlejší než čtení přímo z hlavní paměti Buchtela@pef.czu.cz 5
Mezipaměť Procesor L2 (L3) cache Operační paměť Blok L1 cache Blok Práce cache paměti vychází ze skutečnosti, že program má tendenci se při své práci určitou dobu zdržovat na určitém místě paměti, a to jak při zpracování instrukcí, tak při načítání (zapisování) dat z (do) paměti - tzv. princip lokality Buchtela@pef.czu.cz 6
Druhy cache pamětí Podle způsobu organizace rozlišujeme následující tři druhy cache paměti: Cache s přímým zobrazením Asociativní cache Cache s omezenou asociativitou (cache se stupněm asociativity n) Buchtela@pef.czu.cz 7
Hlavní paměť 2 n bytů, rozdělena do bloků 4B Cache 2 p řádků (slotů) Do slotu lze uložit obsah jednoho bloku, tj. 4B dat Tag slouží k identifikaci bloku, který je v slotu uložen Bit platnosti udává, zda je obsah slotu platný Cache s přímým p zobrazením Adresa 0 1 2 3 Řádek 4 Bit platnosti Tag 1 Řádek 2 n 1 Hlavní paměť Adresa n 2 p bitů tag Číslo bloku 0 Číslo bloku Buchtela@pef.czu.cz 8 0 1 2 2 p 1 Cache p bitů Adresa řádky v cache Obsah bloku Byte 2 bity
Cache s přímým p zobrazením Pro přiřazení řádku cache paměti i bloku paměti k se používá funkce i = k modulo M, kde M = 2 p je počet řádků cache tabulky. Počet řádků tabulky se tedy volí tak, aby byl mocninou 2. Do řádky 0 cache paměti budou tedy ukládány bloky: 0, M, 2M,... Do řádky 1 budou ukládány bloky: 1, M + 1, 2M + 1,... Do řádky j budou ukládány bloky: j, M + j, 2M + j,... atd. Buchtela@pef.czu.cz 9
Cache s přímým p zobrazením Určitý blok je vždy uložen do stejného řádku cache tabulky. Je-li M = 2 p, pak p méně významných bitů čísla bloku určuje číslo řádku cache tabulky, ve kterém je blok uložen. Číslo bloku má n 2 bitů. Bloky, které jsou ukládány do stejné řádky, se liší v n 2 pnejvyšších bitech čísla bloku. Obsah těchto bitů je ukládán do cache paměti jako tag. Dekodér Adresa Tag Tag Komparátor Data Data Slot Inf. Buchtela@pef.czu.cz 10
Příklad Fyzická adresa paměti je n = 24 bitů. Paměťová buňka má velikost 1B. Velikost hlavní paměti je 16 MB. Bloky paměti, které se přenášejí mezi cache pamětí a hlavní pamětí, mají velikost 4B. Paměť je tedy rozdělena na 4M bloků. Kapacita cache paměti je 256 kb. Proto současně v ní může být umístěno 256k/4 bloků, tj. 64k bloků. Cache tabulka má 64k řádek s adresami 0,1,2,... FFFF. Bit platnosti 0 1 2 Tag Obsah bloku Ukládané bloky (hexadecimálně) 0, 1 00 00,..., 3F 00 00 1, 1 00 01,..., 3F 00 01 2, 1 00 02,..., 3F 00 02 FFFF FF FF, 1 FF FF,... 3FF FF Adresa Tag Řádek cache paměti Byte Buchtela@pef.czu.cz 6 16 2 11
Po zapnutí procesoru je obsah cache paměti náhodný. Proto se nejdříve nastaví všechny bity platnosti na 0. Postupně je tabulka zaplňována bloky, které procesor potřebuje ke své činnosti a které proto přepisuje do cache paměti 17 00 00, 1A 00 02 Do cache paměti byly dále postupně uloženy následující bloky: Příklad Bit platnosti 0 1 2 FFFF 1 0 1 1 Bit platnosti 0 1 2 1 1 1 Tag Tag Obsah bloku Obsah bloku Uložený blok (hexadecimálně) 17 00 00 1A 00 02 1 FF FF Uložený blok (hexadecimálně) B 00 00 37 00 01 1A 00 02 37 00 01, 27 00 00, 23 FF FF, B 00 00 FFFF 1 23 FF FF Buchtela@pef.czu.cz 12
Asociativní cache U asociativní cache paměti může být blok uložen do libovolné řádky cache tabulky. Jako tag proto musí sloužit celé číslo bloku. Při hledání konkrétního bloku v cache je nutno porovnat tag ve všech řádcích cache tabulky. To je obtížný úkol a je řešitelný pouze dost složitými obvody, které vyžadují velké množství dalších hradel. Proto se konstruují asociativní paměti jen s menší kapacitou. Buchtela@pef.czu.cz 13
Asociativní cache Adresa Tag Komparátor Tag Data Inf. Komparátor Komparátor Data Adresa Tag 22 Byte 2 Buchtela@pef.czu.cz 14
Strategie při p i výběru řádku (slotu) pro uložen ení bloku Přitom se mohou řídit jednou z následujících strategií: Výběr nejméně používané řádky (least freaquently used strategy) Výběr nejdéle nepoužívané řádky (least recently used strategy) Výběr řádky, která je obsazena nejdéle (FIFO strategy) Náhodný výběr řádku (random strategy) První tři strategie vyžadují, aby v každé řádce byla položka, do které řídící obvody ukládají informaci o využití řádky. Náhodná strategie to nevyžaduje a nejjednodušeji se proto implementuje. Experimenty ukázaly, že náhodná strategie výběru řádky je jen o málo méně efektivní než ostatní strategie. Buchtela@pef.czu.cz 15
Cache se stupněm m associativity n Pokud má cache asociativitu n, skládá se z n tabulek se stejným počtem řádků, umístěných vedle sebe. Řádek výsledné tabulky tvoří skupina řádků původních tabulek (skupina, angl. set). Původní řádky, ze kterých se skupina skládá, nazveme pro odlišení sloty. Každý slot skupiny obsahuje bit platnosti, tag a data (tj. obsah jednoho bloku). 0 1 2 Bit platn. Tag Obsah bloku Bit platn. Tag Obsah bloku 7FFF Adresa Tag Skupina Byte 7 15 2 Buchtela@pef.czu.cz 16
Cache se stupněm m associativity n Má-li výsledná tabulka M skupin, ukládá se k-tý blok do jednoho ze slotů skupiny i, kde i = k modulo M. Při hledání bloku v cache paměti, řídící obvody nejdříve podle adresy vyberou skupinu, ve které může být blok uložen. Blok může být uložen jen v jedné skupině a výběr této skupiny je přímý. Hledání bloku v rámci skupiny pak řídící obvody provedou asociativně. Adresa Tag Skupina Tag Data Inf. Tag Data Inf. Dekodér Dekodér Komparátor Data Komparátor Data Data Buchtela@pef.czu.cz 17
Cache se stupněm m associativity n Cache se stupněm asociativity n je mezistupněm mezi cache pamětí s přímým výběrem a asociativní pamětí. Pokud je asociativita n = 1, jedná se o cache s přímým zobrazením. Pokud je počet skupin M = 1 (tj. výsledná tabulka má jen jeden řádek či skupinu), jedná se o asociativní cache. Buchtela@pef.czu.cz 18
Spolupráce procesor-cache cache paměť Při čtení HP procesor její obsah zapíše do cache Při zápisu do HP používá tyto základní strategie : Okamžitý zápis (write through strategy) Opožděný zápis (write back strategy) Okamžitý zápis je jednodušší strategie. Procesor zapíše nový obsah paměťového místa do hlavní paměti i do cache paměti. Při každé strojové instrukci zápisu do paměti se tedy provádí i zápis do hlavní paměti. Tento způsob řešení tedy znamená značné zatížení systémové sběrnice. Buchtela@pef.czu.cz 19
Spolupráce procesor-cache cache paměť Opožděný zápis Procesor zapíše nový obsah paměťového místa pouze do cache paměti. V řádce cache tabulky zaznamená do bitu UPDATE, že došlo ke změně obsahu bloku. Nastavení bitu UPDATE znamená, že obsah řádky cache tabulky již nadále není platný. Předtím než řídící obvody cache paměti zapíší do této řádky cache tabulky obsah nového bloku, musí zajistit přepis obsahu původního bloku do hlavní paměti. Výhodou tohoto způsobu zápisu je menší systémové sběrnice. zátěž Buchtela@pef.czu.cz 20
Koherence cache pamětí V multiprocesorovém systému, každý procesor má obvykle vlastní cache. Procesory pracují nezávisle na sobě a sdílejí společnou paměť. Musí být zajištěno, že procesory čtou z hlavní paměti stejný obsah - koherence cache pamětí. Adaptéry dnešních počítačů používají přímý přístup do paměti (DMA) a pracují nezávisle na procesoru. Proto se může stát, že adaptér pozmění v hlavní paměti obsah paměťového místa a vnitřní cache procesoru nebude obsahovat platná data. Buchtela@pef.czu.cz 21
Koherence cache pamětí Řešení koherence podle typu zápisu Okamžitý zápis (write through strategy) Řešení koherence cache pamětí je jednodušší v případě použití této strategie. Spočívá v tom, že řadiče cache pamětí musí sledovat provoz na systémové sběrnici. Pokud zjistí, že do hlavní paměti byl zapsán blok, jehož kopii mají v cache paměti, musí svoji kopii označit jako neplatnou (tj. nastavit bit platnosti v řádku, kde je kopie uložena na 0). Buchtela@pef.czu.cz 22
Koherence cache pamětí Opožděný zápis (write back strategy) Byla navržena celá řada protokolů, které problém koherence řeší. PENTIUM například používá protokol MESI K realizaci protokolu jsou tedy třeba čtyři bity a sice: bit modified (M) (bit změny) bit excluded (E) (bit vyloučení) bit shared (S) (bit sdílení) bit invalid (I) (bit platnosti) Název protokolu MESI je složen ze zkratek těchto bitů. Buchtela@pef.czu.cz 23
Přehled architektur procesorů
Architektura vybraných procesorů Přehled procesorů firmy Intel ostatní výrobci procesorů (např. AMD) procházejí podobným vývojem Procesor 4004 Navržen v roce 1969 4bitový procesor určený pro elektronické kalkulátory Procesor 8080 8bitový procesor určený pro první 8bitové osobní počítače Buchtela@pef.czu.cz 25
Architektura vybraných procesorů Procesor 8086 uveden na trh v letech 1979-1980 plně 16bitový procesor: šířka slova: 16 bitů šířka přenosu dat: 16 bitů kompatibilní s procesorem 8080 používaný v prvních počítačích PC a PC/XT vybaven 20bitovou adresovou sběrnicí velikost adresovatelné paměti 1 MB Procesor 8088 podobný svému předchůdci má pouze 8bitovou datovou sběrnici zaveden z cenových důvodů Buchtela@pef.czu.cz 26
Architektura vybraných procesorů Procesor 80186/80188 podobné procesorům 8086/8088 efektivnější mikrokód nezaznamenaly většího rozšíření Procesor 80286 navržen v roce 1981 obsahuje asi 134 000 tranzistorů 24-bitová adresová sběrnice 16MB podporovaná paměť 16-bitová datová sběrnice, 16-bitové registry bez cache pracuje ve dvou režimech: reálný režim (real mode) chráněný režim (protected mode) Buchtela@pef.czu.cz 27
Architektura vybraných procesorů Intel 80386 Na trh uveden v roce 1986 Později prodáván pod oficiálním názvem 80386DX 32-bitová adresová sběrnice 4GB podporovaná paměť 32-bitová datová sběrnice, 32-bitové registry bez L1 cache, obsahuje TLB cache Pracuje ve třech režimech: reálný režim (real mode): režim podobný reálnému režimu předchozích procesorů používá stejný adresovací mechanismus: stejná maximální velikost operační paměti (1 MB) stejná velikost jednoho segmentu (64 kb) v tomto režimu mohou pracovat programy určené pro předešlé procesory (8086/8088, 80186/80188) Buchtela@pef.czu.cz 28
Architektura vybraných procesorů chráněný režim (protected mode): podobný chráněnému režimu procesoru 80286 adresová sběrnice má šířku 32 bitů fyzický adresový prostor 4 GB virtuální režim (virtual mode): plně podřízen chráněnému režimu procesor pracuje podobně jako procesory 8086/8088 (80186/80188) má možnost virtualizovat 1 MB operační paměti, který mohl adresovat procesor 8086 a uložit jej kdekoliv do 4 GB operační paměti Buchtela@pef.czu.cz 29
Architektura vybraných procesorů Intel 80386SX Velmi podobný procesoru 80386DX Pracuje ve stejných režimech Není plně 32bitový: - šířka slova: 32 bitů - šířka přenosu dat: 16 bitů Zaveden z cenových důvodů Dovoluje, aby na něm pracoval 32bitový software Výkon odpovídal zhruba procesoru 80286 Buchtela@pef.czu.cz 30
Architektura vybraných procesorů Intel 80486 Vyroben v roce 1989 32-bitová adresová sběrnice 4GB podporovaná paměť 32-bitová datová sběrnice, 32-bitové registry interní L1 cache 8-16KB bez L2 cache součástí procesoru je jednotka pro operace s čísly v pohyblivé řádové čárce (FPU) koprocesor má rychlejší a rozsáhlejší mikrokód pracuje ve stejných třech režimech jako procesor 80386, používá stejný adresovací mechanismus Proudové zpracování instrukcí pipelining - je prováděno v jedné frontě (pipeline) skalární procesor Buchtela@pef.czu.cz 31
Architektura vybraných procesorů Intel 80486SX plná šířka přenosu dat (32 bitů) obsahuje 8 kb L1 cache paměti nemá numerický koprocesor - numerický koprocesor ve skutečnosti má, ale je vyřazen z činnosti (uživatel jej nemůže nijak aktivovat) zaveden z cenových důvodů Buchtela@pef.czu.cz 32
Architektura vybraných procesorů Intel 80486DX2 Prakticky stejný procesor jako 80486DX Pracuje se dvěmi frekvencemi: navenek s frekvencí x MHz (např. 33 MHz) vnitřně s frekvencí 2x MHz (např. 66 MHz) Rychlost odpovídá asi 2 / 3 rychlosti, jakou by měl procesor DX se stejnou frekvencí podobně pracoval i procesor 80486DX4: navenek x MHz (např. 33 MHz) vnitřně 3x MHz (např. 100 MHz) Buchtela@pef.czu.cz 33
Architektura vybraných procesorů Procesory páté generace: Pentium procesor vyrobený v roce 1993 32-bitová adresová sběrnice 4GB podporovaná paměť 64-bitová vnější datová sběrnice 32-bitové registry interní oddělená (pro data a instrukce) L1 cache 2x8-2x16KB bez L2 cache dvě ALU, interní FPU superskalární architektura dynamické předvídání skoků paměť BTB Buchtela@pef.czu.cz 34
Architektura vybraných procesorů dynamické předvídání skoků paměť BTB (Branch Target Buffer) skok byl Nová položka do BTB Hodnoty bitů: 11 Předpověď: skok bude skok nebyl skok byl Hodnoty bitů: 10 Předpověď: skok bude skok nebyl Hodnoty bitů: 01 Předpověď: skok bude skok nebyl skok byl skok byl Hodnoty bitů: 00 Předpověď: skok nebude skok nebyl Buchtela@pef.czu.cz 35
Architektura vybraných procesorů Procesory šesté generace: P6 (Pentium Pro, Pentium II, Celeron, Pentium III, ) od roku 1995 36-bitová adresová sběrnice 64GB podporovaná paměť 64-bitová vnější datová sběrnice 32-bitové registry interní oddělená L1 cache 2x16KB interní L2 cache 128KB-2MB tři ALU (Celeron dvě), interní FPU vylepšená superskalární architektura 3 fronty dynamické vykonávání instrukcí architektura DIB 2 datové sběrnice (P-zákl.deska, P-cache) architektura ATC (PIII) podpora technologie SSE zrychlení při práci se zvukem, grafikou, internetem, podpora MMX instrukce pro multimédia Buchtela@pef.czu.cz 36
Architektura vybraných procesorů DIB (Dual Independent Bus) L2 cache paměť komunikuje s procesorem prostřednictvím speciální sběrnice Pentium Pro L2 cache 1 GB/s Jádro (čip) CPU bus - 528 MB/s Operační paměť CPU-PCI bridge Buchtela@pef.czu.cz 37
Architektura vybraných procesorů ATC (Advanced Transfer Cache) - PIII L2 cache, která je integrována na stejném čipu jako procesor, pracuje na stejné frekvenci a komunikuje s procesorem pomocí 256 b sběrnice Pentium III Pentium III Čip Tag L2 cache Čip Tag L2 cache Buchtela@pef.czu.cz 38
Architektura vybraných procesorů Technologie MMX Rozšíření architektury procesorů Intel Poskytuje podporu pro multimediální aplikace Zahrnuje: 57 nových instrukcí orientovaných na práci s multimediálními aplikacemi osm 64 bitových registrů 4 datové typy Používá techniku SIMD (Single Instruction Multiple Data), která dovoluje zpracovat mnoho informací během jedné instrukce Možnosti MMX jsou využívány především aplikacemi pro práci s: 2D / 3D grafikou zvukem rozpoznáváním řeči videem kompresí dat Buchtela@pef.czu.cz 39
Architektura vybraných procesorů SSE - Internet Streaming SIMD Extensions (IST - Internet Streaming Technology): 70 nových instrukcí pro: zpracování obrazu práci s 3D grafikou zpracování audia a videa (umožňuje softwarové dekódování formátu MPEG2 při plné rychlosti) rozpoznávání řeči podpora (nová jednotka) pro zpracování čísel v pohyblivé desetinné čárce umožňuje provedení až čtyř operací s desetinnými čísly během jednoho taktu Buchtela@pef.czu.cz 40
Architektura vybraných procesorů Procesory sedmé generace: Pentium 4, Xeon, Xeon MP 36-bitová adresová sběrnice 64GB podporovaná paměť 64-bitová vnější datová sběrnice vyšší rychlost 32-bitové registry interní oddělená L1 cache 12+8KB interní L2 cache 128-1024KB L3 cache 0-2MB hyperskalární architektura architektura NetBurst hypervláknová technologie vylepšené dynamické vykonávání instrukcí architektura DIB podpora technologie SSE2, SSE3 Buchtela@pef.czu.cz 41
Architektura vybraných procesorů mikroarchitektura NetBurst hyperskalární technologie zdvojnásobuje (oproti procesoru Pentium III) hloubku proudového zpracování systémová sběrnice s frekvencí 400 MHz, 533 MHz nebo 800 MHz dosaženo přidáním speciálních signálů, které dovo-lují během jednoho taktu na 100 MHz (133 MHz, 200 MHz) systémové sběrnici, uskutečnit čtyři datové přenosy (po 8 B) přenosová rychlost až 3,2 GB/s (4,3 GB/s; 6,4 GB/s) výkonná stopovací cache cache paměť dovolující uložit 12 k dekódovaných mikrooperací (microops) dvojnásobný takt ALU dvě ALU, s dvojnásobným taktem oproti vnitřní frekvenci procesoru základní operace prováděny během 1 / 2 taktu Buchtela@pef.czu.cz 42
Architektura vybraných procesorů Hypervláknová technologie (Hyperthreading technology) technologie umožňující programovému vybavení vidět dva procesory dovoluje procesoru spouštět dvě výpočtová vlákna (threads) ve stejný okamžik Buchtela@pef.czu.cz 43
Architektura vybraných procesorů Procesory osmé generace: Itanium, Itanium 2 44(50)-bitová adresová sběrnice 16(1024)TB paměť 64-bitová virtuální adresace 64(128)-bitová vnější datová sběrnice 64-bitové registry interní oddělená L1 cache 16+16KB interní L2 cache 96KB interní L3 cache 2-4MB dvě ALU, dvě FPU (82-bitové operandy) technologie EPIC (Explicitly Parallel Instruction Computing) až 20 instrukcí během jednoho cyklu Podporuje Bi-endian (Little i Big endian) Buchtela@pef.czu.cz 44
Architektura vybraných procesorů technologie EPIC (Explicitly Parallel Instruction Computing) všechny instrukce v 128 bitových balíčcích balíček = 3 x 41-bitové instrukce a 5-bitový informační kód balíček načten najednou podle informačního kódu zjištěn typ operace (celočíselná operace, operace s reálnými čísly, ) jsou-li balíčky odlišného typu je možné zpracovat najednou libovolný počet balíčků lze seskupit do superbalíčku instrukce se vzájemně neovlivňují mohou být prováděny paralelně v libovolném pořadí Buchtela@pef.czu.cz 45
Děkuji za pozornost! Příští přednáška: Adresace paměti, přerušení, sběrnice