Architektury počítačů

Transkript

1 Architektury počítačů Virtuální paměť II + Pipeline. duben 29 České vysoké učení technické, Fakulta elektrotechnická B35APO Architektura počítačů Ver.3.

2 * Technická knihovna v Dejvicích - virtuální projekt K 335, ČVUT FEL Praha Technická knihovna v Dejvicích - realita

3 Virtuální paměť a soubory na disku Virtuální paměť rozšiřuje fyzickou paměť o prostor na disku tím, že automaticky odkládá/načítá stránky na disk (swapování). Toho lze využít Načtení programů a knihoven do paměti: Programy a knihovny jsou uloženy na disku jako binární soubory obsahující instrukce a data Když chceme spustit nový program: Jádro OS alokuje souvislou množinu virtuálních stránek (dostatečně velký prostor pro uchování vlastního programu a dat) Poté OS aktualizuje Page table procesu (Page tables pak odkazují na soubory na disku) Položky Page table jsou označeny jako Valid= (na disku) Jakmile program běží, správa virtuální paměti načte program do paměti automaticky Viz mmap() funkce alokuje virtuální stránky a nastaví položky Page table tak, aby odkazovaly na soubor na disku B35APO Architektura počítačů 3

4 Jak využít cache a virtuální paměť What Every Programmer Should Know About Memory Poznámka Počáteční části popisují paměti i cache, a možno všem doporučit. Programátorské příklady ale cílí na velmi pokročilé uživatele, a začátečníky spíš zmatou. 4 B35A PO Archi

5 Virtuální paměť - stránkování Každé virtuální stránce může odpovídat nejvýš jedna fyzická stránka, obráceně to neplatí, takže: Na jednu konkrétní fyzickou stránku může být namapováno několik virtuálních stránek. Co to přináší? Můžeme sdílet paměť napříč různými procesy nebo vlákny (data nebo kód OS načte sdílené knihovny jenom jednou), můžeme poskytnout jiná oprávnění (přístupová práva). Pokud se program snaží přistoupit do stránky způsobem, který neodpovídá jeho oprávněním, CPU generuje General protection fault handler pro General protection fault typická reakce je ukončení procesu B35APO Architektura počítačů 5

6 Reserving and Committing of Address Space Address space of a process Physical Memory R e s e r v e d Committed Pages Invalid Committed Pages Page Tables Invalid B35APO Architektura počítačů 6

7 Shared Memory B35APO Architektura počítačů 7

8 32-bit x86 Address Space 32-bits = 4 GB Default Windows 3 GB Linux user space or Extended Windows 2 GB User process space 2 GB System Space 3 GB User process space GB System Space K 335, ČVUT FEL Praha 8

9 Address Spaces user process spaces Shared System Space K 335, ČVUT FEL Praha 9

10 Address Spaces Exe files and other read only files are only mapped into address spaces User process spaces Shared System Space Shared user's libraries K 335, ČVUT FEL Praha

11 Memory Mapped Files file GB view view2 Notes: Memory mapped files are approximately from.5 to 3 times slower than file streams in case of fully sequential reads or writes because they need the construction of page table entries. Memory mapped files are much faster than file streams only if we need random access to file data. In such case, we can also gain benefits from cache. B35APO Architektura počítačů

12 Memory Mapped File B35APO Architektura počítačů 2

13 Mapping of Hardware in Linux It is simplified part of the code that you use in your semester project int fd = open("/dev/mem", /* we ask for physical memory addresses */ O_RDWR /* with read and write access */ O_SYNC /* and non-cached for /dev/mem */ ); unsigned char *mem = (unsigned char *) mmap( NULL, /* kernel selects virtual address */ x4 /* our required size*/, PROT_READ PROT_WRITE, /* allow read and write*/ MAP_SHARED, /* visible to other processes*/ fd, /* handle of an already opened file */ x43c4 /* offset in file, here I/O physical base address*/ ); Note: For simplification, we have supposed that the size and offset are already align to page size. B35APO Architektura počítačů 3

14 * B35APO Architektura počítačů 4

15 Některé problémy hierarchických pamětí? Koherence pamětí. Definice viz další slajd Jednoprocesorové (jednojádrové) stroje. Řeší D-bit a migrační strategie Write-back. Multiprocesory se společnou i sdílenou pamětí řešení je mnohem složitější. Používá se mj. Společná sběrnice: Snooping (s odposlechem, slíděním), MESI protokol, Broadcast (s rozesíláním), Directories (adresáře). Je obsahem předmětu A4M36PAP. B35APO Architektura počítačů 5

16 Definice koherence Řekneme že multiprocesorový paměťový systém je koherentní, jestliže výsledek jakéhokoli provádění programu je takový, že pro každé paměťové místo je možné sestavit myšlené sériové pořadí čtení a zápisů k tomuto paměťovému místu, a platí:. Paměťové operace k danému paměťovému místu pro každý proces jsou provedeny v pořadí, ve kterém byly spuštěny tímto procesem. 2. Hodnoty vracené každou operací čtení jsou hodnotami naposledy provedené operace zápis do daného paměťového místa vzhledem k sériovému pořadí. B35APO Architektura počítačů 6

17 Problém koherence CPU Cache x Proto je důležité, aby byl systém paměťově koherentní viz cache coherence CPU zajištění koherence Cache paměť y Nicméně i v paměťově koherentním systému může nevhodný programátorský styl vést k značnému zpomalení běhu programu Vlákno : x=; if(x==) Příklad A: Příklad B: Vlákno : x=3; Nechť x je sdílená proměnná, y sdílené pole. Vlákno : y[]=; y[3]=3; y[5]=5; Vlákno : y[]=; y[2]=2; y[4]=4; B35APO Architektura počítačů 7

18 Srovnání Virtual memory versus Cache Virtuální paměť TLB Stránka Page Fault Velikost stránky: 52 B 8 KB (4kB ) Plně asociativní, N-cestná Výběr oběti: LRU Write Back Cache Blok/řádek Read/Write Miss Velikost bloku: 8 28 B (64B) (DM), N-cestná, plně asociativní LRU, ARC, CAR Write Back Pozn.: TLB virtuální paměti může být plně asociativní, ale pro větší TLB typicky bývá jen 4-cestná. Rozumíte pojmům? Co je oběť? LRU - Last Recently Used ARC - Adaptive Replacement Cache (LRU+LFU) CAR - Clock (improvement of FIFO) with Adaptive Replacement Závěr: každé adjektivum vyjadřuje něco jiného B35APO Architektura počítačů 8

19 Single Core - Intel Pentium REG MP Logic = Multiprocessing logic for bus arbitration and cache coherency Source: Intel B35APO Architektura počítačů 9

20 * B35APO Architektura počítačů 2

21 DON'T CARE-OUTPUT TASKS Definice DCOT Definice DCOT celá úloha či její část, v níž se počítá něco, co nikoho nezajímá, avšak nelze to nespočítat. Musí se tedy vykázat náročnost k dosažení celkového zdárného vyřešení, ale nikdo si výsledek nikdy pořádně nepřečte. DCOT výpočty zatěžují životní prostředí zvýšenou spotřebou energie, což vede k nárůstu globálního oteplení, a tak potřebujeme způsob šetrnější k životnímu prostředí. B35APO Architektura počítačů 2

22 Uložení výsledků DCOT starší způsob WOM, Write-Only Memory, viz Signetics 252 WOM datasheet Nevýhody: potřeba střídavého žhavícího napětí V FF =~6.3 V nutnost i Drain odvodu pro časté "memory leaks" B35APO Architektura počítačů 22

23 Palindromická paměť pro DCOT další varianta je využití palindromů ke snížení paměti pro DCOT úlohy, viz např. Kolář J.: Čísla palindromická z pohledu výpočetní techniky, Palindromická konference 22 PAKO OKAP 22, ČVUT 22 Uložení palindromu potřebuje jen poloviční paměť, takže opakováním palindromizace lze teoreticky dosáhnout i ekologického bezpaměťového počítače. Zde bude však nutný ještě další výzkum. B35APO Architektura počítačů 23

24 Procesory Aprilum-Cat se SISC jádrem Praktičtější způsob se opírá o neuronové překladače, které v úlohách DCOT části, ty pošlou je do SISC jádra (Single Instruction Set Core) a poté jen vygenerují výsledky. V SISC jádru: úplně odpadá instrukční cache a lze vynechat i datovou a stránkování, čímž se dosáhne extrémně vysokého zrychlení výpočtu, které se leckde blížící až Exa-NIPS [Nop-Instructions Per Second] SISC jádro bude zahrnuto v procesorech řady Aprilum-Cat ExaNIPS PetaNIPS TeraNIPS GigaNIPS Předběžné benchtesty úloh na prototypech Aprilum-Cat B35APO Architektura počítačů 24

25 * Source: Chinesse Press Automation B35APO Architektura počítačů 25

26 Další část dnešní přednášky Modifikujeme jednocyklový procesor z 2. přednášky na zřetězený procesor. Procesor bude podporovat instrukce: add, sub, and, or, slt, addi, lw, sw a beq Typ 3 R opcode(6), 3:26 rs(5), 25:2 rt(5), 2:6 rd(5), 5: shamt(5) funct(6), 5: I opcode(6), 3:26 rs(5), 25:2 rt(5), 2:6 immediate (6), 5: J opcode(6), 3:26 address(26), 25: B35APO Architektura počítačů 26

27 Nezřetězené vykonávaní instrukcí I nezřetězený MIPS procesor má dva cykly: Instruction Fetch Vykonání instrukce. Instruction Fetch poslání PC do paměti a vybrání aktuální instrukce. Aktualizace PC = PC+4 2. Vlastní provedení instrukce B35APO Architektura počítačů 27

28 Nezřetězené vykonávání PC PC A RD Instr 25:2 Instr. 2:6 Memory 4 PCPlus4 + 2:6 5: 5: WE3 A RD A2 A3 WD3 RD2 Reg. File Sign Ext Rt Rd SrcA SrcB WriteData WriteReg <<2 SignImm ALU + Zero AluOut PCBranch WE A RD Data Memory WD ReadData Result v obrázku označuje hodinový vstup reagující na náběžnou hranu B35APO Architektura počítačů 28 Z přednášky č.2

29 Delay Slot o Define branch to take place after the next instruction o MIPS defines one delay slot o Compiler fills the branch delay slot o By selecting an independent instruction from before the branch label:... add $2,$3,$4 beq $,$,label Delay Slot o Must be okay to execute instruction in the delay slot whether branch is taken or not o If no suitable instruction is found o then the compiler fills delay slot with a NOP label:... beq $,$,label add $2,$3,$4 B35APO Architektura počítačů 29

30 Delay slot Úkolem kompilátoru je tedy zabezpečit, že následující instrukce nacházející se v branch delay slotu budou platné a užitečné. Na níže uvedených obrázcích jsou ilustrovány tři alternativy jak je možné plnit delay slot. Nejsnadnější způsob (zároveň nejméně efektivní) spočívá ve vyplnění delay slot prázdnou instrukci nop. B35APO Architektura počítačů 3

31 Jedno-cyklový procesor výkon: IPS = IC / T = IPC str.f CLK Jaká může být maximální frekvence procesoru? Zpoždění na kritické cestě instrukce lw: Tc = t RFread + t ALU + t Mem + t Mux + t RFsetup PC PC 4 PCPlus4 A RD Instr. Memory + Instr 25:2 5: 5: WE3 A RD 2:6 A2 RD2 A3 Reg. WD3 File 2:6 Sign Ext Rt Rd SrcA SrcB WriteData WriteReg <<2 SignImm ALU + Zero AluOut PCBranch WE A RD Data Memory WD ReadData Result B35APO Architektura počítačů 3

32 Jedno-cyklový procesor výkon: IPS = IC / T = IPC str.f CLK Předpokládejme: t PC = 3 ns t Mem = 3 ns t RFread = 5 ns t ALU = 2 ns t Mux = 2 ns t RFsetup = 2 ns Při T fetch prováděném paralelně s T processor, jelikož je vždy 3+3=T fetch < T processo = = 59 ns =.69 MHz -> IPS = 69 B35APO Architektura počítačů 32

33 Zřetězené vykonávaní instrukcí Předpokládejme, že i vykonání instrukce můžeme rozdělit do dalších stupňů: IF ID EX MEM WB IF Instruction Fetch, ID Instruction decode (and Operand Fetch), EX Execute, MEM Memory Access, WB Write Back a dále = max { i } k i=, kde i je čas šíření (propagation delay) v i-tém stupni. IF poslání PC do paměti a vybrání aktuální instrukce. Aktualizace PC = PC+4 ID dekódování instrukce a načtení registrů specifikovaných v instrukci, provedení testu na rovnost registrů (kvůli možnému větvení), znaménkové rozšíření offsetu, výpočet cílové adresy pro případ větvení (zn. rozš. offset + PC) EX operace ALU MEM v případě instrukce load /store čtení/zápis do paměti WB v případě instrukcí typu register-register nebo instrukce load zápis výsledku do RF (výsledek může přicházet z ALU nebo paměti) B35APO Architektura počítačů 33

34 Nezřetězené vykonávání AluOutW PC PC A RD Instr 25:2 Instr. 2:6 Memory 4 PCPlus4F + 2:6 5: 5: WE3 A RD A2 A3 WD3 PCPlus4D RD2 Reg. File Sign Ext Rt Rd SrcA SrcB <<2 SignImm PCPlus4E ALU WriteDataE WriteRegE + Zero AluOutM WriteDataM WriteRegM PCBranch WE A RD Data Memory WD Result ReadData WriteRegW Fetch Decode Execute Memory WriteBack B35APO Architektura počítačů 34

35 Zřetězené vykonávání AluOutW PC PC A RD Instr 25:2 Instr. 2:6 Memory 4 PCPlus4F + 2:6 5: 5: WE3 A RD A2 A3 WD3 PCPlus4D RD2 Reg. File Sign Ext Rt Rd SrcA SrcB <<2 SignImm PCPlus4E ALU WriteDataE WriteRegE + Zero AluOutM WriteDataM WriteRegM PCBranch WE A RD Data Memory WD Result ReadData WriteRegW Fetch Decode Execute Memory WriteBack B35APO Architektura počítačů 35

36 Zřetězené vykonávání 3:26 5: Control Unit Opcode Funct MemToReg MemWrite Branch ALUControl 2: ALUScr RegDest RegWrite AluOutW PC PC A RD Instr 25:2 Instr. 2:6 Memory 4 PCPlus4F + 2:6 5: 5: WE3 A RD A2 A3 WD3 PCPlus4D RD2 Reg. File Sign Ext Rt Rd SrcA SrcB <<2 SignImm PCPlus4E ALU WriteDataE WriteRegE + Zero AluOutM WriteDataM WriteRegM PCBranch WE A RD Data Memory WD Result ReadData WriteRegW Fetch Decode Execute Memory WriteBack B35APO Architektura počítačů 36

37 Totéž, pouze zmenšeno a překresleno Control unit 3:26 Op 5: Funct RegWriteD MemToRegD MemWriteD ALUControlD ALUSrcD RegDstD BranchD RegWriteE MemToRegE MemWriteE ALUControlE ALUSrcE RegDstE BranchE RegWriteM MemToRegM MemWriteM BranchD PCSrcM RegWriteW MemTo RegW PC PC 4 A RD Instruction Memory + InstrD 25:2 WE3 A RD 2:6 A2 RD2 A3 Reg. WD3 File 2:6 5: 5: SignImmD Sign Ext RtD RdD RtE RdE SrcAE SrcBE WriteDataE WriteRegE 4: SignImmE ALU Zero ALUOutM WriteDataM A RD Data Memory WD WE ReadDataW ALUOutW WriteRegM 4: WriteRegW 4: PCPlus4F PCPlus4D PCBranchD <<2 + ResultW B35APO Architektura počítačů 37

38 Vznik datových hazardů Pracovní registry (Register File) přístup v dvou fázích (Decode, WriteBack) zápis v první polovině cyklu, čtení ve druhé.. RAW hazard Jak je možné řešit tento hazard a nedegradovat výkon pipeline? B35APO Architektura počítačů 38

39 Řešení datových hazardů přeposíláním (forwarding) Pokud výsledek vzniká dřív, než jej následující instrukce skutečně potřebují, pak lze tento hazard vyřešit přeposíláním (forwarding) Dochází k němu, když se použité zdrojové registry instrukce ve stupni E shodují s cílovým registrem ve stupni M nebo WB, přičemž se vyhodnotí, zda se skutečně jedná o cílový registr viz instr. lw vs. sw Obsah registrů se z uvedených stupňů posílá do Hazard Unit, B35APO Architektura počítačů 39

40 Stávající procesor B35APO Architektura počítačů 4 Instruction Memory A RD Data Memory A RD WD WE <<2 Sign Ext + Control unit RegWriteD MemToRegD MemWriteD ALUControlD ALUSrcD RegDstD BranchD RegWriteE MemToRegE MemWriteE ALUControlE ALUSrcE RegDstE RegWriteM MemToRegM MemWriteM RegWriteW MemTo RegW PCSrcM 3:26 5: 25:2 2:6 2:6 5: 5: SignImmD SignImmE RtD RdD RtE RdE SrcAE SrcBE WriteDataE WriteRegE 4: WriteDataM ALUOutM WriteRegM 4: WriteRegW 4: ALUOutW ReadDataW ResultW PCPlus4D PCBranchD PCPlus4F 4 InstrD PC PC Op Funct Reg. File A RD A2 RD2 A3 WD3 WE3 + Zero BranchE BranchD ALU

41 Řešení datových hazardů přeposíláním (forwarding) Control unit 3:26 Op 5: Funct RegWriteD MemToRegD MemWriteD ALUControlD ALUSrcD RegDstD BranchD RegWriteE MemToRegE MemWriteE ALUControlE ALUSrcE RegDstE BranchE RegWriteM MemToRegM MemWriteM BranchD PCSrcM RegWriteW MemTo RegW PC PC 4 A RD Instruction Memory + InstrD 25:2 WE3 A RD 2:6 A2 RD2 A3 Reg. WD3 25:2 2:6 5: File RsD RtD RdD RsE RtE RdE 5: SignImmD Sign Ext SrcAE SrcBE WriteDataE WriteRegE 4: SignImmE ALU Zero ALUOutM WriteDataM A RD Data Memory WD WE ReadDataW ALUOutW WriteRegM 4: WriteRegW 4: PCPlus4F PCPlus4D PCBranchD <<2 + ResultW Forward AE Forward BE RegWriteM RegWrite W Hazard unit B35APO Architektura počítačů 4

42 Řešení datových hazardů pozastavením (stall) Pokud následující instrukce potřebují výsledek dřív, než skutečně vzniká, lze hazard řešit také jinou metodou, a to pozastavením (stall) Pozastavení (stall) pipeline je prostředkem řešení hazardů; nezvyšuje však propustnost systému Stupně pipeline předcházející stupni, kde hazard vzniká, jsou pozastaveny do doby, než jsou k dispozici výsledky požadované následujícími instrukcemi ty jsou pak přeposílány (forwarding) B35APO Architektura počítačů 42

43 Řešení datových hazardů pozastavením (stall) pozastavení se dosáhne podržením hodnoty mezistupňových registrů výsledky z kolizního stupně se musejí ztratit řídicí signály umožňující měnit stav (kontext) procesoru (zápis pracovních registrů nebo do paměti, řízení povolení větvení) se nulují obojí se dosáhne přidáním řídicích vodičů k mezistupňovým registrům umožňujících měnit/uchovat nebo nulovat jejich obsah lw: typ I, rs bázová adresa, imm offset, rt kde uložit B35APO Architektura počítačů 43

44 Stávající procesor Control unit 3:26 Op 5: Funct RegWriteD MemToRegD MemWriteD ALUControlD ALUSrcD RegDstD BranchD RegWriteE MemToRegE MemWriteE ALUControlE ALUSrcE RegDstE BranchE RegWriteM MemToRegM MemWriteM BranchD PCSrcM RegWriteW MemTo RegW PC PC 4 A RD Instruction Memory + InstrD 25:2 WE3 A RD 2:6 A2 RD2 A3 Reg. WD3 25:2 2:6 5: File RsD RtD RdD RsE RtE RdE 5: SignImmD Sign Ext SrcAE SrcBE WriteDataE WriteRegE 4: SignImmE ALU Zero ALUOutM WriteDataM A RD Data Memory WD WE ReadDataW ALUOutW WriteRegM 4: WriteRegW 4: PCPlus4F PCPlus4D PCBranchD <<2 + ResultW Forward AE Forward BE RegWriteM RegWrite W Hazard unit B35APO Architektura počítačů 44

45 FlushE MemToRegE Řešení datových hazardů pozastavením (stall) Control unit 3:26 Op 5: Funct RegWriteD MemToRegD MemWriteD ALUControlD ALUSrcD RegDstD BranchD RegWriteE MemToRegE MemWriteE ALUControlE ALUSrcE RegDstE BranchE RegWriteM MemToRegM MemWriteM BranchD PCSrcM RegWriteW MemTo RegW PC EN PC 4 A RD Instruction Memory + InstrD 25:2 WE3 A RD 2:6 A2 RD2 A3 Reg. WD3 25:2 2:6 5: File RsD RtD RdD RsE RtE RdE 5: SignImmD Sign Ext SrcAE SrcBE WriteDataE WriteRegE 4: SignImmE ALU Zero ALUOutM WriteDataM A RD Data Memory WD WE ReadDataW ALUOutW WriteRegM 4: WriteRegW 4: PCPlus4F EN PCPlus4D PCBranchD CLR <<2 + ResultW Stall F Stall D Forward AE Forward BE RegWriteM RegWrite W Hazard unit B35APO Architektura počítačů 45