Nízkoúrovňové programování

Transkript

1 Nízkoúrovňové programování Martin Děcký CHARLES UNIVERSITY IN PRAGUE Faculty Faculty of of Mathematics Mathematics and and Physics Physics

2 kdysi 2

3 dnes fa 31 8e f opcode c0 d8 0f 82 c8 22 ea f 20 c c0 1d strojový kód na IA-32 Posloupnost bytů uložená v paměti kódující instrukce prováděné procesorem cli xor mov lgdtw sub or mov ljmpw or instruction name register name %eax, %eax %eax, %ds dereference (%esi) %eax, 0x66c0200f(%edx) $0x1, %eax displacement %eax, %cr0 $0x0, $0x801d constant %al, (%eax) instrukční mnemonika na IA-32 (AT&T syntaxe) Kód napsaný ručně nebo vyrobený překladačem vyššího programovacího jazyka Assembler překládá mnemonika na strojový kód 3

4 dnes (2) c4 81 c c3 70 a7 c0 3f 70 c0 e0 e0 a4 ff 00 ff 0e opcode instruction name add rdpr mov sllx and ldx retl stx %sp, 0x7ff, %g3 %ver, %g4 constant -1, %g1 %g1, 0xe, %g1 %g3, %g1, %g3 [ %g3 + 0x18 ], %g2 register name displacement %g4, [ %g2 + 0x478 ] dereference strojový kód na SPARC V9 Všechny instrukce mají délku 4 byty instrukční mnemonika na SPARC V9 4

5 K čemu mi to může být dobré? Vždyť přece budu stejně celý život programovat v Javě, C, Pythonu nebo PHP! 5

6

7 Aplikační framework Komponentový systém Java /.NET JVM / CLR C++ C Firmware / Operační systém Assembler Strojový kód Procesor

8 Stovky tisíc řádků kódu Aplikační software Např. textový editor Knihovny pro uživatelské rozhraní Systémový software Operační systém Vstupně/výstupní operace Alokace paměti a úložného prostoru Sdílení prostředků Hardware Firmware Hardware Procesor, paměť, periferie 8

9

10 Paměťová zeď Výkon procesorů omezen výkonem pamět Výkon procesorů roste rychleji než výkon pamět Jednoduché operace trvají desetiny ns, přístup do paměti trvá desítky ns Nedosažitelný cíl kombinace: Paměť stejně rychlá jako procesor, dostatečná kapacita, rozumná cena 10

11 Proč je důležité vědět o CPU cache? Quick Sort vs. Radix Sort LaMarca, Ladner (1996) O(n log n) vs. O(n) Teoreticky není co řešit Zdroj: Patterson & Hennessy 11

12 Proč je důležité vědět o CPU cache? (2) Jenže: Quick Sort se pro větší množství dat ukázal rychlejší... Zdroj: Patterson & Hennessy 12

13 Proč je důležité vědět o CPU cache? (3) Důvod Způsob přístupu k datům v implementaci algoritmu Radix Sort způsoboval příliš mnoho výpadků cache Zdroj: Patterson & Hennessy 13

14 Proč je důležité vědět o CPU cache? (4) Řešení Úprava implementace algoritmu Radix Sort, aby pracoval s daty nejprve v rámci bloku paměti, který je již načtený v cache (řádku cache) 14

15 Abstrakce: Od uživatele k algoritmu Smaž odstavec Nastav písmo... Uživatel 15

16 Abstrakce: Od uživatele k algoritmu Smaž odstavec Nastav písmo... document.par[i].value =...; document.set_font(...);... Algoritmus Uživatel 16

17 Abstrakce: Od uživatele k algoritmu Smaž odstavec Nastav písmo... document.par[i].value =...; document.set_font(...);... Sémantická mezera Algoritmus Uživatel 17

18 Abstrakce: Od algoritmu k programu document.par[i].value =...; document.set_font(...);... Algoritmus 18

19 Abstrakce: Od algoritmu k programu MULI $2, $5, 4 ADD $2, $4, $2 LW $16, 0($2)... document.par[i].value =...; document.set_font(...);... Algoritmus Sémantická mezera Program 19

20 Abstrakce: Od programu ke kódu MULI $2, $5, 4 ADD $2, $4, $2 LW $16, 0($2)... Program 20

21 Abstrakce: Od programu ke kódu MULI $2, $5, 4 ADD $2, $4, $2 LW $16, 0($2)... Program Sémantická mezera Procesor 21

22 Abstrakce Překonávání sémantických mezer Postup od konkrétního (technického) jazyka k abstraktnímu (obecnému) jazyku Ideálně se zachováním přesnosti, ale využit šířeji definovaných pojmů a zapouzdření vnitřních detailů Stručnější a kompaktnější vyjádření An abstraction is one thing that represents several real things equally well. (Edsger Dijkstra) 22

23 Abstrakce (2) Vhodný jazyk pro danou úroveň abstrakce Řídící logika procesoru Pomocí jednotky ALU sečti hodnotu z registru A a hodnotu z registru B, výsledek ulož do registru C Strojový kód: instrukce (slova) nad abecedou {0, 1} Assembler: symbolický zápis instrukcí programu add R2, R3, R1 Vyšší programovací jazyk: symbolický zápis algoritmu fruits := apples + oranges 23

24 Abstrakce (3) Vhodný jazyk pro danou úroveň abstrakce Překlad mezi jazyky = překonávání sémantické mezery Jazyk vyšší úrovně = vyšší produktivita člověka Doménově-specifické jazyky Jazyk nižší úrovně = vyšší produktivita stroje Strojový kód Překladač Překlad z vyššího programovacího jazyka do jazyka nižší úrovně (často až do symbolického zápisu instrukcí konkrétního procesoru) Assembler Překlad ze symbolického zápisu instrukcí do binárního kódu vykonatelného konkrétním procesorem 24

25 Překladač vyššího jazyka.c.h preprocessor.i compiler.h.s assembler.o cc -c -o output.o input.c as -o output.o input.s 25

26 Assembler s preprocessorem.s.h preprocesor.s assembler.h.o cc -c -o output.o input.s 26

27 Linkování.o.o linker linker script.o binary ld -T link.ld -o output.bin input0.o input1.o 27

28 Linkování (2) input0.c void global_fnc01() { } void global_fnc02() { } int global_int; void *global_ptr; int another_symbol attribute ((section( another_section ))); input0.o.text global_fnc01 global_fnc02.bss global_int global_ptr another_section another_symbol 28

29 Linkování (3) link.ld SECTIONS {.output 0x : { *(.text) *(.bss) *(another_section) _output_end =.; } } output.bin.output (displacement: 0x ) global_fnc01 global_fnc02 global_int global_ptr another_symbol _output_end 29

30 Užitečné přepínače překladače GCC -ffreestanding Překlad bez standardní knihovny a funkce main() -nostdlib Bez prohledávání systémové cesty knihoven -nostdinc Bez prohledávání systémové cesty hlavičkových souborů -fno-builtin Nepoužívat vestavěné funkce překladače (není-li explicitně použit prefix builtin_) 30

31 Užitečné atributy překladače GCC attribute ((packed)) Struktura bez standardního zarovnání prvků attribute ((may_alias)) Proměnná daného datového typu může být zároveň jiným datovým typem attribute ((aligned(n))) Proměnná se zarovnáním v paměti na n bytů attribute ((section( sekce ))) Symbol umístěn ve vstupní sekci sekce attribute ((returns_twice)) Pro implementaci funkcí obnovujících kontext procesoru 31

32 Užitečné nástroje objdump Výpis informací o objektových a binárních souborech -x Výpis všech hlaviček -d Disassemblování spustitelných sekcí -D Disassemblování všech sekcí -S Disassemblování proložené řádky zdrojového kódu Potřebuje debuggovací informace (gcc -g) 32

33 Kde se to naučit pořádně? Kurzy na MFF UK (a obdobné na jiných univerzitách) Principy počítačů Architektura počítačů Operační systémy Principy překladačů Crash dump analýza Literatura David Patterson, John Hennessy: Computer Organization and Design On-line Série článků Co se děje v počítači na Root.cz 33

34

35 Stručná charakteristika open source general-purpose multiplatform microkernel multiserver operating system implemented from scratch 35

36

37 kernel console kernel unit tests kernel log concurrent hash table synchronization interface ELF loader kernel lifecycle mgmt tracing support wait queues readcopyupdate lists, trees, bitmaps generic resource allocator cache coherency spinlocks work queues string routines misc routines slab allocator address space mgmt memory reservation bdsh interrupt & syscall dispatch hardware resource mgmt thread & task mgmt IPC thread scheduler task capabilities platform library routines bootstrap routines interrupt handling CPU mgmt memory backends memory zones mgmt console compositor clipboard audio input output slip nconfsrv loopip dhcp ethip tcp link layer protocols networking management frame allocator udp transport layer protocols layer TMPFS global page hash table support shared platform drivers hierarchical page table support ISO 9660 FAT shared debugging support Location FS UDF exfat MINIX FS ext4 file system drivers device drivers device manager vfs platform drivers I/O mgmt debugging support context switching platform memory mgmt atomics & barriers Kernel subsystems remote framebuffer inetsrv shared architecture dependent system information cycle & time mgmt remote console human interface dnsrsrv hardware architecture dependent vterm client session abstraction architecture independent HelenOS: Architektura v kostce location service logger klog naming service loader task monitor init kernel System components 37

38 Q&A 38

39 References Slide 2 Harvard Mark I, IBM 1944 (cited under fair use doctrine) Slide 6 Tron: Legacy, Walt Disney Studios Motion Pictures 2010 (cited under fair use doctrine) Slide 9 Data compiled by Jonas Bonér ( Jeffrey Dean and Peter Norvig; rendering by ayshen ( Slide 10 Roth A., Martin M.: CIS 371 Computer Organization and Design, University of Pennsylvania, Department of Computer and Information Science, 2009; data and rendering Elsevier Science 2003 Slide 11, 12, 13, 33 D. A. Patterson, J. L. Hennessy: Computer Organization and Design, Morgan Kaufmann, ISBN ,