Administrace Unixu a sítí. Tomáš Kouba <17731@mail.vsfs.cz>, < tomas@jikos.cz>

Transkript

1 Administrace Unixu a sítí Tomáš Kouba <17731@mail.vsfs.cz>, < tomas@jikos.cz>

2 Regulární výrazy I. Formální jazyk k popisu textu (jeho částí) Rozpoznatelný konečným automatem V praxi se používají silnější než regulární Jsou součástí jazyků Perl, TCL Jako knihovna dostupné v mnoha dalších (python, java, PHP) Mnoho unixových utilit s nimi umí pracovat (grep, ed, sed, awk) Popis regexpů: man 1 ed

3 Regulární výrazy II. Speciální znaky:. - jakýkoliv znak krom \ ruší význam metaznaku [list], [^list] jakýkoliv znak z výčtu/doplňku <LF> [a-za-z0-9_], [\]^-], [\]\^\-\\] ^, $ - začátek a konec řádky \<, \>, \b - začátek a konec slova Třídy znaků: [:alpha:], [:upper:], [:blank:], [:alnum:]

4 Regulární výrazy III. expression* - libovolné opakování znaku daného výrazem A*, [0-9][0-9]* + pro alespoň jedno opakování expression\{n\}, exp\{m,n\} opakování nkrát, m-n-krát \(, \), \n uzávorkování části vzoru pro znovupoužití \(ab\)* A\(.\)\1A

5 Regulární výrazy IV. sed s/:.*//;s/^/uzivatel: / /etc/passwd ls *.c sed s/\(.*\).c/cp \1.c \1.bak/ Uzivatel: login pro všechny záznamy v /etc/passwd cp foo.c foo.bak ls *.c sed s/\(.*\).c/cp -p \1.c \1.bak/

6 Regulární výrazy - cvičení Najděte v zadaném souboru řádky končící dekadickým číslem Najděte řádky souboru /etc/passwd, které obsahují informace o uživatelích s domovskými adresáři v adresáři /home Vypište z /etc/passwd plná jména uživatelů (pomocí sed) Ze souboru index.html (získaný např. wget vypište všechny http odkazy

7 Základy systémové administrace Základní úkoly: instalace (OS, SW balíky) konfigurace (systémy souborů, uživatelé, služby,...) zálohování systému sledování systému (syslog, cron,...) Na různých UNIXech stejné úkoly, často se liší prostředky a cesty (/var/adm vs. /var/log)

8 Start systému I. Bootloader (na linuxu typicky grub nebo lilo) předá řízení a paramtery kernelu inicializace perfierií, připojení kořenového fs spuštění programu init, který řídí zbytek startu/běhu systému /etc/rc* - startovací/ukončovací skripty (SysV startup scripts) /sbin/init spouští skripty dle /etc/inittab Nově alternativy řízené událostmi (upstart)

9 Start systému II. /etc/init.d obsahuje startovací/ukončovací skripty Linky pro runlevel X v /etc/rcx.d Začínající na S nebo K, čísla určují pořadí Runlevel mód ve kterém systém běží. Typicky S who -r / runlevel - zjistí aktuální runlevel init <number> přepne runlevel

10 Runlevel - přehled Standard: 0 přechod do tohoto runlevelu shutdownuje systém S singleuser (žádná síť, démoni. Často ekvivalentní init=/bin/sh) 6 přechod do tohoto runlevelu rebootuje systém Typické linuxové distribuce navíc: 1 singleuser bez sítě, démonů (nestandardní) 2 multiuser většinou podobné jako 1, navíc dovoluje non-root login 3 multiuser + síť běžný mód 4 nepoužívaný 5 X11 runlevel 3 + X window system

11 Startování služeb Standardizovány pouze symlinky, jejich vytváření je system-specific většinou shell scripty s podporou v init skriptech Redhat - chkconfig Suse - yast Debian - update-rc.d Solaris - svcs, inetadm

12 Ještě k procesům Init - první proces, rodič všech ostatních V unixu má každý proces rodiče => stromová struktura procesů (pstree, ps wwwfaux) Nejvyšší ve stromě procesů je init Každý proces vrací návratový kód a někdo jej musí vyzvednout (většinou rodič voláním wait()) Co když to rodič neudělá? (nechce se mu, neexistuje) Stavy procesů (man ps process state codes)

13 Rozdělení disku Utility fdisk, cfdisk, parted, qtparted, diskdruid

14 Qtparted

15 Diskdruid

16 Odbočka - loop device Linux má speciální zařízení /dev/loop# Umožňuje ze souborů vytvářet disky soubory se pro systém tváří jako bloková zařízení lze na nich vytvářet filesystémy provádět ioctl() volání atd. Vhodné pro testování, vytváření images atd. losetup [{-e -E} encryption] [-o offset] [-p pfd] [-r] {-f loop_device} file Podobné programu daemon-tools na Win

17 RAID RAID - Redundant array of inexpensive disks JBOD just a bunch of disks Mirroring Stejná data na více discích Striping rozdělení dat na různé disky RAID0 RAID6, RAID 0+1, RAID 1+0, RAID 5+0, RAID 0+5

18 JBOD Lze kombinovat různé velikosti (narozdíl od RAID0) Existují prostředky jak z více disků udělat jeden (na linuxu LVM) pvcreate, vgcreate, lvcreate, pvs, vgs, lvs

19 RAID 0 Není redundantní (spíš naopak) V SW variantě se spíše nepoužívá (máme LVM) Vyšší výkon, sjednocení disků mdadm --create --verbose /dev/md0 --level=stripe --raid-devices=2 /dev/sdb6 / dev/sdc5

20 HW RAID

21 RAID 1

22 RAID 1 Zrcadlení Data jsou zapisována na oba disky Čtení jde z obou disků (zlepšení výkonu) Některá nastavení umožňují spare disk mdadm --create --verbose /dev/md0 --level=mirror --raid-devices=2 /dev/sdb1 /dev/sdc1 --spare-devices=1 /dev/sdd1

23 RAID 2 Nepoužívá se Rozseká data na bity, ty zapisuje zvlášť na disky Na další disky pak zapíše samoopravný kód (Hammingův kód) Příliš drahé na realizaci

24 RAID 3 Vyhrazený disk na paritu Parita se počítá po bytech A1-A6 je jeden blok dat

25 RAID 4 Podobný jako RAID3 Parita se počítá na úrovni bloků Úzkým místem je zápis na paritní disk

26 Srovnání RAID3 a RAID4

27 RAID5 Jako RAID4 Paritní disk není dedikovaný, jeho úlohu mají všechny disky Zlepšuje výkon Minimum jsou 3 disky Kapacita: celkem*(pocet1)/pocet mdadm --create --verbose /dev/md0 \ --level=5 --raid-devices=3 \ /dev/sdb1 /dev/sdc1 /dev/sdd1 \ --spare-devices=1 /dev/sde1

28 Nested RAID

29 Různá vylepšení RAID<n>E spare bloky distribuované mezi disky VRAID RAID-Z

30 Problémy Typicky: kernel: sidisk I/O error: dev 08:01, sector kernel: SCSI disk error : host 0 channel 0 id 0 lun 0 return code = Nebo: kernel: hde: read_intr: error=0x10 { SectorIdNotFound }, CHS=31563/14/35, sector=0 kernel: hde: read_intr: status=0x59 { DriveReady SeekComplete DataRequest Error }

31 Problémy V /proc/mdstat potom: Personalities : [linear] [raid0] [raid1] [translucent] read_ahead not set md7 : active raid1 sdc9[0] sdd5[8] blocks [2/1] [U_] Výpadek lze nasimulovat: mdadm --manage --set-faulty /dev/md1 /dev/loop2 mdadm --manage /dev/md1 --remove /dev/loop2 mdadm --manage /dev/md1 --add /dev/loop2

32 ZFS moderní filesystém, který řeší všechny problémy admina abstrahuje od partitions zabudovaný raid (tzv. RAIDZ) quoty snapshoty (ty umí i LVM) rychlý (většina operací probíhá za běhu) pro Linux problematická licence podobné věci umí BTRFS

33 Typy síťových propojení

34 Typy síťových rozhraní Loopback - tento počítač, žádné fyzické zařízení TUN virtuální rozhraní (VPN, virtuální stroje) PPP - sériové propojení point-to-point Ethernet- společná sběrnice: současný přístup, řešení kolizí (CSMA/CD) Token ring - předávání volného-obsazeného tokenu po kruhu FDDI - jednoduchý nebo dvojitý kruh (překlene přerušení vlákna) ATM - systém přepínačů a virtuálních cest pro tok dat, hlasu,...

35 Základní příkazy ifconfig route správa firewallových pravidel (linux specific) netstat správa routovacích tabulek jádra iptables práce se síťovými rozhraními výpis stavu sítě a statistik ip moderní náhrada předchozích

36 OSI model Číslo Název 7 aplikační Účel application specific protocol prezentační datové konverze (little/big endian) relační navázání relace transportní korektnost (kontrolní součty apd.) 3 síťová dosažení cíle, routing 2 linková přenos dat (frames, MAC adresy) 1 fyzická interpretace elektrického signálu

37 TCP/IP model

38 RFC dokumenty Request for comment Dokument popisující prostředí internetu Příklady: 793 TCP, 822 formát, 1149 přenos IP packetů poštovními holuby Jednotná terminologie terminologie, protokoly, formáty MUST, MUST NOT, REQUIRED Ne každé RFC je standard!

39 Spojované vs. nespojované služby Spojované (a-la telefon) Zaručeno doručení, navíc ve správném pořadí Aplikace se nemusí starat o síťování TCP, sofistikovaný netriviální protokol Na druhou stranu nemá takovou kontrolu nad spojením Spolehlivost zaručena pomocí potvrzování (TCP okna) Nespojované (a-la pošta) Není zaručeno ani pořadí, ani doručení Všechny potřebné kontroly v režii aplikace UDP, jednodušší než TCP

40 Monitoring sítě tcpdump nmap jednoduchý tcp/udp klient-server ethereal, wireshark port scanner netcat/nc vypisuje provoz na síti analyzátor packetů iftop monitoring zatížení sítě

41 Zahájení spojení Navázání TCP spojení (SYN, SYN+ACK, sekvenční čísla) IP > websm: S : (0) win 5840 <mss 1460,sackOK,timestamp ,nop,wscale 7> IP websm > : S : (0) ack win 5792 <mss 1460,sackOK,timestamp ,nop,wscale 7> IP > websm:. ack 1 win 46 <nop,nop,timestamp >

42 Ukončení spojení Uzavření spojení (FIN) IP websm > : F 1:1(0) ack 2 win 46 <nop,nop,timestamp > IP > websm:. ack 2 win 46 <nop,nop,timestamp >

43 Adresace Linková vrstva dána výrobcem není uspořádání Síťová vrstva MAC adresa (de:ad:be:ef:6:1f) IP adresa (např.: ) uspořádání Jednoznačná identifikace v rámci sítě Aplikační vrstva Doména (např.: vsfs.cz) přidělována podle organizační struktury snazší zapamatování (DNS překlad)

44 Konverze adres

45 Kontrola konverze Resolver ping host IP<->name, nepoužívá libc nslookup, dig používá pro resolving pokročilé dotazy na DNS ARP tabulka: arp

46 Subnetting - sítě, podsítě I. Původní myšlenka: velikost sítě určuje kolik bytů v IP adrese je adresa sítě: A 1 byte, např B 2 byty, např C 3 byty, např Sítě se tedy dělí do tříd => plýtvání Subnetting dovoluje rozšířit síťovou část adresy pomocí specifikace tzv síťové masky (netmask)

47 Subnetting - sítě, podsítě II V definici je přípustná nespojitá maska, ale většinou se neimplementuje. V současnosti se často ignorují třídy (classless) a místo masky se uvádí jen počet bitů (např /26).

48 Speciální adresy I. RFC 1918 Loopback adresa loopback rozhraní Privátní adresy , , *.0 nepřidělované, k použití pro lokální sítě nesmí opustit síť

49 Speciální adresy II. Network broadcast <adresa sítě>.<samé jedničky> adresa sítě: nejnižší IP adresa v síti network broadcast: nejvyšší IP adresa v síti všem v dané síti normálně se doručí do cílové sítě Limited broadcast nesmí opustit síť

50 Cvičení Jaký rozsah IP adres je možný v síti /26 (192 je v binárním zápisu ) Napište masku sítě , víte-li že má broadcast na adrese (128 je v binárním zápisu , 143 je v binárním zápisu )

51 Tok dat v TCP/IP scatter-gather ovladače

52 Socket, port Port 16bitové číslo identifikující jednu stranu spojení - aplikaci, proces destination-port musí být znám, typicky je to některý z tzv. wellknown services (viz /etc/services) source-port navazovatele (>1024) spojení přiděluje lokální systém (pro <1024 je potřeba oprávnení roota) Socket jeden konec komunikačního kanálu mezi klientem a servrem označení (adresa) jednoho konce kanálu <IPadresa, port> Výpis otevřených socketů: netstat [ an]

53 Struktura ethernetového rámce

54 Historie TCP/IP úzce provázán s Internetem (ARPAnetem) potřeba otestovat packetové technologie financováno DoD (americké ministerstvo obrany) po otestování síť předána akademické sféře další specifikace vznikají až na univerzitách jsou volné (daňoví poplatníci už je zaplatili)

55 Historie TCP/IP 1973 poprvé prezentováno veřejnosti 1974 publikováno v IEEE Transaction on Computers 1979 ustaveno ICCB (Internet control and configuration board) 1979 univerzity získávají BSD Unix s první implementací TCP/IP (platí DoD) 1980 ARPA prechází z NCB na TCP/IP

56 Historie TCP/IP 1983 NCB vypnuto nástup TCP/IP 1992 implementace ve Windows (winsock) 1993 implementace v Linuxu (hlavně Alan Cox)

57 Požadované vlastnosti TCP/IP žádné centrum, které by nepřítel zničil jako první (v dnešní době jsou úzká místa) decentralizovaný charakter obsažený už ve slově Internet robustnost ustát i velký výpadek podpora záložních tras nespojované a nespolehlivé procesy (na úrovni IP splněno)

58 Nepožadované vlastnosti TCP/IP bezpečnost mobilita autentizace i autorizace (obou stran) je ponechána na aplikaci uzel je v rámci sítě jasně určen místem zapojení do sítě QOS prioritizace, vyhrazení spojení

59 Síťová vrstva (IP) úkolem je pokusit se doručit data od odesílatele k adresátovi v rámci celé sítě narozdíl od linkové, která doručuje jen sousedům v rámci lokální sítě je potřeba packety směrovat tedy najít nejlepší další síťový prvek, přes který má packet jít předávat (forwarding) předávat packet ze sítě do sítě vrstva může také předcházet zahlcení a zajištovat QoS

60 IP datagramy IP nevytváří virtuální okruhy virtuální okruh je na začátku spojení vytvořená a vyhrazená cesta, kterou jdou všechny packety během spojení se trasa může měnit směrování je třeba dělat pro každý packet na každém směrovači velmi robustní plýtvání zdroji

61 Routing v linuxu Zařízení rozhodující v síti o tom kam půjde linkový rámec: přepínač (switch) Zařízení rozhodující v síti o tom kam půjde síťový packet: směrovač (router) větší inteligence, tabulky, filtrace v linuxu realizován jádrem a routovacími tabulkami

62 Routing v linuxu příkazy route, ip route $ route n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface UGH tun UH tun U eth UG tun UG eth1 Nutno povolit v sysctl.conf net.ipv4.ip_forward = 1

63 Struktura IP datagramu

64 Struktura IP datagramu velikost mezi 576B a 65536B verze 4 nebo 6 (budeme mluvit jen o 4) délka hlavičky v 32bitových slovech typicky 5 typ služby většinou ignorováno, někdy se používá pro QoS celková délka celková délka včetně hlavičky v bytech pořadové číslo používá se k sestavení fragmentu (různé fragmenty z jednoho packetu mají stejné toto číslo) příznaky nefragmentuj, poslední část fragmentovaného packetu fragment offset ttl počet již prošlých routerů (kvůli zacyklení) protocol 1 ICMP, 6 TCP, 17 UDP (/etc/protocols)

65 Struktura IP datagramu kontrolní součet hlavičky kvůli TTL je potřeba naustále přepočítávat zdrojová/cílova IP adresa další volby volitelné rozšíření (směrování podle zdroje apd.), často směrovače nepodporují zarovnání vycpávka do násobku 4 bytů data

66 Fragmentace Kvůli různým velikostem rámců pod síťovou vrstvou Jediná informace, kterou linková vrstva předává nahoru v IP modelu Náročné na inteligenci směrovačů Lze fragmentova fragmenty Minimální velikosti fragmentu: 576B (512B dat)

67

68 Struktura TCP paketu

69 Struktura TCP paketu source port, destination port seq no. - pozice bytu v proudu bytů ack no. - číslo posledního přijatého bytu v proudu (viz minule výstup tcpdumpu) data offset velikost hlavičky v 32bit slovech příznaky SYN, ACK, FIN, URG window počet bytů, které příjemce je schopen přijmout navíc (užitečné pro Flow control )

70 Struktura TCP paketu urgent offset do dat, určuje konec přednostních dat (např. CTRL-C v ssh spojení)

71 Spojování segmentů sítě

72 NAT RFC 1631 privátní adresy jsou automaticky měneny bránou (směrovačem) Varianty 1:1, 1:N

73 NAT 1:1 statický mapování veřejné-soukromé adresy je pevné umožnuje spojení dovnitř privátní sítě nešetří IP adresy dynamický mapování se mění podle potřeby neumožňuje jednoduše spojení dovnitř (lze např. přes dynamické DNS) šetříip adresy pokud # privátních. > # veřejných

74 NAT 1:N veřejnou IP adresu má pouze brána (router) průchozím packetům je zdrojová adresa změněna na adresu venkovního rozhraní brány spojení je identifikováno zdrojovým portem na bráně někdy nazýváno maškaráda nelze uskutečnit spojení dovnitř (nutno obcházet např. skype, hamachi) někdy NAT musí rozumět protokolu (FTP)

75 Principy firewallu

76

77 Firewall a NAT v Linuxu - iptables iptables - administration tool for IPv4 packet filtering and NAT Usage: iptables [ t table] [AD] chain rule [options] iptables [ t table] I chain [rulenum] rule [options] iptables [ t table] P chain target [options] iptables list [ v] iptables F [chain]

78 Firewall a NAT v Linuxu - iptables Příklady iptables P INPUT DROP iptables A INPUT p tcp dport ssh j ACCEPT iptables A OUTPUT d uglysite.cz j DROP iptables t nat A POSTROUTING o ppp0 j SNAT to iptables t nat A PREROUTING p tcp dport 80 j REDIRECT to localhost:3128 iptables t nat A POSTROUTING s / j MASQUERADE

79 Stavový firewall Problém: při limitování příchozího trafficu nezahazovat příchozí packety od spojení která byla iniciována z naší strany dříve povolení všech příchozích packetů na porty > 1024 velmi špatné Nyní stavové firewally Sledují veškerou komunikaci, umí přiřadit přichozí packet k otevřenému spojení

80 Stavový firewall iptables -A INPUT -m state state ESTABLISHED,RELATED -j ACCEPT Problém protokoly obsahující údaje o adresách a portech v datech (ftp, H.323) Specializované moduly které zkoumají vnitřnosti procházejících packetů modprobe ip_conntrack_ftp,...