Nasazení a využití měřících bodů ve VI CESNET

Nasazení a využití měřících bodů ve VI CESNET Oddělení nástrojů pro monitoring a konfiguraci Vojtěch Krmíček CESNET, z.s.p.o. krmicek@cesnet.cz Seminář VI CESNET, Seč, 3. dubna 2012 V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 1 / 43

Část I Úvod V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 2 / 43

Měřicí body úvod Soustava měřicích zařízení pro monitorování IP toků Celkem 9 měřicích bodů Pokrývají vstupní/výstupní linky Cesnetu, na plné rychlosti Na sběr dat navazuje vyhodnocení a další aplikace PIONEER AMS-IX NIX GEANT TELIA ACONET SANET V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 3 / 43

Kde se měří rozmístění měřicích bodů PIONEER AMS-IX NIX GEANT TELIA ACONET SANET V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 4 / 43

Čím se měří hardware COMBOv2 Hardwarové sondy COMBOv2 PCI Express karta, FPGA Virtex-5 Ve výrobě nová karta pro 40G/100G rychlosti COMBOI-10G2 2x10 Gb/s COMBOI-10G4TXT 4x10 Gb/s V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 5 / 43

Čím se měří firmware HANIC hw akcelerace pro síťové aplikace (flow monitoring, tcpdump, DPI, Snort, atd.) distribuce provozu na jádra více aplikací odebírá data hashování, samplování repeater Hardware Accelerated NIC (HANIC) Firmware příprava na 40G/100G verzi RX DMA 1 RX DMA 2 RAM... RX DMA 8 TX DMA 1 TX DMA 2 Hash-based Packet Distribution ibuf 16KiB obuf 10 Gb/s Interface 0 COMBOv2 with HANIC FW ibuf obuf 16KiB 16KiB 16KiB 10 Gb/s Interface 1 V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 6 / 43

Co se měří monitorování IP toků Poskytuje informace kdo komunikuje s kým, jak dlouho, jakým protokolem, kolik dat atd. Založené na CISCO NetFlow v5/v9 technologie a IETF IPFIX. Umožňuje sledovat provoz a provádět bezpečnostní analýzu síťového provozu v reálném čase. Detailní pohled na síťová data skrze NetFlow. V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 7 / 43

Princip monitorování NetFlow příklad Src and Dst IP Addr Src and Dst Port Protocol Number Timestamps Number of Packets Sum of Bytes TCP Flags,... V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 8 / 43

Princip monitorování NetFlow příklad HTTP Request FROM 172.16.96.48:15094 TO 209.85.135.147:80 Web Browser Src and Dst IP Addr Src and Dst Port Protocol Number Timestamps Number of Packets Sum of Bytes TCP Flags,... Flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Flags Packets Bytes 09:41:21.763 0.101 TCP 172.16.96.48:15094 -> 209.85.135.147:80.AP.SF 4 715 V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 8 / 43

Princip monitorování NetFlow příklad HTTP Request FROM 172.16.96.48:15094 TO 209.85.135.147:80 Web Browser HTTP Response FROM 209.85.135.147:80 TO 172.16.96.48:15094 Web Server Src and Dst IP Addr Src and Dst Port Protocol Number Timestamps Number of Packets Sum of Bytes TCP Flags,... Flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Flags Packets Bytes 09:41:21.763 0.101 TCP 172.16.96.48:15094 -> 209.85.135.147:80.AP.SF 4 715 09:41:21.893 0.031 TCP 209.85.135.147:80 -> 172.16.96.48:15094.AP.SF 4 1594 V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 8 / 43

Co se měří detailně IP toky ve formátu NetFlow v9 zdroj./cílová IPv4/IPv6 adresa, zdroj./cílový port, protokol počty přenesených paketů, bytů a toků začátek a trvání toků (přesné časové značky) směr toku, VLAN ID je možné exportovat i: MAC adresy, zdrojové/cílové AS,... Nasazení IPFIX formátu flexibilita v exportovaných záznamech možné rozšířit toky (nejen) o L7 informace DNS (doména, typ, TTL) HTTP (referrer, host, browser,...) tunelovaný provoz VoIP a mnoho dalšího V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 9 / 43

Zpracování dat - NfSen/NFDUMP Collector Toolset Web Front-End User Plugins Command-Line Interface Periodic Update Tasks and Plugins NetFlow v5/v9 NFDUMP Backend NfSen/NFDUMP kolektor pro ukládání/zpracování dat Rozšiřující pluginy pro pokročilé zpracování a analýzu Vyvíjíme IPFIXcol pro sběr dat ve formátu IPFIX V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 10 / 43

Zpracování dat dlouhodobá databáze se statistikami NetFlow data jsou objemná (cca 140GB NetFlow/den) není možné ukládat dlouhodobě (nyní ukládáme 1 rok) Řešení: Nástroj pro dlouhodobé ukládání základních statistik Pro každý 5minutový interval ukládáno: počty paketů/bytů/toků rozlišeno i podle protokolů (TCP/UDP/ICMP/other) a IP verze (IPv4/IPv6) rozšiřující statistiky (entropie, BoxCount dimenze) matice provozu (podle AS, subnetů) ve vývoji Grafický frontend pro zobrazování těchto dat ve vývoji V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 11 / 43

Provozní řešení Zabbix, synchronizace, IPMI Hlavní a vývojový kolektor pro NetFlow data V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 12 / 43

Co mohou nyní měřicí body nabídnout zdroj kvalitních NetFlow/IPFIX dat z hraničních linek dlouhodobé statistiky a trendy ve vývoji sítě, množství provozu ap. automatickou analýzu získaných dat a detekeci např. výpadků vybraných linek/směrů provozu výpadků konkrétních protokolů/služeb detekci útoků směřujících z/do sítě CESNETu detekci nakažených strojů hlubší analýzu konkrétních událostí/incidentů V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 13 / 43

Další možné scénáře využití Časové parametry linek měření latence, jitteru, ap. měření jak linek, tak i aktivních zařízení pomocí přesných časových značek z HW Remote packet capture možnost vzdáleně odebírat vybraná full dump data Další možnosti Automatická analýza VoIP (kvalita, výpadky, ap.) Web access analyzer, SPAM detection Inline zapojení filtrování, obrana, apod. Rozšiřitelnost standardní platforma PC V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 14 / 43

Měřicí body výhled do budoucna zpřístupnění dat a statistik pro ostatní oddělení testování IPFIX formátu a vývoj souvisejících aplikací extrakce L7 informací z paylodau k tokům vyhodnocování vybraných událostí již na měřicích bodech analýza tunelovaného provozu + související aplikace zajímavá měření a publikace využití této unikátní měřicí laboratoře šíření malwaru útoky, botnety tunelovaný provoz IPv4/IPv6 V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 15 / 43

Část II Ukázka nástrojů NfSen V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 16 / 43

NfSen = webové rozhraní pro zobrazování a zpracování NetFlow dat rozšiřitelné pomocí modulů V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 17 / 43

Details grafy V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 18 / 43

Details statistiky V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 19 / 43

Details výpis toků V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 20 / 43

Alerty detekce výpadku V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 21 / 43

Alerty detekce útoků V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 22 / 43

Profily rozdělení protokolů podle portů V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 23 / 43

Profily HTTP/HTTPS V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 24 / 43

Profily routovací data V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 25 / 43

Profily Telnet útoky V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 26 / 43

Rozšiřující moduly HAMSTER V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 27 / 43

Rozšiřující moduly ialerts V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 28 / 43

Rozšiřující moduly SURFmap V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 29 / 43

Rozšiřující moduly SURFmap V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 30 / 43

Rozšiřující moduly SURFmap ssh skenování V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 31 / 43

Část III Příklady útoků V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 32 / 43

Útoky DDoS TCP SYN FLOOD oproti IRC serveru V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 33 / 43

Útoky DoS UDP FLOOD z Ukrajiny do Krakowa V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 34 / 43

Útoky 2x DDoS oproti webhostingu v Rakousku V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 35 / 43

Útoky DDoS oproti webu OSA V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 36 / 43

Útoky Masivní SSH skenování Rakousko -> ČR V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 37 / 43

Útoky Masivní SSH skenování z Prahy do celého světa V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 38 / 43

Útoky 7x SSH sken z Brna do celého světa V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 39 / 43

Útoky experiment? TCP provoz Čína ČR V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 40 / 43

Část IV Závěr V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 41 / 43

Ostatní aktivity oddělení TMC Nové hw karty pro 40G/100G NetCope platforma pro vývoj hw akcel. síťových aplikací NIC aplikace síťové karty HANIC komplexní firmware pro monitorování COMET hw tester Ethernetu Ipfixcol kolektor IPFIX dat libnetconf, Netopeer implementace konfiguračního protokolu NETCONF V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 42 / 43

Dotazy? Zájemce zveme na podrobnější workhop/školení zaměřený na práci s měřicími body a využití navazujících nástrojů: Bejčkův Mlýn, Slavonice, 27.-29.6.2012 Děkuji za pozornost. V. Krmíček Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body 3. 4. 2012, Seč 43 / 43