Technologie Cisco Flexible Netflow - možnosti monitorování uživatelem definovaných atributů provozu a jejich následná prezentace. Jakub Jaroš, Jakub Čubík Abstrakt: NetFlow je otevřený protokol vyvinutý společností Cisco Systems. Jeho účelem je monitorování síťového provozu v reálném čase. Tato práce popisuje tento protokol, jeho vlastnosti a jednoduchou ukázku provozu Klíčová slova: NetFlow, Cisco Systems, monitorování síťového provozu 1 Úvod...2 2 NetFlow...2 2.1 NetFlow architektura...2 2.1.1 Tradiční architektura...2 2.1.2 Moderní architektura...2 2.2 Popis protokolu...3 3 Návrh a konfigurace testovacího pracoviště...4 3.1 Schéma zapojení...4 3.2 Konfigurace routerů...4 3.2.1 Router RO...4 3.2.2 Router RT...5 3.2.3 Nastavení BGP...5 3.3 Konfigurace počítačů...6 3.4 Pokročilejší nastavení...6 3.4.1 Ukázky sledování...6 4 Použitý software...8 5 Závěr...9 6 Použitá literatura...9 Duben 2010 1/9
1 Úvod Cílem našeho projektu je ověřit funkčnost protokolu Flexible NetFlow. První částí našeho projektu je rozbor danné problematiky teoreticky a poté ověření v praxi. Sestavili jsme si jednoduchou síť využívající dva Cisco routery a tři počítače viz. obrázek č.3. K získání NetFlow statistik jsme použili program NFdump. Konfigurace, výpisy a snímky z průběhu celého měření jsou zpracovány v tomto protokole. 2 NetFlow NetFlow je otevřený protokol vyvinutý společností Cisco Systems, určený původně jako doplňková služba k Cisco směrovačům. Jeho hlavním účelem je monitorování síťového provozu na základě IP toků, které poskytuje administrátorům i manažerům podrobný pohled do provozu na jejich síti v reálném čase. Proto tvoří důležitou a nepostradatelnou součást zabezpečení každé počítačové sítě a je užitečný pro ISP (Internet Service Providers - poskytovatelé připojení), kteří na základě NetFlow statistik mohou svým zákazníkům účtovat ceny služeb v závislosti na množství přenesených dat. S pomocí NetFlow statistik lze odhalovat vnější i vnitřní incidenty, úzká místa v síti, dominantní zdroje provozu, efektivněji plánovat budoucí rozvoj sítě, sledovat, kdo komunikoval s kým, jak dlouho a s pomocí kterého protokolu. 2.1 NetFlow architektura NetFlow architektura se typicky skládá z několika NetFlow exportérů a jednoho NetFlow kolektoru. NetFlow exportér je připojen k monitorované lince a analyzuje procházející pakety. Na základě zachycených IP toků generuje NetFlow statistiky a ty exportuje na NetFlow kolektor. NetFlow kolektor je zařízení s velkou úložnou kapacitou, které sbírá statistiky z většího počtu NetFlow exportérů a ukládá je do dlouhodobé databáze. Nad těmito daty obvykle běží aplikace, která je umí efektivně vizualizovat a generovat z nich přehledy v podobě grafů a tabulek, které umožňují jednoduše analyzovat monitorovaný provoz i běžnému uživateli. 2.1.1 Tradiční architektura Tradiční architektura podle Cisco předpokládá na pozici NetFlow exportérů směrovače, které vedle své hlavní činnosti provádějí také výpočet NetFlow statistik. Tradiční architektura však trpí několika nevýhodami. Výpočet NetFlow statistik omezuje směrovací výkon celého zařízení, proto většina směrovačů s podporou NetFlow (s výjimkou vyšších řad) využívá na vstupu vzorkování, tzn. že se pro výpočet statistik využívá jen každý n-tý paket. Kromě snížené přesnosti měření omezuje vzorkování také pravděpodobnost odhalení bezpečnostních incidentů. Obrázek č.1 tradiční architektura 2.1.2 Moderní architektura Proto se v poslední době stávají velmi oblíbenými řešení, využívající pasivní NetFlow sondy (v ČR např. Duben 2010 2/9
FlowMon od firmy INVEA-TECH), což jsou zařízení specializovaná na monitorování a export NetFlow statistik, která jsou díky své jednoduchosti velmi levná. NetFlow sondy odstraňují všechny nevýhody tradiční architektury a na rozdíl od směrovačů je lze připojit do libovolného bodu v síti a to transparentním způsobem. Sondy procházející data pouze monitorují a nijak do nich nezasahují (proto pasivní sondy). Sonda může být připojena do sítě třemi způsoby: (SPAN) zrcadlení z routeru nebo switche, přes ethernet rozbočovače (TAP) nebo přes vestavěný rozbočovač. Exportované statistiky jsou na kolektor odesílány dedikovanou linkou a díky tomu jsou na monitorované lince zcela neviditelné (na vrstvách L2 a výše). Tento rys z nich činí velmi obtížný cíl pro případné útočníky. Obrázek č.2 moderní architektura 2.2 Popis protokolu NetFlow protokol vznikl v několika verzích, první masově používanou se však stala až verze 5 (NetFlow v5) a v současnosti se začíná hojně využívat i verze 9. Na základě protokolu NetFlow v9 vznikl v nedávné době nový IETF standard Internet Protocol Flow Information export (IPFIX), který je taktéž velmi oblíbený a výrobci síťových technologií jej začínají hojně podporovat ve svých nejvýkonějších směrovačích a přepínačích. Kromě připojení sond nevyžaduje žádné zásahy do prvků na monitorované síti, proto běžný uživatel vůbec nepozná, že nějaké monitorování probíhá. Verze v1 v2-v4 v5 v6 v7 v9 IPFIX Popis První verze Nebyly uvedeny Nejpoužívanější Podpora pro tunelovaný provoz Informace ze switchů Struktura daná šablonou, umožňuje mnoho kombinací V podstatě v10, IETF standard, rozšíření v9 NetFlow záznamy produkované směrovači nebo NetFlow sondami jsou exportovány na kolektor pomoci User Datagram Protokolu (UDP) nebo Stream Control Transmission Protokolu (SCTP). Jakmile je NetFlow záznam exportován, je z důvodů větší efektivity exportérem zahozen. To má za následek ztrátu NetFlow záznamu v případě, že se paket vlivem nepříznivých okolností nepodaří doručit. V případě UDP protokolu už Duben 2010 3/9
neexistuje možnost, jak tento NetFlow záznam znovu odeslat a je proto ztracen navždy. Export NetFlow paketů probíhá obvykle na portech 2055, 3000-3010, 9555 nebo 9995. NetFlow záznam obsahuje důležité statistiky o síťovém provozu. V paketu NetFlow v5 jsou obsaženy následující položky: Číslo verze Sekvenční číslo SNMP index vstupního a výstupního rozhraní (umožňuje sledovat vytížení jednotlivých síťových rozhraní, vyžaduje seznam rozhraní přístupný pomocí SNMP) Čas začátku a konce IP toku (tzn. výskyt prvního a posledního paketu tohoto toku) Počet bajtů a paketů v toku Údaje z L3 hlavičky: Zdrojové a cílové IP adresy Zdrojové a cílové porty IP protokol Type of Service (ToS) U TCP toků obsahuje množinu tvořenou sjednocením všem TCP flagů, které se v toku vyskytly. Směrovací informace: IP adresa přístího hopu (důležité pro analýzu routovacích postupů) Maska cílové a zdrojové IP adresy (délky prefixlů podle CIDR notace) Některé exportéry také uvádějí hodnotu zdrojového a cílového autonomního systému (AS). Tato hodnota však nemusí být vždy přesná. NetFlow v9 je definována jako flexibilní formát. Může obsahovat všechny hodnoty verze 5 a další volitelné položky, např MPLS, BGP, IPv6 adresy a porty atd. 3 Návrh a konfigurace testovacího pracoviště Jako testovací pracoviště nám postačí jednoduché zapojení dvou routerů a tří počítačů, které nám může simulovat běžný provoz. 3.1 Schéma zapojení Obrázek č.3 schéma zapojení 3.2 Konfigurace routerů Konfigurace celé sítě začínala jako obvykle rozadresováním jednotlivých rozhraní a nastavením výchozích bran. Dále byl nastaven směrovací protokol. Pro tento účel jsme zvolili RIP v2. Konfigurace NetFlow proběhla jednoduchou posloupností příkazů viz. níže. 3.2.1 Router RO Konfigurace interface: RO(config)#int s0/1/0 RO(config-if)#ip address 10.0.0.2 255.255.255.252 RO(config-if)#clock-rate 64000 RO(config-if)#no shutdown ; nastavení serial portu Duben 2010 4/9
RO(config)#int fasteth0/0 RO(config-if)#ip address 40.0.0.1 255.255.255.0 RO(config-if)#no shutdown RO(config)#int fasteth0/1 RO(config-if)#ip address 30.0.0.1 255.255.255.0 RO(config-if)#no shutdown Poté zavedeme směrovací protokol RIP: RO(config)#router rip RO(config-router)#version 2 RO(config-router)#network 30.0.0.0 RO(config-router)#network 40.0.0.0 RO(config-router)#network 10.0.0.0 ; nastavení FastEthernet0/0 portu ; nastavení FastEthernet0/1 portu ; nastavení směrování Základní konfigurace NetFlow: RO(config)#int s0/1/0 ; sledování na serial portu s0/1/0 RO(config-if)# ip flow ingress ; sledování přichozího toku RO(config)#ip flow-export version 9 ; Neflow verze 9 Flexible NetFlow RO(config)#ip flow-export destination 40.0.0.100 9996 ; export na 40.0.0.100 port 9996 RO(config)#ip flow-export source fastethernet 0/0 ; port kam se budou exporty posílat 3.2.2 Router RT Konfigurace interface: RT(config)#int s0/3/0 RT(config-if)#ip address 10.0.0.1 255.255.255.252 RT(config-if)#clock-rate 64000 RT(config-if)#no shutdown RT(config)#int fasteth0/0 RT(config-if)#ip address 20.0.0.1 255.255.255.0 RT(config-if)#no shutdown Poté zavedeme směrovací protokol RIP RT(config)#router rip RT(config-router)#version 2 RT(config-router)#network 10.0.0.0 RT(config-router)#network 20.0.0.0 ; nastavení serial portu ; nastavení FastEthernet0/0 portu ; nastavení směrování 3.2.3 Nastavení BGP RT: (config)# router bgp 1 (config-router)# network 20.0.0.0 mask 255.255.255.0 (config-router)# neighbor 10.0.0.2 remote-as 2 RO: (config)# router bgp 2 (config-router)# network 30.0.0.0 mask 255.255.255.0 (config-router)# neighbor 10.0.0.1 remote-as 1 Duben 2010 5/9
Obrázek č.4 schíma zapojení BGP 3.3 Konfigurace počítačů Na počítači PC 1 s operačním systémem Windows byla nastavena ip adresa 20.0.0.100 a s maskou 255.255.255.0 a jako výchozí brána byla nastavena adresa 20.0.0.1. Na počítači PC 2 s operačním systémem Windows byla nastavena ip adresa 30.0.0.100 a s maskou 255.255.255.0 a jako výchozí brána byla nastavena adresa 30.0.0.1. Na počítači NetFlow kolektor s operačním systémem Linux byla nastavena ip adresa 40.0.0.100 a s maskou 255.255.255.0 a jako výchozí brána byla nastavena adresa 40.0.0.1. 3.4 Pokročilejší nastavení Hlavním přínosem Flexible NetFlow je možnost pokročilého konfigurování sledovaných parametrů. Při sledování zavádíme na námi požadované porty takzvané monitory, které nám na daném portu tok sledují. 3.4.1 Ukázky sledování Ukázka jednotlivých výpisu je zaznamenána na konci tohoto dokumentu. Ukázka č.1 sledování předdefinovaných parametrů: Router(config)# flow exporter EX1 Router(config-flow-exporter)# destination 400.0.0.100 Router(config-flow-exporter)# exit Router(config)# flow monitor M1 Router(config-flow-monitor)# record netflow-orginal Router(config-flow-monitor)# exporter EX1 Router(config-flow-monitor)# exit Router(config)# interface s0/1/0 Router(config-if)#ip flow monitor M1 input Router(config-if)#exit ; vytvoření exportéru (kam se budou data posílat) ; adresa collectoru ; vytvoření monitoru ; defaultní nastavení odchytávání ; přiřazení exportéru ; přiřazení monitoru na konkrétní rozhraní Duben 2010 6/9
Ukázka č.2 sledování autonomních systémů a BGP: Router(config)# flow exporter EX2 ; vytvoření exportéru (kam se budou data posílat) Router(config-flow-exporter)# destination 40.0.0.100 ; adresa collectoru Router(config-flow-exporter)# exit Router(config)# flow monitor M2 ; vytvoření monitoru Router(config-flow-monitor)# exporter EX2 ; přiřazení exportéru Router(config-flow-monitor)# record netflow ipv4 as ; cílové AS pole IPv4 Router(config-flow-monitor)# record netflow ipv4 as-tos ; AS a TOS IPv4 Router(config-flow-monitor)# record netflow ipv4 bgp-nexthop-tos ; BGP a TOS IPv4 Router(config-flow-monitor)# exit Router(config)# interface s0/1/0 Router(config-if)#ip flow monitor M1 input ; přiřazení monitoru na konkrétní rozhraní Router(config-if)#exit Ukázka č.3 sledování pomocí vytvořené sady paramatrů: Router(config)# flow record num1 ; vytvoření sady parametrů Router(config-flow-record)#match ipv4 tos ; nastaví IPv4 typ služby Router(config-flow-record)#match ipv4 protocol ; protokol IPv4 Router(config-flow-record)#match ipv4 source address ; zdrojová adresa IPv4 Router(config-flow-record)#match ipv4 destination address ; cílová adresa IPv4 Router(config-flow-record)#match transport source-port ; zdrojový port Router(config-flow-record)#match transport destination-port ; cílový port Router(config-flow-record)#match interface input ; vstupní rozhraní Router(config-flow-record)#collect routing destination as ; zjištění směrování v tomto případě AS Router(config-flow-record)#collect routing next-hop address ipv4 ; hodnota next-hopu Router(config-flow-record)#collect ipv4 dscp ; DSCP IPv4(část ToSu) Router(config-flow-record)#collect ipv4 ttl minimum ; time to live minimální Router(config-flow-record)#collect ipv4 ttl maximum ; time to live maximální Router(config-flow-record)#collect transport tcp flags ; jedno nebo více TCP flag polí Router(config-flow-record)#collect counter bytes ; počítaní byte Router(config-flow-record)#collect counter packes ; počítání paketů Router(config-flow-record)#collect interface output ; výstupní rozhraní Router(config-flow-record)# exit Router(config)# flow exporter EX3 Router(config-flow-exporter)# destination 40.0.0.100 Router(config-flow-exporter)# exit Router(config)# flow monitor M3 Router(config-flow-monitor)# exporter EX3 Router(config-flow-monitor)# record num1 Router(config-flow-monitor)# exit Router(config)# interface s0/1/0 Router(config-if)#ip flow monitor M3 input Router(config-if)#exit ; vytvoření exportéru (kam se budou data posílat) ; adresa collectoru ; vytvoření monitoru ; přiřazení exportéru ; vložení předpřipraveného záznamu ; přiřazení monitoru na konkrétní rozhraní Vysvětlivky: Match - používá se pro označení oblasti jako hlavní oblast, k charakterizaci a vytvořiní toků. Collect - používá se k označení neklíčové oblasti a budou použity pro informace, které se řadí do proudu, ale tato informace není použita při vytváření toku, ale jsou exportovány spolu s tokem. Duben 2010 7/9
netflow-original jedná se o soubor základních přednastavených příkazů: match ipv4 source address match ipv4 destination address match ip protocol match ip tos match transport source-port match transport destination-port match interface input match interface output collect routing source as collect routing destination as collect routing next-hop address ipv4 collect transport tcp flags collect counter bytes collect counter packets collect timestamp sys-uptime first collect timestamp sys-uptime last ; zdrojová adresa IPv4 ; cílová adresa IPv4 ; protokol ; nastaví typ služby ; zdrojový port ; cílový port ; vstupní rozhraní ; výstupní rozhraní ; zjištění směrování v tomto případě AS zdrojové ; zjištění směrování v tomto případě AS cílové ; hodnota next-hopu ; jedno nebo více TCP flag polí ; počítaní byte ; počítání paketů ; časová značka začátku ; časová značka konce 4 Použitý software Pro zachytávání a zobrazení dat z NetFlow jsem použily především program NFDUMP a následně i jeho grafickou nástavbu NFSEN. Tento program je volně šířitelný a jedná se o jeden ze základních programů pro NetFlow. Další programy, které jsme testovali byly NetFlow Analyzer, Ntop a Scrutinizer v7. Obrázek č.5 webové rozhraní NetFlow Analyzer Duben 2010 8/9
Obrázek č.6 grafické rozhraní NFSEN 5 Závěr Naším úkolem bylo ověřit v praxi funkčnost protokolu Flexible NetFlow od firmy Cisco. Vytvořením jednoduché topologie a implementací Flexible NetFlow se nám na kolektoru podařilo zprovoznit odchytávání NetFlow statistik a jejich interpretace v programu NFDUMP. Použití tohoto programu z hlediska ovládání a monitoringu je velice jednoduché. 6 Použitá literatura [1] Netflow In Wikipedia : the free encyclopedia [online]. St. Petersburg (Florida) : Wikipedia Foundation,, 26.3.2009 [cit. 2010-04-25]. Dostupné z WWW: <http://cs.wikipedia.org/wiki/netflow>. [2] Network Bandwidth Monitoring [online]. 2010 [cit. 2010-04-25]. Dostupné z WWW: <https://www.manageengine.com/products/netflow/>. [3] Cisco IOS Flexible NetFlow Technology White Paper. Cisco [online]. 2008, 1, [cit. 2010-05-19]. Dostupný z WWW: <http://www.cisco.com/en/us/prod/collateral/iosswrel/ps6537/ps6555/ps6601/ps6965/prod_white_paper 0900aecd804be1cc.html>. Duben 2010 9/9
Ukázka č.1: Router#sh flow monitor M1 cache format table Cache type: Normal Cache size: 4096 Current entries: 2 High Watermark: 4 Flows added: 288 Flows aged: 286 - Active timeout ( 1800 secs) 6 - Inactive timeout ( 15 secs) 280 - Event aged 0 - Watermark aged 0 - Emergency aged 0 IPV4 SRC ADDR IPV4 DST ADDR TRNS SRC PORT TRNS DST PORT INTF INPUT IP TOS IP PROT ip dst as ipv4 next hop addr tcp flags intf output bytes pkts ip dscp ip ttl min ip ttl max =============== =============== ============= ============= ==================== ====== ======= ========= ================== ========= ==================== ========== ========== ======= ========== ========== 20.0.0.100 30.0.0.100 0 2048 Se0/1/0 0x00 1 0 30.0.0.100 0x00 Fa0/1 33924 33 0x00 62 62 20.0.0.100 30.0.0.100 0 0 Se0/1/0 0x00 1 0 30.0.0.100 0x00 Fa0/1 2436 29 0x00 62 62 Ukázka č.2: Router#sh flow monitor M2 cache format table Cache type: Normal Cache size: 4096 Current entries: 2 High Watermark: 5 Flows added: 294 Flows aged: 292 - Active timeout ( 1800 secs) 3 - Inactive timeout ( 15 secs) 289 - Event aged 0 - Watermark aged 0 - Emergency aged 0 IP SRC AS IP DST AS IPV4 NEXT HOP ADDR BGP INTF INPUT INTF OUTPUT FLOW DIRN IP TOS bytes pkts time first time last ========= ========= ====================== ==================== ==================== ========= ====== ========== ========== ============ ============ 1 0 0.0.0.0 Se0/1/0 Fa0/1 Input 0x00 25324 43 14:45:45.871 14:46:08.123 0 0 0.0.0.0 Se0/1/0 Null Input 0xC0 59 1 14:45:54.519 14:45:54.519 Ukázka č.3: Router#sh flow monitor M3 cache format table Cache type: Normal Cache size: 4096 Current entries: 2 High Watermark: 4 Flows added: 14 Flows aged: 12 - Active timeout ( 1800 secs) 4 - Inactive timeout ( 15 secs) 8 - Event aged 0 - Watermark aged 0 - Emergency aged 0 IPV4 SRC ADDR IPV4 DST ADDR TRNS SRC PORT TRNS DST PORT INTF INPUT FLOW SAMPLER ID IP TOS IP PROT ip src as ip dst as ipv4 next hop addr ipv4 src mask ipv4 dst mask tcp flags intf output bytes pkts t =============== =============== ============= ============= ==================== =============== ====== ======= ========= ========= ================== ============= ============= ========= ==================== ========== ========== === 30.0.0.100 20.0.0.100 0 0 Fa0/1 0 0x00 1 0 1 10.0.0.1 /24 /24 0x00 Se0/1/0 16448 16 141 30.0.0.100 20.0.0.100 0 2048 Fa0/1 0 0x00 1 0 1 10.0.0.1 /24 /24 0x00 Se0/1/0 1344 16 143 Sloupcový výpis k ukázce č.3: Router#sh flow monitor M3 cache Cache type: Normal Cache size: 4096 Current entries: 2 High Watermark: 4 Flows added: 14 Flows aged: 12 - Active timeout ( 1800 secs) 4 - Inactive timeout ( 15 secs) 8 - Event aged 0 - Watermark aged 0 - Emergency aged 0 IPV4 SOURCE ADDRESS: 30.0.0.100 IPV4 DESTINATION ADDRESS: 20.0.0.100 TRNS SOURCE PORT: 0 TRNS DESTINATION PORT: 0 INTERFACE INPUT: Fa0/1 FLOW SAMPLER ID: 0 IP TOS: 0x00 IP PROTOCOL: 1 ip source as: 0 ip destination as: 1 ipv4 next hop address: 10.0.0.1 ipv4 source mask: /24 ipv4 destination mask: /24 tcp flags: 0x00 interface output: Se0/1/0 counter bytes: 172704 counter packets: 168 timestamp first: 14:45:45.871
timestamp last: 14:48:33.555 IPV4 SOURCE ADDRESS: 30.0.0.100 IPV4 DESTINATION ADDRESS: 20.0.0.100 TRNS SOURCE PORT: 0 TRNS DESTINATION PORT: 2048 INTERFACE INPUT: Fa0/1 FLOW SAMPLER ID: 0 IP TOS: 0x00 IP PROTOCOL: 1 ip source as: 0 ip destination as: 1 ipv4 next hop address: 10.0.0.1 ipv4 source mask: /24 ipv4 destination mask: /24 tcp flags: 0x00 interface output: Se0/1/0 counter bytes: 14364 counter packets: 171 timestamp first: 14:45:49.023 timestamp last: 14:48:39.723 NFDUMP root@cnap-desktop:/var/cache/nfdump# nfdump -r nfcapd.201005181449 Date flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Packets Bytes Flows 2010-05-18 15:52:32.020 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 1 59 1 2010-05-18 13:48:19.304 6488.064 0 0.0.0.0:0 -> 0.0.0.0:0 0 387.0 M 1 2010-05-18 15:53:19.208 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 1 40 1 2010-05-18 15:53:32.428 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 1 59 1 2010-05-18 13:48:19.304 6488.064 0 0.0.0.0:0 -> 0.0.0.0:0 0 387.0 M 1 2010-05-18 15:54:19.584 0.000 0 0.0.0.0:0 -> 0.0.0.0:0 1 40 1 2010-05-18 13:48:19.304 0.000 TCP 10.0.0.1:179 -> 10.0.0.2:61272 2 99 1 2010-05-18 13:48:19.304 0.000 TCP 10.0.0.1:179 -> 10.0.0.2:61272 2 99 1 2010-05-18 13:48:19.304 0.000 TCP 10.0.0.1:179 -> 10.0.0.2:61272 2 99 1 Summary: total flows: 9, total bytes: 774.0 M, total packets: 10, avg bps: 858802, avg pps: 0, avg bpp: 77.4 M Time window: 2010-05-18 13:48:19-2010-05-18 15:54:19 Total flows processed: 9, Records skipped: 0, Bytes read: 480 Sys: 0.000s flows/second: 0.0 Wall: 0.000s flows/second: 15437.4 root@cnap-desktop:/var/cache/nfdump# nfdump -r nfcapd.201005181524 Date flow start Duration Proto Src IP Addr:Port Dst IP Addr:Port Packets Bytes Flows