Sledování IPv6 provozu v e-infrastruktuře CESNET možnosti spolupráce s uživateli

Transkript

1 Sledování IPv6 provozu v e-infrastruktuře CESNET možnosti spolupráce s uživateli Tomáš Košňar CESNET z.s.p.o. kosnar@cesnet.cz

2 Metody sledování IPv6 provozu Sledování IP provozu Informace o IP provozu na bázi toků (~flow-based~) Informace vybrané z hlaviček paketů transportních protokolů (TCP/IP) Tradiční (historická) oblast zdroje Informací o IP provozu

3 Metody sledování IPv6 provozu Sledování IP provozu na bázi toků rozumný kompromis Zachování soukromí koncových uživatelů Dostatečná vypovídací hodnota informací o IP provozu Přijatelné množství dat ke zpracování Možnost plošného zpracování v rozsáhlých sítích

4 Metody sledování IPv6 provozu Sledování IP provozu na bázi toků provozní záznam..z hlavičky přenášeného datového bloku => informace o jednosměrném přenosu Informace v místě vzniku dočasně držena v paměti ~ záznam o provozu ~ IP toku Záznam průběžně modifikován informacemi (objem, čas, TCP flags, DSCP bity,..) z každého IP datagramu, který přísluší danému toku (stejné klíčové informace IP adresy, protokol, čísla portů, rozhraní) => agregovaná informace o provozu

5 Metody sledování IPv6 provozu Sledování IP provozu na bázi toků provozní záznam Po expiraci (přirozená [konfigurace] nebo vynucená) Záznam o provozu zpravidla odeslán ke zpracování na tzv. Kolektory (UDP, několik exportních formátů pevné, flexibilní) IPv6 od v9 exportního formátu (1. flexibilní formát) Zdroje záznamů o provozu Směrovače (v závislosti na výrobci) Sondy HW SW sondy

6 Metody sledování IPv6 provozu Sledování IP provozu na bázi toků provozní záznam Informační obsah (základní běžné implementace) IP adresy, čísla portů, protokol Identifikátory rozhraní (ifindex), kterým tok vstoupil (vystoupil) z/do zařízení příp. info o zahození paketu (směrovač), u sond informace o směru přenosu na lince IP nexthop následující IP uzel pro přenos, čísla AS (je-li k dispozici BGP), sousední nebo cílové (směrovač) Atributy TCP vlaječky, DSCP bity (logické OR přes všechny pakety vytvářející záznam) Objemové informace rozsah toku v čase, objem, počet paketů

7 Metody sledování IPv6 provozu Sledování IP provozu na bázi toků provozní záznam Informační obsah - vývoj V závislosti na výrobci Informace z dalších síťových vrstev L2, L7 Informace související s provozem, ale nereprezentující konkrétní přenost dat Např. NAT (využití exportních mechanismů). Flexible NetFlow IPFIX IP Flow Information export (

8 Plošné a souvislé sledování IP provozu v einfrastruktuře CESNET systém Komponenty -measurement -UI -reporter

9 Plošné a souvislé sledování IP provozu v einfrastruktuře CESNET - systém -measurement Periodický sběr provozních záznamů na bázi toků, Třídění/uskupení dat ~ klasifikace+filtrace Rozšíření provozního záznamu o informace související s organizační/administrativní příslušností Vyčlenění a samostatné uložení zájmového provozu (libovolné podmínky) Sdružení provozu se společným jmenovatelem z informací z několika zdrojů (data o universitě na jednom místě, uložení po fakultách,...) Detekce anomálií Statistické zpracování provozu (vážené agregace nejvýznamnější odběratelé na fakultách bez ohledu na poměr objemů mezi fakultami...) v4/v6 neutrální IPv6 funkční a volitelné i v rámci interních procesů

10 Plošné a souvislé sledování IP provozu v einfrastruktuře CESNET - systém -UI Interaktivní UI obecný IP traffic browser v rozsahu daném konfigurací (přístupová práva) v4/v6 neutrální Grafy, tabulky, plain-text, agregace, třídění, rozšiřující informace (geo, %, překlad ID rozhraní,...) -reporter Substituce živého uživatele strojem v přístupu k interaktivnímu UI vytváření statických, vzájemně provázaných (na proklik ) html struktur netřeba znát interaktivní UI Periodický reporting pro specifický provoz, specifické skupiny uživatelů, manažersky, technicky, bezpečnostně orientované výstupy Zabudovaný aparát pro detekci a reporting anomálií

11 architektura v e-infrastruktuře CESNET

12 - principiální architektura NetFlow data Collector host NetFlow data Collector host NetFlow data Collector host Reporter Reporter Configuration UI components, visualization Master Configuration Interactive User Interface

13 - typické způsoby uložení dat Zdroje informací zpracování Collector host Směrovač 1 Směrovač 2 Směrovač N Collector host Collector host Sonda 1 Sonda M Collector host - Uložená data podle typu Směrovač 1 Sonda 1 Směrovač 2 Směrovač N Sonda M Metropole 1-in Metropole 1-out Provoz vůči IX 1-in Provoz vůči IX 2-in Universita A Fakulta 1 Fakulta 2 Fakulta 3 Součást 1 Instituce C Součást 2 Součást 3 Zájmový provoz 1 Zájmový provoz 2 Linka 1-in Linka 1-out Linka 2-in Linka 2-out Instance

14 -measurement novinky 2013 Flexibilní datová struktura Možnost průběžného rozšiřování množiny polí (úpravou kódu) zpracovávaných z příchozích záznamů Doposud přidaná pole - vybrána po dohodě se správci sítě Src-Dst MAC adresy, VLAN ID, NAT Event,Src-Dst IP adresy po překladu v rámci NAT, Src-Dst čísla portů po překladu NAT, Egress-Ingress VRFID, Forwarding Status Doba na technické rozšíření podpory o další pole v kódu ~ cca 1-2 hod/ks v případě rozumného pole (decoding) ~ zatím všechna Možnost vynucení si konkrétní datové struktury v DB (redukce alokace úložiště)

15 -UI základní vyhledávací formulář Přepnutí do obecného formuláře

16 -UI obecný vyhledávací formulář Přepnutí do formuláře s navigací

17 -UI základní vyhledávací formulář Popis zdrojů dat

18 -UI základní vyhledávací formulář Výběr polí záznamů Volba agregovaného vyhledávání

19 -UI základní vyhledávací formulář Vyhledávací podmínky Časové parametry

20 -UI základní vyhledávací formulář Způsob vyhledání

21 -UI základní vyhledávací formulář Vyhledávací podmínky

22 -UI základní formulář pro vizualizaci Vyhledávací podmínky

23 -UI základní formulář pro vizualizaci (zvětšenina)

24 -UI novinky 2013 Flexibilní datová struktura Zpětná adaptabilita systému v případě rozšíření datové struktury pro vyhledávání přes hranu změny Adaptabilita nabídky v UI ohledně nových polí stejná jako v minulosti

25 -UI novinky 2013 Syntax pro vyhledávání pro nová pole v manálu

26 UI novinky 2013 Příklady výstupů NSEL (NetFlow Secure Event Logging)

27 UI novinky 2013 Příklady výstupů Fwd. Status, MAC adresy Nebyl k dispozici zdroj IPv6 provozu

28 UI novinky 2013 Možnost uložení podmínek pro vyhledávání

29 reporter Typická ukázka sestavy reportů pro uživatele

30 reporter Typická ukázka sestavy reportů pro uživatele

31 reporter Typická ukázka sestavy reportů pro uživatele

32 reporter Typická ukázka sestavy reportů pro uživatele

33 reporter Typická ukázka sestavy reportů pro uživatele Obrázek odstraněn z důvodu ochrany soukromí uživatelů

34 reporter Typická ukázka sestavy reportů pro uživatele

35 reporter Typická ukázka sestavy reportů pro uživatele Obrázek odstraněn z důvodu ochrany soukromí uživatelů

36 jako služba centrální instalace Noví uživatelé 2013 OU,UJAK,VFN

37 jako služba centrální instalace Noví uživatelé 2013 IT4I

38 jako služba vlastní instalace Noví uživatelé 2013 UJEP UPCE Upgrade HW 2013 MU TUL (virtuál) Upgrade SW 2013 Všichni ZČU ;-)

39 Provozní informace 2013 (pouze centrální instalace) 15 uzlů systému Počet přístupů k interaktivnímu UI systému cca 15k Počet přístupů ke generovaným reportům cca 120k Celkový objem zpracovávaných dat

40 uživatelé se samostatnou konfigurací, reportingem nebo vlastní instalací Akademie Věd ČR, Fakultní nemocnice Motol, IT4I, Jihočeská Univerzita, Masarykova Nemocnice v Ustí nad Labem, Masarykova Univerzita, Ostravská Univerzita, PASNET, Slezská Univerzita, SOUE Plzeň, SŠEAS Ustí nad Labem, Technická univerzita Ostrava - Vysoká škola báňská, Technická Univerzita v Liberci, Univerzita Hradec Králové, Univerzita Jana Evangelisty Purkyně v Ústí nad Labem, Univerzita Karlova, Univerzita Obrany, Univerzita Palackého, Univerzita Pardubice, Univezita Jana Amose Komenského, Všeobecná fakultní nemocnice, Vysoká škola ekonomická, Západočeská Univerzita v Plzni

41 ???