Sledování IPv6 provozu v e-infrastruktuře CESNET možnosti spolupráce s uživateli Tomáš Košňar CESNET z.s.p.o. kosnar@cesnet.cz
Metody sledování IPv6 provozu Sledování IP provozu Informace o IP provozu na bázi toků (~flow-based~) Informace vybrané z hlaviček paketů transportních protokolů (TCP/IP) Tradiční (historická) oblast zdroje Informací o IP provozu
Metody sledování IPv6 provozu Sledování IP provozu na bázi toků rozumný kompromis Zachování soukromí koncových uživatelů Dostatečná vypovídací hodnota informací o IP provozu Přijatelné množství dat ke zpracování Možnost plošného zpracování v rozsáhlých sítích
Metody sledování IPv6 provozu Sledování IP provozu na bázi toků provozní záznam..z hlavičky přenášeného datového bloku => informace o jednosměrném přenosu Informace v místě vzniku dočasně držena v paměti ~ záznam o provozu ~ IP toku Záznam průběžně modifikován informacemi (objem, čas, TCP flags, DSCP bity,..) z každého IP datagramu, který přísluší danému toku (stejné klíčové informace IP adresy, protokol, čísla portů, rozhraní) => agregovaná informace o provozu
Metody sledování IPv6 provozu Sledování IP provozu na bázi toků provozní záznam Po expiraci (přirozená [konfigurace] nebo vynucená) Záznam o provozu zpravidla odeslán ke zpracování na tzv. Kolektory (UDP, několik exportních formátů pevné, flexibilní) IPv6 od v9 exportního formátu (1. flexibilní formát) Zdroje záznamů o provozu Směrovače (v závislosti na výrobci) Sondy HW SW sondy
Metody sledování IPv6 provozu Sledování IP provozu na bázi toků provozní záznam Informační obsah (základní běžné implementace) IP adresy, čísla portů, protokol Identifikátory rozhraní (ifindex), kterým tok vstoupil (vystoupil) z/do zařízení příp. info o zahození paketu (směrovač), u sond informace o směru přenosu na lince IP nexthop následující IP uzel pro přenos, čísla AS (je-li k dispozici BGP), sousední nebo cílové (směrovač) Atributy TCP vlaječky, DSCP bity (logické OR přes všechny pakety vytvářející záznam) Objemové informace rozsah toku v čase, objem, počet paketů
Metody sledování IPv6 provozu Sledování IP provozu na bázi toků provozní záznam Informační obsah - vývoj V závislosti na výrobci Informace z dalších síťových vrstev L2, L7 Informace související s provozem, ale nereprezentující konkrétní přenost dat Např. NAT (využití exportních mechanismů). Flexible NetFlow IPFIX IP Flow Information export (http://www.iana.org/assignments/ipfix/ipfix.xhtml)
Plošné a souvislé sledování IP provozu v einfrastruktuře CESNET systém Komponenty -measurement -UI -reporter
Plošné a souvislé sledování IP provozu v einfrastruktuře CESNET - systém -measurement Periodický sběr provozních záznamů na bázi toků, Třídění/uskupení dat ~ klasifikace+filtrace Rozšíření provozního záznamu o informace související s organizační/administrativní příslušností Vyčlenění a samostatné uložení zájmového provozu (libovolné podmínky) Sdružení provozu se společným jmenovatelem z informací z několika zdrojů (data o universitě na jednom místě, uložení po fakultách,...) Detekce anomálií Statistické zpracování provozu (vážené agregace nejvýznamnější odběratelé na fakultách bez ohledu na poměr objemů mezi fakultami...) v4/v6 neutrální IPv6 funkční a volitelné i v rámci interních procesů
Plošné a souvislé sledování IP provozu v einfrastruktuře CESNET - systém -UI Interaktivní UI obecný IP traffic browser v rozsahu daném konfigurací (přístupová práva) v4/v6 neutrální Grafy, tabulky, plain-text, agregace, třídění, rozšiřující informace (geo, %, překlad ID rozhraní,...) -reporter Substituce živého uživatele strojem v přístupu k interaktivnímu UI vytváření statických, vzájemně provázaných (na proklik ) html struktur netřeba znát interaktivní UI Periodický reporting pro specifický provoz, specifické skupiny uživatelů, manažersky, technicky, bezpečnostně orientované výstupy Zabudovaný aparát pro detekci a reporting anomálií
architektura v e-infrastruktuře CESNET
- principiální architektura NetFlow data Collector host NetFlow data Collector host NetFlow data Collector host Reporter Reporter Configuration UI components, visualization Master Configuration Interactive User Interface
- typické způsoby uložení dat Zdroje informací zpracování Collector host Směrovač 1 Směrovač 2 Směrovač N Collector host Collector host Sonda 1 Sonda M Collector host - Uložená data podle typu Směrovač 1 Sonda 1 Směrovač 2 Směrovač N Sonda M Metropole 1-in Metropole 1-out Provoz vůči IX 1-in Provoz vůči IX 2-in Universita A Fakulta 1 Fakulta 2 Fakulta 3 Součást 1 Instituce C Součást 2 Součást 3 Zájmový provoz 1 Zájmový provoz 2 Linka 1-in Linka 1-out Linka 2-in Linka 2-out Instance
-measurement novinky 2013 Flexibilní datová struktura Možnost průběžného rozšiřování množiny polí (úpravou kódu) zpracovávaných z příchozích záznamů Doposud přidaná pole - vybrána po dohodě se správci sítě Src-Dst MAC adresy, VLAN ID, NAT Event,Src-Dst IP adresy po překladu v rámci NAT, Src-Dst čísla portů po překladu NAT, Egress-Ingress VRFID, Forwarding Status Doba na technické rozšíření podpory o další pole v kódu ~ cca 1-2 hod/ks v případě rozumného pole (decoding) ~ zatím všechna Možnost vynucení si konkrétní datové struktury v DB (redukce alokace úložiště)
-UI základní vyhledávací formulář Přepnutí do obecného formuláře
-UI obecný vyhledávací formulář Přepnutí do formuláře s navigací
-UI základní vyhledávací formulář Popis zdrojů dat
-UI základní vyhledávací formulář Výběr polí záznamů Volba agregovaného vyhledávání
-UI základní vyhledávací formulář Vyhledávací podmínky Časové parametry
-UI základní vyhledávací formulář Způsob vyhledání
-UI základní vyhledávací formulář Vyhledávací podmínky
-UI základní formulář pro vizualizaci Vyhledávací podmínky
-UI základní formulář pro vizualizaci (zvětšenina)
-UI novinky 2013 Flexibilní datová struktura Zpětná adaptabilita systému v případě rozšíření datové struktury pro vyhledávání přes hranu změny Adaptabilita nabídky v UI ohledně nových polí stejná jako v minulosti
-UI novinky 2013 Syntax pro vyhledávání pro nová pole v manálu
UI novinky 2013 Příklady výstupů NSEL (NetFlow Secure Event Logging)
UI novinky 2013 Příklady výstupů Fwd. Status, MAC adresy Nebyl k dispozici zdroj IPv6 provozu
UI novinky 2013 Možnost uložení podmínek pro vyhledávání
reporter Typická ukázka sestavy reportů pro uživatele
reporter Typická ukázka sestavy reportů pro uživatele
reporter Typická ukázka sestavy reportů pro uživatele
reporter Typická ukázka sestavy reportů pro uživatele
reporter Typická ukázka sestavy reportů pro uživatele Obrázek odstraněn z důvodu ochrany soukromí uživatelů
reporter Typická ukázka sestavy reportů pro uživatele
reporter Typická ukázka sestavy reportů pro uživatele Obrázek odstraněn z důvodu ochrany soukromí uživatelů
jako služba centrální instalace Noví uživatelé 2013 OU,UJAK,VFN
jako služba centrální instalace Noví uživatelé 2013 IT4I
jako služba vlastní instalace Noví uživatelé 2013 UJEP UPCE Upgrade HW 2013 MU TUL (virtuál) Upgrade SW 2013 Všichni ZČU ;-)
Provozní informace 2013 (pouze centrální instalace) 15 uzlů systému Počet přístupů k interaktivnímu UI systému cca 15k Počet přístupů ke generovaným reportům cca 120k Celkový objem zpracovávaných dat
uživatelé se samostatnou konfigurací, reportingem nebo vlastní instalací Akademie Věd ČR, Fakultní nemocnice Motol, IT4I, Jihočeská Univerzita, Masarykova Nemocnice v Ustí nad Labem, Masarykova Univerzita, Ostravská Univerzita, PASNET, Slezská Univerzita, SOUE Plzeň, SŠEAS Ustí nad Labem, Technická univerzita Ostrava - Vysoká škola báňská, Technická Univerzita v Liberci, Univerzita Hradec Králové, Univerzita Jana Evangelisty Purkyně v Ústí nad Labem, Univerzita Karlova, Univerzita Obrany, Univerzita Palackého, Univerzita Pardubice, Univezita Jana Amose Komenského, Všeobecná fakultní nemocnice, Vysoká škola ekonomická, Západočeská Univerzita v Plzni
???