10 Gb/s metropolitní síť VUT v Brně Ing. Tomáš Podermański, Ing. Vladimír Záhořík Centrum výpočetních a informačních služeb, VUT v Brně, Antonínská 1, 612 00 Brno 1 Současný stav a charakteristika počítačové sítě VUT Páteřní síť VUT byla budována v rámci Brněnské akademické počítačové sítě (BAPS), kde se brněnské vysoké školy a ústavy AV ČR dohodly na společných zásadách budování akademických počítačových sítí v oblasti. Je napojena na národní síť pro vědu a výzkum CESNET2, která zajišťuje její vnitrostátní a zahraniční konektivitu. Fakulty a pracoviště VUT jsou umístěny v různých lokalitách Brna v současné době se jedná o 18 míst propojených monovidovými optickými vlákny. Kromě vlastních lokalit VUT zajišťuje připojení dalších institucí splňujících podmínky připojení do sítě CESNET2 především ústavy AV ČR v Brně, výzkumné ústavy a střední školy. Základní použitá technologie je přepínání na 3. vrstvě a protokol Ethernet 1 Gb/s a 10Gb/s. V rámci páteřní sítě jsou používány L3 gigabitové přepínače typu Extreme Networks a Hewlett Packard. Jako doplňková technologie se používá Ethernet o nižších rychlostech a WiFi mobilní připojení. 1.1 Historie vývoje 1992-1995 Modemy, pronajaté spoje, rychlost 32-128 Kb/s, zahájeno budování optických spojů, Ethernet 10 Mb/s, PC směrovače KA9Q a BSD/386. 1995-1998 Většina spojů převedena do vlastních optických kabelů, budování ATM sítě 155 Mb/s, PC směrovače na bázi BSD Unix. 1998-2001 Budování optických tras s velkým počtem vláken, přechod na technologii Gigabitový Ethernet a L3 přepínače Extreme Networks. 2002-2004 Kompletní přechod provozu páteřní sítě na Gigabitový Ethernet, který se stává standardem pro připojení lokalit. 2005 Ověřování technologie Ethernet 10 Gb/s. 2006-2007 Postupný upgrade tras z 1 Gb/s na 10 Gb/s, upgrade připojení do sítě CESNET2 na 10 Gb/s. Vedle přepínačů Extreme Networks nasazeny L3 10Gb/s přepínače Hewlett Packard. Současná koncepce budování páteřní sítě VUT vychází z dlouholetých zkušeností a spočívá v těchto bodech: připojení každé lokality je realizováno prostřednictvím optických tras vedoucích ze dvou nezávislých směrů, pro přenos dat na linkové vrstvě je používána technologie Etherent, páteřní spoje mají přenosovou kapacitu 1 Gb a 10 Gb/s dle potřeb lokalit; na některých linkách je využita agregace spojů na bázi IEEE 802.3ad, používaným protokolem síťové vrstvy je výhradně IP verze 4, podpora IPv6 a dalších protokolů je realizována prostřednictvím virtuálních sítí a tunelů, pro směrování se používá technologie přepínaní na třetí vrstvě (Layer 3 switching); management směrování je řešen OSPF protokolem, páteřní prvky musí umožnit aplikaci základních bezpečnostních opatření, tj. filtrace IP paketů podle adres, protokolů a aplikací (TCP/UDP port), páteřní prvky musí podporovat zaznamenávání událostí (logování) a zrcadlení portů (port mirroring) zařízení mající vliv na chod sítě musí obsahovat redundantní napájení pro mobilní připojení počítačů je k dispozici bezdrátová WiFi síť.
1.2 Provozované protokoly a služby správy sítě Služba Standard/protokol Poznámka Směrování paketů (unicast) Směrování paketů (multicast) RFC 2453 RIP v2 RFC 2328 OSPF v2 statické směrování RFC 1112 IGMP, RFC 2236 IGMP v2, RFC 3973 PIM-DM Virtuální sítě IEEE 802.1q VLAN tagging Realizace L2 virtualních sítí Protokol RIP je provozován především v páteřních sítích areálů. Na páteři metropolitní sítě se objevuje pouze zcela výjimečně pro speciální účely. Z hlediska provozu sítě se jedná o výběhový protokol. Základní protokol pro směrování paketů v metropolitní síti. Ve speciálních případech doplňuje protokoly RIP a OSPF. PIM v režimu dense mode základní protokol multicastového směrování paketů Redundance a sdílení zátěže IEEE 802.3ad Agregace spojů a sdílení zátěže (load sharing) po agregovaných spojích. Zálohování okruhů na linkové vrstvě EAPS RFC 3619 Pro některé okruhy realizované prostřednictvím virtuálních sítí je protokolem EAPS řešeno zálohovaní těchto okruhů Časová synchronizace RFC 2030 SNTP Přepínače a další aktivní prvky udržují pomocí protokolu SNTP stejný čas toto je velmi důležité pro správu sítě (např. při vyhodnocování událostí v síti, kdy je třeba zpětně vyhodnotit záznamy z více zařízení). Administrátorský přístup k prvkům sítě RFC 854 Telnet SSH v1 a v2 RFC 2068 HTTP RFC 2138 RADIUS Přístup pomocí protokolu telnet a WWW je sice z hlediska bezpečnosti sítě nevhodný, bohužel ne všechny prvky podporují kryptovaný přístup (týká se především starších typů přepínačů). V nových prvcích je požadován výhradně přístup prostřednictvím SSH/SSL. Pro jednotné řízení přístupu k prvkům je využívána AAA služba RADIUS. Zálohování konfigurace RFC 783 TFTP Konfigurace páteřních přepínačů se automaticky archivuje a případné změny se hlásí správcům páteřní sítě. Monitorování sítě Filtrování paketů QoS, CoS Redundance směšovačů lokality SYSLOG RFC 1157 SNMP v1/v2 RFC 1213 MIB II RFC 2674 Bridge MIB IEEE 802.1D/1998 RFC 2474,2475 DiffServ VRRP RFC 3768 Události v síti jsou uchovávány jednak na samotných přepínačích, jednak pomocí služby syslog jsou zaznamenávány (a posléze archivovány) v dohledovém systému správy sítě. Kromě událostí jsou pravidelně zaznamenávány (a posléze opět archivovány) údaje o vytížení a stavu tras. Na aktivních prvcích jsou aplikována bezpečností pravidla sítě VUT. Priorita rámců Ethernet, IP QOS, Differentiated Services, do budoucna RFC 2209 RSVP. Pro lokality vyžadující nepřetržitý provoz sítě (typicky lokality využívající služeb IP telefonie) je použita technologie zálohovaní směšovačů. Další služby RFC 2131 Bootp/DHCP relay Počítáme se zaváděním dalších služeb dle potřeb zákazníků a možností páteřních prvků. 1.3 Seznam uzlů počítačové sítě VUT a aktuální stav jejich připojení Lokalita Rychlost Záložní připojení připojení Přístupové prvky Fakulta/pracoviště Gb/s Gb/s rok 2006 Antonínská 1 10 10 HP5406, BlackDiamond Centrum VUT Božetěchova 2 10 10 BlackDiamond (Aspen) Fakulta informačních technologií Gorkého 13 1 1 Summit48 Fakulta výtvarných umění Kolejní 2 10 10 SummitX450, Summit48 Koleje VUT Kolejní 4 1 1 BlackDiamond, Summit7i Fakulta elektrotechniky a kom. tech., Fakulta podnikatelská Kounicova 46 10 10 SummitX450 Koleje VUT Kounicova 67a 10 10 BlackDiamond (Aspen) Rektorát VUT Mánesova 12 1 1 Summit1i Koleje VUT Poříčí 5 1 1 Summit7i Fakulta architektury Purkyňova 93 10 10 SummitX450 Koleje VUT Purkyňova 118 10 10 SummitX450, BlackDiamond Fakulta elektrotechniky a kom. tech., Fakulta chemická Rybářská 13/15 1 1 Summit5i Fakulta výtvarných umění Rybkova 1 1 1 Summit1i Fakulta stavební, rektorát VUT Technická 2 10 10 HP5406, BlackDiamond Fakulta strojního inženýrství Technická 8 3 1 Summit7i Fakulta elektrotechniky a kom. tech. Údolní 19 1 1 SummitX450 Fakulta výtvarných umění Údolní 53 2 1 2x Summit5i Fakulta elektrotechniky a kom. tech. Veveří 95 10 10 HP6200, BlackDiamond Fakulta stavební
2 Motivace k přechodu na 10 Gb/s 2.1 Růst studentské sítě na kolejích VUT - KolejNet Během roku 2006 bylo dosaženo počtu 5669 fyzických studentských přípojek. Celkově se siť KolejNet podílí téměř na polovině celkového objemu dat přenášených z/do sítě VUT. Počítačová síť KolejNet pokrývá 13 budov ve 4 areálech VUT. Technické zázemí 272 aktivních prvků je provozováno ve 41 místnostech a 3 uzlových sálech. Obrázek 1: Nárůst počtu přípojných míst sítě KolejNet Datová rychlost přípojek na pokojích je 100 Mbit/s, jednotlivé bloky jsou propojeny páteřní rychlostí 1Gbit/s. V roce 2002 byla síť vybavena přístupovými prvky Summit7i, které umožnily napojení jednotlivých bloku a propojení areálů na rychlosti 1Gbps. Objemy přenášených dat mezi si ovšem již v roce 2005 vynutily v některých areálech nasazení agregovaných spojů. 2.2 Využívání nových technologií V počítačové síti jsou nasazovány nové technologie, které mají dopad na vyšší využívání páteřní sítě univerzity. Jde především o vysílání video přenosů po páteřní počítačové síti a rozvoj mobilní sítě, která s sebou přinesla zvýšený počet uživatelů. 2.2.1 Video přenosy přednášek V rámci metropolitní počítačové sítě bylo realizováno on-line vysílání audiovizuálního signálu zařízením VBrick 4200 a 6200. Datový signál je trvale přenášen pomocí IP multicastu. Do budoucnosti se dá očekávat instalace obdobných zařízení v dalších lokalitách VUT. Záznamy některých přednášek jsou rovněž zpřístupněný v tzv. offline režimu. I v tomto případě lze očekávat zvýšené nároky na propustnost počítačové sítě v důsledku transportu dat s videozáznamy. 2.2.2 Mobilní WiFi síť VUT Kromě vysokorychlostní sítě je na VUT od roku 2003 provozována bezdrátová mobilní WiFi síť. Uživatelé mají k dispozici více než 150 přístupových bodů. Při tomto množství přístupových bodů jsou objemy přenášených dat již nezanedbatelné a při návrhu sítě je nutno počítat i s kapacitou pro tuto službu. Předpokládáme navíc, že vzhledem k popularitě WiFi technologii bude množství přístupových bodů neustále narůstat. 2.3 Úspora kapacity optických kabelů Na nejvíce zatížených trasách byla postupně nasazována agregace spojuj dle protokolu 802.3ad. Toto řešení sice přináší požadované n-násobné navýšení kapacity linky, nicméně je velice nehospodárné vůči kabelovým trasám. V případě 10Gb/s rychlostí je kapacita dostačující a agregované spoje není nutno realizovat. 2.4 Realizace bezpečnostních politik připojovaných pracovišť Stávající topologie byla značně omezující vůči realizaci bezpečnostních politik připojovaných pracovišť. Společně s budováním 10Gb/s páteře dochází k oddělení páteřních prvků a přístupových prvků dílčích pracovišť. Toto oddělení umožňuje správcům realizovat libovolnou bezpečnostní politiku aniž by byl jakkoliv dotčen páteřní provoz.
2.5 Připojení do sítě CESNET2 Zatížení primárního připojení v současnosti špičkově přesahuje 900Mb/s. Mohlo by se tedy jevit, že kapacita primárního připojení (2 Gb/s) je vyhovující. Je ovšem třeba uvažovat dlouhodobé trendy růstu zatížení této trasy, které jsou odvozeny z historických měření. V roce 2001 se pohyboval průměrný měsíční objem přenesených dat kolem 5TB. Dnes tato hodnota již přesáhla 100TB, což představuje až dvacetinásobné navýšení během šesti let. Lze předpokládat, že obdobným způsobem se bude vyvíjet zatížení přípojky VUT i v následujících letech. Obrázek 2: Nárůst objemu přenesených dat z a do sítě VUT 3 3.1 Způsob řešení Topologie páteřní sítě V následujícím obrázku je schematicky zachycen současný stav vysokorychlostní páteře sítě VUT v porovnání se stavem na začátku roku 2006. Během roku 2007 plánujeme upgrade dalších 6 tras na 10 Gb/s a postupný přechod na vyšší rychlost v rámci páteřních sítí lokalit. Obrázek 3: Začátek roku 2006 Obrázek 4: Začátek roku 2007
3.2 Topologie studentské sítě KolejNet V polovině roku 2006 podařilo vybudovat jádro nové páteře, propojující tři největší areály (Koleje Pod Palackého vrchem, Purkyňovy koleje a Listovy) na rychlosti 10Gbps. Pro realizaci byly vybrány aktivní prvky Extreme Networks - Summit X450. Pro připojení do zbývajícího části sítě VUT a sítě CESNET2 byly zachovány tři přípojky s dílčí kapacitou 1Gbps. Na těchto přípojkách jsou rovněž aplikována bezpečnostní pravidla prostřednictvím trojice firewallů a sběr statistických dat netflow protokolem. Obrázek 5: Topologie páteře sítě KolejNet 3.3 Připojení sítě VUT do sítě CESNET2 V průběhu roku 2005 bylo připojení do sítě CESNET2 povýšeno na 10Gbps. Původní přípojka s kapacitou 2Gbps v současné době slouží jako záložní připojení. Kapacita přípojky je momentálně ještě limitována propustností firewallů realizovaných na platformě klasických serverů. Teoretické maximum využití linky se pohybuje kolem 3,2 Gb/s. Pro nadcházející období připravujeme změny v zapojení firewallů tak aby na lince bylo možné plně využít nabízenou kapacitu. Obrázek 6: Připojení CESNET2 rok 2005 3.4 Obrázek 7: Připojení CESNET2 - rok 2006 Použité aktivní prvky a jejich vlasnosti 3.4.1 Chassis BlackDiamond 8810 (Aspen) Základní parametry: modulární L3 chassis (10 slotů) kapacita přepínání 800 Gb/s rychlost přepínání paketů 570 Mpps (L2 i L3) směrování IPV4 i IPV6 (podpora protokolů RIP, OSPF, BGP, PIM) základní ochrany proti útokům v síti Použité volitelné moduly: G48T 48 portů 10/100/1000BASE-T Gigabit Ethernet G24X 24 porty 1000BASE-X Gigabit Ethernet
10G4X 4 porty 10GBASE-X 10 Gigabit Ethernet 3.4.2 Kompaktní přepínač Summit X450 Základní parametry: kompaktní L3 přepínač v provedení 20 portů 10/100/1000BASE-T Gigabit Ethernet a 4 kombinované porty 1000BASE-X/1000BASE-T 20 portů 1000BASE-X Gigabit Ethernet a 4 kombinované porty 1000BASE-X /1000BASE-T kapacita přepínání 160 Gb/s rychlost přepínání paketů 65 Mpps (L2 i L3) směrování IPV4 i IPV6 (podpora protokolů RIP, OSPF, BGP, PIM) základní ochrany proti útokům v síti Použité volitelné moduly: 2 porty 10GBASE-X 10 Gigabit Ethernet Obrázek č.8: Chassis HP ProCurve 5406zl Obrázek č.9: Přepínače Extreme Networks BlackDiamond 8810 (chassis) a Summit-X450 3.4.3 Chassis HP ProCurve 5406zl/5412zl Základní parametry: modulární L3 chassis (6 nebo 12 slotů) kapacita přepínání 288 (576) Gb/s rychlost přepínání paketů 214 (428) Mpps směrování IPV4 (podpora protokolů RIP, OSPF, PIM) HW podpora IPV6 základní ochrany proti útokům v síti Použité volitelné moduly: 24 portů 10/100/1000BASE-T Gigabit Ethernet 24 portů 1000BASE-X Gigabit Ethernet 20 portů 10/100/1000BASE-T + 4 porty pro minigbic 4 porty 10Gb X2 10 Gigabit Ethernet (popř. v kombinaci s CX4 10 Gb Ethernetem) 4 Závěr Při budováni 10Gbe páteře jsme měli možnost seznámit se a v provozním prostředí ověřit produkty výrobců Extreme Networks a Hewlett Packard. Při nasazování se osvědčily zejména prvky z produkce Hewlett Packard. S těmito prvky počítáme i do dalších fázi nasazovaní 10Gbe technologie. U těchto prvků nám vyhovuje zejména příznivá cenová politika, doživotní záruka, dostupnost nových verzí SW a dobrá provozní spolehlivost.