Projekt do předmětu Směrované, přepínané sítě Václav Dener, Login: DEN020 Tomáš Kozel, Login: KOZ391 Abstrakt: Cílem toho projektu bylo zjištění možností konfigurace spojení dvou a více síťových karet do jednoho virtuálního rozhraní v současných operačních systémech a otestování jejich jednotlivých módů nastavení na námi sestavených topologiích.. Klíčová slova: Bonding, NIC Teaming, Linux, lacp, link agregation Obsah 1 Zadání... 3 1.1 Spojení síťových karet do jednoho virtuálního rozhraní... 3 1.2 Bonding modes... 3 1.2.1 Mode0 - Balance Round-Robin (balance-rr)... 3 1.2.2 Mode 1 - Active-Backup... 3 1.2.3 Mode 2 - Balance-xor... 3 1.2.4 Mode 3 - Broadcast... 3 1.2.5 Mode 4-802.3ad (Dynamic link aggregation)... 3 1.2.6 Mode 5 - Adaptive transmit load balancing (balance-tlb)... 4 1.2.7 Mode 6 - Adaptive load balancing (balance-alb)... 4 1.3 Windows NIC Teaming... 4 2 Test jednotlivých módů v laboratoři... 5 2.1.1 Nastavení a otestování modu 0... 6 2.1.2 Nastavení a otestování modu 1... 8 2.1.3 Nastavení a otestování modu 2... 9 2.1.4 Nastavení a otestování modu 3... 10 2.1.5 Nastavení a otestování modu 4... 12 2.1.6 Nastavení a otestování modu 5... 15 2.1.7 Nastavení a otestování modu 6... 15 3 Závěr... 15
4 Seznam obrázků... 15 5 Použitá literatura... 16
1 Zadání Podpora v současných OS (Windows, Linux) pro redundandní připojení serverů pomocí více NIC (failover, load-sharing, LACP,...) 1.1 Spojení síťových karet do jednoho virtuálního rozhraní Spojení více síťových karet do jednoho virtuálního rozhraní, se nazývá různě, v závislosti na použitém operačním systému, na unix systémech je tato technika nazývána Bonding, na Windows platformách zase NIC Teaming a na dalších síťových prvcích pak například port trunking či link aggregation. Tyto techniky nám umožňují propojit 2 a více síťových karet, tak, aby logicky vypadaly jako jedno jediné zařízení. Díky tomuto můžeme dosáhnout lepšího vyvážení zátěže síťového provozu nebo například zvětšit odolnost vůči chybám při přenosu. 1.2 Bonding modes 1.2.1 Mode0 - Balance Round-Robin (balance-rr) Tento režim přenáší pakety ve střídavém pořadí. Paket vždy je aktivní jen jedna síťová karta. Ke zpracování každého přijatého paketu je použita jedna síťová karta, ve zpracování paketu se karty cyklicky střídají. Tedy 1. paket zpracuje 1. síťová karta ke zpracování dalšího paketu je použita druhá síťová karta atd. podle počtu karet, poté se celý cyklus opakuje. Díky tomu dochází k vyvážení provozní zátěže. V případě výpadku síťové karty jsou data v případě nedoručení po vypršení příslušného časovače odeslána znovu na funkční síťovou kartu, takto je řešena odolnost vůči chybám. 1.2.2 Mode 1 - Active-Backup Režim funguje jako aktivní záloha. V provozu je vždy jen jedna síťová karta v jednom okamžiku. Pokud aktivní síťová karta selže je uvedena do provozu druhá záložní karta. U tohoto režimu nedochází k žádnému nárůstu výkonu, ale je zajištěna odolnost vůči chybám. 1.2.3 Mode 2 - Balance-xor Tento mód má na výběr ze dvou režimů, které se dají měnit v xmit_hash_policy. Default mód pracující na druhé vrstvě ISO\OSI modelu, generuje jednoduché vysílací hase odvozené od MAC adresy virtuálního rozhraní pomocí metody XOR kde modulem u této funkce je počet slave síťových karet. Na základě MAC adres slave zařízení je pak rozhodnuto, která karta bude aktivně komunikovat a je vytvořen stabilní komunikační kanál s konkrétním cílovým zařízením. Druhý mód pak využívá 3+4 vrstvu ISO\OSI modelu, který komunikuje přes několik slave zařízení a snaží se napodobovat LACP protokol, nevýhodou zde je však generování velkého množství out-oforder paketů a tím dochází k vytěžování stanice. Out of order pakety jsou pakety doručené mimo pořadí, ve kterém byly odeslány, k tomu může docházet využíváním různých cest mezi slave zařízeními. Tyto pakety je pak nutné odeslat znovu a tímto dochází k zatěžování sítě. 1.2.4 Mode 3 - Broadcast V tomto režimu je posíláno vše na všech zařízeních, dochází tak ke duplicitám v přenosu. Režim poskytuje pouze odolnost vůči chybám. 1.2.5 Mode 4-802.3ad (Dynamic link aggregation) Agregace linek (Link aggregation) je funkce, která se používá pro spojení několika portů dohromady pro vytvoření jediné širokopásmové datové cesty. Přepínač zachází se všemi porty
sdruženými ve skupině jako s jedním portem. IEEE 802.3ad Link Aggregation Control Protocol(LACP) se používá pro vytvoření dynamické agregované linky mezi přepínačem a jiným síťovým zařízením, které podporuje 802.3ad. Aby to mohlo fungovat, musí přepínače dodržovat protokol LACP, aby se mohly dohodnout na vytvoření agregované linky. Dynamická agregace linek může být dohodnuta, pokud je jedna skupina portů nakonfigurována jako "aktivní" skupina a druhá skupina portů jako "pasivní" skupina, pokud není port přirazen mezi aktivní defaultně je nastavován jako pasivní. Tento režim je velice efektivní, zajišťuje odolnost vůči chybám a vyrovnává zátěž. Pro provoz je nutná i konfigurace na přepínači. 1.2.6 Mode 5 - Adaptive transmit load balancing (balance-tlb) Odchozí provoz je distribuován podle aktuálního zatížení (vypočteného ve vztahu k rychlosti) na každou síťovou kartu připojenou do bondu. Příchozí provoz obdrží aktuální síťová karta. Pokud přijímající karta selže, další síťová karta převezme její MAC adresu. Režim zajišťuje odolnost vůči chybám a vyvažování zátěže odchozího přenosu. 1.2.7 Mode 6 - Adaptive load balancing (balance-alb) Tento mód je velmi podobný předchozímu, s tím rozdílem, že zde dochází k vyvažování také příchozího provozu. Není zde požadována konfigurace switche, pro dohodnutí linky je zde využito ARP zprávy která je odeslána na sousední prvek a cestou přepíše MAC adresu spojení na jednu z unikátních MAC adres náležících podřízeným síťovím kartám. 1.3 Windows NIC Teaming Ve světě Windows chybí v jádru podpora pro technologie jako je Teaming. Je tedy potřeba speciální ovladač pro síťovou kartu od výrobce. Tyto speciální ovladače jsou však uvolňovány u specializovaných síťových karet ve vyšších cenových hladinách. Z důvodu nedostupnosti těchto karet v průběhu testování, jsou veškeré testy v tomto projektu prováděny na systému linux, kde je technika NIC Taiming (na linuxu Bonding) zakomponována přímo v jádře systému. Nastavení pouze jednu stranu, tedy Teaming na serveru. Tehdy můžeme použít libovolný přepínač (bez managementu a podpory Link Aggregation), dokonce mohou být členové jednoho týmu připojeni k různým přepínačům, čímž se výrazně zvedá dostupnost. Důležité je, aby konfigurace všech portů byla shodná. Zátěž je vyvažována pouze na odchozím směru, ale odolnost vůči výpadku je oboustranná. Konfigurace obou stran, tedy na serveru Teaming a na přepínači PortChanale. U NIC Teamingu můžeme zvolit metodu Static Link Aggregation, kdy na přepínači nastavíme manuální EtherChannel. Nebo Dynamic Link Aggregation, který využívá protokol LACP podle IEEE 802.3ad. Máme několik různých typů, které můžeme na serveru nastavit. Adaptive Load Balancing vyvažuje provoz přes všechny adaptéry. Adapter Fault Tolerance používá pouze jednu linku jako aktivní a ostatní jsou záložní pro případ výpadku. Přepínač Fault Tolerance připojení ke dvěma různým přepínačům.
2 Test jednotlivých módů v laboratoři K provozování boundingu a nastavení podřízených síťových karet je po systémem Linux nutno doinstalovat balík ifenslave. Při testování byl použit balík ifenslave verze 2.6 1.1.0-ubuntu2.1 na systému ubuntu využívající kernel verze 2.6.39.4. Balík doinstalujeme pomocí příkazu apt-get install ifenslave Poté je nutno vypnout síťová rozhraní, která chceme nastavit jako slave, toho docílíme pomocí příkazu ifconfig eth0(eth1) down Nyní je potřeba načíst modul kernelu, který zprovozní bonding k tomu slouží příkaz modprobe bonding mode =0 miimon=100 modprobe - načtení jaderného modulu bonding - název načítaného modulu mode - výběr modu ve kterém bude rozhraní bonding pracovat miimon - interval monitorování slave síťových karet Nyní je možno zapnout bound rozhraní ifconfig bond0 up Musíme ještě rozhraní bond0 přiřadit podřízené síťové karty, zde využijeme balík ifenslave. ifenslave bond0 eth0 eth1 Touto sérií příkazu vytvoříme virtuální rozhraní bond0, které sdružuje síťové karty eth0 a eth1. Aby nebylo nutné toto nastavení provádět při každém startu systému, je možné editovat soubory s umístěním /etc/modprobe.d/aliases kde nastavíme: Alias bond0 bonding Options boxing mode=1 miimon =100 /etc/network/interfaces : Iface bond0 inet static Address 192.168.1.1 Netmask 255.255.255.0 gateway slaves eth0 eth1
Díky této editace bude vytvoření a nastavení bond rozhraní provedeno automaticky po startu systému. Pokud je virtuální rozhraní bond0 vytvořenu můžeme nad ním provádět běžné operace jako nastavení ip adresy, masky sítě nebo defaultní brány. Pro kontrolu nastavení a monitoring funkčnosti bondingu využijeme souborový systém proc, kde můžeme vypsat nastavení bondingu a dalších podrobností. cat /proc/net/bonding/bond0 1 Ukázka výstupu souborového systému proc 2.1.1 Nastavení a otestování modu 0 Módy při boundingu se v podstatě dělí na dva typy a to na módy, které využívají duplicitu linek pouze k záloze spojení a ke kompenzování výpadků, mezi tyto módy patří mód 1 a 3. Ostatní módy využívají duplicitu linek také k vyvažování zátěže mezi obě linky, zároveň však také slouží ke kompenzaci výpadků. Z těchto důvodů byly vytvořeny dvě testovací topologie. Testovací topologie:
2 Topologie pro testování loadbalancing Tento mód slouží vyvažování zátěže tkzv. Loadbalancing a také k fault toleranc. Mód byl nastaven na PC 1 kde byl spuštěn program iperf v režimu server, na který se připojovali PC 2 a 3 ve stejnou chvíli také pomocí iperf v módu klient. Program iperf byl použit k maximálnímu vytížení dané linky, aby se v laboratorních podmínkách dal pozorovat loadbalancing. Metoda road-robin střídá jednotlivé síťové karty v odesílání i příjímání paketů tímto je zátěž rozložena mezi obě slave karty. 3 Výsledek testu pomocí iptraf
Na obrázku 3 lze vidět, že zátěž linky byla rozložena a lze v teoretických případech využívat propustnost obou 100 Mbitových síťových karet, tedy propustnost 200 Mbit/s, tato hodnota je samozřejmě teoretická, reálné hodnoty závisí na mnoha faktorech jako jsou například použity typ spojení, vytížení cílového PC a jiné.v detailu na obrázku 4 lze však vidět, že rychlost jednotlivých linek byla 81,4 Mbit/s a 40,3 Mbit/s což v součtu dává celkovou propustnost linky 121,7 Mbit/s, takže jsme se dostali nad hodnotu 100 Mbit/s, proto můžeme říci, že test tohoto nastavení byl úspěšný a datová zátěž linky byla úspěšně rozložena. 4 Ukázka zvýšení propustnosti linky 2.1.2 Nastavení a otestování modu 1 Testovací topologie: 5 Topologie pro test odolnosti vůči chybám V tomto módu je aktivní pro komunikaci vždy pouze jen jedna síťová karta ostatní karty, jsou pouze jako záloha. Pokud je zaregistrováno na aktivní kartě výpadek spojení je zapnutá záložní karta a provoz na ni je přesměrován. Díky tomuto nedochází k přerušení výpadku spojení, pouze ke krátkému výpadku několika paketů. Tuto situaci se nám podařilo nasimulovat pomocí ICMP zprávy ping, poté jsme úmyslně přerušili aktivní linku a pozorovali množství nedoručených zpráv, při default nastavené byly tyto výpadky v rozmezí 0-2 ping zpráv. Při snížení doby čekání na odpověď zprávy u původní 1 sekundy na 0,5 byly tyto výpadky již viditelnější a to zhruba v průměru 1-4 zprávy.
6 Ukázka ping paketů u modu 1 Na obrázku 6 lze vidět zvýšení odezvy icmp zprávy v době přerušení aktivní linky. 2.1.3 Nastavení a otestování modu 2 V tomto testu byl použit default mód. Default mód pracující na druhé vrstvě ISO\OSI modelu, generuje jednoduché vysílací hase odvozené od MAC adresy virtuálního rozhraní pomocí metody XOR kde modulem u této funkce je počet slave síťových karet. Na základě MAC adres slave zařízení je pak rozhodnuto, která karta bude aktivně komunikovat a je vytvořen stabilní komunikační kanál s konkrétním cílovým zařízením. 7 Výsledek testu pomoci iptraf a výpis ze souborového systému proc
Na obrázku 8 lze vidět, že propustnost jednotlivých linek byla 66,9 Mbit/s a 69,9 Mbit/s a celková propustnost linky je 136,8 Mbit/s, mužeme tedy říci, že došlo ke zvětšení propustnosti linky. 8 Detail výstupu programu iptraf 2.1.4 Nastavení a otestování modu 3 Použitá topologie u tohoto testu je shodná s topologií u módu 1, tento mód rozesílá veškerou komunikaci duplicitně na všechny slave linky. 9 Topologie pro testování odolnosti vůči chyám Na tomto obrázku 10 je vidět duplicita ICMP zpráv, která zmizí po přerušení jedné z aktivních linek. Tímto ošetřuje náchylnost k výpadkům linky ( fault toleranc), i když za cenu větší zahlcennosti linek duplicitními daty.
10 Ukázka testu pomocí ping paketů
2.1.5 Nastavení a otestování modu 4 Tento mód využívá protokolu LACP k vyjednání agregovaného kanálu mez PC 1 a přepínače SW 1, podmínkou využití tohoto protokolu je přítomnost na přepínači funkce 802.3ad označované jako link aggregation. Díky této funkci je možnost sdružení několika portů do jedné širokopásmové datové cesty. Mód se využívá k vyvážení vytíženosti linky a k ochraně před výpadkem spojení. U tohoto modu je nutné provést nastavení i na straně přepínače, toto nastavení vidíme zde: 11 Výpis z running config u SW1
Na portech Fe0/3 a Fe0/4 je nastavena stejná port-group v módu aktive, který aktivně vyhledává jiná zařízení, která komunikují pomocí protokolu LACP a jsou v módu passive s takovýmito pak dohodne vytvoření linky. Nastavení na straně přepínače, vidíme na obrázku 12: 12 Detailní výpis nastavení protokolu lacp na portech SW1
Nastavení na straně PC pak vidíme na obrázku 13: 13 Výpis ze souborového systému proc na PC 1 Že došlo k vytvoření linky můžeme poznat z údaje partner MAC address, který se shoduje s MAC adresou SW1 14 Výpis z programu iptraf
Zde pak můžeme vidět, že při použití testu pomocí iperf vidíme, že vytvořená linka je využívána velmi efektivně oproti předchozím módům. 2.1.6 Nastavení a otestování modu 5 Tento mód využívá adaptivního rozdělení zátěže pro aktuální provoz, toto rozdělení je vypočítáváno vzhledem k rychlosti linky. Pokud přijímající karta selže, další síťová karta převezme její MAC adresu. Režim zajišťuje odolnost vůči chybám a vyvažování zátěže odchozího přenosu. 2.1.7 Nastavení a otestování modu 6 Tento mód je velmi podobný předchozímu, s tím rozdílem, že zde dochází k vyvažování také příchozího provozu. Není zde požadována konfigurace přepínače, pro dohodnutí linky je zde využito ARP zprávy která je odeslána na sousední prvek a cestou přepíše MAC adresu spojení na jednu z unikátních MAC adres náležících podřízeným síťovím kartám. 3 Závěr Cílem tohoto projektu bylo představení možnosti spojení duplicitních linek do jedné virtuální. Ukázali jsme si, že duplicitní linka se využívá jako záložní linka pro korekci výpadků linky nebo pro využití loadbalancingu a tím zvýšením propustnosti virtuální linky. U všech testovaných módů se tyto funkce podařilo prokázat a předvést. 4 Seznam obrázků 1 Ukázka výstupu souborového systému proc... 6 2 Topologie pro testování loadbalancing... 7 3 Výsledek testu pomocí iptraf... 7 4 Ukázka zvýšení propustnosti linky... 8 5 Topologie pro test odolnosti vůči chybám... 8 6 Ukázka ping paketů u modu 1... 9 7 Výsledek testu pomoci iptraf a výpis ze souborového systému proc... 9 8 Detail výstupu programu iptraf... 10 9 Topologie pro testování odolnosti vůči chyám... 10 10 Ukázka testu pomocí ping paketů... 11 11 Výpis z running config u SW1... 12 12 Detailní výpis nastavení protokolu lacp na portech SW1... 13 13 Výpis ze souborového systému proc na PC 1... 14 14 Výpis z programu iptraf... 14
5 Použitá literatura Linux Horizon. LiNUX Horizon - Bonding (Port Trunking) [online]. <http://www.linuxhorizon.ro/bonding.html>. Wikipedia. Link aggregation - Wikipedia, the free encyclopedia [online]. <http://en.wikipedia.org/wiki/link_aggregation>. Samuraj-cz. Připojení rychlejší a spolehlivější < články -> SAMURAJ-cz.com [online]. <http://www.samuraj-cz.com/clanek/pripojeni-rychlejsi-a-spolehlivejsi/>. Linux foundation. bonding The Linux Foundation [online]. <http://www.linuxfoundation.org/collaborate/workgroups/networking/bonding#configuring_bon ding_devices>.