VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ FAKULTA INFORMAČNÍCH TECHNOLOGIÍ ETHERCHANNEL A LINK AGGREGATION CASE-STUDY CCNP Bc. Vladimír Veselý xvesel38
OBSAH 1 Úvod... 3 1.1 Abstrakt... 3 1.2 Klíčová slova... 3 1.3 Prohlášení... 3 2 Etherchannel... 4 2.1 Úvod a historie... 4 2.2 Podrobnosti... 4 2.3 Automatická konfigurace... 5 2.4 Příkazy IOSu... 6 2.5 HW Prerekvizity... 6 3 Link aggregation... 7 3.1 Úvod... 7 3.2 Shody a rozdíly... 7 3.3 Automatická konfigurace... 7 3.4 Příkazy IOSu... 8 4 Příklady použití... 9 4.1 Marketingová vábnička... 9 5 Závěr... 10 6 Bibliografie... 10
1 ÚVOD 1.1 ABSTRAKT Tato případová studie si klade za cíl seznámit čtenáře s technologií Etherchannel i její neproprietální verzí 802.3ad. Uvést do problematiky vyvažování zátěže i tvorbu redundantních spojení. 1.2 KLÍČOVÁ SLOVA Etherchannel, Cisco, PAgP, LCAP, IOS, port-channel, ethernet, load-balancing, vyvažování zátěže. 1.3 PROHLÁŠENÍ Tímto čestně prohlašuji, že práce ani žádná její část není plagiátem a že jsem poctivě uvedl všechny bibliografické prameny (ať už elektronické či literární) z nichž jsem čerpal. Práce byla vypracována samostatně v rámci stáže u firmy Anect a.s. (1), pod vedením Ing. Michala Rapca, kterému tímto děkuji za profesionální odborné vedení, které předcházelo a provázelo proces tvorby tohoto dokumentu. Svým vlastnoručním podpisem stvrzuji pravdivost tohoto prohlášení. X Vladimír Veselý
2 ETHERCHANNEL 2.1 ÚVOD A HISTORIE Jedná se o technologií, která je implementována na trunkových spojích mezi síťovými zařízeními (typicky routery, switche a servery) k dosažení: větší a levnější šířky pásma; redundance v konektivitě zvyšující odolnost vůči poruchám; vyvažování zátěže provozu mezi spoji. Samotná technologie umožňuje spojení až osmi linek do jednoho jediného logického celku, který poskytuje všechny výše jmenované výhody. V současnosti se využívá zejména na páteřních spojích či pro propojení distribuční a jádrové vrsty. Historie vývoje sahá k firmě Kalpana (2), která s touto ideou prvně přišla a podařilo se jí i realizovat. V roce 1994 firmu skoupilo Cisco a získalo tak právo na její technologický patent. 2.2 PODROBNOSTI Jak již bylo řečeno, do Etherchannelu lze zapojit dva až osm ethernetových UTP linek (v nových revizích lze použít i optická vlákna), a to následujících typů: FastEthernet (maximální bandwidth = 800 Mbps); GigabitEthernet (maximální bandwidth = 8 Gbps); 10GigabitEthernet (maximální bandwidth = 80 Gbps). Nevýhodou stále zůstává nutnost, aby konce jednotlivých linek byly zapojeny ve stejných zařízeních. Aby byl Etherchannel v pořádku ustaven, je nutné aby bylo aktivní full-duplex spojení a jednotlivé porty měly stejnou provozní rychlost. Další nespornou výhodou je možnost vyvažování provozu mezi jednotlivými linkami, které tvoří Etherchannel. Toto vyvažování se děje deterministickou cestou za použití vlastního hashovacího XOR mechanizmu, který pro pakety distribuci provádí vždy stejně na základě jejich zdrojové/cílové informace: L2 - MAC adresy; L3 - IP adresy; L4 - čísla portu. Samotný algoritmus hashování není veřejný, ale je možné se přes příkazy IOSu dotázat na jeho výsledek, vložíme-li korektní vstupní data. Deterministický mechanizmus tak umožňuje příchod paketů v pořadí, v jakém byli vyslány, minimalizuje se tak out-of-order delivery a s ním spojené náklady na rekonstrukci provozu.
Posledním benefitem je odolnost Etherchannelu vůči výpadkům linek, které ho tvoří. V podstatě ihned technologie detekuje chybu a odkloní provoz od nefunkční linky, využívaje tak více zbývajících redundantních spojů. Doporučuje se počet spojů tvořících Etherchannel tak, aby byl přirozenou kladnou mocninou čísla 2 (tedy buď 2 nebo 4 a nebo 8), čímž se docílí toho, že vyvažování je rovnoměrné mezi všemi linkami. Ovšem logický spoj lze bezproblémů ustavit i z jiného počtu linek, přičemž následující tabulka určuje rozložení množství zátěže: Počet linek Etherchannelu Vyvažování mezi linkami 8 1 : 1 : 1 : 1 : 1 : 1 : 1 : 1 7 2 : 1 : 1 : 1 : 1 : 1 : 1 6 2 : 2 : 1 : 1 : 1 : 1 5 2 : 2 : 2 : 1 : 1 4 2 : 2 : 2 : 2 3 3 : 3 : 2 2 4 : 4 2.3 AUTOMATICKÁ KONFIGURACE K zformování Etherchannelu mezi dvěma Cisco zařízeními lze využít proprietálního protokolu PAgP, který se postará o veškeré nastavování a kontrolu provozních parametrů (full-duplex a stejná rychlost všech zúčastněných portů). PAgP pakety jsou vysílány pravidelně každých 30 sekund na multicastové MAC adrese 01:00:0C:CC:CC:CC s číslem protokolu 0x0104. Na příchozích portech PAgP ověří lokální konfiguraci a přidá případně odebere příslušné porty a jejich linky z etherchannelového logického spoje. Libovolný port může být v jednom z následujících tří konfiguračních stavů, které rozlišuje PAgP a jímž se pak při ustavování Etherchannelu řídí: Auto PAgP umísťuje port do pasivního stavu, ve kterém odpovídá na PAgP pakety avšak sám nikdy neinicializuje výzvu k zformování; Desirable PAgP umístí port do aktivního stavu, ve kterém se zasíláním PAgP paketů pokouší navázat logický kanál s dalšími rozhraními; On PAgP komunikace je na tomto portu úplně potlačena (pakety jsou ignorovány) a ozhraní násilně ustavuje Etherchannel se svým protějškem. Implicitní nastavení pro každý port je auto, ale byly prokázány bezpečnostní díry (možnost napadení man-in-the-middle), a proto se v současnosti jako zavedená metodologie preferuje nastavení módu na on. Existuje i mód off, tedy že na daném portu se o Etherchannelu ani neuvažuje. Autokonfiguraci lze provádět i protokolem LACP, který je otevřeným standardem IEEE, ale o něm v jedné z pozdějších kapitol.
2.4 PŘÍKAZY IOSU Následující tabulka shrnuje seznam relevantních příkazů k úspěšnému nakonfigurování Ehterchannelu na jednom síťovém zařízení: Příkaz (config)# interface port-channel <číslo> (config-if)#channel-protocol pagp (config-if)# channel-group <číslo> mode [auto desirable on] (config)# port-channel load-balance [src dst src-dst] [mac ip port] Popis Vytvoří logický spoj identifikovaný číslem, které pak používáme při přiřazování jednotlivých fyzických rozhraní do etherchannelového kanálu. Specifikuje na daném portu autokonfigurační protokol. Zapojí dané fyzické rozhraní s logickým spojem a nastaví mód chování vůči autokonfiguračnímu PAgP. Nakonfiguruje vyvažování provozu podle jednoho z výše popsaných kritérií. Etherchannel lze nastavit také jako L3 spoj, a to pomocí příkazů: (conf-if)#no switchport (conf-if)#ip address <IPv4> <maska podsítě> 2.5 HW PREREKVIZITY Etherchannel jakožto Cisco proprietální záležitost je podporován na většině switchových platforem vyráběných touto firmou. Následující tabulka shrnuje nejpodstatnější rozdíly mezi jednotlivými implementacemi, které se liší zejména ve způsobu vyvažování provozu (resp. informací, jenž jsou XOR mechanizmem brány v potaz): Platforma XOR Zdroj Cíl Zdroj - Cíl Vyvažování 6500/6000 L2, L3, L4, MPLS Ano Ano Ano Konfigurovatelné 5500/5000 L2 Ne Ne Ano Fixní 4500/4000 L2, L3, L4 Ano Ano Ano Konfigurovatelné 2900XL/3500XL L2 Ano Ano Ne Konfigurovatelné 3750/3560 L2, L3 Ano Ano Ano Konfigurovatelné 2950/2955/3550 L2 Ano Ano Ne Konfigurovatelné 8500 L3 Ne Ne Ano Fixní Pro platformu Catalyst 5500 je znám dokonce i XOR algoritmus, který využívá posledních dvou bitů MAC adres zdroje i cíle k směrování na stále stejnou linku tvořící Etherchannel.
3 LINK AGGREGATION 3.1 ÚVOD Link aggregation nebo také IEEE 802.3ad (3) standard je otevřenou formalizovanou variantou k proprietálnímu Etherchannelu, která byla uvedena v březnu roku 2000. Implementace této technologie umožňuje v zásadě dosažení těch samých výsledků, jako při použití Etherchannelu s několika málo vylepšeními. 3.2 SHODY A ROZDÍLY Narozdíl od Etherchannelu je odstraněna povinnost, aby společné konce jednotlivých spojů byly připojeny do stejných switchů, a to např. díky revizím SMLT (4), DSMLT (5) a RSMLT (6). Standard jako takový umožňuje sdružovat do logického kanálu linky s rozdílnými rychlostmi, ale příliš se to nedoporučuje, kvůli případným problémům při vyvažování zátěže. Stějně jako v případě Cisco technologie však přetrvává nutnost full-duplexního spojení. 3.3 AUTOMATICKÁ KONFIGURACE Stejně jako v případně proprietální autokonfigurační varianty v podobě PAgP myslí standard 802.3ad i na tuto skutečnost a přichází s vlastním protokolem LACP (link aggregation control protocol). Tento protokol tak umožňuje užívat technologie Etherchannel či Link aggregation i v smíšených topologiích, která mohou obsahovat aktivní síťové prvky i od jiných výrobců než Cisco. Protože je 802.3ad není tak striktní (jednotná rychlost portů a použití jen dvou síťových zařízení), je potřeba, aby byl LACP komplexnější a robustnější. Využívá tedy i dalších parametrů: system priority spolu s MAC adresou zařízení jednoznačně identifikuje zařízení a jeho postavení v rámci logického spojení; port priority identifikuje port, jenž je součástí spoje, a zároveň určuje, jakým způsobem se bude port chovat v případě, že došlo k fyzickému výpadku jedné z linek, které tvoří logický spoj; administrative key určuje schopnost portu se podílet na vytváření logických spojů (v návaznosti na jeho rychlosti, duplexnosti spojení a dalším charakteristikám); Pro Cisco zařízení dále platí, že rozlišuje tři stavy, ve kterých se porty určené k spojení do logického kanálu mohou nacházet. Jsou to: Passive; Active; On.
A význam mají stejný, jak obdobné módy při použití PAgP a stejně tak je implicitní stav passive. Následující tabulka shrnuje platné kombinace, při kterých je linka mezi dvěma porty začleněna do logického svazku ať už při použití PAgP či LACP: PAgP / LACP Auto / Passive Desirable /Active On Auto / Passive Desirable / Active On 3.4 PŘÍKAZY IOSU Následující tabulka předkládá seznam příkazů, ke kompletnímu nakonfigurování Etherchannelu za použití LACP, jakožto vyjednávajícího protokolu: Příkaz (config)# interface port-channel <číslo> (config-if)#lacp max-bundle <1-8> (config)#lacp system-priority <1-65536> (config-if)#lacp port-priority <1-65536> (config-if)#channel-protocol lacp (config-if)# channel-group <číslo> mode [passive active on] Popis Vytvoří logický spoj identifikovaný číslem, které pak používáme při přiřazování jednotlivých fyzických rozhraní do etherchannelového kanálu. Nastaví hranici počtu linek, které se mohou stát součástí logického spojení. Nastaví systémovou prioritu na konkrétní číslo, implicitní hodnota je 32768. Nastaví portovou prioritu na konkrétní číslo, implicitní hodnota je 32768. Specifikuje na daném portu autokonfigurační protokol. Zapojí dané fyzické rozhraní s logickým spojem a nastaví mód chování vůči autokonfiguračnímu LACP.
4 PŘÍKLADY POUŽITÍ 4.1 MARKETINGOVÁ VÁBNIČKA Podívejme se nyní na jednu z hlavních předností, kterou Cisco v souvislosti s touto technologií, a to je inkrementální flexibilní zvýšení šířky pásma, kterého dosáhneme nasazením Etherchannelu, např. na jednom z modelových prodejních topologií. Z výše uvedeného obrázku je patrné, že etherchannelový kanál serverů rozšiřuje šířku pásma např. na 2Gbps (při použití dvou 1Gbps spojení). Čekali bychom tedy, že podle oficiálně prezentovaných materiálů (7) bude spojení rychlejší. Opak je však pravdou, deterministické automatické vyvažování zátěže (ať už pracující na libovolné kombinaci zdrojových/cílových informací) bude vždy směřovat provoz jen na jednu linku. Komunikace mezi těmito dvěma zařízeními, ať už budeme chtít sebevíce, bude probíhat pomocí jednoho 1Gbps spojení. S touto znalostí tedy již víme, že ohledně zvýšení šířky pásma se od firmy Cisco jedná opravdu jen o marketingové lákadlo. Co se však této technologii nedá upřít, je snad nejlevnější a nejefektivnější způsob, jak snadno vybudovat topologii s redundantními spoji. V mnoha aspektech je lepší, než obvyklá konveční řešení: v případě L2 vrstvy se snižuje riziko smyček a s tím spojených nákladů na řešení tohoto problému; v případě L3 vrstvy lze v adresním plánu ušetřit na IP adresách záložních linek;
5 ZÁVĚR Z výše předchozí kapitoly vyplývá, že samotná technologie Etherchannel spíše než navýšení šířky pásma přináší proti poruchám odolný logický spoj v libovolné topologii. Pokud není firemní síť postavena čistě na Cisco zařízeních, je určitě vhodné (i s myšlenkami na budoucí kompatibilitu) používat jako autokonfigurační protokol světově standardizovaný LACP. Nasazení této technologie v přístupové vrstvě (např. na serverech) má s ohledem na koncová zařízení spíše podpůrný charakter, protože v současnosti sebelepší v reále nasazený mainstreamový počítač nemá technologické prostředky k úplnému využití např. 800Mbps teamingu svých síťových karet, které jsou součástí Etherchannelu. 6 BIBLIOGRAFIE 1. ANECT a.s. [Online] 10. 12 2007. www.anect.cz. 2. Kalpana. [Online] 01. 04 2007. http://en.wikipedia.org/wiki/kalpana_%28company%29. 3. 802.3ad Link aggregation task force. [Online] 20. 04 2008. http://www.ieee802.org/3/ad/index.html. 4. Split Multi-link Trunking. [Online] 20. 04 2008. http://en.wikipedia.org/wiki/smlt. 5. Distributed SMLT. [Online] 20. 04 2008. http://en.wikipedia.org/wiki/dsmlt. 6. Routed SMLT. [Online] 20. 04 2008. http://en.wikipedia.org/wiki/rsmlt. 7. Cisco Etherchannel Technology. [Online] 20. 04 2008. http://www.cisco.com/en/us/tech/tk389/tk213/technologies_white_paper09186a008009294 4.shtml. 8. CCNP Curriculum. [Online] 20. 04 2008. http://curriculum.netacad.net/virtuoso/servlet/org.cli.delivery.rendering.servlet.ccservlet/ses sionid=1208677886022683,lmsid=cnams,theme=ccna3theme,style=ccna3,language=en,ver sion=1,rootid=knet-lcms_ccnp3_en_50,engine=static/chapid=null/rloid=null/rioid=n. 9. Configuring L2 and L3 Etherchannel. [Online] 20. 04 2008. http://www.cisco.com/en/us/docs/switches/lan/catalyst6500/ios/12.1e/native/configuratio n/guide/channel.html. 10. Cisco LACP Gigabit Ethernet Guide. [Online] 20. 04 2008. http://www.cisco.com/en/us/docs/ios/12_2sb/feature/guide/gigeth.html. 11. CCNP: Building Scalable Internetworks v5.0. [PDF] strana 136 : Cisco Networking Academy, 2006.