BGP dampening Pavel Juška, Lukáš Kořistka Abstrakt: Tento dokument pojednává o problematice route flapping v prostředí směrovacího protokolu BGP a způsobu jeho řešení. Konkrétně pak pomocí funkce BGP dampening na směrovačích Cisco. Klíčová slova: BGP dampening, router flap dampening, route flapping, Cisco 1 Úvod...2 2 Teorie...2 2.1 BGP...2 2.2 Route flapping...2 2.3 Problém route flapping v BGP...2 3 BGP dampening v Cisco směrovačích...2 3.1 Popis funkce BGP dampening...2 3.2 Popis příkazu BGP dampening...3 3.3 Popis příkazů souvisejících s BGP dampening...4 4 Schéma zapojení...5 5 Nastavení prvků...5 6 Výsledky...6 6.1 Výchozí stav...6 6.2 Flapping linky 10.0.0.0/30...6 6.3 Opětovné používání linky...8 7 Závěr...9 8 Zdroje...10 květen 2009 1/10
1 Úvod Cílem této práce je nastudování možností BGP dampeningu na směrovačích Cisco a jeho následné ověření v laboratoři počítačových sítí. Zjištění, zda popis této funkce od výrobce odpovídá skutečnosti. Postup a zjištěné výsledky jsou zpracovány dále v tomto dokumentu. 2 Teorie V následujících částech této kapitoly bude probrána základní teorie. Není to ovšem cílem této práce, a tak se jedná pouze o stručný popis. 2.1 BGP BGP je dynamický směrovací protokol používaný pro směrování mezi autonomními systémy. Je základem propojení sítí různých ISP v peeringových uzlech. Směrování mezi autonomními systémy má charakteristické požadavky, které se nevyskytují v interním směrování. Směrovací tabulky obsahují stovky tisíc záznamů, nejdůležitějším kritériem nebývá vzdálenost, ale posuzují se nastavitelné parametry zohledňující například cenu za tranzit a dodatečná pravidla aplikovaná v závislosti na zdroji, cíli, seznamu tranzitních autonomních systémů a dalších atributech. Vzhledem k velkému počtu záznamů se v případě změn v topologii vyměňují pouze informace o změnách, nikoliv celé směrovací tabulky. [1] 2.2 Route flapping V počítačových sítích a telekomunikacích nastává jev route flapping, pokud router střídavě distribuuje cestu do cílových sítí skrze různé linky (nebo indikuje některou z linek jako nedostupnou a následně znovu k dispozici) v rychlé sekvenci za sebou. Route flapping je způsoben patologickými stavy (chyby hardwaru, softwarové chyby, chyby konfigurace, nespolehlivé spojení, atd.) v rámci sítě, které způsobují, že dostupnost linky je opakovaně propagována a odvolávána. V sítích s Link-state směrovacím protokolem donutí route flapping všechny zúčastněné routery k častému přepočtu topologie sítě. V sítích s Distance vector směrovacím protokolem může route flapping taktéž vyvolat přepočet směrování s každou změnou stavu linky. V obou případech dochází k rozkmitání sítě, což má za následky nadměrnou činnost routerů při vytváření nových směrovacích tabulek a další s tím spojené negativní jevy, jež zabraňují konvergenci sítě apod. [2] 2.3 Problém route flapping v BGP Funkce známá jako router flap dampening (RFC 2439) je zabudována do mnoha BGP implementací ve snaze zmírnit následky výše zmiňovaného route flapping jevu. Řešení spočívá v penalizaci nebo-li vyřazení ze směrovacích tabulek na určitý čas dané problematické linky. Čím vícekrát dochází k výpadku propojovací cesty, tím více je tato cesta penalizována a prodlužuje se tak čas jejího opětovného zařazení do směrování. Poté co cesta opět získá svoji stabilitu je tato penalizace naopak snižována až do opětovného zařazení do směrovacích tabulek. Nicméně pozdější výzkumy ukázaly, že router flap dampening může v některých případech prodloužit čas konvergence sítě a může způsobit přerušení spojení, i když nedochází k výpadku linky. Kromě toho, jak páteřní linky tak procesory routerů jsou již natolik rychlé, že někteří síťový architekti naznačili, že funkce router flap damplening nemusí být tak důležitá, protože časté změny ve směrovací tabulce dnešní routery již tolik nezatěžují. Zlepšení stability bez problémů router flap dampening je předmětem současného výzkumu. [3] 3 BGP dampening v Cisco směrovačích Tato kapitola má za cíl popsat možnosti příkazu (funkce) BGP dampening, jež slouží pro eliminaci jevu route flapping na směrovačích Cisco. Dále také některé další příkazy s ním související. 3.1 Popis funkce BGP dampening BGP dampening konfigurujeme na serveru v naší správě a určujeme si cesty, které chceme penalizovat za jejich route flapping. květen 2009 2/10
Router má lokální čítač, pro každou cestu na které je BGP dampening zapnutý. V tomto čítači si udržuje aktuální penalizaci dané cesty. Pokud dojde k výpadku cesty na níž je zapnuta funkce BGP dampening, dostává penalizaci ve výši 1000. Hodnota penalizace se s každým dalším výpadkem zvyšuje až do definované hranice suppress-value, kdy je cesta routerem vyřazena ze směrovací tabulky. Takto penalizované cestě se výše jejího penále sníží na polovinu za čas určený parametrem half-life-time. Snižování penalizace probíhá po hyperbolické křivce. Klesne-li hodnota penalizace pod definovanou hranici reuse-value, je cesta opět zařazena do směrovací tabulky routeru. Dojde-li na cestě k velkému počtu výpadků po sobě, tak hodnota její penalizace může narůst do příliš vysokých hodnot, což má za následek, že návrat zpět do směrovací tabulky bude velmi dlouhý. Což může být nežádoucí. Jako pojistka tu tedy slouží parametr maximum-suppress-time, který určuje maximální dobu, po kterou může být cesta vyřazena ze směrovací tabulky. Průběh penalizace můžeme vidět na obrázku 1. Použijeme-li příkaz BGP dampening bez dodatečných parametrů, tak se jejich hodnota automaticky nastaví na výchozí hodnoty. Pro případ, že potřebujeme BGP dampening vypnout, slouží parametr 'no' umístěný před příkazem. Obrázek 1: Průběh funkce BGP dampening (převzato z knihy [4]) pozn. průběh klesání penalizace je všude stejný 3.2 Popis příkazu BGP dampening Konfigurace BGP dampening se provádí v nastavení BGP procesu a slouží k tomu pouze jeden příkaz. Syntaxe: [no] bgp dampening [route-map map-name] [half-life-time reuse-value suppress-value maximum-suppress-time] map-name nepovinné Název route map, která určuje, kde má být BGP dampening povolen. květen 2009 3/10
half-life-time reuse-value suppress-value Default: vypnuto. nepovinné Určuje čas v minutách, po které je penalizace snížena na polovinu. Platné hodnoty jsou 1 až 45 minut. Default: 15 minut. nepovinné Určuje hranici pod kterou klesne-li hodnota penalizace, tak je linka opět zařazena do směrovací tabulky. Platné hodnoty jsou 1-20000. Default: 750. nepovinné Určuje hranici nad kterou stoupne-li hodnota penalizace, tak je linka vyřazena ze směrovací tabulky. Platné hodnoty jsou 1-20000. Default: 2000. maximum-suppress-time nepovinné Určuje maximální čas v minutách, po který může být linka vyřazena ze směrovací tabulky. Platné hodnoty jsou 1-255. Default: 4 krát hodnota half-life-time. Pokud je nastavený parametr maximum-suppress-time, stanoví se maximální hodnota penalizace podle vztahu MaximumSuppressTime HalfLifeTime MaxSuppressPenalty=ReuseValue ٢ Využití funkce BGP dampening může mít tři varianty použití: globální zapnutí funkce BGP dampening s využitím výchozích hodnot nastavení globální zapnutí funkce BGP dampening s využitím vlastních hodnot nastavení zapnutí funkce BGP damepning na specifické cesty s využitím vlastních hodnot nastavení (s využitím parametrů map-name a nastavení route-map) Ukázkové příklady použití příkazu: globální zapnutí funkce BGP dampening s využitím výchozích hodnot nastavení router(config)# bgp dampening globální zapnutí funkce BGP dampening s využitím vlastních hodnot nastavení (po 15 minutách klesne penalizace na polovinu, při velikosti penalizace 750 se cesta vrátí do směrovací tabulky, při velikosti penalizace 3000 se cesta vyřadí ze směrovací tabulky, po 45 minutách se cesta vrátí do směrovací tabulky i když je penalizace nad hodnotou 3000 a penalizace se vynuluje) router(config)# bgp dampening 15 750 3000 45 zapnutí funkce BGP damepning na specifické linky s využitím vlastních hodnot nastavení (nastavíme si BGP dampening jen pro námi vybrané cesty pomocí route-map. Protože route-map umožňuje použít jen jedno pravidlo match, cesty si nadefinujeme pomocí ip prefix-list, kde si specifikujeme cesty a tyto cesty svážeme s route-map pomocí příkazu match ip address prefix-list FLAP-LIST) router(config)# bgp dampening route-map FLAP router(config)#route-map FLAP permit 10 router(config-route-map)#match ip address prefix-list FLAP-LIST router(config-route-map)#set dampening 10 1000 2000 30 router(config)#ip prefix-list FLAP-LIST permit 192.0.2.0/24 le 32 vypnutí funkce bgp dampening router(config)# no bgp dampening 3.3 Popis příkazů souvisejících s BGP dampening show ip bgp dampening parameters: zobrazení aktuálně nastavených parametrů funkce BGP dampening květen 2009 4/10
show ip bgp flap-statistics: zobrazení statistik o výpadcích cest (lze omezit regexp nebo filter-list nebo IP adresou a maskou) clear ip bgp flap-statistics: smazání statistik o výpadcích cest (lze omezit regexp nebo filter-list nebo IP adresou a maskou) show ip bgp dampened-paths: zobrazení penalizovaných cest s časem zbývajícím do jejich opětovaného zařazení do směrovacích tabulek clear ip bgp dampening: smazání záznamů o výpadcích cest a jejich penalizacích 4 Schéma zapojení Obrázek 2: Schéma zapojení linka 10.0.0.0/30 bude vykazovat jev route flaping RC router na kterém budeme konfigurován BGP dampening a budeme sledovat chování 5 Nastavení prvků Nejprve na směrovači RB spustíme BGP proces, přiřadíme souseda a přidáme připojenou síť. router bgp 100 neighbor 10.0.0.6 remote-as 200 network 10.0.0.0 mask 255.255.255.252 Na směrovači RC také spustíme BGP proces a přidáme souseda. router bgp 200 neighbor 10.0.0.5 remote-as 100 Nyní spustíme na směrovači RC globální BGP dampening. To znamená, že směrovač bude sledovat, které cesty v BGP protokolu často mění svůj stav (valid/novalid) a bude je penalizovat za toto chování. Námi zvolená konfigurace znamená, že po 15 minutách klesne celková penalizace cesty na polovinu, při penalizaci 1000 bude cesta opět přidána do směrovací tabulky, při penalizaci 1500 bude cesta ze směrovací tabulky vyřazena a za 45min bude cesta opět přidána do směrovací tabulky i když by celková penalizace neklesla pod 1500. RC(config-router)# bgp dampening 15 1000 1500 45 Námi nastavené parametry si zkontrolujeme. RC#show ip bgp dampening parameters dampening 15 1000 1500 45 Half-life time : 15 mins Decay Time : 2170 secs Max suppress penalty: 8000 Max suppress time: 45 mins květen 2009 5/10
Suppress penalty : 1500 Reuse penalty : 1000 Vidíme námi zvolené hodnoty a taky maximální velikost penalizace, která se spočítala podle výše zmíněného vztahu ( 6 Výsledky max suppress penalty=١٠٠٠ ٢ ١٥ =٨٠٠٠ ) ٤٥ Budeme sledovat směrovací a BGP tabulku na směrovače RC při simulovaném flapping linky 10.0.0.0/30. 6.1 Výchozí stav V BGP tabulce jsou všechny sítě, ve směrovací tabulce jsou taky všechny sítě a ping do sítě 10.0.0.0/30 v jiném AS také funguje. RC#show ip bgp (výpis BGP tabulky) BGP table version is 5, local router ID is 40.0.0.1 Status codes: s suppressed, d damped, h history, * valid, > best, i - internal, r RIB-failure, S Stale Origin codes: i - IGP, e - EGP,? - incomplete Network Next Hop Metric LocPrf Weight Path *> 10.0.0.0/30 10.0.0.5 0 0 100? *> 10.0.0.4/30 0.0.0.0 0 32768? RC#show ip route (výpis směrovací tabulky) Codes: C - connected, S - static, R - RIP, M - mobile, B - BGP D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2 E1 - OSPF external type 1, E2 - OSPF external type 2 i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2 ia - IS-IS inter area, * - candidate default, U - per-user static route o - ODR, P - periodic downloaded static route Gateway of last resort is not set 10.0.0.0/30 is subnetted, 1 subnets B 10.0.0.0 [20/0] via 10.0.0.5 10.0.0.4/30 is subnetted, 1 subnets C 10.0.0.4 is directly connected, FastEthernet0/0 RC#ping 10.0.0.1 (ověření cesty pomocí pingu) Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 10.0.0.1, timeout is 2 seconds:!!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/4 ms 6.2 Flapping linky 10.0.0.0/30 Po odpojení linky 10.0.0.0/30 dostal router RC informaci od BGP, že cesta už neexistuje a cestu si ze své směrovací tabulky vyřadil a v BGP tabulce ji označil jako history. RC#show ip route (výpis směrovací tabulky) Codes: C - connected, S - static, R - RIP, M - mobile, B - BGP D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area květen 2009 6/10
N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2 E1 - OSPF external type 1, E2 - OSPF external type 2 i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2 ia - IS-IS inter area, * - candidate default, U - per-user static route o - ODR, P - periodic downloaded static route Gateway of last resort is not set C 10.0.0.4/30 is subnetted, 1 subnets 10.0.0.4 is directly connected, FastEthernet0/0 RC#show ip bgp (výpis BGP tabulky) BGP table version is 5, local router ID is 40.0.0.1 Status codes: s suppressed, d damped, h history, * valid, > best, i - internal, r RIB-failure, S Stale Origin codes: i - IGP, e - EGP,? - incomplete Network Next Hop Metric LocPrf Weight Path h 10.0.0.0/30 10.0.0.5 0 0 100? *> 10.0.0.4/30 0.0.0.0 0 32768? Ve flap statistikách lze vidět jaké linky flapovaly a kolikrát (Flaps), v jakém jsou nyní stavu a čas za jak dlouho se vrátí cesta do směrovací tabulky, pokud zní byla kvůli flapingu vyřazena (Reuse). Vidíme tedy, že cesta 10.0.0.0/30 je nyní neaktivní (označená jako history) a jednou nám zaflapovala. RC#show ip bgp dampening flap-statistics (výpis statistiky flapování cest) BGP table version is 17, local router ID is 40.0.0.1 Status codes: s suppressed, d damped, h history, * valid, > best, i - internal, r RIB-failure, S Stale Origin codes: i - IGP, e - EGP,? - incomplete Network From Flaps Duration Reuse Path h 10.0.0.0/30 10.0.0.5 1 00:00:06 100 Opětovné zapojení linky se na směrovači RC projevilo. Cestu si vrátil do směrovací a BGP tabulky a taky tuto linku penalizoval. Pomocí příkazu show ip bgp 10.0.0.0 je možno vidět detailní popis cesty. Hlavně lze vidět nasbíranou penalizaci a kolikrát linka flappovala. RC#show ip bgp 10.0.0.0 (výpis cesty 10.0.0.0 z BGP tabulky) BGP routing table entry for 10.0.0.0/30, version 18 Paths: (1 available, best #1, table Default-IP-Routing-Table) Flag: 0x820 100 Origin incomplete, metric 0, localpref 100, valid, external, best Dampinfo: penalty 949, flapped 1 times in 00:01:16 Po opakovaném odpojení linky si nasbírala penalizaci tak velkou, že překročila hodnotu suppressvalue (1500) a byla v BGP tabulce označena jako damped a nebyla zařazená do směrovací tabulky, i když byla fyzicky funkční (ve výpisu označená * jako valid). RC#show ip bgp (výpis BGP tabulky) BGP table version is 5, local router ID is 40.0.0.1 Status codes: s suppressed, d damped, h history, * valid, > best, i - internal, květen 2009 7/10
r RIB-failure, S Stale Origin codes: i - IGP, e - EGP,? - incomplete Network Next Hop Metric LocPrf Weight Path *d 10.0.0.0/30 10.0.0.5 0 0 100? *> 10.0.0.4/30 0.0.0.0 0 32768? RC#show ip bgp 10.0.0.0 (výpis cesty 10.0.0.0 z BGP tabulky) BGP routing table entry for 10.0.0.0/30, version 21 Paths: (1 available, no best path) Flag: 0x820 100, (suppressed due to dampening) Origin incomplete, metric 0, localpref 100, valid, external Dampinfo: penalty 1815, flapped 2 times in 00:03:17, reuse in 00:12:54 RC#show ip route (výpis směrovací tabulky) Codes: C - connected, S - static, R - RIP, M - mobile, B - BGP D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2 E1 - OSPF external type 1, E2 - OSPF external type 2 i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2 ia - IS-IS inter area, * - candidate default, U - per-user static route o - ODR, P - periodic downloaded static route Gateway of last resort is not set C 10.0.0.4/30 is subnetted, 1 subnets 10.0.0.4 is directly connected, FastEthernet0/0 6.3 Opětovné používání linky Penalizace linky je postupně snižována (rychlost snižování závisí na nastavené hodnotě half-life-time). Ve výpisu jde vidět i čas, za který bude linka obnovena, pokud nebude opět flappovat (k aktuální penalizaci by se přičetlo 1000). RC#show ip bgp 10.0.0.0 (výpis cesty 10.0.0.0 z BGP tabulky po 2 minutách od posledního flapu) BGP routing table entry for 10.0.0.0/30, version 21 Paths: (1 available, no best path) Flag: 0x820 100, (suppressed due to dampening) Origin incomplete, metric 0, localpref 100, valid, external Dampinfo: penalty 1614, flapped 2 times in 00:05:57, reuse in 00:10:20 RC#show ip bgp 10.0.0.0 (výpis cesty 10.0.0.0 z BGP tabulky po 8 minutách od posledního flapu) BGP routing table entry for 10.0.0.0/30, version 21 Paths: (1 available, no best path) 100, (suppressed due to dampening) Origin incomplete, metric 0, localpref 100, valid, external Dampinfo: penalty 1254, flapped 2 times in 00:11:44, reuse in 00:04:50 květen 2009 8/10
RC#show ip bgp 10.0.0.0 (výpis cesty 10.0.0.0 z BGP tabulky po 13 minutách od posledního flapu) BGP routing table entry for 10.0.0.0/30, version 21 Paths: (1 available, no best path) 100, (suppressed due to dampening) Origin incomplete, metric 0, localpref 100, valid, external Dampinfo: penalty 1031, flapped 2 times in 00:16:03, reuse in 00:00:40 Když klesla hodnota penalizace pod reuse-value (1000) je linka opět zařazena do směrovací tabulky a je možné ji používat. RC#show ip bgp 10.0.0.0 (výpis cesty 10.0.0.0 z BGP tabulky) BGP routing table entry for 10.0.0.0/30, version 23 Paths: (1 available, best #1, table Default-IP-Routing-Table) Flag: 0x820 100 Origin incomplete, metric 0, localpref 100, valid, external, best Dampinfo: penalty 991, flapped 2 times in 00:16:58 RC#show ip route (výpis směrovací tabulky) Codes: C - connected, S - static, R - RIP, M - mobile, B - BGP D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2 E1 - OSPF external type 1, E2 - OSPF external type 2 i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2 ia - IS-IS inter area, * - candidate default, U - per-user static route o - ODR, P - periodic downloaded static route Gateway of last resort is not set 10.0.0.0/30 is subnetted, 1 subnets B 10.0.0.0 [20/0] via 10.0.0.5 10.0.0.4/30 is subnetted, 1 subnets C 10.0.0.4 is directly connected, FastEthernet0/0 7 Závěr Největší problém, který nastal při řešení projektu byla konfigurace BGP dampeningu. I když neobsahuje mnoho parametrů a na stránkách společnosti Cisco je dobře dokumentovaná, její spuštění nám zabralo dost času. Při některých námi zvolených parametrech příkazu bgp dampening (bgp dampening 10 750 2000 45, bgp dampening 15 750 2000 45) nám příkaz RC#show ip bgp dampening flap-statistics zobrazoval % dampening reconfiguration in progress for IPv4 Unicast a bgp dampening se neaktivoval. Dokumentace Cisco ani Google nic neporadili. Toto jsme vyřešili až použitím ukázkového nastavení získaného ze stránek společnosti Cisco a změnou parametru half-life-time, ať nemusíme dlouho čekat na obnovení cesty ve směrovací tabulce. Po úspěšném zprovoznění, možnosti BGP dampeningu deklarované výrobcem již fungovaly bez problému a dle dokumentace. Drobným nedostatkem byla také pomalá reakce na odpojení linky (15-20 sekund), ale to je způsobeno implicitním nastavením časovačů BGP. květen 2009 9/10
8 Zdroje [1] WIKIPEDIE. Border Gateway Protocol. Wikipedie [online]. 14. 3. 2009. Dostupné na: <http://cs.wikipedia.org/wiki/bgp>. [2] WIKIPEDIE. Route flapping. Wikipedie [online]. 4. 4. 2009. Dostupné na: <http://en.wikipedia.org/wiki/route_flapping>. [3] WIKIPEDIE. BGP problems and mitigation. Wikipedie [online]. 28. 4. 2009. Dostupné na: <http://en.wikipedia.org/wiki/border_gateway_protocol#bgp_problems_and_mitigation>. [4] BARRY RAVEENDRAN GREENE, PHILIP SMITH. Cisco ISP Essentials. Cisco Press. 2002 Dostupné na: <http://books.google.cz/books?id=-icqbmfg4_uc&printsec=frontcover>. 28. 4. 2009 květen 2009 10/10