L2 Technologie v DC NX-OS Innovations...aneb sítě v sítích Martin Divis, Consulting Systems Engineer
Trendy v DC sítích a co s tím Škálovatelnost vs. topologie - Vyhovuje stále Spanning Tree dnešním potřebám? - Jak vyuţíváme fyzickou infrastrukturu? - Nejsou přeţité hierarchické topologie? Fabric Path vpc Virtualizace vs. škálovatelnost Konzistence politik pro fyzické a virtuální síťové prostředí Máme dost VLAN? Topologie vs. virtualizace Disaster Recovery, active-active datová centra VMotion mezi datovými centry VN-Link Fabric Path VXLAN OTV LISP 3
Cisco FabricPath...aneb Kdyţ Spanning Tree nestačí
Architekturní flexibilita NX-OS Spanning-Tree vpc FabricPath Active Paths Single Dual 16 Way POD Bandwidth Up to 10 Tbps Up to 20 Tbps Up to 160 Tbps Layer 2 Scalability Infrastructure Virtualization and Capacity 5
Cisco FabricPath Škálování a zjednodušení Layer 2 Ethernet sítí Up to 16 Agg switches 160+ Tbps switching capacity Up to 32 access switches Traditional Spanning Tree Based Network -Blocked Links Cisco FabricPath Network -All Links Active Eliminuje omezení Spanning Tree Multi-pathing přes všechny linky Vysoká odolnost, rychlá konvergence Nemusíme dělat VLAN scoping 6
Ethernet FabricPath Rozhraní Konfigurace říká, zda dané rozhraní participuje na FP nebo ne FabricPath Port Rozhraní vůči dalšímu FabricPath P. Provoz zapouzdřen ve FabricPath záhlaví Bez Spanning-Tree!!! Bez MAC Learning Topologie postavená pomocí L2 ISIS Adjacency Forwarding pomocí Switch Table L2 Fabric Classic Ethernet (CE) Port Rozhraní vůči tradičním NICs síťovým zařízením Provoz zapouzdřen v 802.3 Ethernet rámcích Pouţívá STP Směrování pomocí MAC Table STP Domain FabricPath Port CE Port 7
Data Plane Operation Hierarchické adresní schéma FabricPath header je přidán na ingress switchi Pro směrování jsou pouţívány adresy ingress a egress switchů L2 Fabric uvnitř nepouţívá vůbez MAC adresy FabricPath Header S42 S11 C A S11 S42 FabricPath Routing DATA S11 STP FabricPath Domain S42 Ingress Switch A C Egress Switch C A DATA A C L2 Bridging STP Domain 1 STP Domain 2 A C A C 8
Control Plane Operation Plug-N-Play L2 IS-IS spravuje forwardovací topologii Automatická adresace switchů v FP, ţádná konfigurace Shortest path algoritmus equal-cost multipathing mezi libovolnými FP switchi S1 S2 S3 S4 FabricPath Routing Table Switch S1 S2 S3 S4 S12 S42 IF L1 L2 L3 L4 L1, L2, L3, L4 L1, L2, L3, L4 L1 L2 L3 S11 L4 S12 S42 L2 Fabric 10
show mac address-table dynamic S100# sh mac address-table dynamic Legend: * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC age - seconds since last seen,+ - primary entry using vpc Peer-Link VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID ---------+-----------------+--------+---------+------+----+------------------ * 10 0000.0000.0001 dynamic 0 F F Eth1/15 * 10 0000.0000.0002 dynamic 0 F F Eth1/15 * 10 0000.0000.0003 dynamic 0 F F Eth1/15 * 10 0000.0000.0004 dynamic 0 F F Eth1/15 * 10 0000.0000.0005 dynamic 0 F F Eth1/15 * 10 0000.0000.0006 dynamic 0 F F Eth1/15 * 10 0000.0000.0007 dynamic 0 F F Eth1/15 * 10 0000.0000.0008 dynamic 0 F F Eth1/15 * 10 0000.0000.0009 dynamic 0 F F Eth1/15 * 10 0000.0000.000a dynamic 0 F F Eth1/15 10 0000.0000.000b dynamic 0 F F 200.0.30 10 0000.0000.000c dynamic 0 F F 200.0.30 10 0000.0000.000d dynamic 0 F F 200.0.30 10 0000.0000.000e dynamic 0 F F 200.0.30 10 0000.0000.000f dynamic 0 F F 200.0.30 10 0000.0000.0010 dynamic 0 F F 200.0.30 10 0000.0000.0011 dynamic 0 F F 200.0.30 10 0000.0000.0012 dynamic 0 F F 200.0.30 10 0000.0000.0013 dynamic 0 F F 200.0.30 10 0000.0000.0014 dynamic 0 F F 200.0.30 S100# S100 S10 S20 S30 S40 po1 po2 po3 po4 FabricPath S200 11 A B
Conversational MAC Learning Optimalizace zdrojů učí se pouze potřebné MAC adresy 250 MACs 500 MACs 250 MACs 500 MACs MAC IF L2 Fabric MAC IF B 2/1 STP Domain S11 MAC IF B 500 MACs 250 MACs 500 MACs 250 MACs A C C 3/1 A S11 Všechny MACs na všech switchích Problémy se škálovatelností ve velkých L2 sítích Local MAC: Source-MAC Learning pouze z provozu na CE portech Remote MAC: Source-MAC Learning pro provoz přijatý přes FP porty 12
L2 Multi-destination s FabricPath Unknown Unicast, Broadcast a Multicast Multidestination Tree několik pro danou topologii Všechny switche mají stejnou topologii těchto Trees Multicast traffic rozkládána mezi tyto Trees Root for Tree #1 Root for Tree #2 Root for Tree #3 Root for Tree #4 Ingress switch rozoduje, který Tree se použije a zapíše do headeru L2 Fabric A 13 C
FabricPath Forwarding: Broadcast Tree # IF 1 L1, L5, L9 Root for Tree #1 S1 S2 S3 S4 L1 L5 L2 L3 L4 L6 L7 Tree # IF 1 L1, L2, L3, L4 MAC IF A 1/1 Encap L8 L10 L11 L12 S11 S12 L2 Fabric S42 MAC IF 1/1 3/1 Decap Decap L9 No Learning on Remote MAC since Destination MAC is unknown MAC IF A B C FabricPath Port CE Port 14
FabricPath Forwarding: Unknown Unicast Tree # IF 1 L1, L5, L9 Root for Tree #1 S1 S2 S3 S4 L1 L5 L2 L3 L4 L6 L7 L8 L10 L11 L12 Tree # IF 1 L1, L2, L3, L4 MAC IF HIT! A 1/1 C S42 L2 Fabric S11 S12 L9 S42 Decap MAC IF MISS 1/1 3/1 Encap Decap Tree # IF 1 L9 MAC IF C 3/1 A B C FabricPath Port CE Port 15
Ohraničení Spanning Tree FabricPath (L2 IS-IS) L2 Fabric Classical Ethernet (STP) STP Domain 1 STP Domain 2 FabricPath Port CE Port L2MP Core vypadá jako jeden bridge pro všecha připojená CE zařízení STP BPDUs jsou zpracována a terminována na CE portech Smyčky mimo L2 Fabric jsou blokovány v jednotlivých STP doménách L2 Fabric by měl být root pro všechny STP domény. 17
Konfigurace FabricPath Ţádná konfigurace L2 IS-IS Jednoduché pouţití pouze 3 CLI příkazy jsou třeba ke spuštění FabricPath N7K(config)# feature-set fabricpath N7K(config)# fabricpath switch-id <#> N7K(config)# interface ethernet 1/1 N7K(config-if)# switchport mode fabricpath L2 Fabric FabricPath Port CE Port 18
Shrnutí FabricPath je jednoduchý a zachovává výhody L2 Transparentní vůči L3 protokolům Ţádná adresace, jednoduchá konfigurace a nasazení FabricPath je škálovatelný Můţe rozšířit L2 doménu bez rizik dosud s tímto krokem spojených (frame routing, TTL, RPFC) FabricPath je efektivní Plné vyuţití dostupného pásma (ECMP) Optimální cesta mezi uzly 19
DOTAZNÍK 1 20
Overlay Transport Virtualization...aneb propojení DC na L2
Typické scénáře pro L2 mezi DC Geografické clustery Migrace Mobilita VM Rozšíření kapacity DC IP adresy napevno v aplikacích 22
OTV Data Plane: Jak funguje Layer 2 Lookup MAC TABLE VLAN MAC IF 100 MAC 1 Eth 2 Transport Infrastructure OTV OTV OTV OTV 100 MAC 2 Eth 1 100 MAC 2 IP A MAC 1 MAC 3 IP A IP B 100 MAC 3 IP B MAC 1 MAC 3 IP A IP B 100 MAC 3 Eth 3 100 MAC 4 IP B IP A 2 1 Encap 3 Decap 4 IP B MAC TABLE VLAN MAC IF 100 MAC 1 IP A 100 MAC 4 Eth 4 5 Layer 2 Lookup MAC 1 MAC 3 MAC 1 West Site East Site MAC 1 MAC 3 MAC 3 6 23
OTV Control Plane Neighbor Discovery and Adjacency Formation OTV Edge Devices nejprve musí navázat vzájemnou asociaci Asociace můţe být navázána pomocí: a multicast-enabled transportní infrastruktury an unicast-only transportní infrastruktury 24
Asociace zařízení Multicast Control Plane OTV Adjacencies Established over the mcast group in the core Control Plane OTV OTV IP B IP A West IGMP Join Core IGMP Join East IGMP Join OTV IP C Control Plane South 25
Asociace zařízení Unicast 1. Jedno z OTV Edge Devices (ED) je nakonfigurováno jako Adjacency Server (AS)*. 2. Všechna ED se registrují k AS svým site-id a IP adresou. 3. AS sestaví seznam zařízení a jejich parametrů: overlay Neighbor List (onl). Site 2 Site 3 4. AS zašle unicastem onl všem zařízením. OTV 5. Kaţdé zařízení potvrdí příjem onl Site 1, IP A Site 2, IP B Site 3, IP C Site 4, IP D Site 5, IP E Site 1 OTV IP A Adjacency Server Mode OTV OTV IP B IP D IP C Unicast-Only Transport OTV IP E * Můţe být i redundantní pár Site 4 Site 5 26
OTV Control Plane: Učení se MAC adresám Pokud se Edge device naučí novou MAC adresu, pošle tuto informaci i ostatním zařízením participujícím na OTV Jedna informační zpráva můţe onsahovat několik MAC adres Multicast pouţívá jednu zprávu pro vyrozumění všech zařízení VLAN MAC IF 4 3 New MACs are learned on VLAN 100 Vlan 100 MAC A 1 OTV update is replicated by the core 3 100 MAC A IP A OTV 100 MAC B IP A 100 MAC C IP A Vlan 100 Vlan 100 MAC B MAC C OTV 2 East West IP A 3 VLAN MAC IF 100 MAC A IP A 100 MAC B IP A OTV 100 MAC C IP A 4 South 28
Spanning Tree a OTV Nezávislost lokalit OTV nemá vliv na topologii STP v lokalitě Kaţdá lokalita je vlastní STP doménou Toto je vlastností OTV a nevyţaduje zpláštní konfiguraci The BPDUs stop here OTV OTV The BPDUs stop here L3 L2 29
Konfigurace OTV s multicastem Single PIM-SM/bidir group used for OTV control plane communication (hellos, routing updates) interface Overlay0 otv control-group 239.1.1.1 otv data-group 232.192.1.0/24 interface Ethernet x/y [ description OTV Join Interface] ip igmp version 3 SSM group range used to carry multicast data plane traffic between sites IGMPv3 used to join the SSM groups in the transport. The OTV ED joins these groups as a simple host 31
Shrnutí OTV je vhodné pro propojení dvou a více DC na L2 přes L3 infrastrukturu Multihoming v jednotlivývh DC Transparentní pro koncové stanice Efektivní řešení Spanning Tree problematiky Jednoduchá konfigurace a správa Podpora mobility koncových stanic 32
LISP...aneb kdyţ nám servery cestují
Stejný subnet na více lokalitách? Směrování provozu do a z lokality Optimální cesta do lokality Default gateway kde a proč? Sluţby sítě (loadbalancing, firewalling,...) kde a proč? S a BEZ L2 propojení 34
Location Identity Separation Protocol What Do We Mean by Location and Identity? x.y.z.1 Device IPv4 or IPv6 address represents identity and location Internet Dnešní IP adresy představují jak ID, tak informaci o lokalitě w.z.y.9 When the device moves, it gets a new IPv4 or IPv6 address for its new identity and location x.y.z.1 Device IPv4 or IPv6 address represents identity only. a.b.c.1 Internet e.f.g.7 LISP odděluje funkci ID od lokality x.y.z.1 When the device moves, keeps its IPv4 or IPv6 address. It has the same identity Its location is here! Only the location changes 35
LISP cesta packetu How Does LISP Operate? 1 DNS entry: D.abc.com A 10.1.0.1 10.3.0.1 -> 10.1.0.1 4 LISP site 172.16.10.1 -> 172.16.1.1 2 10.3.0.1 -> 10.1.0.1 10.3.0.0/24 S 3 Mapping Entry ITR 172.16.10.1 172.16.1.1 172.16.2.1 EID-prefix: 10.1.0.0/24 Locator-set: 172.16.1.1, priority: 1, weight: 50 (D1) Non-LISP site Non-LISP site 172.16.2.1, priority: 1, weight: 50 (D2) IP Network 1.1.1.1 PiTR 4.4.4.4 3.3.3.3 EID-to-RLOC mapping 172.16.3.1 172.16.4.1 2.2.2.2 Politiku určuje cílová lokalita 5 10.3.0.1 -> 10.1.0.1 ETR West-DC D 10.1.0.0/24 10.2.0.0/24 East-DC 37
Použití LISP Consolidated Architecture with Multiple Applications Efficient Multi-Homing LISP Site LISP routers Internet IPv6 Transition Support v6 services LISP router v6 IPv4 Internet v4 v6 LISP router v6 IPv6 Internet IP Portability Ingress Traffic Engineering without BGP Multi-tenancy and VPNs LISP site v6-over-v4, v6-over-v6 v4-over-v6, v4-over-v4 Mobility LISP site IP Network IP Network West-DC East-DC West-DC East-DC Reduced CapEx/OpEx Large scale Segmentation Cloud / Layer 3 workload moves Segmentation 39
Mobilita virtuálních počítačů Connecting Virtualized Data Centers Multi-tenancy/segmentation: Segment-IDs in LISP, FabricPath and OTV IP Mobility: LISP OTV OTV OTV L2 Domain Elasticity: vpc, FabricPath/TRILL OTV LAN extensions OTV VN-link notifications Device Virtualization: VDCs, VRF enhancements MPLS VPN Umístění výpočetních zdrojů je uţivateli transparentní VM-awareness: VN-link Port Profiles 40 OTV
Mobilita s LISP - scénáře S LAN Extension Bez LAN Extension Non-LISP Site LISP Site xtr LISP Site xtr LAN Extension IP Network Mapping DB Mapping DB Internet or Shared WAN DR Location or Cloud Provider DC LISP-VM (xtr) LISP-VM (xtr) West-DC East-DC West-DC East-DC Směrování pro Extended Subnets Active-Active Data Centers Distribuované clustery Aplikační servery jedné aplikace mohou být distribuovány IP mobilita mezi subnety Disaster Recovery Cloud Bursting Aplikační servery jedné aplikace musí být ve stejné lokalitě 41
Shrnutí LISP je v DC vhodný pro mobilitu virtuálních stanic long distance VMotion disaster recovery (se Site Recovery Managerem i bez) transparentní pro koncové stanice Mimo DC umoţňuje Internet multihoming IPv6 over IPv4 tunelling (a jiné kombinace) 43
DOTAZNÍK 2 44
VXLAN...aneb VLANy v SW
Virtuální počítače a sítě Virtualizace dovoluje velkou koncentraci počítačů Počet VLAN je omezený (teoreticky 4096) Multitenant prostředí vyţaduje důkladnou separaci Některé modely nasazení virtualizace mají extrémní nároky na počet VLAN POD design s L3 oddělením a vzdálená datová centra vs. flexibilita 46
Organization 1 Organization m Nadstavba nad vsphere Vytváří virtuální datová centra (VDCs) pro kaţdého zákazníka Poskytuje samoobsluţný portál User Portals Users Virtual Datacenter 1 (Gold) VMware vcloud Director Catalogs VMware vshield Security Virtual Datacenter n (Silver) VMware vcenter Server VMware vsphere VMware vcenter Server VMware vsphere VMware vcenter Server VMware vsphere vcloud API Secure Private Cloud Public Clouds IT Programmatic Control and Integrations 47
Sítě mohou být: Isolated bez externí konektivity Organization A Fenced konektivita přes gateway Directly Connected stejná L2 síť VDC 1 vapp 1 vapp 2 VDC 2 vapp 1 3 úrovně sítě vapp: Isolated nebo Fenced (VXLAN nebo VLAN backed) vapp1-i (isolated) VApp1-F (fenced) Gwy vapp2-f (fenced) Gwy vapp1-i (isolated) VApp1-F (fenced) Gwy Org: Isolated, Fenced nebo Directly Connected (VXLAN nebo VLAN backed) External: Více organizací (VLAN backed) Org-Net1 (isolated) Org-Net2 (fenced) Gwy External-Net 1 (VLAN) 48
vcd nabízí katalog vapps Při pouţití vapps template, vapp můţe zachovat MAC a IP adresaci Duplicitní MACs v různých different vapps vyţadují izolaci na L2 Duplicitní IP adresy vyţadují izolaci na L2/L3 (NAT na externí IP adresy) Uţití vapps znamená explozi v počtu izolovaných L2 segmentů vapp vapp DB Net DB VM vapp App Net App VM vapp Web Net Web VM Org Network Edge Gateway 49
Edge Gateway moţnosti: VLAN vshield Edge Virtual ASA VPN nebo NAT u edge gateway vapp VXLAN 1 VXLAN 2 VXLAN 3 Mnoho segmentů nepotřebuje L3 funkcionalitu DB VM App VM Web VM Edge Gateway Default gateway interface NAT 50
Ethernet over IP overlay network Celý L2 frame zapouzdřen do UDP 50 bytes overhead Obsahuje 24 bit VXLAN Identifier 16 M logických sítí VXLAN můţe překračovat hranice Layer 3 Tunel mezi VEMs VMs nevidí VXLAN ID IP multicast je pouţit pro L2 broadcast/multicast, unknown unicast Technologie nabídnuta IETF ke standardizaci With VMware, Citrix, Red Hat, Broadcom, Arista, and Others Outer MAC DA Outer MAC SA Outer 802.1Q Outer IP DA Outer IP SA Outer UDP VXLAN ID (24 bits) Inner MAC DA Inner MAC SA Optional Inner 802.1Q Original Ethernet Payload CRC VXLAN Encapsulation Original Ethernet Frame 51
VXLAN port vypadá jako port virtuálního switche a VXLAN je prezentována jako Port Group Forwardování podobné Layer 2 bridge: Flood & Learn VM VM VM VM VEM learns VM s Source (MAC, Host VXLAN IP) tuple Broadcast, Multicast, and Unknown Unicast Traffic VM broadcast & unknown unicast traffic are sent as multicast VEM 1 VEM 2 Nexus 1000V Unicast Traffic Unicast zapouzdřen a poslán přímo unicastem na cílový hypervisor podle VXLAN IP (Destination VEM) 52
Logical Nework Spanning Across Layer 3 VM VM VM VM VM VM VM Utilize All Links in Port Channel w/ UDP Škálování přidáváním PODů 54
Shrnutí VXLAN je technologie vhodná pro masivní vyuţití oddělených VLAN s málo uzly prostředí virtuálních počítačů multitenant prostředí poskytovatelů IaaS cloud řešení L3 rozhraní dnes pouze na SW zařízeních Vyţaduje specifické vlastnosti SW switche v hypervisoru 55