ISPforum 2016 Jezerka NAT++

Transkript

1 ISPforum 2016 Jezerka NAT++

2 1. část Kolik to dá, když to nainstaluju?

3 Překlad síťových adres (NAT) Zajímalo nás jak výkonný je NAT na Linuxu (a nejen na něm) Kolik paketů za sekundu je možné odbavit? Jak se s různou zátěží mění Round Trip Time? Jak jsme to měřili Vytvořili jsme toků Délka rámců: 128 Bytů L4: UDP Postupně jsme zvyšovali zátěž linky až do 10 Gbps Měřili jsme kolik paketů bylo skutečně přeloženo

4 Spirent TestCenter Testovací prostředí pro verifikaci síťových zařízení Výhody Přesné generování toků Analýza příchozích paketů Nevýhody Nedostupná podpora plnohodnotného TCP provozu Provoz je syntetický

5 Round Trip Time Jak dlouho trvá od odeslání paketu získat potvrzení o jeho doručení Stejně pro všechny měřené platformy:

6 Nastavení NATu na operačních systémech Přerušení rozložené na všechna jádra Velikost conntrack tabulky: položek v bucketech (výchozí nastavení v Debianu 8.2) NAT ve FreeBSD nastaven pomocí nástroje PF NAT na RouterOS nastaven prostřednictvím WebFig

7 Intel Xeon (2012) Intel Xeon E jader (12 vláken) 2,00 GHz 15 MB cache 32 GB RAM NIC: Intel X520-DA2 (2x 10Gbps) Linux 3.16 Linux ,4 Mpps 3,7 Mpps

8 Intel i7 (2015) Intel Core i jádra (8 vláken) 3,40 GHz 8 MB cache 16 GB RAM NIC: Intel X520-DA2 (2x 10Gbps) Linux 3.16 Linux 4.3 FreeBSD ,1 Mpps 5,5 Mpps 1,1 Mpps

9 Intel i3 (2015) Intel Core i jádra (4 vlákna) 3,80 GHz 4 MB cache 16 GB RAM NIC: Intel X520-DA2 (2x 10Gbps) Linux 3.16 Linux 4.3 2,8 Mpps 2,9 Mpps

10 Intel Xeon (2010) Intel Xeon E jádra (bez HT) 2,50 GHz 12 MB cache 10 GB RAM NIC: Intel X520-DA2 (2x 10Gbps) Linux 4.3 RouterOS ,4 Mpps 0,6 Mpps

11 AMD Opteron AMD Opteron 6376 (2012) 4 16 jader 16 MB cache 2,30 GHz 64 GB RAM NIC: Intel X520-DA2 (2x 10Gbps) Linux ,8 Mpps

12 ARM Platformy - 1Gbps rozhraní Olimex OLinuXino LIME A20 HardKernel Odroid C1+ ARM Cortex-A7 1 GHz, 512 MB DDR3 RAM Propustnost: 33 Kpps ARM Cortex-A5 1.5 GHz, 1 GB DDR3 RAM Propustnost: 154 Kpps HardKernel Odroid XU4 ARM Cortex-A15 2 GHz ARM Cortex-A7 1.4 GHz 2GB LPDDR RAM Propustnost: N/A

13 Shrnutí měření Linux 3.16 Linux 4.3 FreeBSD RouterOS Intel i7 (2015) 5,1 5,5 1,1 - Intel Xeon (2012) 2,4 3,7 - - Intel i3 (2015) 2,8 2,9 - - AMD Opteron 1, Intel Xeon (2010) - 1,4-0,6

14 2. část Jak to zrychlit?

15 Ladění: CONNTRACK Tabulka pro uchování probíhajících spojení Hashovací tabulka, položky řetězeny lineárně nf_conntrack_max = maximální počet sledovaných toků (256K výchozí) nastavuje se v závislosti na dostupné paměti Velikost paměti v bytech / / (x / 32), x = 32 nebo 64 podle architektury nf_conntrack_buckets = počet bucketů v tabulce (64K výchozí) systém odvozuje podle velikosti conntrack CONNTRACK_MAX / 8 Zachovat co nejmenší poměr mezi parametry (1 bucket se chová jako seznam => pomalé vyhledávání při velkém počtu toků)

16 Ladění: CONNTRACK Nedostatečená kapacita silně ovlivní výkonnost, stejně tak nevhodný poměr hodnot nf_conntrack_max a nf_conntrack_buckets Vliv je více patrný u velkého počtu toků (v měření použito toků) při nižším množství toků je rozdíl řádově menší

17 Ladění: Timeouty Výchozí hodnoty relativně dlouhé TCP spojení ve stavu ESTABLISHED až 5 dní! Kratší hodnoty umožní efektivně čistit tabulky => obslouží více spojení Nastavení v souborech /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_<stav>

18 Ladění: Nový vs. starý kernel Nové verze kernelu pomáhají s výkonností (optimalizace zpracování, ovladačů aj.) Při nasazování prověřit stabilitu

19 Ladění: Přerušení a CPU Každá RX/TX fronta síťové karty dostane vlastní číslo přerušení Ve výchozím nastavení přiděleny všechny na jedno jádro CPU irqbalance -- výchozí nástroj pro rozložení přerušení Rozložení lze nastavit i ručně pro RX: /proc/irq/<číslo irq>/smp_affinity pro TX: /sys/class/net/<rozhraní>/queues/tx-<číslo fronty>/xps_cpus

20 Ladění: Multi-CPU stroje Každý CPU má přiděleny vlastní PCI-E sloty Přenos dat mezi CPU zpomaluje (nutnost synchronizace) Intel HyperThreading - není ideální pro síťové úlohy, může mít negativní vliv na rychlost zpracování

21 DPDK NAT DPDK framework pro vývoj aplikací zpracovávající síťovou komunikaci obchází Linux Kernel (zpracování paketů v userspace)

22 3. část Co s tím dál?

23 Myšlenka IP koncentrátoru Jenom NAT nestačí pro nasazení u ISP Další funkce: centrální správa sítě s jednodušším nastavením (web frontend ala Mikrotik + napojitelnost na existující systémy ISP) Podpora různých adresných schémat (Statické IP adresy, DHCP, PPPoE, ještě něco?) NAT a IP filtr / firewall (SNAT, DNAT, Blokace IP, portu, přesměrováni, ) Traffic shaping VLAN Směrování (OSPF, ) SNMP Radius Postupně akcelerovat potřebné funkce (které jsou pro vás vhodné?)

24 Další motivace pro IP koncentrátor Pružnější správa přístupu koncových zařízení do sítě - odděluje je od správy zbytku sítě. Centralizované řešení, kde se přístup do sítě, ověření a účtování řeší v jednom bodě. Úkolem sítě je "pouze" doručit pakety na koncentrátor. Díky AAA lepší přehled o aktivitě klienta. Směruje administratora mít pořádek v síti. Obsahuje REST API pro ovládání z nadřazených billing systemů (ISP admin, FreeNet IS) Automatizuje činnosti spojené s přídáváním, konfigurováním a monitorováním klientů připojených do sítě.

25 Děkujeme za pozornost...a budeme rádi za náměty pro další vývoj