První nezávislý test 3-streamových 802.11n AP říjen, 2012
Začínáme na konci (klíčová zjištění) 1. Nezávislý test prováděný univerzitou v Syracuse (žádný z výrobců neplatil za testování) 2. Výrobci spolupracovali s univerzitou na přípravě testu, ale nemohli nijak ovlivnit vlastní testování 3. Byly zjištěny velké rozdíly mezi tvrzením výrobců a skutečnými vlastnostmi 3-streamových 802.11n AP 4. S rostoucí vzdáleností a rušením výkonnost AP prudce klesá 5. nejlepších výsledků dosáhl Ruckus, byť nevyhrál úplně všechny testy 2
Přehled testování o Cíl: určit skutečnou výkonnost 3-streamových AP Aerohive 330 Aruba 135 Cisco 3602i Meraki 24 Ruckus 7982 o Prováděné testy: 1. jedno AP, jeden klient 2. jedno AP, více klientů 3. více AP, více klientů 3
Celkové výsledky dle výrobců 2% 6% 12% 14% 66% procento vyhraných testů (z celkového počtu 87) 4
Celkové výsledky dle výrobců 3% 17% 83% 32% 58% více klientů (12 testů) 0% více AP (30 testů) 3% 5
Metodologie testování o testování v prostředí, které se co nejvíc podobá reálnému nasazení u zákazníků o většina současných nasazení se dělá na kapacitu, nikoli na pokrytí o výsledky pro scénář 1 klient na jedno AP negarantují úspěšné nasazení pro více současných klientů o tvrzení výrobců skutečná propustnost Cíl o ukázat skutečnou, smysluplnou, dosažitelnou výkonnost 6
Podmínky testování o velmi čisté RF prostředí (testy probíhaly v noci) o 3-streamové MacBook Pro a NETGEAR USB dongly o IxChariot: Throughput.scr o přenos 1MB souborů po dobu 2 minuty o výkonný Throughput skript pro testy jednotlivých AP o přenos 10MB souborů po dobu 2 minuty o šířka kanálu 20MHz pro 2,4GHz, 40MHz pro 5GHz o výběr kanálů AP o jedno AP: kanál 1 (2,4 GHz), kanál 36 (5 GHz) o více AP: automatický výběr kanálů, pak nastaveno manuálně o vítěz určen TCP propustností 7
Hinds Hall 8
Přehled testů 1. jedno AP, jeden klient na rádio o různé vzdálenosti o 2,4 GHz, 5 GHz, 2,4 GHz a 5 GHz o 135 testů na každé AP (5 umístění, 3 frekvence, 3 orientace, uplink/downlink/mix) 2. jedno AP, více klientů o jedno AP, 3 místnosti, 30 klientů/místnost o místnosti jsou v různých vzdálenostech od AP o 2,4 GHz, 5 GHz, 2,4 GHz a 5 GHz 3. více AP, více klientů o o o 1-4 místnosti s 30 klienty (120 klientů celkem) spuštěné služby automatický výběr kanálů, klient load balancing, band steering testy s a bez rušících WiFi sítí v blízkosti 9
Test č.1: jedno AP, jeden klient o 5 umístění s různou vzdáleností a překážkami o 2,4 GHz, 5GHz, obě pásma o uplink/downlink/mix o 3 orientace umístění klientů 1 17m od AP 7m od AP = 135 (5 * 3 * 3 * 3) testů každé AP AP 4 5 HINDS HALL 3 2 9m od AP 12m od AP 32m od AP 10
Jedno AP, jeden klient - výsledky průměr z tří různých umístění (klient rotoval) s dvěma klienty (různá pásma) 2,4 GHz 1 2 Mbps 372 368 O B O U S M Ě R N Ě TCP PROPUSTNOST 4 DUAL-BAND KLIENTI KRÁTKÁ VZDÁLENOST 320 umístění č. 4, 7,3m 260 192 5 GHz Ruckus 7982 Aruba 135 Cisco 3602i 11 Aerohive 330 Meraki 24
Jedno AP, jeden klient - výsledky Mbps 275 274 O B O U S M Ě R N Ě TCP PROPUSTNOST 4 DUAL-BAND KLIENTI STŘEDNÍ VZDÁLENOST umístění č. 1, 17,7m 2,4 GHz 1 2 184 159 5 GHz 68 Ruckus 7982 Aruba 135 Aerohive 330 12 Cisco 3602i Meraki 24
Jedno AP, jeden klient - výsledky Mbps 228 O B O U S M Ě R N Ě TCP PROPUSTNOST 4 DUAL-BAND KLIENTI DLOUHÁ VZDÁLENOST 2,4 GHz 184 umístění č. 5, 32m 1 142 2 107 5 GHz 44 Ruckus 7982 Aruba 135 Aerohive 330 13 Cisco 3602i Meraki 24
Test č.2: jedno AP, více klientů o jedno AP, tři místnosti, 30 klientů/místnost o smíšená pásma (⅓ na 2,4 GHz ⅔ na 5 GHz) + obousměrný provoz o všichni klienti asociováni na AP i když neprobíhal test 1. místnost č.1: 6m od AP o 30 PC s dongly 2. místnost č.2: 13,5m od AP o 30 MacBooků Pro 3. místnost č.3: 16,5m od AP o 30 PC s dongly 4. 90 klientů napříč všemi místnostmi simultánně 1 AP 2 střed místnosti 30 pravidelně rozmístěných klientů 3 14
Jedno AP, více klientů, místnost č.1 Mbps 206 183 180 O B O U S M Ě R N Ě TCP PROPUSTNOST 1 AP, 1 MÍSTNOST, 30 KLIENTŮ KRÁTKÁ VZDÁLENOST místnost č.1, 3m 128 99 Ruckus 7982 Aruba 135 Cisco 3602i Aerohive 330 Meraki 24 15
Jedno AP, více klientů, místnost č.2 Mbps 143 119 O B O U S M Ě R N Ě TCP PROPUSTNOST 1 AP, 1 MÍSTNOST, 30 KLIENTŮ STŘEDNÍ VZDÁLENOST místnost č. 2, 15m 71 71 18 Ruckus 7982 Aruba 135 Cisco 3602i Aerohive 330 Meraki 24 16
Jedno AP, více klientů, místnost č.3 Mbps 91 O B O U S M Ě R N Ě TCP PROPUSTNOST 1 AP, 1 MÍSTNOST, 30 KLIENTŮ DLOUHÁ VZDÁLENOST 63 místnost č.3, 18m 31 25 Ruckus 7982 Aruba 135 Cisco 3602i 0 Aerohive 330 Meraki 24 17
Jedno AP, mnoho klientů Mbps 130 O B O U S M Ě R N Ě TCP PROPUSTNOST 1 AP, 3 MÍSTNOSTI, 90 KLIENTŮ VŠECHNY MÍSTNOSTI 77 56 39 Ruckus 7982 Aruba 135 Cisco 3602i Aerohive 330 0 Meraki 24 18
Test č.3: více AP, více klientů o 4 AP, 4 místnosti o každá místnost má AP a 30 klientů(120 klientů celkem) o klienti: ⅓ na 2,4 GHz, ⅔ na 5 GHz o 2 další AP nablízku (rušení) o zapnuté funkce: o o o automatický výběr kanálů klient load balancing airtime fairness 1. místnost č.1: 30 PC s Netgear dongly 2. místnost č.2: 24 MacBooků, 6 Dell laptopů 3. místnost č.3: 30 PC s Netgear dongly 4. místnost č.4: 30 PC s Linksys dongly o testováno s a bez rušivých AP nablízku o na 2 PC běžel iperf během celého testu 1 A P R 2 A P A P 4 AP místnosti AP A P 3 19
Více AP, více klientů Mbps 562 480 O B O U S M Ě R N Ě TCP PROPUSTNOST 6 AP, 120 KLIENTŮ BEZ RUŠIVÝCH AP 24 klientů uploaduje (8 na 2,4 a 16 na 5GHz) 96 klientů downloaduje (32 na 2,4 a 64 na 5 GHz) 378 330 324 Ruckus 7982 Cisco 3602i 20 Aruba 135 Meraki 24 Aerohive 330
Více AP, více klientů Mbps 570 O B O U S M Ě R N Ě TCP PROPUSTNOST 6 AP, 120 KLIENTŮ S RUŠIVÝMI AP 441 RUŠIVÉ AP Dual-band AP s dvěma 2,4GHz notebooky přenášející data tam i zpět na stejném kanále (6) a 5 GHz radio vysílající bez klientů 374 369 324 Ruckus 7982 Aerohive 330 Meraki 24 Cisco 3602i Aruba 135 21
Souhrn o 3-streamová AP 802.11n nedávají takový výkon, jaký slibují výrobci o je zapotřebí přísná metodologie testování o testování jeden klient na jedno AP nedává reálný obraz o více AP s více klienty ukazuje skutečný svět o pro získání pravdy je zapotřebí stovek testů o je třeba vytvořit opakovatelné testy o je třeba zajistit, aby všechna SSID byla stejná pro všechny výrobce o klienti musí být asociováni o Ruckus ZF 7982 podával konzistentní výsledky vysoké výkonnosti 22
Tým testerů ze Syracuse 23