Technická zpráva IPv6 projektu - verze Marek Eliá², Luká² Fiala, Ji í Chudoba, Tomá² Kouba

Transkript

1 Technická zpráva IPv6 projektu - verze 2014 Marek Eliá², Luká² Fiala, Ji í Chudoba, Tomá² Kouba 5. srpna 2014

2 Obsah 1 Sou asný stav implementace IPv6 provoz v produk ní síti VS FZÚ Provoz DPM Vým na dat se zahrani ím Provoz IPv6 testbedu GridFTP DPM Puppet Nagios Sí ový hardware Podpora IPv6 u sí ového hardware Cisco C SLAAC Cisco FWSM Sou asné nastavení SLAAC a RA Cisco router ACL BGP Nastavení netow data exportu Základní sí ové sluºby Kongurace IPv6 adres Nastavení DHCP Nastavení DNS Nastavení NTP NFS Nastavení linuxových ip6tables Zku²enosti s reálným provozem Správa hardware Managementová rozhraní hardwaru Sí ová instalace Puppet Monitoring vypo etního st ediska Nagios Nagios na IPv6 testbedu Nagios v produk ní síti Smokeping Switche Netow

3 5.4.1 ipt_netflow Syslog Záv r Gridové sluºby Gridové certikáty myproxy Batchsystem (torque) DPM Testbed Produkce LB VOMS Záv r 22 2

4 Kapitola 1 Sou asný stav implementace Na FZÚ jsme zprovoznili IPv6 testbed, který slouºí k testování nastavení sít a b hu gridových sluºeb na protokolu IPv6. Z provozu testbedu jsme získali mnoho poznatk a zku²eností, které nám pomohly zapojit se do aktivit mezinárodní pracovní skupiny HEPiX IPv6 working group. Tato skupina p ipravuje nasazení IPv6 v prost edí WLCG celosv tové sít výpo etních st edisek, kde se zpracovávají v decká data z urychlova e LHC v CERN. Zku²enosti získané provozem IPv6 testbedu jsme úsp ²n aplikovali také v produk ním prost edí Tier2 centra ve FZÚ. Tém v²echny výpo etní uzly mají instalovány protokol IPv6 (spolu s protokolem IPv4), výjimku tvo í star²í stroje s opera ním systémem SL5, které budou jiº brzy odstaveny. Z produk ních sluºeb jsou to v²echny uzly storage systému DPM, který na FZÚ spravuje více neº 2 PB dat, VO box pro experiment ALICE, DNS a NTP servery a dva servery Perfsonar PS, které se v WLCG pouºívají k monitorování propustnosti a latence sít mezi jednotlivými výpo etními st edisky. Následující ásti této kapitoly popisují obecné zku²enosti s provozem IPv6 sluºeb v testbedu i v produk ní síti. Poznámkám k nastavení jednotlivých sluºeb a hardware v nujeme zvlá²tní kapitoly. 1.1 IPv6 provoz v produk ní síti VS FZÚ V²echny stroje z privátní sít mají ve ejnou IPv6 adresu, takºe jiº nejsou pln odkázány na NAT. MTU v této síti je nastaveno na 9000 byt, takºe se v ní pouºívají v t²inou jumboframy. Do stejné IPv6 sít byla p idána IPv6 rozhraní sluºeb, u kterých nebyly potíºe s p idáním tagovaného sí ového rozhraní s podporou jumbofram (MTU=9000). Zbylé produk ní sluºby, které vyºadovaly p ipojení do IPv6, byly p ipojeny prost ednictvím speciální sít s MTU=1500. Bez jumbofram jsou zapojeny: headnode systému DPM, VO box experimentu ALICE a perfsonary Provoz DPM Storage system DPM sestává z headnode serveru, který spravuje metadata, a diskových uzl, v na²em p ípad je to 10 diskových uzl. Poskytuje p ístup k dat m prost ednictvím n kolika protokol. Nejpouºívan j²ím je gridftp, který v na²ich podmínkách pln funguje p es IPv6. Výpo etní úlohy na na²ich výpo etních uzlech, které jej pouºívají ke staºení svých vstupních dat, jsou nastaveny, aby preferovaly IPv6. Úlohy lokálních uºivatel nej ast ji pouºívají protokol xrootd, který zatim IPv6 nepodporuje, ale p ipravuje se nová verze, která ho podporovat bude. Dal²ím z podporovaných protokol je webdav: otestovali jsme, ºe je moºné stáhnout data z na²eho DPM p es webdav po IPv6, av²ak tento protokol je zatím pouºíván pouze testovacími výpo etními úlohami. Datové transfery po IPv6 mezi systémem DPM a výpo etními uzly tvo í provoz více neº 20 Gb za sekundu, jak je vid t na grafu 1.1 z kv tna 2014 a z m sí ního grafu 1.2 z p elomu ervence a 3

5 Obrázek 1.1: IPv6 data sm rující ze systému DPM k výpo etním uzl m (kv ten 2014) Obrázek 1.2: IPv6 data sm rující ze systému DPM k výpo etním uzl m (srpen 2014) srpna Vým na dat se zahrani ím Po IPv6 zatím prob hlo n kolik testovacích p enos dat z na²eho systému DPM do Imperial College v Británii, datový tok dosahoval aº 1 Gbps. P íklad datových tok zp sobených t mito testy je na grafu 1.3 FZÚ se v rámci HEPiX IPv6 working group ú astní IPv6 perfsonar test, které ídí laborato e v Británii. Jsou to výkonnostní testy pro sít mezi jednotlivými výpo etními st edisky. V rozsáhlej²ím provedení se stejné testy pouºívají taky pro hodnocení výkonu IPv4 konektivity v WLCG. Na obrázku 1.4 jsou znázorn ny výsledky p enosových test mezi v²emi zú astn nými st edisky. Obrázek 1.3: IPv6 provoz mezi FZÚ a Imperial College 4

6 Výsledky jsou zatím spí²e orienta ní a jsou ve fázi vyhodnocování. Po IPv6 také komunikuje VO box experimentu ALICE s centrálním monitoringem, který je v CERNu. V budoucnosti o ekáváme nár st objemu dat p ená²ených po IPv6, protoºe dal²í výpo etní st ediska p ipravují zavedení IPv6 do produk ního prost edí. 1.2 Provoz IPv6 testbedu Na testbedu provozujeme mnoho r zných sluºeb. ƒást z nich slouºí pouze v rámci HEPiX IPv6 testbedu, n které jsme jiº aplikovali i do produk ního prost edí. Na obrázku 1.5 je vid t sí ový provoz mezi na²ím testbedem a zahrani ními laborato emi. V t²inu tohoto provozu tvo í testovací GridFTP p enosy GridFTP Provozujeme server ui.ipv6.farm.particle.cz, na kterém b ºí sluºba GridFTP. Tento server je sou- ástí HEPiX IPv6 GridFTP sí. Na obrázku 1.6 je vid t výsledky p enos mezi jednotlivými uzly sít. Je vid t, ºe máme vynikající výsledky v transferech sm rem od nás (tém v²echny p enosy prob hly za krátkou dobu) DPM Na testbedu máme zprovozn n jeden DPM server. Zku²enosti s jeho nastavením a provozem jsme pak pouºily p i nasazení IPv6 na na²e produk ní DPM servery. Testovací DPM server je stále vyuºíván k monitorování spojení s Imperial College London a Queen Mary University London pomocí reálných p enos p es protokol IPv Puppet V produk ním prost edí pouºíváme systém na správu kongurací CFEngine 2.0. Jelikoº je uº zastaralý a jeho podpora IPv6 není moc testována, rozhodli jsme se na testbedu pouºít nov j²í systém Puppet. Úsp ²n jsme jím kongurovali celý testbed v etn IPv6-only uzl a v sou asnosti pracujeme na jeho nasazení v produk ním prost edí Nagios K monitorování sluºeb testbedu provozujeme Nagios, který je schopen monitorovat IPv4-only, IPv6-only i dual-stack uzly. Poskytujeme ho také jako sluºbu v rámci HEPiX testbedu a monitorujeme uzly ú astnící se GridFTP sít a ostatní sluºby. Zku²enosti získané z provozu testbedové sluºby Nagios jsme pouºili v produk ním Nagiosu spolu se senzory specickými pro IPv6. 5

7 Obrázek 1.4: HEPiX IPv6 WG Perfsonar MESH 6

8 Obrázek 1.5: Sí ový provoz testbedu. Kladné hodnoty ozna ují p íchozí data, záporné odcházející data. Caltech To CCIN2P3 CERN Chicago DESY From FNAL FZU GRIDKA INFN NDGF PIC Obrázek 1.6: Histogram p enos mezi jednotlivými uzlami. Osa y znamená po et p enos, osa x ur uje as, za jaký p enos dob hl. Kaºdý transfer p ená²el jeden 1 GB soubor. 7

9 Kapitola 2 Sí ový hardware Zde popisujeme výsledky testování na²eho sí ového hardware a nastavení, které v sou asné dob provozujeme. 2.1 Podpora IPv6 u sí ového hardware V²echny switche, které máme ve výpo etním st edisku, jsou schopny p epínat IPv6 provoz. Stejn tak router Cisco C6500. Problém se vyskytl u rewallového modulu Cisco FWSM, který není schopen ltrovat IPv6 trac v transparentním modu. Je sice schopen ltrovat ho v routovacím modu, av²ak jenom softwarov, takºe uº trac pod 100Mbps modul výrazn zat ºuje. P ehled na²eho sí ového hardware je v tabulce Cisco C6500 Router je schopen routovat a switchovat IPv6 trac. U IPv6 pouºíváme statické nastavení cest v kombinaci s BGP tedy v podstat stejné nastavení jako u IPv SLAAC Router podporuje bezestavovou autokonguraci (SLAAC). Je schopen vysílat do sít routing advertisements s nastavením prexu a gateway. Není v²ak schopen v rámci routing advertisementu propagovat adresy DNS server. Na druhé stran v²ak disponuje bezestavovým DHCPv6 serverem, pomocí kterého umí tuto informaci klient m sd lit. Takhle vypadá nastavení SLAAC a bezestavového DHCPv6 na routru, které jsme jej úsp ²n otestovali, nicmén ho neprovozujeme, z d vod popsaných v následujících kapitolách. Hardware Cisco Catalyst C6500 HP ProCurve J4904A Switch 2848 SMC TigerStack II 10/100/1000 HP ProLiant BL p-class C-GbE2 HP GbE2c Switch c-class BladeSystem Force10 S GE-24P BNT RackSwitch G8124 BNT RackSwitch G8000 podpora IPv6 Ano Ano Ano Ano Ano Ano Ano Ano Tabulka 2.1: Switche výpo etního st ediska: podpora switchování IPv6 8

10 interface VlanXXX no ip address ipv6 address 2001:718:1E01:1725::1/64! ipv6 dhcp pool ipv6-dhcp-pool dns-server 2001:718:1E01:1725:5054:FF:FE12:3456 domain-name ipv6.farm.particle.cz interface VlanXXX ipv6 nd other-config-flag ipv6 dhcp server ipv6-dhcp-pool Router také umí exportovat netow data z IPv6 provozu Cisco FWSM Jelikoº jsme pouºívali FWSM v transparentním reºimu a FWSM v n m neumí ltrovat IPv6 trac, p istoupili jsme zpo átku k do asnému e²ení. Pomocí následujících ether-type ACL jsme rewallem propustili ve²kerý IPv6 trac. access-list outside_ether_access_in remark IPv6 access-list outside_ether_access_in ethertype permit 86dd access-list inside_ether_access_in remark IPv6 access-list inside_ether_access_in ethertype permit 86dd ƒasem v²ak bylo z bezpe nostních d vod nutno p epnout FWSM do routovacího reºimu. Tato operace si vyºádala krátký výpadek spojení celého výpo etního st ediska a zm nu routovacího schématu stávající IPv4 sít. Nicmén asem se ukázalo, ºe FWSM IPv6 provoz neltruje v hardware, jak je tomu u IPv4, ale v software, a to je pro na²e podmínky nedosta ující, jelikoº jiº p i datovém toku kolem 100 Mbps byl procesor FWSM výrazn zatíºen Sou asné nastavení SLAAC a RA Rozhodli jsme se SLAAC nepouºívat. Jenºe DHCPv6 nedokáºe inzerovat IPv6 adresu gateway, na to se pouºívá routing advertisement, ze kterého si m ºe za b ºných okolností klient odvodit vlastní IPv6 adresu a ud lat autokonguraci. Tomu zabrání následující zp sob nastavení RA: interface VlanXX ipv6 address 2001:718:1E01:1717::1/64 ipv6 nd prefix 2001:718:1E01:1717::/64 no-advertise druhý ádek íká, ºe daný prex se nemá inzerovat. Klient tedy nedostane v RA informaci o prexu sít, ve které se nachází. Dostane jenom link-local adresu routru, který o sob íká jenom to, ºe je obecným routerem pro v²echny rozsahy. Takto vypadá standardní routing advertisement: # rdisc6 eth0 Soliciting ff02::2 (ff02::2) on eth Hop limit : 64 ( 0x40) Stateful address conf. : No Stateful other conf. : No Router preference : medium Router lifetime : 1800 (0x ) seconds Reachable time : unspecified (0x ) Retransmit time : unspecified (0x ) Source link-layer address: B4:E9:B0:C8:54:C0 9

11 MTU : 1500 bytes (valid) Prefix : 2001:718:1e01:1724::/64 Valid time : (0x00278d00) seconds Pref. time : (0x00093a80) seconds from fe80::b6e9:b0ff:fec8:54c0 a takto po zákazu inzerování rozsahu: # rdisc6 eth0 Soliciting ff02::2 (ff02::2) on eth0... Hop limit : 64 ( 0x40) Stateful address conf. : Yes Stateful other conf. : No Router preference : medium Router lifetime : 1800 (0x ) seconds Reachable time : unspecified (0x ) Retransmit time : unspecified (0x ) Source link-layer address: B4:E9:B0:C8:54:C0 MTU : 9000 bytes (valid) from fe80::b6e9:b0ff:fec8:54c0 Tímto nastavením jsme zajistili, ºe ani ²patn nastavení klienti, kte í autokonguraci vypnutou nemají, ji takto nebudou moci provést a nezvolí si svévoln IPv6 adresu, kterou nechceme Cisco router ACL V pr b hu let p íchozí a odchozí tok dat výrazn narostl a modul FWSM uº není schopen ho efektivn ltrovat. Proto jsme se rozhodli ob tovat moºnosti stavové kontroly a inspekce, které FWSM nabízí, a ltrovat externí trac pomocí ACL p ímo v routeru. Sou asná verze IOS "12.2(50r)SYS3" neumoº uje k ltrování IPv6 pouºívat object-groupy. Ty pouºíváme v ACL pro IPv4 a výrazn zjednodu²ují a zp ehled ují nastavení ltrování. Pro IPv6 v²ak musíme uvád t pravidlo pro kaºdou IPv6 adresu a kaºdý port explicitn. Navíc, u produk ních sluºeb bychom rádi otevírali stejné porty na IPv4 i IPv6 adresách. Fakt, ºe ACL pro IPv6 vypadají jinak neº pro IPv4 je v tomto ohledu celkem nep íjemný BGP VS FZÚ má dedikovanou 10 Gbps linku do Karlsruhe Institute of Technology (KIT). Na routování p es tuto linku pouºíváme BGP, takºe i v p ípad výpadku této linky, jsme schopni routovat do KIT p es sdílenou linku do Internetu. Nastavení BGP vypadá takto: router bgp template peer-policy IPv4-generic filter-list 1 out soft-reconfiguration inbound exit-peer-policy bgp log-neighbor-changes neighbor <KIT_router_IPv4_addr> remote-as neighbor <KIT_router_IPv4_addr> description KIT neighbor <KIT_router_IPv6_addr> remote-as neighbor <KIT_router_IPv6_addr> description KIT neighbor <KIT_router_IPv6_addr> timers address-family ipv4 10

12 neighbor <KIT_router_IPv4_addr> activate neighbor <KIT_router_IPv4_addr> inherit peer-policy IPv4-generic no neighbor <KIT_router_IPv6_addr> activate address-family ipv6 network <VS_FZU_IPv6_range_1>::/64... network <VS_FZU_IPv6_range_N>::/64 neighbor <KIT_router_IPv6_addr> activate neighbor <KIT_router_IPv6_addr> soft-reconfiguration inbound exit-address-family Nastavení netow data exportu Pro IPv4 pouºíváme netow data export verze 5. Ta v²ak IPv6 nepodporuje, proto jsme pro IPv6 pouºili verzi 9. Nastavení je následující: flow exporter netflow.farm.v9 destination X transport udp 9995! flow monitor v9-monitor-6 exporter netflow.farm.v9 record platform-original ipv6 full! interface VlanXX ipv6 flow monitor v9-monitor-6 input ipv6 flow monitor v9-monitor-6 output Za m síc provozu jsme nezaznamenali ºádné váºné problémy související s netow na IPv6, jen ob as se vyskytne vy²²í zatíºení CPU. 11

13 Kapitola 3 Základní sí ové sluºby V této kapitole popisujeme na²i volbu kongurace IPv6 adres za ízení v síti výpo etního st ediska a na²e zku²enosti s kongurací základních sluºeb jako DHCP, DNS, NTP, WWW a NFS. 3.1 Kongurace IPv6 adres Jednotlivým za ízením výpo etního st ediska je t eba p id lovat IPv6 adresu. Jelikoº provozujeme produk ní sluºby, je nutno zajistit, aby se IPv6 adresa jednotlivých za ízení v provozu nem nila. Existují v zásad t i moºnosti: statická kongurace, bezestavová autokongurace (SLAAC) a stavové DHCP. V²echny t i dokáºí tuto poºadavku do ur ité míry uspokojit. Av²ak statická kongurace je pro velké výpo etní centra naprosto nevhodná. U SLAAC se IPv6 adresa deterministicky odvodí z prexu inzerovaného routrem a MAC adresy sí ového interfacu. To ov²em p iná²í problémy p i pot eb vým ny sí ové karty, coº zákonit zp sobí zm nu IPv6 adresy. Rovn º to p iná²í problémy se záloºními interfacami a s automatickým failoverem. Rozhodli jsme se tedy pro stavové DHCP. To v²ak taky není bez problém. DHCPv6 zatím neumí inzerovat gateway, proto je stále nutné pouºívat mechanismus routing advertisementu ze SLAAC na konguraci gateway. Dal²ím problémem je zp sob, jakým DHCP server identikuje klienta. V IPv4 se na to pouºívala MAC adresa, av²ak v IPv6 je to hodn komplexn j²í a taky komplikovan j²í. Server identikuje klienta pomocí tzv. DUID. Je na výb r n kolik druh DUID. DUID-LL je odvozen ist z MAC adresy interfacu, DUID-LLT k MAC adrese p idává navíc as vygenerování DUID a nakonec je²t DUID-EN, který má být odvozený z jakéhosi Enterprise number daného stroje. Defaultn se pouºívá DUID-LLT, ten se v²ak nedá pouºít p i sí ové instalaci, protoºe se nedá uhodnout v p edstihu. Generuje se aº ve chvíli, kdyº DHCP klient ºádá o p id lení IPv6 adresy. DUID-EN je z ejm ur en spí²e pro budoucí verze hardware. 3.2 Nastavení DHCP Pouºíváme implementaci serveru i klienta od ISC ve verzi 4.1. Pouºíváme DUID-LL. P íklad nastavení klienta (/etc/dhcp/dhclient.conf): send dhcp6.client-id = concat(00:03:00, hardware); DUID-LL bude ve tvaru 00:03:00:01:<MAC ADDRESS>, i kdyº to vypadá, ºe tam to :01 nemá být. P íklad nastavení serveru (/etc/dhcp/dhcpd6.conf): subnet6 2001:718:1e01:1725::/64 { default-lease-time ; preferred-lifetime ; option dhcp-renewal-time 3600; 12

14 } option dhcp-rebinding-time 7200; option dhcp6.name-servers 2001:718:1e01:1725::6:15; option dhcp6.domain-search "ipv6.farm.particle.cz"; option dhcp6.info-refresh-time 21600; host ui.ipv6 { host-identifier option dhcp6.client-id 00:03:00:01:52:54:00:3f:65:45; fixed-address6 2001:718:1e01:1725:5054:ff:fe3f:6545; fixed-prefix6 2001:718:1e01:1725::/64; } Na klientovi je v²ak zapot ebí nastavit dal²í v ci. Aby klient p ijímal routing advertisementy (RA) a p itom nepouºíval SLAAC, je pot eba p idat tyto ádky do /etc/sysctl.conf: net.ipv6.conf.default.autoconf = 0 net.ipv6.conf.default.accept_ra = 1 Pro nastavení sít v Scientic Linux 6.1, je pot eba nastavit taky /etc/syscong/network-scripts/ifcfgeth0: DEVICE="eth0" NM_CONTROLLED="no" ONBOOT="yes" IPV6INIT="yes" IPV6_AUTOCONF="no" BOOTPROTO="none" DHCPV6C=yes To IPV6_AUTOCONF="no" v²ak ob as nefunguje dostate n, proto je zapot ebí také vý²e zmín né sysctl. 3.3 Nastavení DNS Pouºíváme DNS server bind od ISC verze 9.7. V rámci výpo etního st ediska jsme subdelegovali subdoménu ipv6.farm.particle.cz. Primárem pro tuto doménu je stroj, který má pouze IPv6 adresu. Sekundár je stroj s dual-stackem a stahuje si od primá e zóny p es IPv6. Je t eba mít na pam ti, ºe ºádná zóna nem ºe být resolvovatelná p es IPv6, jestliºe nejsou resolvovatelné také její nad azené zóny. Zde jsou v²echny kroky, ktoré je zapot ebí vykonat pro kaºdou nad azenou zónu: jeden z autoritativních server pro zónu musí mít IPv6 adresu v zóne musí být uveden AAAA záznam pro tento server v nad azené zón musí být uveden glue AAAA záznam pro tento server ak jméno tohoto serveru pat í do jiné zóny, tak ta zóna musí být taky pln resolvovatelná p es IPv6 3.4 Nastavení NTP Pouºíváme ntpd verze a nebylo zapot ebí ºádného speciálního nastavení serveru. Sám za al poslouchat také na IPv6 adresách. Problém byl, ºe pool.ntp.org nemá AAAA záznam. Nakonec jsme na²emu produk nímu NTP serveru p idali IPv6 adresu. Server synchronizuje sv j as p es IPv4, klienti provád jí synchronizaci p es IPv6. 13

15 3.5 NFS Testovali jsme, zda je moºné provozovat NFSv4 p es IPv6 a zjistili jsme, ºe to moºné je a není k tomu pot eba ºádných zvlá²tních nastavení. 3.6 WWW Úsp ²n provozujeme apache2 na IPv6 a nebylo k tomu pot ebné ºádné zvlá²tní nastavení. 3.7 Nastavení linuxových ip6tables V Redhat Enterprise Linuxu 6 je defaultní nastavení iptables zvoleno pon kud ne² astn. Zahazuje totiº odpov di DHCPv6 serveru. Nejspí²e je to v²ak dáno tím, ºe DHCPv6 pouºívá multicast a conntrack modul kernelu odpov neumí za adit mezi "ESTABLISHED/RELATED". Proto je na v²ech klientech nutno bu ip6tables nepouºívat nebo p idat pravidlo -A INPUT -s fe80::/10 -d fe80::/10 -m udp -p udp --dport sport 547 -j ACCEPT 3.8 Zku²enosti s reálným provozem Za n kolik m síc provozování IPv6 v produk ní síti jsme se nesetkali s expirací DHCPv6 lease ani s expirací default route. Je to zajisté zp sobeno i tím, ºe mají nastavenou dlouhou expira ní dobu a klienti mají hodn asu na to, aby si lease/route prodlouºili. P esto to v²ak povaºujeme za pozitivní zprávu. Také jsme se nesetkali s problémy DNS, NTP ani WWW, které by souvisely s IPv6, coº také hodnotíme pozitivn. 14

16 Kapitola 4 Správa hardware 4.1 Managementová rozhraní hardwaru Sloºit j²í hardware asto obsahuje interface na jeho konguraci. Nap íklad webová rozhraní na kongurací switch nebo vzdálený management server. Pro p ístup k t mto rozhraním jsme p ipravili VLANu s neroutovaným site-only IPv6 rozsahem. Problémem je v²ak podpora IPv6 v t chto za ízeních. V tabulce 4.1 je seznam testovaného hardware. Jediný stroj, který IPv6 podporoval, byl IBM System x3550 M4, který jsme v²ak m li jenom zap j ený na testování. Nicmén nepovedlo se nám otestovat funk nost vzdálené konzole, jelikoº to byl p edproduk ní vzorek, který neobsahoval p íslu²nou licenci. 4.2 Sí ová instalace šádný z testovaných stroj nepodporuje sí ovou instalaci p es IPv6. Proto jsme uvnit IPv6 sít zprovoznili také neroutovanou p ivátní sí pro instalaci, ve které jsou IPv4 adresy kongurovány pomocí DHCP. Instalace probíhá p es IPv4, klient si stahuje balí ky p es proxy server. Po ukon ení instalace je IPv4 na stroji zakázáno a stroj po restartu dostane IPv6 adresu. Zde je seznam komponent, které je pot eba zprovoznit: DHCPv4 a DHCPv6 server HTTP proxy s p ístupem na internet Hardware HP BL 35p HP BL 460c HP DL360 G3 G6 IBM x3650 M2 IBM idataplex dx340 IBM idataplex dx360 M2 IBM idataplex dx360 M3 SGI Altix XE 310 SGI Altix XE 340 SGI C1001-G13 Supermicro X8DTU IBM System x3550 M4 Management p es IPv6 Ne Ne Ne Ne Ne Ne Ne Ne Ne Ne Ne Ano Tabulka 4.1: Podpora p ístupu na Management rozhraní prost ednictvím IPv6 15

17 PXE instala ní server 4.3 Puppet Pro správu kongurací pouºíváme Puppet verze Po instalaci puppetu je pot eba puppet master nastavit, aby poslouchal na IPv6 adresách. V /etc/puppet.conf v sekci "master" se nastaví bindaddress = :: Na klientech není zapot ebí ºádného dal²ího nastavování. Av²ak pro správné fungování je nezbytné, aby správn fungoval reverse-lookup IPv6 adres klient, kte í Puppet pouºívají. V sou asnosti pomocí Puppetu kongurujeme tém celý IPv6 testbed a nezaznamenali jsme s ním ºádné problémy, které by souvisely s IPv6. Po pozitivních zku²enostech z testbedu jsme se Puppet rozhodli nasadit také v produk ním prost edí. N kolik sluºeb je uº Puppetem úsp ²n spravováno a plánujeme ho postupn pouºít u v²ech sluºeb. 16

18 Kapitola 5 Monitoring vypo etního st ediska 5.1 Nagios Nagios na IPv6 testbedu Provozujeme celkem t i instance: IPv4-only, IPv6-only a dual stack instanci, která agreguje výsledky p edchozích dvou. Na dual stack instanci je nainstalovaný check_mk multisite frontend, který získává výsledky test z IPv4 a IPv6-only instancí p es live-status. Na IPv6 a IPv4-only instancích je nainstalován live-status plugin, p ístup k n mu je p es xinetd, který je nastaven následovn : /etc/xinetd.d/livestatus: service livestatus { type = UNLISTED port = 6557 socket_type = stream protocol = tcp wait = no cps = instances = 500 per_source = 250 flags = NODELAY user = nagios server = /usr/bin/unixcat server_args = /var/spool/nagios/cmd/live disable = no } Frontend check_mk multisite se neumí p ipojit na TCP stream p es IPv6, vytvo ili jsme proto na dual stack instanci xinted sluºbu, která forwarduje TCP spojení na livestatus IPv6-only nagiosu: /etc/xinetd.d/multisite: service multisite { type = UNLISTED port = 6557 socket_type = stream protocol = tcp 17

19 } wait = no cps = instances = 500 per_source = 250 flags = NODELAY user = nagios server = /usr/bin/nc server_args = monitor6.ipv6.farm.particle.cz 6557 disable = no Nastavení check_mk multisite v souboru /etc/check_mk/multisite.mk pak vypadá následovn : sites = { "monitor6" : { "alias": "socket": }, "monitor4" : { "alias": "socket": }, } "FZU IPv6-only nagios", "tcp:localhost:6557", "FZU IPv4-only nagios", "tcp:monitor4.ipv6.farm.particle.cz:6557", Provozujeme základní service checky jako PING, Load, SSH a podobn. Krom FZÚ IPv6 testbedu monitorujeme taky GridFTP servery HEPiX IPv6 testbedu. Monitoruje se PING a GridFTP na obou protokolech IPv4 i IPv Nagios v produk ní síti V produk ní síti jsme nezavád li podobn sloºitý Nagios setup. Rad ji jsme k existujícímu nastavení p idávali dal²í senzory, které si vyºadovalo zavedení IPv6 do produk ní sít. Kup íkladu jsme p idali senzor na detekci expirující default IPv6 route, a také jsme úpravou stávajícího senzoru na detekci expirující DHCPv4 lease (jelikoº DHCPv6 lease soubory mají jinou syntax) vytvo ili podobný senzor na detekci expirující DHCPv6 lease. Sou asný stav Nagios monitoringu zatím nezp sobuje ºádné problémy, domníváme se v²ak, ºe je ºádoucí ho dále zdokonalovat p idáváním nových senzorú, které nap íklad otestují, zda sluºba skute n poslouchá také na IPv6 adrese a podobn. 5.2 Smokeping Pouºívá se na m ení latence v rámci HEPiX IPv6 testbedu. M í se round-trip a také doba kopírování malých soubor p es GridFTP. Umoº uje porovnávat latenci v IPv4 a v IPv6. Smokeping pouºívá externí programy na vykonávání test, podpora IPv6 tedy závisí na pouºitých testech. Nap íklad fping má variantu fping Switche Switche IPv6 podporují, ale typicky se p es IPv6 nedají spravovat ani monitorovat. P ehled je v tabulce 5.1. Je p ekvapující, ºe krom Cisco Catalyst routeru mají management p es IPv6 jenom star²í SMC switche. Tyto monitorujeme Nagiosem a taky pomocí MRTG, které p es IPv6 grafuje zát º jejich port. 18

20 5.4 Netow Hardware management SNMPv6 Cisco Catalyst C6500 Ano Ano HP ProCurve J4904A Switch 2848 Ne Ne SMC TigerStack II 10/100/1000 Ano Ano HP ProLiant BL p-class C-GbE2 Ne Ne HP GbE2c Switch c-class BladeSystem Ne Ne Force10 S GE-24P Ne Ne BNT RackSwitch G8124 Ne Ne BNT RackSwitch G8000 Ne Ne Tabulka 5.1: Monitoring a management switch p es IPv6 Ná² router Cisco Catalyst 6500 p vodn nepodporoval netow export pro IPv6, byl nutný upgrade IOS na verzi 12.2(50r)SYS2. Tato verze jiº umí generovat netow data o IPv6 provozu a také umí posílat netow data export p es IPv6. Na zachytávání a analýzu netow dat pro IPv4 v sou asnosti pouºíváme ow-tools. Ty umí zachytávat netow data export i p es IPv6, neumí v²ak analyzovat data o IPv6 provozu (ltrovat podle IPv6 adres apod.). Za ali jsme proto paraleln pouºívat nfdump+nfsen, které podporují netow data export verze 9 a umí pracovat s IPv6 ow. Zku²enosti jsou prozatím pozitivní, av²ak potrvá dlouho, neº se poda í celý stávající framework pro zpracovávání ow dat, zaloºený na ow-tools, p izp sobit pro nfdump ipt_netflow Ne v²echny ow data získáváme p ímo z routeru C6500. Pro p enosy uvnit sít VS FZÚ z na- ²ich datových server pouºíváme kernel modul ipt_netflow, který je nainstalován na kaºdém z datových server, a sám posílá netow data o provozu, který skrze n j prochází. Modul ipt_netflow verze 8.1 a vy²²í jiº podporuje reportování IPv6 provozu. Av²ak není moºné ho pouºívat na star²ích strojích s opera ním systémem Scientic Linux verze 5 (SL5) kv li zastaralé verzi ip6tables na tomto OS. Upgrade ip6tables na nov j²í by byl hodn komplikovaný a mohl by znamenat riziko pro provoz, proto jsme od n j upustili. N které na²e produk ní datové server b ºí stále na SL5 a proto systematické shromaº ování dat o interním IPv6 provozu je omezeno jen na nov j²í servery s instalovaným SL Syslog Pro IPv6 testbed pouºíváme podobné nastavení syslogu jako v produk ním prost edí. V²echny stroje posílají logy do centrálního syslogu, na kterém b ºí OpenBSD 5.0 a syslog-ng verze P i konguraci ani b hu systému se nevyskytly ºádné problémy související s IPv Záv r V oblasti monitoringu stále z stává hodn práce a hodn otázek. Základní ásti na²eho monitorovacího frameworku jiº IPv6 podporují, ale je pot eba je zdokonalovat a zjem ovat, aby dosáhly alespo úrovn, kterou dosahují na IPv4. 19

21 Kapitola 6 Gridové sluºby Na²ím cílem bylo zjistit, zda je moºné provozovat gridové sluºby p es IPv6, a pokud moºno n které z nich také zprovoznit. Pro sluºby, které jsme úsp ²n provozovali v testbedu, jsme nastavili IPv6 protokol i v produk ním prost edí. 6.1 Gridové certikáty Ve²kerá autentikace v gridovém prost edí probíhá pomocí certikát. Ke správné funkci je v²ak nutno zabezpe it p ístup k revoka ním list (CRL) certika ních autorit pro grid. P ístup k revoka ním list m vyºaduje tém kaºdá komponenta glite-u. Av²ak pouze n které jsou p ístupné p es IPv6. Vytvo ili jsme program na monitorování p ístupnosti revoka ních list p es IPv6, který ov uje, zda stroj, který dané CRL zp ístup uje, má AAAA záznam v DNS a také i se staºení CRL povede p es IPv6 bez problém. Nástroj jsme pak p edstavili na n kolika mezinárodních konferencích. Kdyº jsme s testováním za ali ( íjen 2011), bylo p es IPv6 p ístupných pouze 6 z 96 CRL certika ních autorit pat ících do GridPMA. V únoru 2012 jich bylo 13, v íjnu 2012 jiº 21 a v ervenci 2014 celkem 26. Vývoj se tedy pohnul správným sm rem, jenºe k správnému fungování gridu je pot ebná dostupnost v²ech CRL. 6.2 myproxy V pr b hu testování jsme zjistili, ºe klientská utilita myproxy v bec nepodporuje IPv6. Problém jsme nahlásili a ve spolupráci s americkou laborato í FNAL byl problém vy e²en. ƒeká se na za len ní nové verze myproxy s podporou IPv6 do standardních distribucí gridového software. 6.3 Batchsystem (torque) Testovali jsme aktuální verzi torque ze SVN (4.1.3), ta v²ak neumí komunikovat s pracovními uzly p es IPv6. Také jsme testovali torque z IPv6 vývojové v tve, která je zaloºená na verzi Tu se v²ak nezda ila ani kompilace. Takºe batchsystem provozuschopný pouze na IPv6 stále je²te chybí. 6.4 DPM Testbed Bez v t²ích problém se poda ilo zprovoznit DPM ve verzi které se nachází p ímo v standardních UMD repozitá ích gridového software. Nebylo zapot ebí ºádných pro IPv6 specických nastavení. Na²e instance DPM jsou sou ástí HEPiX IPv6 testbedu i EGI IPv6 testbedu. 20