Souhrnný pohled na služby e-infrastruktury CESNET

Transkript

1 Souhrnný pohled na služby e-infrastruktury CESNET CESNET Day Univerzita Hradec Králové, Tomáš Košňar CESNET z. s. p. o.

2 Agenda Sdružení CESNET, e-infrastruktura e-infrastruktura CESNET - základní komponenty a služby Architektura Komunikační Náročné výpočty Datová úložiště Podpora spolupráce uživatelů Bezpečnost Správa identit, PKI, AAI Další služby Diskuze - průběžně

3 Sdružení CESNET založeno veřejnými VŠ a AV ČR; od ČVUT převzalo provoz sítě CESNET 1996 začátky pan-evropského budování sítí pro výzkum, vývoj, vzdělávání CESNET buduje oddělenou síť pro tento účel provozuje 2 sítě 2000 prodej komerční sítě spol. Contactel 1996 několik generací sítí pro R&D, vždy v souvislosti s vývojem v evropském kontextu (TEN-34, Quantum, GÉANT..GÉANT2020); řada národních a mezinárodních projektů 2011 Velké infrastruktury pro R&D, cestovní mapa (vláda ČR) Velká Infrastruktura CESNET (e-infrastruktura CESNET) 2016 e-infrastruktura CESNET

4 e-infrastruktura CESNET Symbolická architektura

5 Společná komunikační Společná komunikační IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Budováno vlastními silami Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu Pronajatá fyzická Temná vlákna Vyšší vrstvy vlastními silami Proč? Flexibilita, výkon Efektivita a optimalizace využití zdrojů Řešení konkrétních potřeb uživatelů Redundance Spolehlivost

6 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu Fyzická (temná vlákna) Robustní páteřní IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Aktuálně ~ 6000km vláknových tras z toho ~ 1880km jednovláknových Páteřní uzly Duální připojení Maximální snaha eliminovat fyzický souběh vláken Ekonomické ukazatele

7 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Optická přenosová Technologie vlnového multiplexu (WDM) 2 systémy - komplementární (vzájemně se zálohují) DWDM ONS až 80 kanálů 1100Gbps - jádro páteře OpenDWDM - jedno a dvouvláknové trasy 1-100Gbps, připojování k páteři

8 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Optická přenosová Platforma pro vytváření dedikovaných nezávislých optických propojů ~ fotonické služby

9 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IP/MPLS páteřní Platforma pro vytváření logických sítí nebo okruhů Pomocí služeb optické přenosové infrstruktury Primární IP síť - základní sdílená pro IP provoz (~ GÉANT, Internet, IX, atd..) Dedikované okruhy a/nebo sítě pro uživatele (lambda služby, vyhrazené okruhy; i mezinárodně) Řesení na míru (distribuovaná pracoviště, unikátní zařízení apod.) V případě indikace potřeb neváhejte konzultovat!!! Efektivita plán vs. aktuální potřeby Mezinárodní náročné na čas

10 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IP/MPLS páteřní Primární IP síť 100 Gbps jádro Uzly Nx10 Gbps, Gbps IPv4, IPv6, ucast, mcast

11 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IP/MPLS páteřní Primární IP síť Duální připojení uzlů Redundance, flexibilita

12 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Dedikované okruhy a/nebo sítě Příklad VPLS ~ rozsáhlá LAN IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) VPLS

13 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IP/MPLS páteřní Dedikované okruhy a/nebo sítě Příklad EoMPLS

14 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Externí propojení 30 Gbps GÉANT (100GE) * 100 Gbps IX, partneři IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) 40 Gbps NIX.CZ 10 Gbps ACONET (VIX) * 10 Gbps SANET (SIX) * 10 Gbps PIONIER * 10 Gbps AMS-IX 10 Gbps Google 10 Gbps Tier-1 * E2E 4x10 Gbps GÉANT Nx10 CBF - ACONET, SANET, PIONIER 10 Gbps GLIF

15 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu Struktura komunikačních služeb IP služba připojení k e-infrastruktuře CESNET IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Součástí služby fyzické propojení do pan-evropské R&D sítě GÉANT propojuje analogické sítě z ostatních evropských zemí + další sítě např. Internet2 Dílčí částí služby je i přístup do globálního Internetu (přímo, přes výměnné uzly ~ IX, prostřednictvím partnerů) Služby vyhrazených okruhů a sítí dedikované infrastruktury propoje podle potřeb (kapacita, topologie, apod..); možno i mezinárodně (technologická omezení některých řešení) Vyhrazené okruhy Lambda služby Fotonické služby

16 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu Podpůrné a související služby Přidělování a správa adresových zdrojů IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IPv4, IPv6 Kontaktní údaje v RIPE DB Asistence při zřizování LIR Podpůrná a další služby DNS (primární, sekundární, záložní, DNSSEC) Záložní mail relay AntiSpam Gateway

17 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Podpůrné a související služby Sledování infrastruktury Systém G3; SNMP (nejen); interaktivní UI, reporting

18 Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Podpůrné a související služby Sledování infrastruktury jako služba a) Vizualizace stavu a chování dedikované infrastruktury pro uživatele v páteřní síti b) Instalace (G3 systém) v koncové síti (vč. správy) meření aktivních prvků v koncové síti Spolupráce při řešení problémů, konzultace, školení

19 Náročné výpočty - MetaCentrum MetaCentrum zajišťuje a koordinuje provoz NGI (Národní Gridové Infrastruktury) národní součást EGI (Evropské GI) Využití sdružených výpočetních a datových zdrojů pro řešení velmi náročných úloh, které jsou za hranicemi výpočetních možností (výkon, dostupný SW,...) samostatného pracoviště Aktuálně ~ 12k jader, 2PB storage (EGI 3.8PB)

20 Náročné výpočty - MetaCentrum Služby Grid+Cloud+MapReduce výpočty Konvenční i specifický HW (GP-GPU karty, SGI-UV2 [6TB RAM a 48x8 jader]) Zvýhodnění přístupu ke zdrojům podle dosažených vědeckých výsledků Aplikační SW Koordinace pořizování a správy programového vybavení Uživatelská podpora Konkrétních problémy, optimalizace algoritmů, Propojení se zahraničním V rámci ERA, EGI

21 Náročné výpočty - MetaCentrum Služby Integrace výpočetních kapacit do NGI Stávající i plánované Pomoc při výběru, instalaci a provozu clusterů, jednotná správa systémového a aplikačního SW Správa účtů, systém pro správu úloh Společný provozní dohled, přizpůsobení místním potřebám, priorita nebo výhradní přístup na své zdroje Příprava specifického prostředí Úpravy stávajícího prostředí nebo vytvoření specifické dedikované platformy (Galaxy, Chipster) Velké skupiny uživatelů (EGI, ELIXIR)

22 Náročné výpočty - MetaCentrum Novinky Start VI ELIXIR IT dedikované a specificky odladěné podle potřeb a zároveň součástí MetaCentra Snaha podchytit včas další skupiny Shrnutí K dispozici výpočetní výkon obtížně dosažitelný vlastními silami Dostupnost sdružených prostředků i v případě nedostupnosti vlastních Dostupnost odkudkoli po síti Prostředí, které může být ušito na míru Integrace do systému správy účtů v e-infrastruktuře

23 Datová úložiště Dlouhodobé ukládání primárně vědeckých dat (uchování na úrovni binárních dat) Zdroje pro přenos a uchování dat v administrativní doméně uživatelské komunity Základní typy služeb Zálohy Archivace primární data v úložišti, méně časté využívání Sdílení dat primární data u uživatele, záložní data na úložišti pro případ havárie Společná práce nad většími daty v rámci distribuovaného týmu Speciální aplikace ~ distribuce obsahu a další

24 Datová úložiště Infrastruktura Distibuovaná architektura HSM úložišť Plzeň, Jihlava, Brno 21+PB fyzické kapacity Dedikovaná síťová pro vzájemné propojení Dedikovaná pro připojení do páteřní sítě

25 Datová úložiště Infrastruktura HSM úložiště Různé způsoby (typy médií) uložení v jednotlivých vrstvách Optimalizace poměru kapacity, přístupové doby, pořizovací ceny a nákladů na údržbu

26 Datová úložiště Přístup Souborově orientovaný přístup - NFSv4, FTP, rsync, SCP, Speciální aplikace - Grid storage element, DCache FileSender owncloud Blokový přístup pouze ve výjimečných speciálních případech Shrnutí Variabilita přístupu k datům Dostupnost odkudkoli po síti (omezení odvislá pouze od přístupových protokolů a parametrů připojené sítě kapacita!!!) Geografická distribuce dat v rámci administrativní domény komunity Integrace do systému správy účtů v e-infrastruktuře Uživatelská podpora: du-support@cesnet.cz

27 Podpora spolupráce uživatelů Webkonference Adobe Connect Webové prostředí (Flash), základní kvalita obrazu Videokonference H.323/SIP, MCU Limit Full HD, kvalitní zvuk, sdílení obsahu Začlenění vašich VC zařízení do VC infrastruktury ClearSea Rezervační portál meetings.cesnet.cz

28 Podpora spolupráce uživatelů IP telefonie Streaming Propojení IP-telefonních sítí v rámci e-infrastruktury a s pratnery Distribuční platforma pro multimediální vysílání do Internetu (Windows Media, MPEG-4 Flash/HTML5) Videoarchiv Platforma pro uložení obsahu a jeho vystavení pomocí streamovacích serverů CESNETu (Windows Media, MPEG-4 Flash/HTML5)

29 Podpora spolupráce uživatelů Speciální obrazové přenosy a vizualizace Vysoké rozlišení, nízká latence, lékařské zákroky, vědecké vizualizace (SAGE, CAVE), vzdálená spolupráce pří zpracování obrazových dat HD+ (2K, 4K, 8K) apod. Vlastní vyvíjené systémy (UltraGrid, 4K Gateway)

30 Podpora spolupráce uživatelů Konzultace a asistence Návrhy řešení, pořizování zařízení, laboratoře, mobilní SAGE apod. ~ všechny okruhy problematiky sluzby@cesnet.cz

31 Bezpečnost Řešení bezpečnostních incidentů (CSIRT) Bezpečnostní tým CESNET-CERTS Platforma (technická, organizační) pro řešení a asistenci při řešení bezpečnostních incidentů v e-infrastruktuře CESNET a administrativní doméně komunity

32 Bezpečnost Infrastruktura a služby v oblasti bezpečnosti - HW akcelerované sondy - plošný monitoring IP provozu na bázi toků (zdroje provozních informací) - Honey Pots - monitoring infrastruktury na bázi SNMP - IDS a IPS systémy apod.

33 Bezpečnost HW akcelerované sondy kompletní provoz na lince Bezeztrátové a detailní měření síťových dat na volitelné úrovni detailu, tunelovaný provoz, detailně HTTP, DNS, SIP; užitečné pro ruční analýzu, možnost vyčlenit provoz; statistiky, zdroj dat a informací pro další výzkum Detekce událostí a anomálií na paketové a IP úrovni Perimetr e-infrastruktury, STaaS

34 Bezpečnost G3 prvky infrastruktury Sběr informací (SNMP, a další způsoby) nejen ze síťových prvků Sběr a zpřístupnění informací o stavu infrastruktury (interaktivní UI, periodický reporting HTML struktury, viz. ukázky u komunikační infrastruktury), detekce, vizualizace a notifikace anomálií Síťová část e-infrastruktury, instalace v sítích uživatelů, STaaS

35 Bezpečnost FTAS IP provoz na bázi toků Zpracování Informací o IP provozu na bázi toků (tzv. NetFlow) Sběr a zpřístupnění informací o IP provozu (interaktivní UI, periodický reporting HTML struktury, text), detekce a notifikace událostí/anomálií na úrovni IP toků Síťová část e-infrastruktury, instalace v sítích uživatelů, STaaS

36 Bezpečnost FTAS ukázka - reporting

37 Bezpečnost FTAS ukázka - notifikace anomálie

38 Bezpečnost IDS, IPS systémy Honeypoty Systémy pro sdílení informací, SIEM Sběr a normalizace informací o anomáliích a detekovaných událostech Přispívám, přispíváš, přispíváme odebírám (+ informace z více míst, agregace, korelace) Forenzní laboratoř Penetrační testy Zátěžové testy Analýzy událostí

39 Bezpečnost STaaS Puzzle like koncept na bázi kombinace nástrojů pro ty, co nemají dostatek vlastních kapacit Průběžné rozšiřování o další komponenty - HoneyPot_aaS na čekačce

40 Bezpečnost Bezpečnostní školení Na míru pro typové skupiny Zaměstnanci Studenti Na míru tématicky Technické a legislativní aspekty Prevence, odpovědnost za svoje chování v síti, gramotné užívání výpočetní techniky Diskuze o konkrétních problémech (v dané síti/místě/instituci)

41 Správa identit PKI & AAI eduid.cz - Česká akademická federace identit Jedno uživatelské jméno a heslo pro přístup k řadě síťových služeb (v multi-institucionálním prostoru) Poskytovatelé služeb z národní komunity i mezinárodní Součást mezinárodní interfederace edugain

42 Správa identit PKI & AAI Přístup ke službě prostřednictvím eduid.cz Příklad služby: elsevier, web of science,filesender..

43 Správa identit PKI & AAI Certifikáty pro uživatele a servery Důvěryhodný server Důvěryhodná identita uživatele Certifikační autorita CESNET CA Ceritfikáty od GÉANT (dříve TERENA) Trusted Certificate Service Osobní aktuálně pouze gridové platnost 1 rok Serverové ve spolupráci se správci koncových sítí

44 Správa identit PKI & AAI Důvěryhodný server příklad

45 Správa identit PKI & AAI Důvěryhodný server příklad

46 Správa identit PKI & AAI Důvěryhodná identita uživatele příklad využití

47 Správa identit PKI & AAI Důvěryhodná identita uživatele příklad využití

48 Správa identit PKI & AAI eduroam - služba na pomezí : služba z oblasti ověření uživatelů, z pohledu koncového uživatele síťová služba Individuálně autentizovaný federovaný přístup k síti - roaming uživatelů v hostitelské síti Síťovou infrastrukturu zajišťuje hostitelská síť; síťová je opřena o autentizační infrastrukturu (technicky RADIUS server hostitelské organizace zapojený do národní hierarchie)

49 Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Některé služby odebírané na individuální bázi MetaCentrum, některé služby datových úložišť,.. Potřeba specifický účet v e-infrastruktuře Proč? Pomocí federace (technologicky) nelze přímo a transparentně zajistit ověření při přístupu k některým službám ( ~ kerberos based ) Potřeba strukturování uživatelské komunity Potřeba zajistit řízený přístup ke zdrojům

50 Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Účet v e-infrastruktuře technicky spravován systémem Perun Federace výchozí AA platforma pro vytvoření a správu účtu

51 Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Základní prvek strukturování uživatelů VO - virtuální organizace Skupiny v rámci VO Mapování uživatelských identit na zdroje Správce zdrojů správce VO Objem zdrojů Přístupová oprávnění Konfigurace služeb

52 Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Jak získám účet v e-infrastruktuře? Při prvním přístupu ke službě, která tento účet vyžaduje budu proveden registračním procesem podmínka úspěchu je schopnost ověřit se vůči federaci Při prvním přístupu k další službě, která vyžaduje tento účet mohu být vyzván o rozšiřující informace nutné pro chod služby, ale vše se opírá o již dříve vytvořený účet Pokud zapomenu heslo k účtu v e-infrastruktuře, mohu ho přenastavit pomocí ověření se vůči federaci

53 Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Co když nemám identitu v žádném IdP ve federaci? Speciální IdP eduid.cz Hostel Samoregistrace pomocí adresy elektronické pošty základní (tzn. nízká míra důvěry) Pro přístup k některým službám, které potřebují vyšší míru jistoty (..v závislosti na službě) a) zvýšit míru důvěry identity v tomto IdP ověřením registrační úředník (Praha, Brno) nebo CzechPoint b) explicitně nastavit identitu pro přístup ke službě v rámci VO správcem (...profesor ze zahraničí, se kterým dlouhodobě spolupracujeme a máme jistotu, že adresa, kterou se prezentuje patří k němu, jako k osobě)

54 Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Možná schémata přístupu ke službám?

55 Další služby Virtuální servery Nové, od 2016, volná výpočetní kapacita ve virtualizační platformě Virtuální stroj I jako součást komplexnějšího řešení (+ síť apod.) Vize, rozvoj?

56 Další služby Monitorování kvalitativních charakteristik sítě Propustnost, zpoždění, jitter, ztrátovost apod. Pro uživatele náročných aplikací, správce sítí apod. Časové služby Časová synchronizace (NTP servery Stratum 1, rubidiové hodiny) Časová razítka (Time-Stamp Authority) Technické konzultace Ve všech odborných oblastech Cisco akademie Transfer technologií Poskytování licencí k námi vyvinutým zařízení, transfer knowhow, projektování (fotonické sítě na míru) a další..

57 Základní kontakt

58 Díky za trpělivost a pozornost :-)???