Souhrnný pohled na služby e-infrastruktury CESNET CESNET Day Univerzita Hradec Králové, 23. 2. 2016 Tomáš Košňar CESNET z. s. p. o.
Agenda Sdružení CESNET, e-infrastruktura e-infrastruktura CESNET - základní komponenty a služby Architektura Komunikační Náročné výpočty Datová úložiště Podpora spolupráce uživatelů Bezpečnost Správa identit, PKI, AAI Další služby Diskuze - průběžně
Sdružení CESNET 1996 - založeno veřejnými VŠ a AV ČR; od ČVUT převzalo provoz sítě CESNET 1996 začátky pan-evropského budování sítí pro výzkum, vývoj, vzdělávání CESNET buduje oddělenou síť pro tento účel provozuje 2 sítě 2000 prodej komerční sítě spol. Contactel 1996 několik generací sítí pro R&D, vždy v souvislosti s vývojem v evropském kontextu (TEN-34, Quantum, GÉANT..GÉANT2020); řada národních a mezinárodních projektů 2011 Velké infrastruktury pro R&D, cestovní mapa (vláda ČR) Velká Infrastruktura CESNET (e-infrastruktura CESNET) 2016 e-infrastruktura CESNET
e-infrastruktura CESNET Symbolická architektura
Společná komunikační Společná komunikační IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Budováno vlastními silami Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu Pronajatá fyzická Temná vlákna Vyšší vrstvy vlastními silami Proč? Flexibilita, výkon Efektivita a optimalizace využití zdrojů Řešení konkrétních potřeb uživatelů Redundance Spolehlivost
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu Fyzická (temná vlákna) Robustní páteřní IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Aktuálně ~ 6000km vláknových tras z toho ~ 1880km jednovláknových Páteřní uzly Duální připojení Maximální snaha eliminovat fyzický souběh vláken Ekonomické ukazatele
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Optická přenosová Technologie vlnového multiplexu (WDM) 2 systémy - komplementární (vzájemně se zálohují) DWDM ONS 15454 - až 80 kanálů 1100Gbps - jádro páteře OpenDWDM - jedno a dvouvláknové trasy 1-100Gbps, připojování k páteři
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Optická přenosová Platforma pro vytváření dedikovaných nezávislých optických propojů ~ fotonické služby
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IP/MPLS páteřní Platforma pro vytváření logických sítí nebo okruhů Pomocí služeb optické přenosové infrstruktury Primární IP síť - základní sdílená pro IP provoz (~ GÉANT, Internet, IX, atd..) Dedikované okruhy a/nebo sítě pro uživatele (lambda služby, vyhrazené okruhy; i mezinárodně) Řesení na míru (distribuovaná pracoviště, unikátní zařízení apod.) V případě indikace potřeb neváhejte konzultovat!!! Efektivita plán vs. aktuální potřeby Mezinárodní náročné na čas
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IP/MPLS páteřní Primární IP síť 100 Gbps jádro Uzly Nx10 Gbps, 40-100 Gbps IPv4, IPv6, ucast, mcast
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IP/MPLS páteřní Primární IP síť Duální připojení uzlů Redundance, flexibilita
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Dedikované okruhy a/nebo sítě Příklad VPLS ~ rozsáhlá LAN IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) VPLS
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IP/MPLS páteřní Dedikované okruhy a/nebo sítě Příklad EoMPLS
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Externí propojení 30 Gbps GÉANT (100GE) * 100 Gbps IX, partneři IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) 40 Gbps NIX.CZ 10 Gbps ACONET (VIX) * 10 Gbps SANET (SIX) * 10 Gbps PIONIER * 10 Gbps AMS-IX 10 Gbps Google 10 Gbps Tier-1 * E2E 4x10 Gbps GÉANT Nx10 CBF - ACONET, SANET, PIONIER 10 Gbps GLIF
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu Struktura komunikačních služeb IP služba připojení k e-infrastruktuře CESNET IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Součástí služby fyzické propojení do pan-evropské R&D sítě GÉANT propojuje analogické sítě z ostatních evropských zemí + další sítě např. Internet2 Dílčí částí služby je i přístup do globálního Internetu (přímo, přes výměnné uzly ~ IX, prostřednictvím partnerů) Služby vyhrazených okruhů a sítí dedikované infrastruktury propoje podle potřeb (kapacita, topologie, apod..); možno i mezinárodně (technologická omezení některých řešení) Vyhrazené okruhy Lambda služby Fotonické služby
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu Podpůrné a související služby Přidělování a správa adresových zdrojů IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) IPv4, IPv6 Kontaktní údaje v RIPE DB Asistence při zřizování LIR Podpůrná a další služby DNS (primární, sekundární, záložní, DNSSEC) Záložní mail relay AntiSpam Gateway
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Podpůrné a související služby Sledování infrastruktury Systém G3; SNMP (nejen); interaktivní UI, reporting
Společná komunikační Společná komunikační Podpůrná : DNS, Mail Relay, Anti Spam, Monitoring Infrastruktury a IP provozu IP/MPLS páteřní Optická přenosová Fyzická (temná vlákna) Podpůrné a související služby Sledování infrastruktury jako služba a) Vizualizace stavu a chování dedikované infrastruktury pro uživatele v páteřní síti b) Instalace (G3 systém) v koncové síti (vč. správy) meření aktivních prvků v koncové síti Spolupráce při řešení problémů, konzultace, školení
Náročné výpočty - MetaCentrum MetaCentrum zajišťuje a koordinuje provoz NGI (Národní Gridové Infrastruktury) národní součást EGI (Evropské GI) Využití sdružených výpočetních a datových zdrojů pro řešení velmi náročných úloh, které jsou za hranicemi výpočetních možností (výkon, dostupný SW,...) samostatného pracoviště Aktuálně ~ 12k jader, 2PB storage (EGI 3.8PB)
Náročné výpočty - MetaCentrum Služby Grid+Cloud+MapReduce výpočty Konvenční i specifický HW (GP-GPU karty, SGI-UV2 [6TB RAM a 48x8 jader]) Zvýhodnění přístupu ke zdrojům podle dosažených vědeckých výsledků Aplikační SW Koordinace pořizování a správy programového vybavení https://wiki.metacentrum.cz/wiki/kategorie:aplikace Uživatelská podpora Konkrétních problémy, optimalizace algoritmů, Propojení se zahraničním V rámci ERA, EGI
Náročné výpočty - MetaCentrum Služby Integrace výpočetních kapacit do NGI Stávající i plánované Pomoc při výběru, instalaci a provozu clusterů, jednotná správa systémového a aplikačního SW Správa účtů, systém pro správu úloh Společný provozní dohled, přizpůsobení místním potřebám, priorita nebo výhradní přístup na své zdroje Příprava specifického prostředí Úpravy stávajícího prostředí nebo vytvoření specifické dedikované platformy (Galaxy, Chipster) Velké skupiny uživatelů (EGI, ELIXIR)
Náročné výpočty - MetaCentrum Novinky Start VI ELIXIR IT dedikované a specificky odladěné podle potřeb a zároveň součástí MetaCentra Snaha podchytit včas další skupiny Shrnutí K dispozici výpočetní výkon obtížně dosažitelný vlastními silami Dostupnost sdružených prostředků i v případě nedostupnosti vlastních Dostupnost odkudkoli po síti Prostředí, které může být ušito na míru Integrace do systému správy účtů v e-infrastruktuře http://www.cesnet.cz/sluzby/metacentrum/
Datová úložiště Dlouhodobé ukládání primárně vědeckých dat (uchování na úrovni binárních dat) Zdroje pro přenos a uchování dat v administrativní doméně uživatelské komunity Základní typy služeb Zálohy Archivace primární data v úložišti, méně časté využívání Sdílení dat primární data u uživatele, záložní data na úložišti pro případ havárie Společná práce nad většími daty v rámci distribuovaného týmu Speciální aplikace ~ distribuce obsahu a další
Datová úložiště Infrastruktura Distibuovaná architektura HSM úložišť Plzeň, Jihlava, Brno 21+PB fyzické kapacity Dedikovaná síťová pro vzájemné propojení Dedikovaná pro připojení do páteřní sítě
Datová úložiště Infrastruktura HSM úložiště Různé způsoby (typy médií) uložení v jednotlivých vrstvách Optimalizace poměru kapacity, přístupové doby, pořizovací ceny a nákladů na údržbu
Datová úložiště Přístup Souborově orientovaný přístup - NFSv4, FTP, rsync, SCP, Speciální aplikace - Grid storage element, DCache FileSender owncloud Blokový přístup pouze ve výjimečných speciálních případech Shrnutí Variabilita přístupu k datům Dostupnost odkudkoli po síti (omezení odvislá pouze od přístupových protokolů a parametrů připojené sítě kapacita!!!) Geografická distribuce dat v rámci administrativní domény komunity Integrace do systému správy účtů v e-infrastruktuře http://du.cesnet.cz Uživatelská podpora: du-support@cesnet.cz
Podpora spolupráce uživatelů Webkonference Adobe Connect Webové prostředí (Flash), základní kvalita obrazu Videokonference H.323/SIP, MCU Limit Full HD, kvalitní zvuk, sdílení obsahu Začlenění vašich VC zařízení do VC infrastruktury ClearSea Rezervační portál meetings.cesnet.cz
Podpora spolupráce uživatelů IP telefonie Streaming Propojení IP-telefonních sítí v rámci e-infrastruktury a s pratnery Distribuční platforma pro multimediální vysílání do Internetu (Windows Media, MPEG-4 Flash/HTML5) Videoarchiv Platforma pro uložení obsahu a jeho vystavení pomocí streamovacích serverů CESNETu (Windows Media, MPEG-4 Flash/HTML5)
Podpora spolupráce uživatelů Speciální obrazové přenosy a vizualizace Vysoké rozlišení, nízká latence, lékařské zákroky, vědecké vizualizace (SAGE, CAVE), vzdálená spolupráce pří zpracování obrazových dat HD+ (2K, 4K, 8K) apod. Vlastní vyvíjené systémy (UltraGrid, 4K Gateway)
Podpora spolupráce uživatelů Konzultace a asistence Návrhy řešení, pořizování zařízení, laboratoře, mobilní SAGE apod. ~ všechny okruhy problematiky sluzby@cesnet.cz
Bezpečnost Řešení bezpečnostních incidentů (CSIRT) Bezpečnostní tým CESNET-CERTS https://csirt.cesnet.cz/ Platforma (technická, organizační) pro řešení a asistenci při řešení bezpečnostních incidentů v e-infrastruktuře CESNET a administrativní doméně komunity
Bezpečnost Infrastruktura a služby v oblasti bezpečnosti - HW akcelerované sondy - plošný monitoring IP provozu na bázi toků (zdroje provozních informací) - Honey Pots - monitoring infrastruktury na bázi SNMP - IDS a IPS systémy apod.
Bezpečnost HW akcelerované sondy kompletní provoz na lince Bezeztrátové a detailní měření síťových dat na volitelné úrovni detailu, tunelovaný provoz, detailně HTTP, DNS, SIP; užitečné pro ruční analýzu, možnost vyčlenit provoz; statistiky, zdroj dat a informací pro další výzkum Detekce událostí a anomálií na paketové a IP úrovni Perimetr e-infrastruktury, STaaS
Bezpečnost G3 prvky infrastruktury Sběr informací (SNMP, a další způsoby) nejen ze síťových prvků Sběr a zpřístupnění informací o stavu infrastruktury (interaktivní UI, periodický reporting HTML struktury, viz. ukázky u komunikační infrastruktury), detekce, vizualizace a notifikace anomálií Síťová část e-infrastruktury, instalace v sítích uživatelů, STaaS
Bezpečnost FTAS IP provoz na bázi toků Zpracování Informací o IP provozu na bázi toků (tzv. NetFlow) Sběr a zpřístupnění informací o IP provozu (interaktivní UI, periodický reporting HTML struktury, text), detekce a notifikace událostí/anomálií na úrovni IP toků Síťová část e-infrastruktury, instalace v sítích uživatelů, STaaS
Bezpečnost FTAS ukázka - reporting
Bezpečnost FTAS ukázka - notifikace anomálie
Bezpečnost IDS, IPS systémy Honeypoty Systémy pro sdílení informací, SIEM Sběr a normalizace informací o anomáliích a detekovaných událostech Přispívám, přispíváš, přispíváme odebírám (+ informace z více míst, agregace, korelace) Forenzní laboratoř Penetrační testy Zátěžové testy Analýzy událostí https://flab.cesnet.cz/
Bezpečnost STaaS Puzzle like koncept na bázi kombinace nástrojů pro ty, co nemají dostatek vlastních kapacit Průběžné rozšiřování o další komponenty - HoneyPot_aaS na čekačce
Bezpečnost Bezpečnostní školení Na míru pro typové skupiny Zaměstnanci Studenti Na míru tématicky Technické a legislativní aspekty Prevence, odpovědnost za svoje chování v síti, gramotné užívání výpočetní techniky Diskuze o konkrétních problémech (v dané síti/místě/instituci)
Správa identit PKI & AAI eduid.cz - Česká akademická federace identit Jedno uživatelské jméno a heslo pro přístup k řadě síťových služeb (v multi-institucionálním prostoru) Poskytovatelé služeb z národní komunity i mezinárodní Součást mezinárodní interfederace edugain
Správa identit PKI & AAI Přístup ke službě prostřednictvím eduid.cz Příklad služby: elsevier, web of science,filesender..
Správa identit PKI & AAI Certifikáty pro uživatele a servery Důvěryhodný server Důvěryhodná identita uživatele Certifikační autorita CESNET CA Ceritfikáty od GÉANT (dříve TERENA) Trusted Certificate Service Osobní aktuálně pouze gridové platnost 1 rok Serverové ve spolupráci se správci koncových sítí
Správa identit PKI & AAI Důvěryhodný server příklad
Správa identit PKI & AAI Důvěryhodný server příklad
Správa identit PKI & AAI Důvěryhodná identita uživatele příklad využití
Správa identit PKI & AAI Důvěryhodná identita uživatele příklad využití
Správa identit PKI & AAI eduroam - služba na pomezí : služba z oblasti ověření uživatelů, z pohledu koncového uživatele síťová služba Individuálně autentizovaný federovaný přístup k síti - roaming uživatelů v hostitelské síti Síťovou infrastrukturu zajišťuje hostitelská síť; síťová je opřena o autentizační infrastrukturu (technicky RADIUS server hostitelské organizace zapojený do národní hierarchie)
Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Některé služby odebírané na individuální bázi MetaCentrum, některé služby datových úložišť,.. Potřeba specifický účet v e-infrastruktuře Proč? Pomocí federace (technologicky) nelze přímo a transparentně zajistit ověření při přístupu k některým službám ( ~ kerberos based ) Potřeba strukturování uživatelské komunity Potřeba zajistit řízený přístup ke zdrojům
Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Účet v e-infrastruktuře technicky spravován systémem Perun Federace výchozí AA platforma pro vytvoření a správu účtu
Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Základní prvek strukturování uživatelů VO - virtuální organizace Skupiny v rámci VO Mapování uživatelských identit na zdroje Správce zdrojů správce VO Objem zdrojů Přístupová oprávnění Konfigurace služeb
Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Jak získám účet v e-infrastruktuře? Při prvním přístupu ke službě, která tento účet vyžaduje budu proveden registračním procesem podmínka úspěchu je schopnost ověřit se vůči federaci Při prvním přístupu k další službě, která vyžaduje tento účet mohu být vyzván o rozšiřující informace nutné pro chod služby, ale vše se opírá o již dříve vytvořený účet Pokud zapomenu heslo k účtu v e-infrastruktuře, mohu ho přenastavit pomocí ověření se vůči federaci
Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Co když nemám identitu v žádném IdP ve federaci? Speciální IdP eduid.cz Hostel http://hostel.eduid.cz/ Samoregistrace pomocí adresy elektronické pošty základní (tzn. nízká míra důvěry) Pro přístup k některým službám, které potřebují vyšší míru jistoty (..v závislosti na službě) a) zvýšit míru důvěry identity v tomto IdP ověřením registrační úředník (Praha, Brno) nebo CzechPoint b) explicitně nastavit identitu pro přístup ke službě v rámci VO správcem (...profesor ze zahraničí, se kterým dlouhodobě spolupracujeme a máme jistotu, že e-mail adresa, kterou se prezentuje patří k němu, jako k osobě)
Správa identit PKI & AAI Jednotný systém správy účtů v e-infrastruktuře Možná schémata přístupu ke službám?
Další služby Virtuální servery Nové, od 2016, volná výpočetní kapacita ve virtualizační platformě Virtuální stroj I jako součást komplexnějšího řešení (+ síť apod.) Vize, rozvoj?
Další služby Monitorování kvalitativních charakteristik sítě Propustnost, zpoždění, jitter, ztrátovost apod. Pro uživatele náročných aplikací, správce sítí apod. Časové služby Časová synchronizace (NTP servery Stratum 1, rubidiové hodiny) Časová razítka (Time-Stamp Authority) Technické konzultace Ve všech odborných oblastech Cisco akademie Transfer technologií Poskytování licencí k námi vyvinutým zařízení, transfer knowhow, projektování (fotonické sítě na míru) a další..
Základní kontakt https://www.cesnet.cz/sluzby/ sluzby@cesnet.cz
Díky za trpělivost a pozornost :-)???