Enabling Grids for E-sciencE. Projekt EGEE / VOCE. Jan Kmuníček ÚVT MU & CESNET. INFSO-RI

Transkript

1 Projekt EGEE / VOCE Jan Kmuníček ÚVT MU & CESNET

2 Obsah Definice a vlastnosti Gridů Virtuální organizace Evropské gridové prostředí Bezpečnostní prvky Gridů Vize budoucnosti Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 2

3 Definice a vlastnosti Gridů Definice Gridu A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities. Výpočetní grid je hardwarová a softwarová infrastruktura, která poskytuje spolehlivý, standardizovaný, všudypřítomný a levný přístup ke špičkovým výpočetním službám. (I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1999) rozsáhlý distribuovaný systém organizačně samostatných elementů, kterými mohou být individuální počítače (paměti, pevné disky) ainformační systémy vzájemně propojeny počítačovou sítí Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 3

4 Definice a vlastnosti Gridů Grid versus distribuované prostředí Distribuované aplikace jako specializované systémy pro jediný cíl nebo skupinu uživatelů. Gridy rozšiřují původní distribuované aplikace o nové vlastnosti různé druhy zdrojů nevyžadován striktně stejný hardware, data a aplikace různé druhy interakcí různé uživatelské skupiny a aplikace interagují s Gridem různě dynamická povaha zdroje a uživatelé často přibývají / ubývají / mění se Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 4

5 Definice a vlastnosti Gridů Výpočetní Grid Grid poskytující výpočetní servis poskytuje zabezpečené služby pro spouštění aplikací na distribuovaných výpočetních zdrojích jedná se o virtuální distribuovaný počítač pro řešení výpočetně náročných aplikací dynamicky agreguje výpočetní kapacitu velkého počtu individuálních počítačů Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 5

6 Definice a vlastnosti Gridů Datový Grid principiálně jde o zpracování rozsáhlých datových sad pomocí služeb výpočetního Gridu charakterizován sdílením velkého množství dat, poskytováním zabezpečeného přístupu k těmto datům a umožnění jejich následné správy řešeno formou replikovaných datových katalogů vytvářejících iluzi jednotného hromadného datového úložiště Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 6

7 Definice a vlastnosti Gridů Informační / Znalostní Grid často také nazýván jako kolaborativní nebo aplikační Grid charakterizován snahou o rozšíření možností datových Gridů o poskytování kategorizace dat, ontologií, sdílení znalostí a tvorby workflow součástí informačních Gridů jsou virtuální prostředí pro spolupráci resp. virtuální laboratoře umožňující vzdálenou kontrolu a správu senzorů a zařízení Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 7

8 Definice a vlastnosti Gridů Oblasti použití Gridů -aplikace částicová fyzika chemie a biologie distribuce dat z urychlovačů částic a jejich následná analýza MMCC úlohy a zpracování bioinformatických dat inženýrství a design lékařství astronomie životní prostředí média výpočty, analýzy modelů pomocí výpočetní fluidní dynamiky a pevné mechaniky produkce interaktivních medicínských simulací analýza terabajtů astronomických dat z teleskopů příprava modelů a vyhodnocování monitorování znečištení prostředí a předpovědi počasí produkce, vysílání a přehrávání interaktivního mediálního obsahu Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 8

9 Virtuální organizace Principy fungování uživatelé by si měli z Gridu vzít prostředky, které zrovna potřebují, když je potřebují, tam kde je potřebují procesory resp. jejich výkon diskový prostor přenosová kapacita sítí speciální hardware (mikroskopy, senzory, ) Grid zajistí unifikovaný přístup, bezpečnost, spolehlivou dodávku vyúčtování za spotřebu Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 9

10 Virtuální organizace Definice gridového počítání Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations. (I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1999) Virtuální organizace (VO) souhrn výpočetních zdrojů a lidí pracujících na společném projektu Cíle virtuálních organizací sdílení datových zdrojů a výpočetních kapacit použitelných pro zpracování výpočetních úloh Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 10

11 Evropské gridové prostředí Projekt EGEE panevropská gridová platforma sdružuje cca 100 institucí z více než 30-ti zemí aktuální stav počet procesorů ~ disková kapacita 5 PB (5 milionů GB) datový tok 1,5 GB/s struktura projektu regionální členění do federací specifické aktivity servisní (SA) síťové (NA) společné výzkumné (JRA) provoz, podpora a monitorování podpora aplikací, diseminace vývoj a integrace middlewaru Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 11

12 Evropské gridové prostředí VOCE Virtuální organizace pro střední Evropu VO je dynamickým rezervoárem zdrojů & uživatelů z různých domén sdružených za specifickým účelem poskytuje kompletní gridovou infrastrukturu vrámci projektu EGEE oficiálně registrována jako jediná Regionální VO pro region střední Evropy (CE) založena na regionálním principu VOCE pokrývá celou CE federaci klíčové služby spravovány sdružením CESNET zdroje jsou poskytovány několika institucemi z CE regionu (tyto zdroje jsou dostupné všem registrovaným uživatelům VOCE) Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 12

13 Evropské gridové prostředí VOCE Virtuální organizace pro střední Evropu poskytovatelé zdrojů CESNET (Česká republika) PSNC, CYFRONET, ICM (Polsko) II-SAS (Slovensko), KFKI, ELTE (Maďarsko), GUP, HEPHY (Rakousko),SRCE (Chorvatsko) více než 102 registrovaných uživatelů z 10-ti institucí a 6-ti zemí celkem 999 procesorů, cca 13.1 TB diskový prostor Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 13

14 Bezpečnostní prvky Gridů Autentizace proces ověření identity komunikujících partnerů (uživatel služba) Jste opravdu tím, kým tvrdíte, že jste? certifikace mechanismus pro ustavení důvěry mezi partnery Autorizace Máte přístup ke zdrojům, které požadujete? Šifrování utajení citlivých uživatelských dat (biomedicínské Gridy) Accounting Co jste udělali, kdy jste to udělali a odkud jste to udělali? Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 14

15 Bezpečnostní prvky Gridů Certifikát je datový soubor má podobnou funkci jako občanský nebo řidičský průkaz je určen pro autentizaci majitele certifikátu Jméno majitele Vydavatel: CA Doba platnosti Veřejný klíč majitele Podpis CA každý certifikát je elektronicky podepsán certifikační autoritou má časově omezenou dobu platnosti (1 rok) obsahuje jednoznačnou identifikaci majitele a jeho veřejný klíč Certifikační autorita (CA) za účelem ustavení důvěry certifikační autorita certifikáty vydává, spravuje a případně revokuje (ruší platnost) při žádosti o certifikát musí uživatel předložit svůj občanský průkaz nebo svůj cestovní pas Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 15

16 Vize budoucnosti Jak dále s Gridy? projekt EGEE II jako aplikačně-orientovaný nástupce projektu EGEE, který vytvořil infrastrukturní základnu představa dlouhodobě udržovaného prostředí pro vědecké výpočty (gridové prostředí jako standardní součást servisu poskytovaného servisu v rámci ERA) klíčová vazba na národní gridové iniciativy a projekty (interakce VOCE-METACentrum) Projekt EGEE je financován Evropskou Unií (smlouva číslo IST ) 16