Project EGEE-II / VOCE

Transkript

1 Project EGEE-II / VOCE Jan Kmuníček CESNET

2 Obsah Celosvětová gridová infrastruktura Koncept virtuální organizace VOCE infrastruktura a její vlastnosti Aktuální stav VOCE Závěrečné poznámky Seminář projektu EGEE-II, 12. prosinec,

3 Celosvětová gridová infrastruktura Projekt EGEE panevropská gridová platforma sdružuje 90 institucí z 27 zemí aktuální stav počet procesorů ~ počet poskytovatelů zdrojů 170 aplikace 20 velkých struktura projektu regionální členění do federací (geografické členění) specifické aktivity servisní (SA) síťové (NA) společné výzkumné (JRA) provoz, podpora a monitorování podpora aplikací, diseminace vývoj a integrace middleware Seminář projektu EGEE-II, 12. prosinec,

4 Celosvětová gridová infrastruktura Enabling Grids for E-sciencE Project EGEE-II celosvětová gridová platforma projekt EGEE- II je aplikačně-orientovaný nástupce projektu EGEE, který vytvořil infrastrukturní základnu představa dlouhodobě udržovaného prostředí pro vědecké výpočty (gridové prostředí jako standardní součást servisu poskytovaného v rámci ERA European Research Area) Seminář projektu EGEE-II, 12. prosinec,

5 Koncept virtuální organizace Enabling Grids for E-sciencE Grid heterogenní sada zdrojů a uživatelů různé požadavky a různá očekávání potřeba určité interní organizace Virtuální Organizace (VO) sada zdrojů výpočetní elementy, úložné elementy sada koncových uživatelů služby politiky kdo je oprávněn se připojit jaké výpočetní zdroje by měla VO nabízet / garantovat Seminář projektu EGEE-II, 12. prosinec,

6 Koncept virtuální organizace Definice virtuální organizace VO je dynamický rezervoár zdrojů & uživatelů z různých domén sdružených za specifickým cílem. EGEE VO koncept EGEE prostředí dostupné pouze pomocí VO původní myšlenka aplikačně specifické VO vyžadován komplexní schvalovací proces těžkopádný proces ustavení VO politiky technická řešení obzvlášť složité pro malé výzkumné komunity Seminář projektu EGEE-II, 12. prosinec,

7 Koncept virtuální organizace Potíže s ustavením VO VO reprezentuje způsob přístupu do gridového prostředí ustavení VO je poměrně netriviální záležitost garance každodenní funkčnosti využití VO je také obdobně komplikovaná záležitost pomalá učící křivka díky vysoké komplexnosti extrémní bariéra pro nové uživatele Gridu nutnost se učit řadu věcí brání rutinnímu využití ==> pouze velké komunity mají zdroje (čas, peníze, ) na překonání takové bariéry ==> potřeba oslovit malé výzkumné skupiny mohou být vyřešeny pomocí obecné VO (catch-all přístup) Seminář projektu EGEE-II, 12. prosinec,

8 VOCE infrastruktura Virtuální Organizace pro Střední Evropu (VOCE) otevřené gridové prostředí obecná virtuální organizace VOCE odstraňuje potřebu vystavět VO from scratch outsourcing služeb souvisejících s VO rutinní VO management & administrace prováděna dedikovanými administrátory maximální zjednodušení každodenní vědecké práce pomocí nástrojů zjednodušujících práci s nativním middleware CHARON Extension Layer, GUI portály Seminář projektu EGEE-II, 12. prosinec,

9 VOCE infrastruktura Virtuální Organizace pro Střední Evropu (VOCE) poskytuje kompletní gridovou infrastrukturu v rámci projektu EGEE resp. EGEE-II oficiálně registrována v seznamu EGEE VO první regionální VO v EGEE VOCE modelem pro ostatní regiony založena na regionálním principu VOCE zahrnuje celou středoevropskou EGEE federaci (CE) klíčové služby provozovány sdružením CESNET zdroje poskytovány několika institucemi v celém CE regionu (tyto zdroje jsou následně dostupné všem uživatelům registrovaným ve VOCE) Seminář projektu EGEE-II, 12. prosinec,

10 VOCE infrastruktura Enabling Grids for E-sciencE VOCE - Popis plně produkční prostředí prostředí VOCE umožňuje novým uživatelům rychle získat první zkušenost s gridovým počítáním inkubátor pro nové uživatele / aplikace / aplikační oblasti pomoc při adaptaci software pro použití na Gridu dokonce pro aplikace bez zkušenosti s gridovým / clusterovým / vzdáleným počítáním plynulý přechod k produkčnímu použití podpora přípravy specifických VO jakmile uživatelé získají více zkušeností Seminář projektu EGEE-II, 12. prosinec,

11 VOCE infrastruktura Enabling Grids for E-sciencE VOCE - Popis samostatná infrastruktura všechny relevantní služby spravovány VOCE administrátory klíčové služby založeny na glite-3.0 aglite-3.1 middleware CE & SE zdroje sdíleny s LCG uživatelská podpora pomocí RT helpdesku Perun nástroj pro správu uživatelských identit podporujícíc LDAP and VOMS Seminář projektu EGEE-II, 12. prosinec,

12 VOCE infrastruktura Enabling Grids for E-sciencE VOCE - Cíle poskytovat aplikačně neutrální prostředí není vázano k žádné konkrétní aplikaci zájem o široké spektrum aplikačních oblastí i malé výzkumné skupiny mohou využívat produkční EGEE Grid není třeba investovat do ustavení specifické VO před testováním a použitím gridového prostředí EGEE/gLite dostupná produkční i tréninková infrastruktura Seminář projektu EGEE-II, 12. prosinec,

13 VOCE infrastruktura Enabling Grids for E-sciencE VOCE - Cíle poskytovat kompletní a samostatnou gridovou infrastrukturu založenou na EGEE/gLite middleware převzít zátěž fungování gridové infrastruktury umožnit uživatelům produkční práci, možnost tréninku a sloužit pro zpětnou vazbu vývojářům middleware významná přidaná hodnota VOCE vystavěna jako obecná VO oficiálně doporučený postup pro ustavení VO v rámci EGEE Seminář projektu EGEE-II, 12. prosinec,

14 VOCE infrastruktura VOCE Registrační procedury Registrace uživatelů požadována registrace na požadováno vlastnictví platného certifikátu od certifikační autority uznané sdružením IGTF požadován souhlas s VOCE politikami požadována příslušnost k CE instituci žádné další požadavky Registrace zdrojů na základě dohody jednoduché, pokud zdroje již certifikovány v rámci EGEE Seminář projektu EGEE-II, 12. prosinec,

15 Aktuální stav VOCE Přehled infrastrukturních elementů klíčová infrastruktura (WMS, CE, WNs, SE) plně funkční a konfigurována na přijetí uživatelů z CE konfigurace podporující práci s LCG/gLite-3.0 middleware UI RB WMS VOCE LDAP VOCE VOMS skurut4.cesnet.cz skurut3.cesnet.cz skurut2.cesnet.cz (skurut67-6.cesnet.cz, XENed service) meta-ldap.cesnet.cz skurut19.cesnet.cz přístup na UI pomocí GSISSH, účet na UI je vytvořen automaticky po registraci do VOCE dostupné také některé služby glite-3.1 (JP, WMS, ) Seminář projektu EGEE-II, 12. prosinec,

16 Aktuální stav VOCE Středoevropská federace (CE) regionální znak heterogenita (zapojení partneři & organizace) Česká republika Chorvatsko Maďarsko Polsko Rakousko Slovensko Slovinsko Seminář projektu EGEE-II, 12. prosinec,

17 Aktuální stav VOCE Enabling Grids for E-sciencE VOCE Virtuální Organizace pro Střední Evropu zdroje z CESNET (Česká republika) PSNC, CYFRONET, ICM (Polsko) II-SAS (Slovensko) SRCE, IRB, FESB (Chorvatsko) BME, KFKI, ELTE, NIIF (Maďarsko) GUP, HEPHY (Rakousko) více než 178 registrovaných uživatelů ze 14 institucí a 6 zemí celkově 1262 CPUs cca 27.3 TB disk space Seminář projektu EGEE-II, 12. prosinec,

18 Aktuální stav VOCE VOCE -Virtuální Organizace pro Střední Evropu CHARON Extension Layer (CEL) uniformní amodulární přístup pro zasílání a správu (komplexních) výpočetních úloh obecný systém pro použití aplikačních programů v gridovém prostředí (LCG/gLite middleware, ) správa aplikací single/paralelní spouštění bez nutnosti modifikace skriptu úlohy správa úloh jednoduché zadání, monitorování běhu a získání výsledků přístup založený na rozhraní příkazové řádky (CLI) Seminář projektu EGEE-II, 12. prosinec,

19 Aktuální stav VOCE Enabling Grids for E-sciencE VOCE - Virtuální Organizace pro Střední Evropu další dostupná řešení VOCE propojeno sportálem P-GRADE VOCE propojeno s portálem GENIUS výpočetní prostředí podporující paralelní spouštění výpočetních úloh pomocí MPI Seminář projektu EGEE-II, 12. prosinec,

20 Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu portál P-GRADE umožňuje pokročilou správu workflows komfortní spouštění paralelních úloh podpora legacy aplikací přístup do více různých Gridů Seminář projektu EGEE-II, 12. prosinec,

21 Aktuální stav VOCE Seminář projektu EGEE-II, 12. prosinec,

22 Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu portál GENIUS podpora výuky použití gridového prostředí standardní nástroj pro trénink využití EGEE Gridu předdefinovaná sada ukázkových aplikací Seminář projektu EGEE-II, 12. prosinec,

23 Aktuální stav VOCE Seminář projektu EGEE-II, 12. prosinec,

24 Závěrečné poznámky VOCE - Shrnutí registrace uživatelů registrace do VOCE dokumentace VOCE portál uživatelská podpora zašlete požadavky na voce@cesnet.cz Seminář projektu EGEE-II, 12. prosinec,

25 Závěr VOCE Shrnutí produkční gridová infrastruktura obecná VO podporující nové gridové uživatele dedikované prostředí pro trénink uživatelů Seminář projektu EGEE-II, 12. prosinec,