Aktuální stav Martin Kuba CESNET a ÚVT MU
sdružuje výpočetní prostředky Superpočítačové Centrum Brno, MU, Brno Univerzita Karlova, Praha Západočeská Univerzita, Plzeň NCBR + Loschmitovy laboratoře, PřF MU Brno Biofyzikální ústav AV ČR, Brno Ústav nauky o dřevě, společně MZLU a VUT, Brno PřF Jihočeská Univerzita, České Budějovice FEEC Vysoké Učení Technické, Brno CESNET 2
MetaCentrum je aktivita CESNETu celkem sdružuje přes 1000 (jader) CPU česká národní gridová digitální e-infrastruktura zdroje jednotlivých organizací jsou sdíleny v různé míře MU, UK, CESNET sdíleny všem ZČU si rezervuje část kapacity, zbytek všem MZLU, NCBR atd. vyhrazeno jen pro ně 3
uživateli mohou být všichni zaměstnanci a studenti z akademické sféry a výzkumu vlastníci výpočetních zdrojů mají na svém vybavení prioritu nebo i výhradní přístup všichni mohou v případě potřeby využít cizí volné zdroje nebo neutrální stroje CESNETu grid zlepšující využití zdrojů více organizací 4
Hardware linuxové clustery Intel/AMD 1, 2, 4 CPU stroje 8 strojů 16CPU Opteron s 64GB RAM SMP (symmetric multiprocessing) stroje 16 CPU Itanium, 48 CPU MIPS síťové karty 1Gb/s Ethernet, 2.5Gb/s Myrinet, 20Gb/s Infiniband 5
6
Úložné prostory lokální disky na výpočetních strojích sdílené disky pro jednotlivé clustery (NFSv3) 100TB diskové pole přístupné přes NFSv4 dvě páskové knihovny s 1000 páskami po 400GB dat, tj. celkem 400TB zálohy i dlouhodobá archivace 7
Adresáře uživatelů /home/makub domovský sdílený přes cluster /scratch/makub velmi rychlý pro data právě běžící úlohy na každém výpočetním stroji /storage/home/makub sdílený přes NFSv4 přes (téměř) všechny stroje, neomezené místo /afs/ics.muni.cz/home/makub sdílený přes AFS přes všechny stroje možnost přístupu z osobního stroje přes AFS a NFSv4 8
Uživatelé výpočetní chemie materiálové a strukturní simulace simulace proudění rozpoznávání a generování řeči fyzikální geodézie ekologické modelování zpracování videa data mining analýza lékařských obrazů 9
Sjednocené prostředí jedna přihláška jedno přihlašovací jméno jedno heslo sdílené souborové systémy (AFS, NFSv4) systém plánování úloh (PBSPro) systém správy účtů (Perun) jeden portál http://meta.cesnet.cz/ jedna komunikační adresa meta@cesnet.cz 10
Systém sdílení zátěže PBSPro přiděluje uživatelům zdroje zdroje jsou: stroje, CPU, paměť, licence uživatelé specifikují množství požadovaných zdrojů a jejich vlastnosti typ CPU, OS, síťový interface, geografické umístění úlohy se řadí do front přidělené zdroje lze použít interaktivně i dávkově 11
Portál METACentra jedna zapamatovatelná adresa http://meta.cesnet.cz/ přehled zdrojů (HW, SW, síť), novinky, výpadky, dokumentace, návody, diskusní fórum správa účtu uživatele zobrazení aktuálního stavu historické záznamy o úlohách (accounting) 12
13
Potřebné nástroje uživatele WWW prohlížeč kvůli portálu ssh klient (PuTTy) pro vzdálený příkazový řádek FTP nebo scp (WinScp) klient pro přenos souborů případně vzdálené sdílení disků (Samba, NFSv4, AFS) 14
Autentizace (prokázání totožnosti) single-sign on jednotné jméno a heslo, Kerberos volitelně i digitální X509 certifikát, použitelný i v evropském gridu EGEE uživatelé obvykle používají běžný ssh/putty pro spojení na frontend stroj (skirit.ics.muni.cz) čímž tam získají Kerberos lístek platný 10 hodin v rámci METACentra pak všechno kerberizované (telnet, ssh, scp, AFS, NFSv4, Apache,Oracle) 15
Správa účtů prvotní přihláška souhlas s pravidly (podpis na papíru nebo autentizace proti MU, UK, ZČU, federaci) členství v METACentru je věčné účty na strojích mají platnost do konce roku v prosinci prodloužení účtů na strojích za podání zprávy o činnosti v uplynulém roce žádosti o účty na dalších strojích 16
Perun systém pro správu účtů Perun eviduje osoby, stroje, účty databáze, master část, slave části na všech strojích např. uživatel požádá o účet na novém clusteru, administrátor žádost schválí, Perun do pár minut přegeneruje seznamy uživatelů na všech strojích v clusteru 17
pbsmon, accouting webové rozhraní k plánovacímu systému PBS zobrazení strojů, úloh, front personalizovaný pohled jen stroje a fronty na které má daný uživatel přístup PBS drží informace o úlohách do 24 hodin po jejich dokončení accounting zobrazuje data o starších úlohách (data z PBS a logu jader OS) 18
19
20
21
Provozní a testovací prostředí potřebujeme zajistit zároveň stabilitu i rozvoj proto jsme zavedli dvě prostředí produkční prostředí maximální stabilita testovací prostředí rozšířeno o novinky v plánovači, jádru OS, Infiniband obsahuje nové silné stroje jako odměnu dobrovolným testerům z řad uživatelů z pohledu uživatele se testovací prostředí liší jen nastavením proměnné PBS_SERVER 22
Request Tracking systém jednotná komunikační adresa meta@cesnet.cz příchozí emaily evidovány v RT jako tzv. lístky lístek má číslo jednací, žadatele, vlastníka a stav vlastník je odpovědný za vyřízení lístku každá změna lístku je e-mailem oznámena žadateli a všem lidem v uživatelské podpoře a provozu METACentra smyslem RT je evidence žádostí, evidence historie řešení a zastupitelnost pracovníků METACentra (kvůli dovoleným, nemocem, služebním cestám atp.) 23
Uživatelská podpora dohlíží na řešení lístků v RT odpovídá na dotazy uživatelů zajišťuje provoz portálu zajišťuje dokumentaci na portálu vyřizuje přihlášky a žádosti o další účty 24
Změny v poslední době přednostní přístup za publikace nasazení kerberizovaného NFSv4 diskové pole 60TB a povýšeno na 100TB vysokorychlostní síť Infiniband manwe6 a manwe7 (64 a 128GB RAM) parametr mem pro rezervaci paměti testovací prostředí diskuzní fórum přehled adresářů uživatele na portálu změna hesla přes federovanou autentizaci accounting od ledna 2008 virtualizace, IPv6 25
Plánovaný rozvoj nový HW na přelomu roku výměna clusterů nympha a minos na ZČU Plzeň za nové stroje (20x 8CPU, 16GB RAM) nový cluster hermes z PřF JČU (10x 4CPU, 16GB RAM, 1TB disk) nový cluster z FEEC VUT (4x 16CPU) decentralizace plánovacího systému a přechod z PBSPro na Torque 26
Plánovaný rozvoj (2) zavedení specializovaných čelních uzlů místo frontend uzlů clusterů (skirit) využití vznikající federace identit eduid.cz pro autentizaci na portálu využití virtualizace strojů pro virtuální clustery a větší kontrolu uživatele nad prostředím virtualizace sítí, IPv6 27
děkuji za pozornost Konec 28