Superpočítáníagridovépočítání MartinPetřek,1,2PetrKulhánek,1,2 JanKmuníček1,3 petrek@chemi.muni.cz,kulhanek@chemi.muni.cz,kmunicek@ics.muni.cz 1)CESNETz.s.p.o.,Zikova4,CZ 16000Praha,Českárepublika 2)Národnícentrumprovýzkumbiomolekul,PřírodovědeckáFakulta,Masarykovauniverzita, Kotlářská2,61137Brno,Českárepublika 3)Ústavvýpočetnítechniky,Masarykovauniverzita,Botanická68a, 60200Brno,Českárepublika Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Obsah 1.Náročnévýpočtyaaplikace Výpočetníchemie(ukázka),částicováfyzika, zpracovánídat,... 2.Gridovésystémyaprácevnich METACentrum,EGEE2 3.Softwareprořazeníasprávuúloh PBS,gLite/LCG ukázkaspouštěníjobů 4.SystémCHARON Koncepcesystému Použitínaklastruavgridu Správaaplikací Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Náročnévýpočtyaaplikace Cojsounáročnévýpočty? relativnípojemvzhledemkprudkémuvývojvýpočetní techniky jednotkavýkonu FLOPS(FloatingPointOperationsPerSecond) jednotkadat BYTE dnešnípentium4,1gbram,2ghz výkonněkolikgflops donáročnýchvýpočtůřadímeaplikacevyžadující výkonvřádech>=tflopsvyšší prácesdatyvřádech>=gb aplikaceběžícínasuperpočítačíchneborozsálých výpočetníchsystémech(gridy) dobaběhunadomácímpcbytrvalatýdny,měsíce,roky,... Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Náročnévýpočtyaaplikace Typyaplikací: Matematicko Fyzikálníaplikace: modelypředpovědipočasí(systémaladin) simulaceexperimentůzoblasičásticovéfyziky(hep) úlohyzoblastipružnosti pevnosti,termo elasticita(fem) simulaceprouděníkapalin(cfd) materiálovéinženýrsví,nanotechnologie simulacezemetřesení NP těžkéúlohy(tsp),optimalizačníúlohy úlohyzlineárníhoresp.matematickéhoprogramování lámáníšifer(des,enigma[m4project]) hledáníprvočísel(gimps),... Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Náročnévýpočtyaaplikace Typyaplikací: Chemické biologickéaplikace: simulacechováníbiologickýchsystémů(molekulovádynamika) návrhyléčiv(studiuminterakceenzymxléčivo) molekulovédokováníakonformačníanalýzamolekul zkoumáníreakčníchmechanizmů(tranzitnístavy,odhady energetickýchrozdílůproreakčnícestu, výpočty'volnéenergie') proteinfolding simulacechováníorganismůvprostředí šířeníepidemiívprostředí Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Náročnévýpočtyaaplikace Typyaplikací: Zpracovánídat: lékařsví(ct snímky,nmr,příznakovérozpoznávání) zpracovánírozsáhlýchstatistik analýzaarozpoznáváníobrazu HEP částicovéexperimenty(atlas,cms,alice,lhcb) tvorbaexpertníchsystémů(ai) Visualizacedat renderovánínáročnýchscén Ostatní simulacesociálníchaekonomickýchjevů...aspoustadalších... Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Náročnévýpočtyaaplikace Příkladzvýpočetníchemie výpočetvolnéenergie hlavníúloha(dobaběhu~15h) generujemnohopodúloh(stovky) podúloha(dobaběhu~ 25h)(2CPU) získáme profil (graf) volné energie v intervalu (a,b) nadomácímpc(1cpu) byúlohatrvala~7měsíců (24hdenně) vmetacentru~za3dny mámevýsledky Reakční koordináta a b Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Náročnévýpočtyaaplikace Příkladzvýpočetníchemie výpočetvibračníchmodůmolekuly výpočetmatice2.derivacíenergiepodlesouřadnic(tzv.hessian) 3*N*2nezávislýchvýpočtůgradientuenergie(Quant.Mech.) N ~ 100 atomů => 600 úloh 1 úloha ~ 1 hodina na domácím PC ( 25 dní ) v METACentru ~ 1hodina Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Gridovésystémyaprácevnich Computercluster několikpočítačůspojenýchpomocísítě(lan) lzesnimipracovatodděleněnebosemůžounavenek(při vzdálenémpřipojení)jevitjakojedenpočítač uvnitřsítěselzesvobodněpohybovat (jednotlivépočítačesinavzájem věří ) lzepoměrnělevněpostavitzběžnědostupnýchpcasíťových komponent většinoustejnétypystrojů(homogenníclusterxheterogennícluster) Gridovýsystém rozsáhlýcodopočtuvýpočetníchstrojů,ukládacíchkapacit,... chápánspíšjakovýpočetnínástrojnežjakojedenpočítač spojeníněkolika clusterů,různéarchitektury,heterogennístroje velkýdůraznabezpečnost(dílčíclusterymohoubýtrůzněposvětě) Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Gridovésystémyaprácevnich Společnéznakyvětšinyklastrů: cn4 operačnísystémytypuunix(unix,linux,freebsd,netbsd,...) sdílenísouborůvklustru(souborovésystémynfs,afs,...) systémsprávyaplikačníhosoftwaru(systémtzv.modulů) autentizačnísystémvrámciklastru(kerberos) aspoňjedencentrálníuzelpropřístupzvenčí(ssh,certifikáty,...) softwareprořazeníúlohdofronty(pbs+varianty,nqe,lsf,...) uživatelmáúčet,domovskýadresářpřímovsystému zcentrálníhouzluselzelogovatnajednotlivéstrojebezhesla cn5 cn6 cn0 Firewall cn1 cn2 cn3 internet Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Gridovésystémyaprácevnich SpecifikaGridů: výpočetnízdrojenejsouspravoványcentrálně administrativnírozdělenígriduna virtuálníorganizace(vo) speciálníuzlyproukládánídat stroje,kterézajišťujíslužbypro prácisesoubory(storageelements) službypromonitorovánístavugridu službyproplánováníúloh(computingelements) vlastnívýpočetníkapacity(workernodes) kpropojenívoslouží grid middle ware otevřenéstandardy kpřihlášenídogridusloužíněkolikpočítačů(user Interface) autentizacepomocícertifikátů(silnéelektronickéšifrování) uživatelpatřídovo,nemápřímýpřístupkezdrojům,aleke službám Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Gridovésystémyaprácevnich Ukázkatypicképrácenaklastru: 1)připojenízdomácíhostrojenacentrálníuzelklastru 2)přípravaúlohyaspouštěcíhoskriptu 3)odesláníúlohydofronty 4)monitorováníúlohy 5)obdrženívýsledků i)zastaveníresp.restartúlohy ii)přeplánováníúlohy,zrušenínaplánovanéúlohy iii)specifikacezdrojů,kdemáúlohaběžet iv)monitoringstavuklastru(volnéstroje,výpadkyklastru) víceuživatelůgenerujespoustuúloh,kapacitazdrojůomezená =>systémproplánování,řazeníasprávuúloh Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh PBS PortableBatchSystem(dávkovýsystémproklastry) úlohyseřadídotzv.front fronty: Jméno fronty Max. doba běhu Maximum úloh Maximum/Uživatel short normal long ncbr cpmd 2 hodiny 24 hodin 720 hodin 720 hodin 720 hodin 8 12 32 32 16 12 24 96 120 120 strojůmlzepřiřadittzv.vlastnosti(využitívheterogenníchclusterech) Vlastnosti (meta): linux praha brno plzen iti Vlastnosti (ncbr): lcc ibp cpmd Vlastnosti (obecné): p3 xeon athlon Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh PBS PortableBatchSystem(dávkovýsystémproklastry) Příkazyprozákladníprácisúlohami: zasláníúlohydofronty(qsub) vymazáníještěnespuštěnéúlohyzfronty(qdel) informaceoběžícíchúlohách(qstat) standardní a Informaceouzlech(pbsnodes,xpbs) chybový výstup vpraxitovypadápřibližnětakto: odesláníúlohydofronty: [petrek@skirit test]$ qsub -r -e -q -v 142606.skirit.ics.muni.cz [petrek@skirit test]$ Identifikátor úlohy proměnné prostředí n -m abe -j oe -o test.out \ test.err -N "Test cislo 1" \ normal -l "node=1:brno:xeon" \ "BACKUPDIR" test fronta a vlastnosti vlastní skript Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh PBS PortableBatchSystem(dávkovýsystémproklastry) vlastnískript [petrek@skirit petrek]$ cat test #!/bin/bash #PBS -W stagein=/scratch/petrek/xxx.com@skirit:test/xxx.com #PBS -W stageout=/scratch/petrek/xxx.log@skirit:test/xxx.log # Inicializace modulu a pridani modulu g98:. /packages/run/modules-2.0/init/sh module add g98 # zmena pracovniho adresare cd /scratch/petrek # Spusteni ulohy: g98 xxx.com Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh PBS PortableBatchSystem(dávkovýsystémproklastry) Informaceoúlohách [petrek@skirit petrek]$ qstat Job id Name User ---------------- ---------- --------138034.skirit-f tri_2fsm zeleny 138035.skirit-f tri_3fsm zeleny 138036.skirit-f tri_4fsm zeleny 138195.skirit-f opt1 jsebera 139206.skirit-f jedu sponer 139731.skirit-f a2:=24 hornak 140366.skirit-f 24t5p.run vrbka 142457.skirit-f S011 petrek 142562.skirit-f m2sr soliman 142606.skirit-f test petrek Time Use -------68:49:00 188:01:0 99:39:18 107:21:3 621:11:3 531:31:2 1109:53: 05:22:49 28:24:05 0 S Q Q Q Q R R R C R Q Queue ----long long long long ncbr iti parallel cpmd cpmd normal režimyúlohy:q(naplánovaná)=>r(running)=>e(end)=>c(completed) smazánízfrontyvestavuq: [petrek@skirit petrek]$ qdel 142606 Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh PBS PortableBatchSystem(dávkovýsystémproklastry) Monitoringúloh:xpbs Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh PBS PortableBatchSystem(dávkovýsystémproklastry) přehledvytíženístrojů: http://meta.cesnet.cz/pbsmon/nodes.do Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh Nevýhodypříméhopoužitídávkovýchsystémů: nutnáznalostfront,vlastností uživatelmusíznátpoměrnědostinformacíosystému kopírovánívstupníchdatnavýpočetníuzelastaženívýsledku musízajistitvášskript: ( paralelníúlohy speciálnívolbyvespouštěcímskriptuohledně architektury(shmem,p4,mpich gm) nastavenícestksoftware uživatelmusíopětznát,cojekde nainstalováno,jakouarchitekturupoužít =>různéskriptyprorůznéarchitektury: ( informaceoúlozesvázanésidentifikačním číslemjobu =>přivelkémmnožstvíúlohneúnosné Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh Službyvgridovýchsystémech:middlewaregLite/LCG Certifikáty:(beznichnelzenagriduexistovat) souborsinformacemiovašíidentitě;máomezenouplatnost,údaje šifrované příkazypropráciscert.: prodlouhodobějšíúlohy=>myproxycertifikát příkazyprooperacisesoubory: lcg cp,... příkazyproprácisúlohou: glite job submit,... příkazyproslužbusvoms(virtualorganizationmembershipservice): glite voms proxy info Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh Službyvgridovýchsystémech:middlewaregLite/LCG prácenagridu: 1)připojenízdomácíhostrojenaUserInterface(gsissh) 2)Inicializacecertifikátů(myproxy init sc,myproxy get delegation) 3)Nahrátívstupníchdatnastorageelement(lcg cp) službavrátíidentifikátorsouborunase 4)Sestavenípopisovacíhoskriptuproúlohu(*.JDL) 5)Vlastníodesláníúlohydogridu(glite job submit) službavrátíidentifikátorjobu 6)Sledovánístavuúlohy(glite job status) 7)Stáhnutívýsledkuzestorageelementu(lcg cr) Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh Službyvgridovýchsystémech:middlewaregLite/LCG 4)Sestavenípopisovacíhoskriptuproúlohu(*.JDL) # JDL Test.jdl Type = "Job"; JobType = "Normal"; Executable = "Test"; předává se s StdOutput = "Test.stdout"; spolu s úlohou StdError = "Test.stderr"; InputSandbox = {"in1.xml","in2.xml"}; OutputSandbox = {"out1.xml", out2.xml }; Environment = { "AMBERPATH=/var/amber", "BIGFILE1=guid:645c2af0-498e-4657-8154-8295380b349e" }; identifikátor Arguments = ""; souboru na SE RetryCount = 1; 5)Vlastníodesláníúlohydogridu(edg job submit) $exportvoconfig=edg_wl_ui.conf $glite job submit config vo$voconfig ojidtest.jdl Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Softwareprořazeníasprávuúloh NevýhodypříméhopoužitíAPIgridu: JDLjazyk Správaidentifikátoruprosoubor kopírovánívstupníchdatzsenavýpočetníuzel(wn)anahrátí výsledkůnasemusízajistitvášskript: ( speciálnívolbyvpopisovacímjdlskriptuohledněparal.architektury, délkyjobu software jetřebakopírovatsúlohounebopředávatinformace, odkudlzespouštět(neníznáméobecněnagridu) informaceoúlozesvázanésidentifikačnímčíslemjobu,místo souborůidentifikátorynase =>přivelkémmnožstvíúlohopětneúnosné Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
AplikačnívrstvanadAPI Cíl zjednodušituživatelůmpráci většinudílčíchúkonůlzezautomatizovat odeslánídat,zpřístupněnísoftwaru,zajištěníkompatibility softwarusarchitekturou,zajištěníparalelníhoběhuúloh jednotnýpřístupdorůznorodýchprostředí(grid/klastr) Grafické/webovérozhraní(GUI/web)Xpříkazovýřádek(CLI) systémcharon (dalšímožnosti:unicore,geniusportál,pgrade,...) Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCHARON CHARON komplexnínadstavbanadávkovými/gridovýmisystémy zajišťujícísjednocenýpřístupkvyužívánívýpočetníchzdrojů nástrojprosprávuaúdržbuaplikacívtěchtosystémech nástrojprosjednocenéodesíláníasledováníúloh PročCHARON? složitostdávkovýchagridovýchmiddle warepřesahuje uživatelskyúnostnoumez vtétooblasticharonnabízímaximálnízjednodušenípráce způsobprácenagridu,resp.naklastrechjeprouživatele jednotný(přenositelnostúloh) Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon DEMO Obsah: UIinformace,připojenínaUI SystemModule SystemCharon Aliases Jednoduchéúlohy Složitějšíúlohy PovrayRendering AnalýzavodníchmolekulkolemLgtCproteinu Paralelníúlohy Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon DEMO UIinformace lokálníclusternancbr UserInterfaceproEGEEgrid wolf.chemi.muni.cz účtyprokurz:test1 test20 hesla: přihlášenípřesputty(naploše) Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon DEMO připojenínacentrálníuzelklastru(ssh,putty) login: test1 test1@wolf.chemi.muni.cz's password: ***** Last login: Wed Aug 23 14:30:31 2006 from joplin.chemi.muni.cz *** Welcome to WOLF cluster *** =========================================================== You are logged on host : wolf.chemi.muni.cz Its architecture is : i786 --------------------------------------------------------- Charon Extension Layer (CEL) is enabled. If you have any problem with this system you should contact authors. (More information at WWW portal.) *** http://troll.chemi.muni.cz/whitezone/development/charon --------------------------------------------------------- [test1@wolf ~]$ Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon DEMO SystémModule 1.seznamdostupnýchaplikací module moduleavail 2.aktivaceaplikace moduleaddpovray 3.aktivaceaplikace podrobnýpopistoho,coseděje: moduledisppovray 4.seznamaktivovanýchaplikací: module moduleexported* moduleactive* 5.konfiguracesystémumodulů: modconfig *)exportovanémodulyuchovávajísepouzejménaačíslaverzí Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon DEMO SystémCharon Dávkovýsystém:openpbs fronta:long aliasy:local pcelinfo pconfigure psubmit pgo psync pinfo Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon DEMO příklady: výsledkynahttp://www.ics.muni.cz/~kmunicek/egee II seminar/examples/ $HOME/EXAMPLES/KLASTR 00.basic job1 job2 results job1 job2 01.simple 02.complex 03.parallel 04.autodetection Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru Jednoduchéúlohy vytvořeníadresářesúlohou(nakopírovánípřesscp,winscp) [test1@wolf ~]$ scp -r petrek@wolf:job1. petrek@wolf's password: ****** job1.run 100% 49 0.1KB/s input1.pov 100% 3347 3.3KB/s 00:00 00:00 vytvořeníspouštěcíhoskriptuproúlohu [test1@wolf ~]$ cd EXAMPLES/KLASTR/01.simple/job1 [test1@wolf job1]$ ls input1.pov job1.run* [test@wolf job1]$ cat job1.run #!/bin/bash # activate povray package module add povray # render scene povray -W800 -H600 input1.pov Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru 1)odesláníúlohy [test1@wolf ~]$ psubmit long job1.run Job name : job1.run Job title : job1.run (Job type: generic) Job directory : wolf.chemi.muni.cz:/home/test1/examples/klastr/01.simple/job1 Job project : -nonecluster name : WOLF (Driver: pbs) ======================================================== Alias : -nonequeue : long Profile : wolf ---------------------------------------NCPU : 1 Resources : nodes=1:ppn=1:node Sync mode : sync ---------------------------------------Start after : -not defined======================================================== Do you want to submit job with pbs driver (YES/NO)? > YES Job was successfully submitted to PBS queue system. Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru 2)vzniklékontrolnísoubory [test1@wolf job1]$ ls input1.pov job1.run* job1.run.ces* job1.run.info 3)stavúlohy [test1@wolf job1]$ pqstatl wolf.chemi.muni.cz: Job ID Username ------- ------700.wol test1 Req'd Req'd Elap Queue Jobname SessID NDS TSK Memory Time S Time ------ ------ ------ --- --- ------ ---- -- ---long job1.run 9873 1 --168:0 R 0:0 4)výslednésoubory [test1@wolf job1]$ ls input1.png input1.pov job1.run* job1.run.ces* job1.run.info job1.run.stdout Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru 5)výsledek(input1.png) Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru Složitějšíúloha:Konformačníprohledávánéjednoduchýchligandů: EXAMPLES/KLASTR/02.complex/conformation-search Obsahadresáře EvalAmberEnergy*ga.datmol00063.parm7mol00063.rst7 mol00063.runall*rotdih*top2conform*topology.parm7@ hlavnískript topologiemolekuly(ambertopologyfile) počátečnísouřadnice(amberrestartfile) Cílemjenajítvhodnéstabilnístruktury(energetická minima konformery) Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru Jobscript(mol00063.RunAll)... #findfreerotablebonds top2conformmol00063.parm7connectivity.datdih.dat MAXCONF=3 NCONFBASE=3 #estimatenumberofconformers NDIH=`wcdih.dat gawk'{print$1;}'` NCONF=`echo"$NCONFBASE*$NDIH*$NDIH" bc` if[$nconf gt$maxconf];then NCONF=$MAXCONF fi #rungeneticalgorithmsearch rotdih imol00063.rst7 cconnectivity.dat ddih.dat\ n$nconf... Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru [test1@wolf conformation-search$ psubmit long mol00063.runall [test1@wolf conformation-search]$ pinfo [test1@wolf conformation-search]$ pgo Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru Složitějšíúloha:AnalýzamolekulvodykolemproteinuLgtC: EXAMPLES/KLASTR/02.complex/lgtc/job1 Obsahadresáře get_pdbs*prod050.rstsolv.top hlavnískript souřadnice(amberrestartfile) topologie(ambertopologyfile) Cílemjenalézttěsněvázanémolekulyvodyaprvní solvatačnívrstvuproteinu. Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru hlavnískript #loadneccessarymodules moduleaddcats moduleaddqhull #imagesnapshot topcrdimagesolv.topprod050.rstiprod050.rst #makerboxfile topcrd2rbox afp3.0solv.topiprod050.rstiprod050.rbox #makedelaunaytriangulation catiprod050.rbox qdelaunaysitooutput... Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru ParalelníúlohyvsystémuCHARONnaklastru [test1@wolf job1]$ cd ~/EXAMPLES/KLASTR/03.parallel/job1 [test1@wolf job1]$ cat job1.run #!/bin/bash D=$HOME/EXAMPLES/KLASTR/03.parallel/job1_data moduleaddmpichrun:default:auto:p4 mpirun np$ch_ncpu machinefile$ch_nodefile$d/bin/hello$d/input$d/output [test1@wolf job1]$ psubmit long job1.run 4 [test1@wolf job1]$ pinfo : -----------------------------------NCPU : 4 Resources : nodes=4:ppn=1:node Properties : -nonesync mode : sync : přiinstalacisoftwaruadministrátorvytvořípodobnéspouštěcískripty uživatelpakspouštísingle/parallelverzistejnějenměnípočetprocesorů Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínaklastru AutodetekceúlohvsystémuCHARON automaticképřipraveníspouštěcíhoskriptu(nazákladěkoncovky) současnápodporaupovray,gaussian(licencovaný),gamess usjobs Obsahadresáře (EXAMPLES/KLASTR/04.autodetection/job1) laser.pov odesláníúlohy fronta/alias povrayvstupnísoubor $psubmitlonglaser.pov Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínagridu stejnépříkazyizpůsobpráce(přenositelnostúlohmeziklastryagridy) potřebacertifikátu 2příkazynavíc (inicializacegridovéhomodulu,inicializacecertifikátu) 1)přepnutí site naodesílánídogridu(moduleaddvoce wolf) přenastaveníprostředí modulenynízobrazujeaplikacepoužitelnénagridu lzesepřepnoutzpět(moduleaddwolf) 2)ziskcertifikátu(myproxy get delegation lkurzxy) proúčelykurzu,jinakpřeshwtokenavoms Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon použitínagridu odesláníúlohy(psubmit) místospecifikacefrontysepíšejménovoneboalias proúčelykurzujevytvořenalias'skurut'(viz.pconfigure) cd ~/EXAMPLES/GRID/01.simple/job2 psubmit skurut job2.run pinfo psync kontrolnísoubory JDLskript Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
SystémCharon dalšíinformace DokumentaceCharon: http://troll.chemi.muni.cz/whitezone/development/charon Softwarovýrepositář: http://troll.chemi.muni.cz/whitezone/development/charon/isoftrepo/ Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Poděkování LuděkMatyska(CESNET,ICS) JaroslavKoča(NCBR) Evropskákomise EGEEII(číslokontraktuRI 031688) EGEE(číslokontraktuIST 2003 508833) MŠMT(MSM0021622413) GAČR(204/03/H016) Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006
Prostorprodotazy Superpočítáníagridovépočítání,SeminářprojektuEGEEII,SKMBrno,12.prosince,2006