Centrum a projekt CERIT-SC Luděk Matyska, Aleš Křenek et al 9. 12. 2011
Cíle Centra Centrum CERIT-SC je prioritním projektem Cestovní mapy velkých infrastruktur ČR Výzkum a vývoj v oblasti einfrastruktury Postavený na spolupráci informatiků a uživatelů Rozvoj a provoz experimentální špičkové výpočetní a úložné einfrastruktury Podpora experimentů s novými formami a konfiguracemi einfrastruktury. Technické vybavení Centra tvoří nezbytné zázemí kolaborativního výzkumu Nejde o prosté zpřístupnění hrubé kapacity uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 2 / 36
Tři aspekty činnosti Infrastruktura Interaktivní, experimentům příznivé prostředí Vysoká rozmanitost nastavení i způsobů využití Výzkum a vývoj Vlastní informatický, zaměřený na principy a technologie einfrastruktury a její optimalizaci Kolaborativní, zahrnující návrh a optimalizaci algoritmů, modelů, nástrojů a prostředí dle potřeb uživatelů/partnerů Výuka Nová generace informatiků, schopných využívat a dále rozvíjet komplexní einfrastrukturu Nová generace odborníků, schopných efektivně využívat komplexní einfrastrukturu pro své cíle uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 3 / 36
Historie vzniku 1994: Superpočítačové centrum Brno (SCB) při Masarykově univerzitě Národní projekt Fondu rozvoje VŠ, řada partnerů (UK, ZČU, VUT, UPOL, VŠB-TUO, ČVUT) Začátek pokusu o systematickou podporu výkonného počítání v ČR 1996: Návrh MetaCentra, distribuované národní výpočetní infrastruktury ZČU, UK, MU, zpočátku i UPOL a částečně VŠB-TUO 1998: Začátek spolupráce se sdružením CESNET MetaCentrum součást prvního i durhého výzkumného záměru sdružení SCB zdroj know-how a nejaktivnější člen 2009: Návrh osamostatnění SCB a jeho transformace Nové požadavky (data, zázemí pro experimenty, lepší využití potenciálu univezity) 2011: Centrum CERIT-SC jako následník SCB uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 4 / 36
Historie spolupráce National projects Investment (clusters and storage) CESNET MU MU CESNET year SGI Power Challenge L SGI Power Challenge XL SGI Origin 2000 SGI Origin ONYX Tape library (Brno) 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 FR VŠ F0631/96 INFRA2 LB98272 DiDAS PADS MUv6 MetaCentrum SGI Cluster PIII (Brno, Prague) HP CLuster PIII (Pilsen, Brno) HP Server Itanium II (Brno) HP Cluster P4 Xeon (Brno) IBM Power4 Server (Brno) High-Speed National Research Network and its New Activities Intel P4 Xeon Cluster (Prague) NCBR Cluster (Brno) Tape library (Pilsen + Brno) Intel Xeon Cluster (Brno) SMP Opteron Server (MU + CESNET, Brno) Disk storage SGI IS4500 (Brno) Intel Xeon64bit Cluster (Praha) AMD SMP Opteron Server (Praha) Highly Parallel and Distributed Computing Systems (MSM 0021622419) Optical Network of National Research and Its New Applications MediGrid NGI egrid GridLab International projects CESNET MU CoreGRID EGEE DataGrid EGEE II EGEE III EUAsiaGrid InSPIRE EMI EPIKH CHAIN Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 5 / 36
Interní struktura Centra Oddělení výpočetních zdrojů Pořízení a správa clusterů Optimalizace od algoritmů, programů až po výpočetní infrastrukturu Oddělení práce s daty Pořízení a správa úložných kapacit Práce s daty, nové protokoly a metody přístupu k velkým objemům Horizontální aktivity Publicita Práce s uživateli a uživatelská podpora Výuka a vedení studentských prací (od bakalářských po doktorské) Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 6 / 36
Projekt CERIT-SC 3. osa OP VaVpI CZ 1.05/3.2.00/08.0144 1. 5. 2011 až 31. 10. 2013 (30 měsíců) Celková dotace 130.368.554,- Kč Investice 110.813.270,90 Kč Technologie (výpočetní a úložné kapacity) a software Neinvestice 19.555.283.10 Kč Energie, mzdové náklady, publicita,... Žádné režie Cíl: Podpora transformace SCB do Centra CERIT-SC Pořízení nezbytného technického vybavení Ustavení jádra týmu 7 přepočtených úvazků z plánovaných cca 15 Intenzivní zapojení studentů uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 7 / 36
Technologie Výpočetní kapacita clustery SMP (alespoň 80 jader a 512 GB RAM na uzel) >1500 jader, prvních 8 uzlů (640 jader) instalováno Dostatek paměti, prostředí pro základní paralelizaci HD (méně jader na uzel, vyšší výkon na jádro, větší počet uzlů) >2500 jader, 1/5 Q2/2012, zbytek Q1/2013 Vyšší celkový instalovaný výkon Vysoká rozmanitost konfigurací Vysokorychlostní síť Infiniband propojuje všechny uzly Umožňuje experimenty s vyšší mírou paralelizace i pro simulace distribuovaného prostředí Úložné kapacity Disková pole ke clusterům >600 TB, 250 TB aktuálně přejímáno 4 PB v hierarchickém úložišti, Q3/2012 uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 8 / 36
Přístup ke zdrojům Základní principy: Instalované technologie primárně slouží vývoji a experimentům, teprve ve druhé rovině pro klasické výpočty a ukládání dat Minimální administrativa (žádné žádosti o zdroje) Interaktivní přístup, (disruptivní) experimenty, různá prostředí Využití oddělené fyzické a logické vrstvy Virtualizace, cloud technologie = název centra Podpora špičkové vědy bez administrativy Priorita na základě dosažených výsledků, ne žádosti Společné projekty s Centrem Hrubá síla přístupná integrací do MetaCentra a mezinárodních infrastruktur (EGI) uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 9 / 36
Výzkumné aktivity Výzkumná témata v informatice, souvisi s einfrastrukturou Plánování Řízení virtualizovaného prostředí a cloudu Bezpečnost (včetně správy důvěry) Práce s daty Optimalizace výpočtů pro paralelní a distribuované prostředí Hybridní výpočetní prostředí (GPU) a jeho optimalizace Samostaný, ale především kooperativní výzkum v úzké vazbě na partnery uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 10 / 36
Principy spolupráce Identifikace možných partnerů Sledování způsobů využití einfrastruktur yuživateli, identifikace potenciálních problémů Rozpoznané problémy partnera, přímý kontakt Rozpoznání budoucích velkých uživatelů, zpětná vazba z mezinárodní spolupráce v oblasti einfrastruktury Návrh společného projektu, řešení problémů, ne pouze nabídka výkonu/kapacit Společný tým, tvořený odborníky a studenty obou stran Externě financovaný projekt (potvrzení kvality záměru) Integrace do výuky v informatice i předmětných oblastech uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 11 / 36
Národní postavení Národní einfrastruktura tvořena třemi součástmi: Sdružení CESNET: Sítě a koordinace gridů Centrum excelence IT4Innovations: Superpočítač Centrum CERIT-SC: Vývoj einfrastruktury, příprava uživatelů CERIT-SC má podepsána obě memoranda o spolupráci Přenos výsledků výzkumu do praxe einfrastruktury Partneři centra připravování efektivně využívat další zdroje včetně vlastních Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 12 / 36
Hardware v CERIT-SC aneb co se už pod stůl nevejde Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 13 / 36
Hardware v CERIT-SC stroje zewura1 8.cerit-sc.cz (HP Proliant DL980) srovnání s nadupaným desktopem (>70 tis. Kč) CPU jádra frekvence RAM disk SPEC zewura* 8 E7-2860 80 2.26 GHz 512 GB 18 TB 1250 desktop i7-990x 6 3.46 GHz 32 GB 6 TB 121 možnosti podstatně rozsáhlejších výpočtů velká paměť, velký agregovaný výkon využití plného výkonu v tomto rozsahu není zcela přímočaré Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 14 / 36
Hardware v CERIT-SC vysokorychlostní síť InfiniBand 40 Gbit/s, latence cca. 1 µs propojení všech stávajících uzlů velký výpočet přes všech 640 jader a 4 TB RAM Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 15 / 36
Hardware v CERIT-SC vysokorychlostní síť InfiniBand 40 Gbit/s, latence cca. 1 µs propojení všech stávajících uzlů velký výpočet přes všech 640 jader a 4 TB RAM datové úložiště kapacita 250 TB vysoké nároky na propustnost 2.5 GB/s po NFS komplikované technické řešení netriviální nároky na správu, liší se podle vzorů použití Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 15 / 36
Hardware v CERIT-SC GP-GPU server 4 GPU Nvidia Tesla 2090 (512 jader, >600 GFLOPS) 4 250 GB SSD unikátní hardware, extrémní výkon adaptace aplikací velmi náročná uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 16 / 36
Konkrétní příklady spolupráce Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 17 / 36
Signály z lékařských přístrojů Ústav přístrojové techniky AV ČR a LF MU zpracování signálů z hloubkových elektrod v mozku studium šíření epileptického záchvatu uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 18 / 36
Signály z lékařských přístrojů vstupní signály 3 9 elektrod po 15 kontaktech (jen část v zajímavých oblastech) záznam signálu na frekvenci 128 Hz Fourierova transformace na plovoucím časovém okně interval 4 10 s, posun 100 150 ms Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 19 / 36
Signály z lékařských přístrojů dekorelace naměřených signálů analýza hlavních komponent, odstranění všech až na jednu nejvýznamnější největší vlastní hodnota představuje průměrně 85 % výpočet rozkladu matice cca. 7000 130 na singulární hodnoty výpočet výkonového frekvenčního spektra viditelný posun k vyššímu výkonu a nižší frekvenci maxima uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 20 / 36
Signály z lékařských přístrojů omezení současné metody nízká vzorkovací frekvence pragmaticky jednoduché vypočetní zpracování nová generace přístrojů větší počet signálů řádově vyšší vzorkovací frekvence pokročilejší metody zpracování dynamická volba parametrů (šířka okna pro FFT) korelace jednotlivých signálu charakteristiky šíření vlny... mohou vést k přesnějšímu pozorování a objevům nových fenoménů podstatně vyšší náročnost na výpočetní zpracování vyžadováno silné informatické zázemí uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 21 / 36
Rekonstrukce stromů z 3D scanu Centrum výzkumu globální změny AV ČR (CzechGlobe) monitoring a hodnocení aktuálního stavu a změn vegetačního krytu v měnících se klimatických podmínkách laserový scanner LIDAR (Light Detection And Ranging) získána 3D síť bodů v rozestupu cca. 5 cm včetně intenzity odrazu lze odvodit rozložení biomasy listů a kmene vstupní data pro modely ekosystémů uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 22 / 36
Rekonstrukce stromů z 3D scanu vyhodnocení kvalitního snímku poloautomatická metoda Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 23 / 36
Rekonstrukce stromů z 3D scanu méně kvalitní snímky (zakrytí jiným objektem, vítr při snímání,... ) hledáme vhodný model stromu necháme jej prorůrst dostupnými daty vhodná varianta Lindenmayerova systému Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 24 / 36
Rekonstrukce stromů z 3D scanu méně kvalitní snímky (zakrytí jiným objektem, vítr při snímání,... ) hledáme vhodný model stromu necháme jej prorůrst dostupnými daty vhodná varianta Lindenmayerova systému http://www.mizuno.org/applet/branching/ Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 24 / 36
Rekonstrukce stromů z 3D scanu hlavní cíle model nahradí chybějící části snímku plně automatická metoda dovolí zpracovat větší množství vstupů přesnější vstupy pro následující simulace ekosystému Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 25 / 36
Rekonstrukce stromů z 3D scanu hlavní cíle model nahradí chybějící části snímku plně automatická metoda dovolí zpracovat větší množství vstupů přesnější vstupy pro následující simulace ekosystému nápady k řešení potřebná metrika podobnosti konkrétního modelu prohledání rozsáhlého prostoru parametrů zpětná vazba, iterativní proces nechceme se brzdit limity na výpočetní náročnost Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 25 / 36
Segmentace obrázků na GPU Ústav fyzikální biologie JČU mikroskopické obrázky živých buněčných kultur snímány v několikaminutových intervalech, studium chování buněk problém segmentace určit, co je zajímavý objekt a co šum na pozadí experimenty s různými metodami založeny na Shannonově entropii množství informace, kterou přispívají jednotlivé body obrázku Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 26 / 36
Segmentace obrázků na GPU Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 27 / 36
Segmentace obrázků na GPU typický obrázek 12 Mpix, tj. 4000 3000 bodů lepší metody pro každý bod počítají vztah s 4000 + 3000 dalšími naivní implementace běží několik hodin Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 28 / 36
Segmentace obrázků na GPU typický obrázek 12 Mpix, tj. 4000 3000 bodů lepší metody pro každý bod počítají vztah s 4000 + 3000 dalšími naivní implementace běží několik hodin experimentální metoda implementována v Matlabu implementace slibných metod v C nebo CUDA (GPU) zrychlení běhu v řádu 10 až 1000 za cenu dnů až měsíců ruční práce a co s další slibnou metodou? Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 28 / 36
Segmentace obrázků na GPU automatická optimalizace kódu probíhající výzkum v CERIT-SC (PhD práce) kód je zapsán ve vysokoúrovňovém jazyce (à la Matlab) automatická optimalizace vhodné knihovní funkce seskládání do optimalizovaného kódu pro GPU Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 29 / 36
Segmentace obrázků na GPU automatická optimalizace kódu probíhající výzkum v CERIT-SC (PhD práce) kód je zapsán ve vysokoúrovňovém jazyce (à la Matlab) automatická optimalizace vhodné knihovní funkce seskládání do optimalizovaného kódu pro GPU například ABx (CD + C) počítat každou operaci (sčítání, násobení, norma) zvlášť je pomalé ale celý výpočet už se na GPU nemusí vejít hledáme přiměřený kompromis Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 29 / 36
Segmentace obrázků na GPU automatická optimalizace kódu probíhající výzkum v CERIT-SC (PhD práce) kód je zapsán ve vysokoúrovňovém jazyce (à la Matlab) automatická optimalizace vhodné knihovní funkce seskládání do optimalizovaného kódu pro GPU například ABx (CD + C) počítat každou operaci (sčítání, násobení, norma) zvlášť je pomalé ale celý výpočet už se na GPU nemusí vejít hledáme přiměřený kompromis cíl: srovnatelně rychlý kód s podstatně menším úsilím metoda původně vznikla pro jinou aplikační oblast (FEM) Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 29 / 36
Zkoumání tunelů v molekulách Loschmidtovy laboratoře a HCILab FI MU hledání a zkoumání vlastností tunelů v molekulách velká biologicky aktivní molekula známé aktivní místo je někde uvnitř vede k němu/od něj schůdná cesta pro konkrétní malou molekulu? Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 30 / 36
Zkoumání tunelů v molekulách první krok je geometrická aproximace tunelem projde kulová sonda chceme ověřit průchodnost tunelu pro malou molekulu grafické zobrazení nestačí hmatová (haptická) interakce speciální hardware molekulu lze uchopit a tunelem protlačit výpočetně náročná simulace uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 31 / 36
Zkoumání tunelů v molekulách fyzikálně věrný model uživatel musí získat iluzi interakce s reálnými objekty chování reálného světa je popsáno fyzikálními zákony Newtonovy pohybové rovnice F = m dv dt v = dx dt numericky stabilní integrace, probíha 1000 za sekundu statické molekuly zvládne výkonný desktop uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 32 / 36
Zkoumání tunelů v molekulách statické molekuly vůbec neodpovídají realitě tunel mění tvar, může se zavírat a otvírat dopředu lze nasimulovat, jak se velká molekula vrtí molekulová dynamika Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 33 / 36
Zkoumání tunelů v molekulách statické molekuly vůbec neodpovídají realitě tunel mění tvar, může se zavírat a otvírat dopředu lze nasimulovat, jak se velká molekula vrtí molekulová dynamika problém je výsledné proměnné elektrostatické pole počítáme na mřížce 256 3 = 16777216 bodů v 48 bitech HD video: 1920 1080 = 2073600 pixelů v 12 16 bitech lze velmi dobře ztrátově komprimovat výpočetně náročná komprese i dekomprese Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 33 / 36
Zkoumání tunelů v molekulách statické molekuly vůbec neodpovídají realitě tunel mění tvar, může se zavírat a otvírat dopředu lze nasimulovat, jak se velká molekula vrtí molekulová dynamika problém je výsledné proměnné elektrostatické pole počítáme na mřížce 256 3 = 16777216 bodů v 48 bitech HD video: 1920 1080 = 2073600 pixelů v 12 16 bitech lze velmi dobře ztrátově komprimovat výpočetně náročná komprese i dekomprese plánujeme i ohebnou malou molekulu výsledek vzájemné interakce molekul, nelze simulovat dopředu řádově vyšší výpočetní náročnost Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 33 / 36
Shrnutí Projekt zahájil novou etapu pracoviště s dlouhou historií transformace z poskytovatele zdrojů na partnera chytrého využití a dalšího rozvoje einfrastruktury Interaktivita, okamžitá dostupnost, různorodost, disruptivní experimenty,... Silná výzkumná složka a rozbíhající se spolupráce společné vysoké nároky na výpočetní výkon využití technických prostředků netriviálním a neobvyklým způsobem přínos pro obě strany kvalitativní posun v aplikačního oblasti zajímavá témata informatického výzkumu v CERIT-SC Centrum CERIT-SC je organickou a nezbytnou součástí národní einfrastruktury prostředník mezi dalšími složkami einfrastruktury a jejich uživateli uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 34 / 36
Použité materiály Rektor et al., Epilepsia 43 (3), 2002. Rektor et al., Epilepsy & Behavior, 20, 2011. Urban et al., Preprocessing of microscopy images via Shannon s entropy, Proc. ÖAGM/AAPR Workshop, 2011. Dolanský et al., Zpracování laserových dat smrkového porostu v prostředí ArcGIS. GIS ESRI v ČR, 2008. URL stránky centra http://www.cerit-sc.cz/ Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 35 / 36
Projekt CERIT Scientific Cloud, reg. č. CZ. 1.05/3.2.00/08.0144, je podporován v rámci 3. prioritní osy Operačního programu Výzkum a vývoj pro inovace. Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC 9. 12. 2011 36 / 36