Centrum a projekt CERIT-SC

Transkript

1 Centrum a projekt CERIT-SC Luděk Matyska, Aleš Křenek et al

2 Cíle Centra Centrum CERIT-SC je prioritním projektem Cestovní mapy velkých infrastruktur ČR Výzkum a vývoj v oblasti einfrastruktury Postavený na spolupráci informatiků a uživatelů Rozvoj a provoz experimentální špičkové výpočetní a úložné einfrastruktury Podpora experimentů s novými formami a konfiguracemi einfrastruktury. Technické vybavení Centra tvoří nezbytné zázemí kolaborativního výzkumu Nejde o prosté zpřístupnění hrubé kapacity uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

3 Tři aspekty činnosti Infrastruktura Interaktivní, experimentům příznivé prostředí Vysoká rozmanitost nastavení i způsobů využití Výzkum a vývoj Vlastní informatický, zaměřený na principy a technologie einfrastruktury a její optimalizaci Kolaborativní, zahrnující návrh a optimalizaci algoritmů, modelů, nástrojů a prostředí dle potřeb uživatelů/partnerů Výuka Nová generace informatiků, schopných využívat a dále rozvíjet komplexní einfrastrukturu Nová generace odborníků, schopných efektivně využívat komplexní einfrastrukturu pro své cíle uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

4 Historie vzniku 1994: Superpočítačové centrum Brno (SCB) při Masarykově univerzitě Národní projekt Fondu rozvoje VŠ, řada partnerů (UK, ZČU, VUT, UPOL, VŠB-TUO, ČVUT) Začátek pokusu o systematickou podporu výkonného počítání v ČR 1996: Návrh MetaCentra, distribuované národní výpočetní infrastruktury ZČU, UK, MU, zpočátku i UPOL a částečně VŠB-TUO 1998: Začátek spolupráce se sdružením CESNET MetaCentrum součást prvního i durhého výzkumného záměru sdružení SCB zdroj know-how a nejaktivnější člen 2009: Návrh osamostatnění SCB a jeho transformace Nové požadavky (data, zázemí pro experimenty, lepší využití potenciálu univezity) 2011: Centrum CERIT-SC jako následník SCB uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

5 Historie spolupráce National projects Investment (clusters and storage) CESNET MU MU CESNET year SGI Power Challenge L SGI Power Challenge XL SGI Origin 2000 SGI Origin ONYX Tape library (Brno) FR VŠ F0631/96 INFRA2 LB98272 DiDAS PADS MUv6 MetaCentrum SGI Cluster PIII (Brno, Prague) HP CLuster PIII (Pilsen, Brno) HP Server Itanium II (Brno) HP Cluster P4 Xeon (Brno) IBM Power4 Server (Brno) High-Speed National Research Network and its New Activities Intel P4 Xeon Cluster (Prague) NCBR Cluster (Brno) Tape library (Pilsen + Brno) Intel Xeon Cluster (Brno) SMP Opteron Server (MU + CESNET, Brno) Disk storage SGI IS4500 (Brno) Intel Xeon64bit Cluster (Praha) AMD SMP Opteron Server (Praha) Highly Parallel and Distributed Computing Systems (MSM ) Optical Network of National Research and Its New Applications MediGrid NGI egrid GridLab International projects CESNET MU CoreGRID EGEE DataGrid EGEE II EGEE III EUAsiaGrid InSPIRE EMI EPIKH CHAIN Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

6 Interní struktura Centra Oddělení výpočetních zdrojů Pořízení a správa clusterů Optimalizace od algoritmů, programů až po výpočetní infrastrukturu Oddělení práce s daty Pořízení a správa úložných kapacit Práce s daty, nové protokoly a metody přístupu k velkým objemům Horizontální aktivity Publicita Práce s uživateli a uživatelská podpora Výuka a vedení studentských prací (od bakalářských po doktorské) Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

7 Projekt CERIT-SC 3. osa OP VaVpI CZ 1.05/3.2.00/ až (30 měsíců) Celková dotace ,- Kč Investice ,90 Kč Technologie (výpočetní a úložné kapacity) a software Neinvestice Kč Energie, mzdové náklady, publicita,... Žádné režie Cíl: Podpora transformace SCB do Centra CERIT-SC Pořízení nezbytného technického vybavení Ustavení jádra týmu 7 přepočtených úvazků z plánovaných cca 15 Intenzivní zapojení studentů uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

8 Technologie Výpočetní kapacita clustery SMP (alespoň 80 jader a 512 GB RAM na uzel) >1500 jader, prvních 8 uzlů (640 jader) instalováno Dostatek paměti, prostředí pro základní paralelizaci HD (méně jader na uzel, vyšší výkon na jádro, větší počet uzlů) >2500 jader, 1/5 Q2/2012, zbytek Q1/2013 Vyšší celkový instalovaný výkon Vysoká rozmanitost konfigurací Vysokorychlostní síť Infiniband propojuje všechny uzly Umožňuje experimenty s vyšší mírou paralelizace i pro simulace distribuovaného prostředí Úložné kapacity Disková pole ke clusterům >600 TB, 250 TB aktuálně přejímáno 4 PB v hierarchickém úložišti, Q3/2012 uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

9 Přístup ke zdrojům Základní principy: Instalované technologie primárně slouží vývoji a experimentům, teprve ve druhé rovině pro klasické výpočty a ukládání dat Minimální administrativa (žádné žádosti o zdroje) Interaktivní přístup, (disruptivní) experimenty, různá prostředí Využití oddělené fyzické a logické vrstvy Virtualizace, cloud technologie = název centra Podpora špičkové vědy bez administrativy Priorita na základě dosažených výsledků, ne žádosti Společné projekty s Centrem Hrubá síla přístupná integrací do MetaCentra a mezinárodních infrastruktur (EGI) uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

10 Výzkumné aktivity Výzkumná témata v informatice, souvisi s einfrastrukturou Plánování Řízení virtualizovaného prostředí a cloudu Bezpečnost (včetně správy důvěry) Práce s daty Optimalizace výpočtů pro paralelní a distribuované prostředí Hybridní výpočetní prostředí (GPU) a jeho optimalizace Samostaný, ale především kooperativní výzkum v úzké vazbě na partnery uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

11 Principy spolupráce Identifikace možných partnerů Sledování způsobů využití einfrastruktur yuživateli, identifikace potenciálních problémů Rozpoznané problémy partnera, přímý kontakt Rozpoznání budoucích velkých uživatelů, zpětná vazba z mezinárodní spolupráce v oblasti einfrastruktury Návrh společného projektu, řešení problémů, ne pouze nabídka výkonu/kapacit Společný tým, tvořený odborníky a studenty obou stran Externě financovaný projekt (potvrzení kvality záměru) Integrace do výuky v informatice i předmětných oblastech uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

12 Národní postavení Národní einfrastruktura tvořena třemi součástmi: Sdružení CESNET: Sítě a koordinace gridů Centrum excelence IT4Innovations: Superpočítač Centrum CERIT-SC: Vývoj einfrastruktury, příprava uživatelů CERIT-SC má podepsána obě memoranda o spolupráci Přenos výsledků výzkumu do praxe einfrastruktury Partneři centra připravování efektivně využívat další zdroje včetně vlastních Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

13 Hardware v CERIT-SC aneb co se už pod stůl nevejde Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

14 Hardware v CERIT-SC stroje zewura1 8.cerit-sc.cz (HP Proliant DL980) srovnání s nadupaným desktopem (>70 tis. Kč) CPU jádra frekvence RAM disk SPEC zewura* 8 E GHz 512 GB 18 TB 1250 desktop i7-990x GHz 32 GB 6 TB 121 možnosti podstatně rozsáhlejších výpočtů velká paměť, velký agregovaný výkon využití plného výkonu v tomto rozsahu není zcela přímočaré Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

15 Hardware v CERIT-SC vysokorychlostní síť InfiniBand 40 Gbit/s, latence cca. 1 µs propojení všech stávajících uzlů velký výpočet přes všech 640 jader a 4 TB RAM Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

16 Hardware v CERIT-SC vysokorychlostní síť InfiniBand 40 Gbit/s, latence cca. 1 µs propojení všech stávajících uzlů velký výpočet přes všech 640 jader a 4 TB RAM datové úložiště kapacita 250 TB vysoké nároky na propustnost 2.5 GB/s po NFS komplikované technické řešení netriviální nároky na správu, liší se podle vzorů použití Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

17 Hardware v CERIT-SC GP-GPU server 4 GPU Nvidia Tesla 2090 (512 jader, >600 GFLOPS) GB SSD unikátní hardware, extrémní výkon adaptace aplikací velmi náročná uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

18 Konkrétní příklady spolupráce Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

19 Signály z lékařských přístrojů Ústav přístrojové techniky AV ČR a LF MU zpracování signálů z hloubkových elektrod v mozku studium šíření epileptického záchvatu uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

20 Signály z lékařských přístrojů vstupní signály 3 9 elektrod po 15 kontaktech (jen část v zajímavých oblastech) záznam signálu na frekvenci 128 Hz Fourierova transformace na plovoucím časovém okně interval 4 10 s, posun ms Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

21 Signály z lékařských přístrojů dekorelace naměřených signálů analýza hlavních komponent, odstranění všech až na jednu nejvýznamnější největší vlastní hodnota představuje průměrně 85 % výpočet rozkladu matice cca na singulární hodnoty výpočet výkonového frekvenčního spektra viditelný posun k vyššímu výkonu a nižší frekvenci maxima uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

22 Signály z lékařských přístrojů omezení současné metody nízká vzorkovací frekvence pragmaticky jednoduché vypočetní zpracování nová generace přístrojů větší počet signálů řádově vyšší vzorkovací frekvence pokročilejší metody zpracování dynamická volba parametrů (šířka okna pro FFT) korelace jednotlivých signálu charakteristiky šíření vlny... mohou vést k přesnějšímu pozorování a objevům nových fenoménů podstatně vyšší náročnost na výpočetní zpracování vyžadováno silné informatické zázemí uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

23 Rekonstrukce stromů z 3D scanu Centrum výzkumu globální změny AV ČR (CzechGlobe) monitoring a hodnocení aktuálního stavu a změn vegetačního krytu v měnících se klimatických podmínkách laserový scanner LIDAR (Light Detection And Ranging) získána 3D síť bodů v rozestupu cca. 5 cm včetně intenzity odrazu lze odvodit rozložení biomasy listů a kmene vstupní data pro modely ekosystémů uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

24 Rekonstrukce stromů z 3D scanu vyhodnocení kvalitního snímku poloautomatická metoda Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

25 Rekonstrukce stromů z 3D scanu méně kvalitní snímky (zakrytí jiným objektem, vítr při snímání,... ) hledáme vhodný model stromu necháme jej prorůrst dostupnými daty vhodná varianta Lindenmayerova systému Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

26 Rekonstrukce stromů z 3D scanu méně kvalitní snímky (zakrytí jiným objektem, vítr při snímání,... ) hledáme vhodný model stromu necháme jej prorůrst dostupnými daty vhodná varianta Lindenmayerova systému Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

27 Rekonstrukce stromů z 3D scanu hlavní cíle model nahradí chybějící části snímku plně automatická metoda dovolí zpracovat větší množství vstupů přesnější vstupy pro následující simulace ekosystému Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

28 Rekonstrukce stromů z 3D scanu hlavní cíle model nahradí chybějící části snímku plně automatická metoda dovolí zpracovat větší množství vstupů přesnější vstupy pro následující simulace ekosystému nápady k řešení potřebná metrika podobnosti konkrétního modelu prohledání rozsáhlého prostoru parametrů zpětná vazba, iterativní proces nechceme se brzdit limity na výpočetní náročnost Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

29 Segmentace obrázků na GPU Ústav fyzikální biologie JČU mikroskopické obrázky živých buněčných kultur snímány v několikaminutových intervalech, studium chování buněk problém segmentace určit, co je zajímavý objekt a co šum na pozadí experimenty s různými metodami založeny na Shannonově entropii množství informace, kterou přispívají jednotlivé body obrázku Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

30 Segmentace obrázků na GPU Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

31 Segmentace obrázků na GPU typický obrázek 12 Mpix, tj bodů lepší metody pro každý bod počítají vztah s dalšími naivní implementace běží několik hodin Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

32 Segmentace obrázků na GPU typický obrázek 12 Mpix, tj bodů lepší metody pro každý bod počítají vztah s dalšími naivní implementace běží několik hodin experimentální metoda implementována v Matlabu implementace slibných metod v C nebo CUDA (GPU) zrychlení běhu v řádu 10 až 1000 za cenu dnů až měsíců ruční práce a co s další slibnou metodou? Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

33 Segmentace obrázků na GPU automatická optimalizace kódu probíhající výzkum v CERIT-SC (PhD práce) kód je zapsán ve vysokoúrovňovém jazyce (à la Matlab) automatická optimalizace vhodné knihovní funkce seskládání do optimalizovaného kódu pro GPU Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

34 Segmentace obrázků na GPU automatická optimalizace kódu probíhající výzkum v CERIT-SC (PhD práce) kód je zapsán ve vysokoúrovňovém jazyce (à la Matlab) automatická optimalizace vhodné knihovní funkce seskládání do optimalizovaného kódu pro GPU například ABx (CD + C) počítat každou operaci (sčítání, násobení, norma) zvlášť je pomalé ale celý výpočet už se na GPU nemusí vejít hledáme přiměřený kompromis Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

35 Segmentace obrázků na GPU automatická optimalizace kódu probíhající výzkum v CERIT-SC (PhD práce) kód je zapsán ve vysokoúrovňovém jazyce (à la Matlab) automatická optimalizace vhodné knihovní funkce seskládání do optimalizovaného kódu pro GPU například ABx (CD + C) počítat každou operaci (sčítání, násobení, norma) zvlášť je pomalé ale celý výpočet už se na GPU nemusí vejít hledáme přiměřený kompromis cíl: srovnatelně rychlý kód s podstatně menším úsilím metoda původně vznikla pro jinou aplikační oblast (FEM) Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

36 Zkoumání tunelů v molekulách Loschmidtovy laboratoře a HCILab FI MU hledání a zkoumání vlastností tunelů v molekulách velká biologicky aktivní molekula známé aktivní místo je někde uvnitř vede k němu/od něj schůdná cesta pro konkrétní malou molekulu? Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

37 Zkoumání tunelů v molekulách první krok je geometrická aproximace tunelem projde kulová sonda chceme ověřit průchodnost tunelu pro malou molekulu grafické zobrazení nestačí hmatová (haptická) interakce speciální hardware molekulu lze uchopit a tunelem protlačit výpočetně náročná simulace uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

38 Zkoumání tunelů v molekulách fyzikálně věrný model uživatel musí získat iluzi interakce s reálnými objekty chování reálného světa je popsáno fyzikálními zákony Newtonovy pohybové rovnice F = m dv dt v = dx dt numericky stabilní integrace, probíha 1000 za sekundu statické molekuly zvládne výkonný desktop uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

39 Zkoumání tunelů v molekulách statické molekuly vůbec neodpovídají realitě tunel mění tvar, může se zavírat a otvírat dopředu lze nasimulovat, jak se velká molekula vrtí molekulová dynamika Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

40 Zkoumání tunelů v molekulách statické molekuly vůbec neodpovídají realitě tunel mění tvar, může se zavírat a otvírat dopředu lze nasimulovat, jak se velká molekula vrtí molekulová dynamika problém je výsledné proměnné elektrostatické pole počítáme na mřížce = bodů v 48 bitech HD video: = pixelů v bitech lze velmi dobře ztrátově komprimovat výpočetně náročná komprese i dekomprese Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

41 Zkoumání tunelů v molekulách statické molekuly vůbec neodpovídají realitě tunel mění tvar, může se zavírat a otvírat dopředu lze nasimulovat, jak se velká molekula vrtí molekulová dynamika problém je výsledné proměnné elektrostatické pole počítáme na mřížce = bodů v 48 bitech HD video: = pixelů v bitech lze velmi dobře ztrátově komprimovat výpočetně náročná komprese i dekomprese plánujeme i ohebnou malou molekulu výsledek vzájemné interakce molekul, nelze simulovat dopředu řádově vyšší výpočetní náročnost Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

42 Shrnutí Projekt zahájil novou etapu pracoviště s dlouhou historií transformace z poskytovatele zdrojů na partnera chytrého využití a dalšího rozvoje einfrastruktury Interaktivita, okamžitá dostupnost, různorodost, disruptivní experimenty,... Silná výzkumná složka a rozbíhající se spolupráce společné vysoké nároky na výpočetní výkon využití technických prostředků netriviálním a neobvyklým způsobem přínos pro obě strany kvalitativní posun v aplikačního oblasti zajímavá témata informatického výzkumu v CERIT-SC Centrum CERIT-SC je organickou a nezbytnou součástí národní einfrastruktury prostředník mezi dalšími složkami einfrastruktury a jejich uživateli uděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

43 Použité materiály Rektor et al., Epilepsia 43 (3), Rektor et al., Epilepsy & Behavior, 20, Urban et al., Preprocessing of microscopy images via Shannon s entropy, Proc. ÖAGM/AAPR Workshop, Dolanský et al., Zpracování laserových dat smrkového porostu v prostředí ArcGIS. GIS ESRI v ČR, URL stránky centra Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36

44 Projekt CERIT Scientific Cloud, reg. č. CZ. 1.05/3.2.00/ , je podporován v rámci 3. prioritní osy Operačního programu Výzkum a vývoj pro inovace. Luděk Matyska, Aleš Křenek et al (CERIT-SC, MU)Centrum a projekt CERIT-SC / 36