EGI-InSPIRE. Gridové výpočty pro velké projekty i jednotlivé uživatele (aktivity ve VS FZÚ) Jiří Chudoba. Fyzikální ústav AV ČR a CESNET.

Rozměr: px

Začít zobrazení ze stránky:

Download "EGI-InSPIRE. Gridové výpočty pro velké projekty i jednotlivé uživatele (aktivity ve VS FZÚ) Jiří Chudoba. Fyzikální ústav AV ČR a CESNET. www.egi."

Markéta Pavlíková
před 9 lety
Počet zobrazení:

1 EGI-InSPIRE Gridové výpočty pro velké projekty i jednotlivé uživatele (aktivity ve VS FZÚ) Jiří Chudoba Fyzikální ústav AV ČR a CESNET

2 EGI v CZ Itálie Sever Polsko CERN Německo Asie UK Francie ES, PT Rusko Jiri.Chudoba@cern.ch 2

3 Hardware středisko FZÚ praguelcg2 publikujeme 3860 jader 1.5 PB DPM, 540 TB xrootd, 40 TB dcache v Plzni HW různého typu Jiri.Chudoba@cern.ch 3

Hardware středisko FZÚ Hlavní serverovna 62 m2, ~20 racks 350 kva motor generator, 200 +

4 Hardware středisko FZÚ Hlavní serverovna 62 m2, ~20 racks 350 kva motor generator, x 100 kva UPS, 108 kw air cooling, 176 kw water cooling Jiri.Chudoba@cern.ch 4

2 x 100 kva UPS, 108 kw air cooling, 176 kw

HW ve FZÚ Farma Goliáš z několika subklastrů společný torque server, subklastry z různého hw Například subklastr rubus: 23 uzlů SGI Rackable C1001-G13 2x

5 HW ve FZÚ Farma Goliáš z několika subklastrů společný torque server, subklastry z různého hw Například subklastr rubus: 23 uzlů SGI Rackable C1001-G13 2x (Opteron jader) 64 GB RAM, 2x SAS 300 GB 374 W (full load) 232 HS06 na uzel, 5343 HS06 celkem Celkem v klastru Goliáš: HS Jiri.Chudoba@cern.ch 5

(Opteron 6274 16 jader) 64 GB RAM, 2x SAS 300 GB 374 W (full load) 232 HS06 na

6 HW ve FZÚ 2011 HS06 share Alice+Star Atlas D Solid Calice 30 0 Auger HS06 share Alice+Star Atlas D Solid Calice 13 0 Auger Plán a skutečnost (walltime) 1% 4% 4% 1% 28% 22% 37% d0 alice 47% atlas auger solid 26% 30% Kapacita podle subklastrů 12% 5% 8% 17% 15% 3% 3% 15% 22% Golias-p Golias-c Iberis Ibis Ib Salix Saltix Dorje Rubus Jiri.Chudoba@cern.ch 6

skutečnost (walltime) 1% 4% 4% 1% 28% 22% 37% d0 alice 47% atlas auger solid 26% 30% Kapacita podle subklastrů 12%

7 Monitorování - externí Jiri.Chudoba@cern.ch 7

8 Tier2 centrum pro LHC Příspěvky pro 2012 ATLAS závazek: HS06, 1030 TiB; dostupné: HS06, 1300 TiB ALICE závazek: 5000 HS06, 420 TiB; dostupné: 7546 HS06, 540 TiB Plnění: vyžaduje se 70% z plánované kapacity, ale CPU time Problematické pro ALICE, kde je efektivita kolem 50% Jiri.Chudoba@cern.ch 8

7546 HS06, 540 TiB Plnění: vyžaduje se 70% z plánované kapacity, ale CPU time

9 DDM

10 ATLAS DDM Komplikovaný systém pro potřeby projektu ATLAS Současná verze DQ2, nová Rucio Eviduje 120 PB dat, 350 mil. souborů, 100 středisek DQ2: práce s Datasety (množiny souborů) db pro DS a jejich obsah fyzické umístění souborů pomocí LFC 11 LFC (jeden LFC pro oblast) postupně přenášeno do CERN FTS zůstávají v Tier1 podpůrné služby: DaTRI, data popularity, obsazenost prostoru Jiri.Chudoba@cern.ch 10

souborů, 100 středisek DQ2: práce s Datasety (množiny souborů) db pro DS a jejich obsah fyzické

11 ATLAS DDM Přenosy dat do FZÚ, graf za 1 týden Jiri.Chudoba@cern.ch 11

12 ATLAS přenosy dat Přenesený objem dat

13 ATLAS přenosy dat počty přenesených souborů za den

14 Lokální přenosy Přenosy z lokálních SE (nejvíce na lokální WN) dosahují rychlosti přes 30 Gbps Jiri.Chudoba@cern.ch 14

15 Výsledky Public Number of public papers: 245 Number of public papers with collision data: 237 Number of published papers: 216 Last updated: , 17:

16 PAO Pierre Auger Observatory 19 zemí, 500 členů, 94 institucí plocha 3000 km Jiri.Chudoba@cern.ch 16

17 VO auger Založili jsme roku 2006 v rámci EGEE II Poskytujeme centrální služby VOMS, LFC Největší VO mimo LHC ve využití CPU Jiri.Chudoba@cern.ch 17

18 VO auger: Zapojení mnoha oblastí Poměr příspěvků pro VO auger různých oblastí do celkového použitého výpočetního času; data pro celý rok

19 Superpočítač Dorje Vyhrazený klastr pro skupiny fyziky pevných látek Altix ICE8200, 512 jader, 64 uzlů spojených Infiniband Využití 50 až 80% kvůli omezujícím pravidlům (maximální počet úloh od 1 uživatele), požadavek na okamžitou odezvu Rozšíření v tomto roce Jiri.Chudoba@cern.ch 19

kvůli omezujícím pravidlům (maximální počet úloh od 1 uživatele),

20 Lidské zdroje Neprovozujeme standardní software Správa vyžaduje proaktivní přístup, častou komunikaci, otevřenou hlavu! Prostor pro nové nápady, detailní ladění a zkoumání určitých částí Správa OS, monitorování, programování v shell, python, perl, C, C++, Fortran, správa MySQL, práce s páskami,... Schopní pracovníci stále vítáni. Kontakt: Jiri.Chudoba@cern.ch Jiri.Chudoba@cern.ch 20

Prostor pro nové nápady, detailní ladění a zkoumání určitých částí Správa OS, monitorování, programování v

21 Souhrn Ve FZÚ jsou výkonné výpočetní prostředky Zapojení do gridu mnoho uživatelů z celého světa vysoké vytížení Dostupné výpočetní zdroje na gridovém klastru CESNET (národní i evropský grid) Tyto zdroje pomáhají vzniku velkých výsledků Jiri.Chudoba@cern.ch 21

Podobné dokumenty

Grid jako superpočítač

Grid jako superpočítač Jiří Chudoba Fyzikální ústav AV ČR, v. v. i. Potřeba výkonných počítačů Vědecké aplikace Podnikové aplikace Internetové aplikace Microsoft datová centra Google datová centra 600