HPC Users' Access Workshop: nový superpočítač Salomon

Transkript

1 HPC Users' Access Workshop: nový superpočítač Salomon Salomon: co je nového pro uživatele Anselmu Roman Slíva, SCS, IT4Innovations Ostrava

2 Agenda Úvod Porovnání systémů Anselm a Salomon Datová úložiště Plánovač/PBS SGI UV2000 Identity management Webová prezentace systémů

3 Salomon TOP500 #40

4 Salomon Více výpočetních zdrojů Nové příležitosti Nové výzvy Větší komplexita Zejména pro administrátory systému

5 Porovnání výpočetní výkon Salomon Velký cluster Rpeak CPU Rpeak GPU Anselm Anselm Rpeak MIC TFLOPS

6 Porovnání výpočetní uzly souhrn I Anselm Salomon nárůst Počet uzlů x Počet CPU jader x Operační paměť GB GB 8.7x Akcelerační karty x

7 Porovnání výpočetní uzly souhrn II

8 Porovnání výpočetní uzly souhrn III Anselm Salomon nárůst Počet uzlů bez akcelerace Počet uzlů s akcelerací Počet tlustých uzlů Počet uzlů s GPU akcelerací Počet uzlů s MIC akcelerací

9 Porovnání výpočetní uzly I Homogenní Výpočetní uzly bez akcelerace - CPU Výpočetní uzly s akcelerací - CPU Anselm 2x Intel Sandy Bridge, Intel Xeon E5-2665, 8-core, 2.4GHz 2x Intel Sandy Bridge, Intel Xeon E5-2470, 8-core, 2.3GHz Salomon Instruction Set Extensions AVX AVX 2.0 Výpočetní uzly bez akcelerace paměť Výpočetní uzly s akcelerací paměť 64GB, 4GB/core 96GB, 6GB/core 2x Intel Haswell, Intel Xeon E5-2680v3, 12 core, 2.5GHz 2x Intel Haswell, Intel Xeon E5-2680v3, 12 core, 2.5GHz 128GB, 5.33GB/core 128GB, 5.33GB/core

10 Porovnání výpočetní uzly II Výpočetní uzly s akcelerací počet akcelerátorů na uzel Chlazení výpočetních uzlů Anselm 1 2 Studenou vodou chlazené zadní dveře racků Salomon Mcell- přímé chlazení teplou vodou Perrin - Studenou vodou chlazené zadní dveře racků

11 Porovnání akcelerátory Anselm GPU akcelerátor NVIDIA Tesla Kepler K20 - Počet 23 0 MIC akcelerátor Intel Xeon Phi 5110P 60 cores, 8GB Počet Salomon Intel Xeon Phi 7120P 61 cores, 16GB

12 Porovnání výpočetní síť Anselm Salomon Technologie Infiniband QDR 40Gb/s Infiniband FDR 56Gb/s Topologie fully non-blocking fat-tree 7D Enhanced Hypercube

13 Porovnání datová úložiště Výpočetní uzly lokální disk Anselm 500GB Salomon HOME 320 TiB 454 TiB SCRATCH 146 TiB 1538 TiB ne

14 Salomon - diskless výpočetní uzly Lokální file-systémy vše v paměti RAM /, /tmp, /lscratch, /ramdisk - tmpfs Úlohy využívající extenzivně /tmp a/nebo /lscratch mohou selhat pro nedostatek paměti. Sdílené file-systémy /home, /scratch, /apps

15 Datové úložiště HOME - souhrn Anselm Salomon Mounpoint /home /home Kapacita 320 TiB 454 TiB Technologie Lustre CXFS/DMF/NFS Rychlost 2GiB/s 6GB/s Design 2 MDS, 2 OSS 1 diskové pole pro OST 22 OSTs 227 2TB NL-SAS 7.2krpm disks 22 groups of 10 disks in RAID6 (8+2) 7 hot-spare disks Komplexní HSM řešení tiered storage 6 serverů 3 disková pole 370 disků pásková knihovna

16 Datové úložiště HOME - pojmy XFS - high-performance 64-bit journaling file system created by Silicon Graphics (SGI) in 1993 CXFS - Clustered XFS - proprietary shared disk file system designed by Silicon Graphics (SGI) DMF - Data Migration Facility, Hierarchical storage management by SGI NFS - Need for Speed Network File System

17 Datové úložiště HOME tiery Tier 1, 100TB 2 výkonná disková pole Tier 2 kopie 1 400TB 1 kapacitní diskové pole Tier 2 kopie 2 >600TB Pásková knihovna

18 Datové úložiště HOME uživatelský pohled I $ df -h /home/ Filesystem Size Used Avail Use% Mounted on home-nfs-ib.salomon.it4i.cz:/home 96T 9,1T 87T 10% /home

19 Datové úložiště HOME uživatelský pohled II $ ls -alh total 4,1G drwxrwxr-x 2 karel karel 90 zář 17 08:25. drwx karel karel 4,0K zář 16 11:00.. -rw-rw-r-- 1 karel karel 20G zář 11 10:02 testfile1 -rw-rw-r-- 1 karel karel 20G zář 11 10:13 testfile2 -rw-rw-r-- 1 karel karel 2,0G zář 14 15:00 testfile3 -rw-rw-r-- 1 karel karel 2,0G zář 17 08:17 testfile4

20 Datové úložiště HOME uživatelský pohled III $ du -h * 0 testfile1 0 testfile2 2,0G testfile3 2,0G testfile4 $ du -h. 4,0G.

21 Datové úložiště HOME uživatelský pohled IV $ du -h --apparent-size * 20G testfile1 20G testfile2 2,0G testfile3 2,0G testfile4 $ du -h --apparent-size. 44G.

22 Datové úložiště HOME DMF pohled I $ dmls -lah total 4.0G drwxrwxr-x :35 (REG). drwx K :00 (REG).. -rw-rw-r G :02 (OFL) testfile1 -rw-rw-r G :13 (OFL) testfile2 -rw-rw-r G :00 (DUL) testfile3 -rw-rw-r G :33 (REG) testfile4

23 Datové úložiště HOME DMF pohled II $ dmdu -h * 20G testfile1 20G testfile2 2.0G testfile3 2.0G testfile4 $ dmdu -h. 44G.

24 Datové úložiště HOME NFS Výpočetní cluster Výpočetní uzly - NFS klienti Login uzly NFS klienti NFS server NFS server NFS server CXFS cluster/dmf

25 Datové úložiště HOME NFS II NFS klient NFS klient NFS server NFS server CXFS cluster/dmf

26 Datové úložiště HOME doporučení Nepoužívejte HOME pro data úloh Používejte SCRATCH Je rychlejší, výkonnější Je transparentnější

27 Datové úložiště SCRATCH- souhrn Anselm Salomon Mounpoint /scratch /scratch Kapacita 146TiB 1538 TiB Technologie Lustre Lustre Rychlost 6 GiB/s >30 GiB/s Design 2 MDS, 2 OSS 2 disková pole pro OST 10 OSTs 106 2TB NL-SAS 7.2krpm disks 10 groups of 10 disks in RAID6 (8+2) 6 hot-spare disks 2 MDS, 6 OSS 1 diskové pole pro OST 54 OSTs 540 4TB NL-SAS 7.2krpm disks 54 groups of 10 disks in RAID6 (8+2) 15 hot-spare disks 4x 400GB SSD 6Gb/s SAS disky rozšiřující cache

28 Datové úložiště SCRATCH- rozdělení Anselm /scratch Data se po 90 dnech nepoužívání promazávají Salomon /scratch/temp Obdoba /scratch na anselmu pro dočasná data Data se po 90 dnech nepoužívání promazávají Salomon /scratch/work Persistentní, data se nepromazávají pro pracovní data /scratch/work/user /scratch/work/project

29 Datové úložiště SCRATCH- kvóty Anselm /scratch Lustre kvóta Salomon /scratch Lustre kvóta Salomon /scratch/temp RobinHood kvóta Salomon /scratch/work RobinHood kvóta

30 Datová úložiště - brány Připravujeme protokolové brány a data movery (nejenom) pro HOME a SCRATCH scp, sftp CIFS

31 Zálohování I Zálohování HOME Zálohování serverů Zálohování virtuálních serverů

32 Zálohování II EMC Networker arcserve Unified Data Protection arcserve Backup SGI DMF a OpenVault Pásková knihovna SpetraLogic T950B 18 mechanik LTO slotů 3PB bez komprese

33 Plánovač Anselm Salomon Plánovač PBS Pro PBS Pro Verze PBSPro_ PBSPro_ Stejné principy Konfigurace plánovačů je obdobná Změny reflektují zejména rozdíly v systémech (a jejich velikostech)

34 PBS fronty I fronta Anselm Salomon qexp ano ano qfree ano ano qprod ano ano qlong ano ano qfree ano ano qprace ano ano qfat ano ano qviz ano ano qnvidia ano ne, nemá GPU qmic ano zatím ne, nový význam qmpp - nová fronta

35 PBS fronty II Walltime byl zachován Priorita front je shodná Účtování využitých zdrojů je shodné* Limity, omezení na zdroje a úlohy se liší

36 PBS fronty III

37 PBS akcelerátory $ qsub -A OPEN-0-0 -q qprod \ -l select=4:accelerator=true:naccelerators=2 \./myjob

38 PBS nastavení procesorů Intel Turbo Boost Core enabling/disabling (experimental) Intel HyperThreading (experimental)

39 PBS - Job scheduling - job execution priority Job execution priority je určována shodně na obou systémech Backfilling

40 PBS job estimation Co je job estimation? Proč je job estimation zlo?

41 PBS nodes statement PBS statement nodes (qsub -l nodes=nodespec) není podporován Používejte statement select (qsub -l select= )

42 SGI UV2000 Fat node SMP systém s architekturou SGI cc-numa 1x UV2 Large IRU, 8 Blades, 10U 6x UV2 Blade, 2CPU, 16x DIMM slot 14x Intel Xeon E5-4627v2, 3.3GHz, 8cores Ivy Bridge Instruction Set Extensions AVX celkem 112 jader RAM 3328 GB DDR3

43 Identity management Jednotná správa účtů uživatelů IT4Innovations

44 Web interfaces system visualization Anselm Salomon Ganglia

45 Web interfaces Anselm visualization

46 Web interfaces Salomon visualization

47 Web interfaces visualization

48 Děkuji za pozornost