uzly. Výpočetní uzel (Working node) výkonná jednotka clusteru.



Podobné dokumenty
C2115 Praktický úvod do superpočítání

Novinky z vývoje v MetaCentru

Paralelní výpočty na clusteru KMD

MetaCentrum - Virtualizace a její použití

Výběr zdrojů, zadávání a správa úloh v MetaCentru

Výběr zdrojů, zadávání a správa úloh

MetaCentrum. Martin Kuba CESNET

MetaCentrum. Tomáš Rebok MetaCentrum NGI, CESNET z.s.p.o. CERIT-SC, Masarykova Univerzita Olomouc,

Cloudy a gridy v národní einfrastruktuře

Zajištění vysoké dostupnosti služeb

Výpočetní clustery v METACentru

Linuxová distribuce Debian

C2115 Praktický úvod do superpočítání

Přihlášení do VPN Univerzity Pardubice Debian GNU/Linux Lenny 32/64-bit

Dagmar Adamová, Jiří Chudoba Jednalo se o Monte Carlo simulace případů srážek p+p a Pb+Pb. Fungování

Interaktivní výukový program pro demonstraci principů tvorby tomografických obrazů

Instalace Debianu pomocí debootstrap

Výpočetní zdroje v MetaCentru a jejich využití

SUPERPOČÍTAČE DANIEL LANGR ČVUT FIT / VZLÚ

LINUX - INSTALACE & KONFIGURACE

ADMINISTRACE UNIXU A SÍTÍ - AUS Metodický list č. 1

METACENTRUM. Miroslav Ruda CESNET. Konference CESNET, Praha

Tvorba počítačových clusterů pomocí Linuxu. Vedoucí práce: Mgr. Jiří Pech, Ph.D. Katedra informatiky

MetaCentrum a náro (nejen matematické) výpočty

Automatizace bootování s novabootem

Paralelní výpočty ve finančnictví

1. DATOVÉ SCHRÁNKY OBECNÝ PŘÍSTUP K DATOVÉ SCHRÁNCE DATOVÉ ZPRÁVY... 3

PVBPS - Prezentace DUŠAN CHOLEVA (CHO0130)

Dlouhodobý vývoj Jihomoravského kraje

METACentrum Český národní gridovýprojekt. Projekt METACentrum. Jan Kmuníček ÚVT MU & CESNET. meta.cesnet.cz

Cobbler, Puppet, Func

1. Aplikační architektura

Služby ÚVT pro VaV & IT pro CEITEC. David Antoš

Registrační číslo projektu: CZ.1.07/1.5.00/ Elektronická podpora zkvalitnění výuky CZ.1.07 Vzděláním pro konkurenceschopnost

CEITEC a jeho IT požadavky. RNDr. Radka Svobodová Vařeková, Ph.D.

MetaCentrum. Miroslav Ruda. Skalský Dvůr, Miroslav Ruda (MetaCentrum) MetaCentrum Skalský Dvůr, / 11

Struktury a vazebné energie iontových klastrů helia

Střední odborná škola a Střední odborné učiliště, Hořovice

Základní škola a mateřská škola Lázně Kynžvart Autor: David Holubec NÁZEV: VY_32_INOVACE_11_INF Vzdělávací oblast: informatika

Porovnání instalací linuxových distribucí Fedora x Debian Administrace počítačových sítí (2010/2011)

MATLABLINK - VZDÁLENÉ OVLÁDÁNÍ A MONITOROVÁNÍ TECHNOLOGICKÝCH PROCESŮ

Aktuality a plány virtuální organizace

Hardware - komponenty počítačů Von Neumannova koncepce počítače. Von Neumannova koncepce počítače

Sdílení uživatelských identit. Petr Žabička, Václav Rosecký Moravská zemská knihovna v Brně

Karel Bittner HUMUSOFT s.r.o. HUMUSOFT s.r.o.

MetaCentrum. Martin Kuba CESNET

MetaCentrum. Miroslav Ruda CESNET

Střední odborná škola a Střední odborné učiliště, Hořovice

MetaCentrum. Miroslav Ruda. březen 2017, Brno CESNET

Aktuální stav. Martin Kuba CESNET a ÚVT MU

Drupal. Svobodný redakční systém. duben 2007 Jakub Suchý 1

Virtualizace MetaCentra

Univerzita Pardubice Fakulta elektrotechniky a informatiky ISOSY Matěj Trakal

Jednotlivé hovory lze ukládat nekomprimované ve formátu wav. Dále pak lze ukládat hovory ve formátu mp3 s libovolným bitrate a také jako text.

OPC server systému REXYGEN. Uživatelská příručka

VÝUKOVÝ MATERIÁL. 3. ročník učebního oboru Elektrikář Přílohy. bez příloh. Identifikační údaje školy

Zálohovací zařízení pro repozitář jazykových dat a digitálního materiálu pro jazykový výzkum

Operační systémy 2. Firewally, NFS Přednáška číslo 7b

Souborové systémy a práce s daty David Antoš

Aktuální stav MetaCentra, novinky

METACENTRUM. Miroslav Ruda CESNET. Seminář MetaCentra, Praha

INSTALACE SOFTWARE A AKTIVACE PRODUKTU

Národní šetření výsledků žáků v počátečním vzdělávání

Dodatečné informace k zadávacím podmínkám č. 2. Řešení IT síťové bezpečnosti BIOCEV. v otevřeném řízení

Využití opensource při stavbě infrastrukturního cloudu Martin Kopta

Užitečné rady pro administrátory. IBM Domino/Notes

Setkání uživatelů programu SSB2000, Skalský dvůr, Portfolio služeb firmy STARLIT s.r.o.

Systémová administrace portálu Liferay

EGI-InSPIRE. Gridové výpočty pro velké projekty i jednotlivé uživatele (aktivity ve VS FZÚ) Jiří Chudoba. Fyzikální ústav AV ČR a CESNET.

Provozní statistiky centra CERIT-SC

V hlavní roli: jeden starý a jeden nový počítač, Debian Linux a spousta harampádí kolem.

eduroam.cz - monitoring infrastruktury a detekce problémů

Instalace webové služby Mydlinka

Efektivní vyuºívání programových nástroj Ansys na infrastrukturách MetaCentra / CERIT-SC

Datová úložiště v MetaCentru a okolí. David Antoš

OPERAČNÍ SYSTÉMY. Operační systém je prostředník mezi hardwarem (technickým vybavením počítače) a určitým programem, který uživatel používá.

CERIT-SC, MetaCentrum

MetaCentrum. Miroslav Ruda. listopad 2013 CESNET

Audit bezpečnosti počítačové sítě. Předmět: Správa počítačových sítí Jiří Kalenský

ŠKOLENÍ PROGRAMOVACÍHO JAZYKA JAVA JAVA - ZÁKLADY

KRONOS GUARD NET Obslužný software pro obchůzkový systém v reálném čase Active Guard. Instalace na pobočky

Implementace dávkových operací

Přehled paralelních architektur. Dělení paralelních architektur Flynnova taxonomie Komunikační modely paralelních architektur

Případová studie: Adresářové řešení pro webhosting pomocí ApacheDS. Lukáš Jelínek

OBJEDNÁVÁNÍ DÁRCŮ KRVE PŘES INTERNET Naděžda Kalužová, Zdeněk Slanina

GroupWise. Novell STRUČ NÁ ÚVODNÍ PŘ ÍRUČ KA

Novinky NGI & 10 způsobů, jak "sejmout" MetaCentrum

Závěrečná zpráva projektu 475/2013 Fondu rozvoje CESNET

IMPLEMENTACE OPERAČNÍHO SYSTÉMU LINUX DO VÝUKY INFORMAČNÍCH TECHNOLOGIÍ

úvod Historie operačních systémů

Představení procesorů od firmy Tilera a jejich architektura

Hadoop a HDFS. Bc. Milan Nikl

WORKWATCH ON-LINE EVIDENCE PRÁCE A ZAKÁZEK

Audit bezpečnosti počítačové sítě

VY_32_INOVACE_INF.20. OS Linux

ODBORNÝ VÝCVIK VE 3. TISÍCILETÍ

Software programové vybavení. 1. část

INSTALACE SOFTWARE A AKTIVACE PRODUKTU NÁVOD

TECHNICKÁ UNIVERZITA V LIBERCI

Pokročilé architektury počítačů

Transkript:

Výpočetní cluster vytvořený pomocí Debian Squeeze Jihočeská Univerzita v Českých Budějovicích Přírodovědecká fakulta Přednáška pro ORS2011

Co je to výpočetní cluster Definice Výpočetní cluster Skupina spolupracujících počítačů, vzájemně propojených počítačovou sítí, která společně řeší velké množství paralelních úloh. Působí tedy podobně jako jeden počítač s velkým množstvým procesorů (jader). Pro distribuci výpočtů je nutný speciální software. Jednotlivé počítače nemusí být rovnocenné.

Základní pojmy Řídící počítač (Head node) hlavní počítač clusteru, který distribuuje výpočty na ostatní počítače. Obvykle se neúčastní přímo výpočtů. Z tohoto důvodu se může jednat o slabší počítač než jsou výpočetní uzly. Výpočetní uzel (Working node) výkonná jednotka clusteru. Přijímá požadavky na výpočty od řídícího počítače, provádí je a výsledky opět předává na řídící počítač. Pro zapojení počítačů je vhodné dle našich zkušeností použít následující schéma.

Zapojení výpočetního clusteru

Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu

Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu

Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu

Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu

Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu

Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu

Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing

Původní cluster

Původní cluster

Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní

Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní

Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní

Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní

Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní

Vlastní software pro clustering Torque rozděluje úlohy na jednotlivé nody Maui plánovač rozdělování - není nutný, ale práce s ním je pohodlnější než pouze s Torque Oba programy je nutné přeložit. Torque je přímo v Debianu, ale ve starší verzi. Pro stažení Maui je nutná registrace.

Vlastní software pro clustering Torque rozděluje úlohy na jednotlivé nody Maui plánovač rozdělování - není nutný, ale práce s ním je pohodlnější než pouze s Torque Oba programy je nutné přeložit. Torque je přímo v Debianu, ale ve starší verzi. Pro stažení Maui je nutná registrace.

Vlastní software pro clustering Torque rozděluje úlohy na jednotlivé nody Maui plánovač rozdělování - není nutný, ale práce s ním je pohodlnější než pouze s Torque Oba programy je nutné přeložit. Torque je přímo v Debianu, ale ve starší verzi. Pro stažení Maui je nutná registrace.

Vlastní software pro clustering Torque rozděluje úlohy na jednotlivé nody Maui plánovač rozdělování - není nutný, ale práce s ním je pohodlnější než pouze s Torque Oba programy je nutné přeložit. Torque je přímo v Debianu, ale ve starší verzi. Pro stažení Maui je nutná registrace.

Spouštění programů Pro spouštění programů se vytváří skripty. Skripty se pouští pomocí qsub skript. Ukázka skriptu: #!/bin/bash #PBS -N test #PBS -t 0-128 #PBS -l walltime=10:00:00 echo ${PBS_ARRAYID} sleep 30 Více o skriptech například zde: http://amdahl.physics.purdue.edu/using-cluster/node23.html)

Ukázka běhu 1

Ukázka běhu 2

Monitoring clusteru Nagios Monitoring stavu jednotlivých nodů Ganglia Sledování aktivity jednotlivých nodů Pro oba programy potřebujeme na hlavním počítači fungující web server, nejlépe Apache2.

Okno s programem Ganglia

Nový cluster

Konec Děkuji za pozornost