Výpočetní cluster vytvořený pomocí Debian Squeeze Jihočeská Univerzita v Českých Budějovicích Přírodovědecká fakulta Přednáška pro ORS2011
Co je to výpočetní cluster Definice Výpočetní cluster Skupina spolupracujících počítačů, vzájemně propojených počítačovou sítí, která společně řeší velké množství paralelních úloh. Působí tedy podobně jako jeden počítač s velkým množstvým procesorů (jader). Pro distribuci výpočtů je nutný speciální software. Jednotlivé počítače nemusí být rovnocenné.
Základní pojmy Řídící počítač (Head node) hlavní počítač clusteru, který distribuuje výpočty na ostatní počítače. Obvykle se neúčastní přímo výpočtů. Z tohoto důvodu se může jednat o slabší počítač než jsou výpočetní uzly. Výpočetní uzel (Working node) výkonná jednotka clusteru. Přijímá požadavky na výpočty od řídícího počítače, provádí je a výsledky opět předává na řídící počítač. Pro zapojení počítačů je vhodné dle našich zkušeností použít následující schéma.
Zapojení výpočetního clusteru
Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu
Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu
Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu
Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu
Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu
Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu
Naše situace Pracoviště: Ústav molekulární biologie rostlin Biologického centra AV ČR v Českých Budějovicích Potřeba: řešit velké množství malých výpočtů při zkoumání genomu rostlin Použítí výkonného počítače s větším počtem jader bylo neefektivní Lepší je použití většího množství vícejádrových počítačů pořízení dle potřeby snadné nahrazení nefunkčního počítače všechny počítače nemusí být vždy v provozu
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Použité softwarové nástroje Programy jsou linuxové použijeme Linux Prvni pokusy distribuce Rocks Cluster ( http://www.rocksclusters.org) Rozhodnutí přejít na Debian stránky Debian Clusters ( http://debianclusters.org) První verze Debian Lenny Nyní Debian Squeeze Omezení stránek Debian Clusters Jsou již staršího data a nejsou příliš aktualizované Ne vše funguje tak jak se popisuje Ne vše je nutné instalovat Původně popisovaly Debian Lenny, nyní Debian testing
Původní cluster
Původní cluster
Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní
Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní
Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní
Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní
Co je nutné nainstalovat Debian Squezze ssh server a později nastavit přihlášení přes klíče Doporučení NFS každý node bude pracovat se stejnými daty LDAP hodí se kvůli NFS - každý uživatel bude mít stejné id Při instalaci výpočetních nodů doporučuji nainstalovat jeden node a pak jej nakopírovat na ostatní
Vlastní software pro clustering Torque rozděluje úlohy na jednotlivé nody Maui plánovač rozdělování - není nutný, ale práce s ním je pohodlnější než pouze s Torque Oba programy je nutné přeložit. Torque je přímo v Debianu, ale ve starší verzi. Pro stažení Maui je nutná registrace.
Vlastní software pro clustering Torque rozděluje úlohy na jednotlivé nody Maui plánovač rozdělování - není nutný, ale práce s ním je pohodlnější než pouze s Torque Oba programy je nutné přeložit. Torque je přímo v Debianu, ale ve starší verzi. Pro stažení Maui je nutná registrace.
Vlastní software pro clustering Torque rozděluje úlohy na jednotlivé nody Maui plánovač rozdělování - není nutný, ale práce s ním je pohodlnější než pouze s Torque Oba programy je nutné přeložit. Torque je přímo v Debianu, ale ve starší verzi. Pro stažení Maui je nutná registrace.
Vlastní software pro clustering Torque rozděluje úlohy na jednotlivé nody Maui plánovač rozdělování - není nutný, ale práce s ním je pohodlnější než pouze s Torque Oba programy je nutné přeložit. Torque je přímo v Debianu, ale ve starší verzi. Pro stažení Maui je nutná registrace.
Spouštění programů Pro spouštění programů se vytváří skripty. Skripty se pouští pomocí qsub skript. Ukázka skriptu: #!/bin/bash #PBS -N test #PBS -t 0-128 #PBS -l walltime=10:00:00 echo ${PBS_ARRAYID} sleep 30 Více o skriptech například zde: http://amdahl.physics.purdue.edu/using-cluster/node23.html)
Ukázka běhu 1
Ukázka běhu 2
Monitoring clusteru Nagios Monitoring stavu jednotlivých nodů Ganglia Sledování aktivity jednotlivých nodů Pro oba programy potřebujeme na hlavním počítači fungující web server, nejlépe Apache2.
Okno s programem Ganglia
Nový cluster
Konec Děkuji za pozornost