Jak počítá MATLAB na superpočítači SALOMON. 1 Úvod. 2.1 Příprava projektu - získání výpočetního času. 2 Jak se připravit na počítání na superpočítači

Transkript

1 14 Pro inspiraci Roč. 72 (2016) Číslo 4 1 Úvod Jak počítá MATLAB na superpočítači SALOMON O tom, že simulační prostředí MATLAB je mocným nástrojem pro simulace v celé řadě oborů, jistě není třeba pochybovat. Jeho velkou výhodou je i snadnost obsluhy i vlastního programování. Dají se v něm řešit i velmi náročné výpočty, a to nejen z pohledu množství zpracovávaných dat, ale i časové rozsáhlosti výpočtů. Zejména u dlouho trvajících výpočtů je právě MATLAB velmi silným pomocníkem. Pokud však doba výpočtu přesahuje řadově hodiny, začínají se uživatelé poohlížet po výkonnějších počítačích. V České republice byl v letech 2013 až 2015 dokončen velmi výrazný a rozsáhlý projekt budování národního superpočítačového centra (IT4Innovations), který je součástí Vysoké školy báňské - Technické univerzity Ostrava. První superpočítač Anselm byl instalován do provizorních kontejnerů v květnu 2013, jeho teoretický výpočetní výkon je 94 TFLOPs. Superpočítač Salomon, který patří mezi 40 nejvýkonnějších superpočítačů na světě, byl zprovozněn v červenci Jeho výpočetní výkon je 2 PFLOPs, ovšem s vyšším počtem jader (21 194). Oba superpočítače jsou od léta 2015 umístěny v nové budově v porubském areálu. Vedle provozování superpočítače je IT4Innovations národní superpočítačové centrum nositelem excelentního výzkumu v oblasti IT, konkrétně v oblasti superpočítání (tzv. High Performance Computing) a zabudovaných systémů. Výzkum realizuje společně pět subjektů: vedle VŠB-TU Ostrava také Ostravská univerzita v Ostravě, Slezská univerzita v Opavě, Vysoké učení technické v Brně a Ústav geoniky Akademie věd ČR. IT4Innovations je dále součástí prestižního partnerství evropských superpočítačových center sdružených iniciativou PRACE. IT4Innovations národní superpočítačové centrum vzniklo převážně díky financím z evropských fondů, konkrétně z Operačního programu Výzkum a vývoj pro inovace. Výše dotace činí přibližně 1,8 mld. korun [1]. 2 Jak se připravit na počítání na superpočítači Počítání na superpočítači je trochu jiné, než jsme zvyklí z osobních počítačů. Největším problémem je určitě skutečnost, že prostředí superpočítače využívá operační systém UNIX a celé jeho rozhraní s uživatelem není grafické. Uživatel se tak trochu vrací do historické příkazové řádky. Ale nelekejte se, provozovatel připravil několik málo uživatelsky příjemnějších oknových programů, které do jisté míry umožní i ovládání superpočítače myší a tudíž i v grafickém módu. Přípravu na "počítání" v superpočítači je proto nutné rozdělit do několika částí: administrativní - přípravu vlastního projektu, zajištění elektronického podpisu, zajištění výpočetního času podáním přihlášky do grantové soutěže, analýzu výpočetních úkolů, strukturu adresářů, datových souborů (vstupních i výstupních), zprovoznit zabezpečený terminálový přístup, případně omezený grafický přístup, přípravu skriptů, nejlépe strukturovaných, pro bezobslužný běh výpočtů, přípravu pomocných souborů pro kontrolu správnosti běhu výpočtu. 2.1 Příprava projektu - získání výpočetního času Ucházet se o výpočetní čas může prakticky kdokoliv z řady výzkumníků a vědců tím, že se bude o něj ucházet přes grantovou výzvu [3]. Ta se realizuje 3x ročně a spočívá v sepsání projektu, který objasňuje účel získání výpočetního času. V poslední grantové výzvě (říjen 2016) se rozdělovalo jádrohodin. Členění přihlášky do grantové soutěže je dáno formulářem [4] a sepisuje se v angličtině. Jeho jednotlivé části obsahují: údaje o žadateli, včetně spojení, požadovaná výše výpočetního času, tzv. jádrohodin, abstrakt projektu, na který se výpočetní čas žádá, vědecká připravenost projektu, počítačová připravenost (co již je odladěno v etapě přípravy projektu), ekonomický přínos projektu, s využitím a bez využití výpočetního času, seznam publikovaných prací, dokládajících aktivitu v projektu, doložení licence na provoz MATLABu. Výpočetní čas se počítá v jádrohodinách, tedy čas činnosti jednoho jádra ve struktuře dostupných jader v superpočítači. Určit tuto veličinu je na počátku projektu docela oříšek, neboť ji není tak jednoduché stanovit z doby běhu výpočtu na běžném PC. Všechny projekty, které se do dané grantové výzvy přihlásí, hodnotí komise a následně přiděluje výpočetní čas v jednotkách jádrohodin. Dá se celkem konstatovat, že pro úvodní testování a "záběh" na provoz superpočítače je získání výpočetního času v řádově tisíců jádrohodin celkem reálné. Skutečně velké projekty většinou vyžadují 100 tisíc a více jádrohodin. K podání sepsaného projektu a účasti v grantové výzvě o přidělení výpočetního času je nutné získat elektronický podpis. To může být částečně problém, neboť tento podpis by měl být vystaven na osobu, která žádá, a současně akceptovat instituci, v níž dotyčný pracuje. Nejlepší cesta, jak získat elektronický podpis, je obrátit se na certifikační autoritu CESNET [5], přičemž platnost certifikátu je jeden rok, po uplynutí platnosti je nutné jej obnovit. 2.2 Kolik stojí výpočetní čas Určitě každého zájemce o získání výpočetního času zajímá, co jeho získání a tím i provoz na superpočítači bude stát. Pokud patříte mezi oprávněné žadatele, tedy zaměstnance akademických a výzkumných institucí, které mají sídlo nebo pobočku v České republice a osoby, které získaly nebo se podílí na realizaci výzkumného grantu z veřejných zdrojů

2 Roč. 72 (2016) Číslo 4 Pro inspiraci 15 České republiky, tedy projekty evidované v CEPu [6], máte výpočetní čas zdarma. Superpočítač byl totiž postaven z dotací EU, ČR a mnoha dalších institucí, proto je čas přidělován bezplatně právě těmto oprávněným žadatelům. Pro soukromé účely firem je cena za přidělený čas stanovena individuálně. 3 Administrace projektu Celá administrace projektu je svěřena webovému rozhraní se zabezpečeným přístupem [7], včetně elektronického certifikátu, registrovaného do počítače, z něhož se budeme do administrátorského prostředí přihlašovat. Máme-li tedy elektronický certifikát (podpis), můžeme přihlášku do grantové soutěže právě přes zabezpečený přístup odeslat. Po přidělení výpočetního času již nic nebrání začít počítat na doopravdy velmi výkonném počítači. Vzniká tedy otázka Co je nutné a co je vhodné zajistit k optimálnímu využití výpočetního času? 3.1 Terminálový přístup Putty Za zcela základní a pravděpodobně i prvotní pro realizaci přístupu k superpočítači je zprovoznit terminál se zabezpečeným přístupem (SSH authentication agent). Vhodným terminálem pro OS Windows je např. PuTTY, který také provozovatel superpočítače doporučuje a plně podporuje, včetně velmi podrobného manuálu pro jeho nastavení [8]. Velmi důležité je jeho prvotní nastavení v okně podle obr. 1. Důležité je správně ve větvi Auth přidat privátní klíč (id_rsa.ppk), který Vám zašle support IT4Inovations na základě získání výpočetního času a zprovoznění elektronického podpisu. Obr. 2. Konfigurační okno terminálu Putty nastavení přístupu k vybranému superpočítači. Pokud se vše podaří, objeví se terminálové okno (černé) s výzvou k vložení přístupového hesla výzvou importedopenssh-key. Nyní vložíte z klávesnice heslo znak po znaku. Co je ovšem docela nepříjemné, je skutečnost, že se vkládané znaky nejen nezobrazují (na to jsme asi zvyklí při vkládání hesel), ale ani se nezobrazují hvězdičky či jiné znaky, které by naznačovaly vložení znaku. Pokud se tedy nepodaří správně přes klávesnici vložit celé heslo, nebudete připuštěni do terminálového provozu superpočítače. 3.2 Příkazová řádka a MATLAB Po úspěšném přihlášení se zobrazí celá uvítací obrazovka terminálového přístupu k superpočítači (obr. 3) a po zobrazení promptu (např. [jaloruda@login2.anselm ~]$ nebo [jaloruda@login3.salomon ~]$) můžeme začít pracovat. Protože jsme v OS UNIX, lze použít velkou většinu standardních unixových příkazů, například podle přehledu [9]. Obr. 3. Uvítací obrazovka terminálového přístupu k superpočítači. Obr. 1. Konfigurační okno terminálu Putty nastavení autentizačního klíče. Po nastavení, které lze samozřejmě v části session uložit, je možné kliknutím na Open provést první pokus o přihlášení k vybranému superpočítači. Vybíráte mezi Salomonem a Anselmem správným zadáním Host Name v konfiguračním okně dle obr. 2. Pokud chceme přímo pracovat s vývojovým prostředím MATLAB, je nutné jej příkazem module load matlab načíst do přidělené paměti a příkazem matlab jej přímo spustit. MATLAB se nám přihlásí uvítací obrazovkou (obr. 4) a dvojitý prompt informuje o existenci Command okna. Nyní můžeme běžně pracovat s MATLABem, jak jsme zvyklí. Omezení je ovšem v použití pouze Command okna bez jakéhokoliv grafického rozhraní. 3.3 Souborový manažer WinSCP Do prostoru datového centra superpočítače, přiděleného adresáře, je potřebné uložit celou řadu souborů (skripty

3 16 Pro inspiraci Roč. 72 (2016) Číslo 4 < M A T L A B (R) > Copyright The MathWorks, Inc. R2014a ( ) 64-bit (glnxa64) February 11, 2014 To get started, type one of these: helpwin, helpdesk, or demo. For product information, visit >> Obr. 4. Úvodní obrazovka MATLABu na superpočítači. MATLABu, vstupní datové soubory, které budou využívány pro výpočty a další pomocné soubory). Toto nemusíme realizovat přes příkazovou řádku prostředí UNIXu, ale můžeme využít souborový manažer, který obsahuje možnost zabezpečeného přístupu. Jedním z doporučovaných je souborový manažer WinSCP [10]. Jeho obsluha je stejná jako u běžného souborového manažeru, v levé části máte zvolený vlastní adresář s případnými podadresáři na svém PC a v pravém okně se připojíte na přidělený adresář na superpočítači. Před vlastním přihlášením se souborový manažer WinSCP ohlásí úvodní obrazovkou (obr. 5), kde je nutné vyplnit přidělené přihlašovací údaje (jméno a heslo a ke kterému superpočítači se přihlašujeme). výsledků (uložených v datových souborech podle zvoleného formátu). Na obr. 6 je naznačen jeden příklad dávkového zpracování jobu na superpočítači. Začátek dávky musí definovat spuštění dávky (#!/bin/batch) a přiřazení k přidělenému projektu výpočetního času (#PBS -A DD-16-21). Pak následuje nastavení požadavku na přidělené výpočetní prostředky (vše přes prompt #PBS). Další skupinou je definice pracovních adresářů, a to jak vlastních, tedy těch, kam jsme si vše s využitím terminálu WinSCP nakopírovali, tak i těch, kde budeme rutinní výpočet realizovat. Příkazem cp provedeme kopírování do adresáře rutinních výpočtů a příkazem cd se tam pak přepneme. Teprve po nastavení všech údajů je možné nahrát MATLAB do paměti a spustit výpočetní dávku tak, aby pracovala bez výstupů na obrazovku (tu vlastně nemáte ani k dispozici), ale vše přesměrovat do textového souboru. To provedete příkazem matlab -nodisplay -r HUFA_batch_mat >$PBS_JOBID.txt Po ukončení výpočtu v MATLABu (na konci skriptu v MATLABu musí být ukončovací příkaz exit ) provedeme dalšími příkazy kopírování výsledků zpět do svého adresáře a můžeme si záznam z výpočtu PBS_JOBID.txt přejmenovat dle své potřeby. Nakonec musíme všechny soubory vymazat z pracovního adresáře. Obr. 5. Přihlašovací okno souborového manažeru WinSCP. Po spuštění a správném přihlášení k superpočítači je možné se souborovým manažerem běžně pracovat, kopírovat soubory oběma směry, otevírat soubory v prostředí superpočítače a opravovat je, např. opravit drobné změny ve skriptech MATLABu apod. 3.4 Spouštěcí dávka - popis Používat příkazovou řádku pro skutečné a dlouhotrvající výpočty není vhodné. Naštěstí existuje i v OS UNIX tzv. dávkové zpracování, tedy soubory (zde s příponou.sh), které obsahují jednotlivé příkazy jako bychom je psali ručně do příkazové řádky. Další záludností provozu na superpočítači je, že ladění programu je možné provádět v přiděleném prostoru (adresáře, paměť), ale rutinní výpočty je nutné provádět v odděleném prostoru, definovaném adresářem scratch/work. To znamená, že po odladění výpočtu a při spuštění dávky musíme všechny soubory (skripty MATLABu, vstupní data pro výpočet) přesunout do tohoto pracovního adresáře a po skončení výpočtu a ukončení MATLABu pak vše přesunout zpět, tedy včetně získaných Obr. 6. Příklad dávky pro řešení výpočetního problému. Takto vytvořenou dávku následně spustíme přímo v terminálovém okně zadáním příkazu qsub -A DD mymat04dd.sh, kde příkaz qsub spouští dávku, označení DD jednoznačně přiřazuje job k přidělenému výpočetnímu času

4 Roč. 72 (2016) Číslo 4 Pro inspiraci 17 a mymat04dd.sh pak definuje název spouštěné dávky. Po úspěšném spuštění dávky se zobrazí číslo přiděleného jobu Job isrv5. Pokud je spuštěn souborový manažer, lze použít i pomocného terminálového okna (obr. 7). Omezení tohoto okna je v tom, že je možné zadávat příkazy, které nevyžadují další vstup od uživatele. Opět tu není žádná odezva vkládaných znaků hesla a je nutné jej pro ověření vložit 2. Pak již je možné spustit vlastní VNCserver. Shrnutí příkazů a odezva superpočítače v terminálovém okně je na obr. 8. Dále na PC spustíme VNC Viewer, který se nám ohlásí malým oknem (obr. 9), kam vložíme IP adresu VNC serveru a zvolené číslo portu. Obr. 7. Využití možnosti otevřít terminál ze souborového manažeru ke spuštění výpočetní dávky. 4 Superpočítač, MATLAB a grafika Pro potřebu ladění programu v simulačním prostředí MATLAB na superpočítači je pro uživatele připraveno omezené, ale přesto grafické rozhraní, které je nám známo z prostředí MATLAB na klasickém PC. Jeho zprovoznění je docela komplikované, je totiž nutné nainstalovat tzv. VNC Viewer a přes příkazovou řádku terminálu zprovoznit tzv. datový tunel. Při nastavování se definuje velikost grafického okna, které bude tunel přenášet. Úplný popis nastavení PuTTY terminálu pro datový tunel je uveden v dokumentu pro popis VNC [11]. Právě TigerVNC je grafická nadstavba pro dálkové ovládání terminálového prostředí. Postup zprovoznění je následovný: v terminálu PuTTY vygenerujeme přístupové heslo a spustíme VNCserver, na PC spustíme VNCviewer a vložíme heslo, v otevřeném okně VNCvieweru spustíme terminálové okno, v terminálovém okně pak načteme do paměti MATLAB a spustíme jej. Součástí sestavy datového tunelu je i zvolení si velikosti přenášeného okna. Například pro velikost pixelů je připraven port číslo Máme-li v PuTTy terminálu připravený datový tunel, lze se k superpočítači přihlásit klasickým způsobem přes dodané heslo. Následně je nutné si vygenerovat krátkodobé heslo pro VNC Viewer zadáním příkazu vncpasswd. Obr. 9. Přihlašovací okno VNC Vieweru se zadáním IP adresy VNC serveru a definováním portu grafického tunelu. Je-li správně spuštěn VNC server v terminálu PuTTY, zobrazí se výzva na vložení krátkodobého hesla pro zprovoznění datového tunelu. Pokud se vše podařilo, otevře se nám okno grafického rozhraní TigerVNC (obr. 10). Obr. 10. Grafické okno TigerVNC po úspěšném přihlášení. Ovládání a důležité nastavování je opět podrobně popsáno v [11]. Pro spuštění MATLABu je nutné přes nabídku Applications Systém Tools Terminál spustit další terminálové okno a v něm zadat známé dva příkazy (kap. 3.2) pro načtení MATLABu do paměti a jeho spuštění. Máme-li vše správně, zobrazí se již vlastní okno MATLABu (obr. 11). [jaloruda@login2.anselm ~]$ vncpasswd Password: Verify: [jaloruda@login2.anselm ~]$ vncserver :62 -geometry 1920x1080 New 'login2:62 (jaloruda)' desktop is login2:62 Starting applications specified in /home/jaloruda/.vnc/xstartup Log file is /home/jaloruda/.vnc/login2:62.log Obr. 8. Generování hesla a spuštění VNC serveru. Obr. 11. Grafické okno TigerVNC s okny terminálu a oknem MATLABu.

5 18 Pro inspiraci Roč. 72 (2016) Číslo 4 5 Několik praktických zkušeností z ročního využívání superpočítače Autor článku skutečně rutinně počítá na superpočítači Salomon od prosince roku Při práci postupně získával zkušenosti a vyzkoušel postupy, o které je vhodné se podělit. Protože není žádná zpětná vazba, jak běží výpočet na superpočítači (nebereme-li v potaz krátký soubor o případné chybě, který generuje systém), vyplatí se vytvořit si vlastní tzv. logovací textový soubor, kam si uživatel přímo příkazy v MATLABu zapíše, co, případně kdy MATLAB počítal a třeba i jak úspěšně. Tímto zápisem se vlastně k uživateli může dostat i informace, kde běžící výpočet zhavaroval, třeba i z důvodu špatných vstupních dat. Grafika v prostředí superpočítače je velmi omezená. Vše sice docela funguje a určitě je dostačující pro počáteční testy provozu MATLABu na superpočítači, avšak pro rutinní výpočty je grafika zcela nevhodná, neboť vyžaduje interaktivní ovládání, což pro dlouhotrvající výpočty není možné realizovat. Provoz ukázal, že je velmi vhodné uložit si všechny získané výpočty do datových souborů (nejlépe přímo formáty *.mat) a následně si na lokálním počítači připravit skript, který z načtených dat vykreslí požadované grafické výstupy. Pokud to charakter výpočetní úlohy umožňuje, vyplatí se vstupní data pro celý výpočet předpřipravit do vhodných formátů, které MATLAB poměrně rychle umí přečíst. Všechny takto připravené datové soubory je pak vhodné umístit do samostatného adresáře, z něhož si běžící výpočet data postupně bude načítat. Taktéž vypočítané výsledky je vhodné ukládat do dalšího adresáře, z něhož jej pak můžeme dále využívat. Příklad možné adresářové struktury je na obr. 12. Obr. 12. Možná struktura adresářů a jejich obsah. Základní adresář se skripty - vstupní data - logovací soubory - data pro pozdější grafiku - výsledky Pro soukromý přehled využití výpočetního času je vhodné si zavést evidenci jednotlivých jobů a ty, stažením z administrace projektu, si uchovávat v podobě běžných wordovských dokumentů. V administraci superpočítače je každý job charakterizován cca 50 parametry. Dozvíme se z něj např. označení projektu, pod kterým job proběhl, na kterém superpočítači, pod jakým přihlašovacím jménem (loginem), jaká dávka jej spustila, přidělené výpočetní prostředky, čas spuštění a konce výpočtu, tedy i jak dlouho výpočet trval a mnoho dalších informací. V administraci projektu se totiž tato informace uchovává pouze jeden měsíc a víc se k ní již uživatel jednoduchým způsobem nedostane. Odkazy [12], [13] a [14] bezprostředně ukazují na adresy, kde lze potřebné programové vybavení pro dálkové ovládání obou superpočítačů stáhnout. Všechny uvedené a používané programy jsou typu Open source. Je vhodné zmínit se o podrobné dokumentaci, kterou pracovníci IT4Inovations vytvořili. Na odkazu [15] ji najdete v plném rozsahu. Je psána v angličtině a obsahuje doopravdy velmi podrobný komentář k jednotlivým částem obou superpočítačů. Je zde popsán HW superpočítačů, včetně podrobného popisu co obsahují z hlediska procesorů a typy jader. Dále jsou uvedeny popisy programového vybavení přímo implementovaného na superpočítačích, včetně externích programů pro připojení a práci na superpočítačích. V řadě případů můžeme říci, že jde o velmi podrobný návod, jak který program v jednotlivých oknech nastavit a co potvrdit. Při tvorbě těchto dokumentů ovšem zpracovatelé předpokládali slušnou znalost práce v OS UNIX. Pro dobrou a pohodlnou obsluhu všech programů (často i v jednom okamžiku) autor doporučuje využívat možností připojení více obrazovek k počítači, na němž se bude dálková správa provozovat. Příjemné jsou nejméně dvě obrazovky, ale opravdu pohodlné je pracovat se třemi, ne-li i čtyřmi obrazovkami. Na jedné zprovozníte terminál PuTTY (kap. 2.1), na druhé určitě souborový manažer WinSCP (kap. 3.3). Vhodné je mít otevřenu i administraci projektu přes zabezpečený přístup na webovém rozhraní [7], a to se vlastně ještě nezačalo počítat. Přidáme-li pro období ladění grafické rozhraní TigerVNC (kap. 4), máme další okno a mělo by být hodně velké. Pro rozběh rutinního počítání je příjemné si nechat zobrazovat logovací (textové) soubory, případně soubory s výsledky (pokud jsou také v textové podobě). Přístup k těmto souborům zajišťuje souborový manažer a mají tu vlastnost, že se neuzavírají pro doplňování údajů ze strany běžícího programu v MATLABu a navíc je lze jednoduše občerstvovat, tedy průběžně zobrazovat stav vývoje výpočtů. Takže pro zobrazení údajů jen na jedné obrazovce PC je toho doopravdy příliš. Pro maximální využití superpočítačů je nanejvýše vhodné realizovat výpočty v MATLABu paralelně. Předpokladem pro paralelní výpočty je disponovat licencí na Parallel Computing Toolbox. Pro realizaci paralelních výpočtů v MATLABu je nutné doplnit vlastní skripty o definice paralelismu a vhodně optimalizovat výpočet, aby jej bylo možné paralelně počítat. Základem je spuštění paralelního režimu v MATLABu příkazem parpool a úpravu cyklů, kdy příkaz for je nahrazen příkazem parfor. Velmi pěkný úvod do paralelního programováni je v podobě webového semináře uveden v odkaze [16]. Parametry superpočítače Salomon [17]: výpočetních uzlů a 129 TB operační paměti RAM. Obsahuje 864 Intel(r) Xeon Phi 7120 koprocesorových karet s jádry a 13,8 TB paměti RAM. Parametry superpočítače Anselm [18]: 209 výpočetních uzlů; každý uzel osazen dvěma osmi jádrovými procesory architektury x86-64 SandyBridge, 64GB RAM paměti a lokálním diskem kapacity 500GB. Poděkování Tato práce byla podpořena IT4Innovations projekt Centra excelence (CZ.1.05 / / ), financovaného Evropským fondem pro regionální rozvoj a státního rozpočtu České republiky prostřednictvím Operačního programu Výzkum a vývoj pro inovace, jakož i Ministerstvem školství, mládeže a tělovýchovy prostřednictvím projektu Velkých infrastruktur výzkumu, vývoj a inovace (LM ). Prof. Ing. Rudolf Jalovecký, CSc. Katedra leteckých elektrotechnických systémů UO v Brně

6 Roč. 72 (2016) Číslo 4 Pro inspiraci 19 Literatura [1] IT4Innovations národní < [2] Jak získat výpočetní čas. IT4Innovations národní < [3] Veřejná grantová soutěž. IT4Innovations národní < [4] Struktura projektu. IT4Innovations národní superpočítačové centrum. < (odkaz platný k , číslovaní se mění podle čísla výzvy). [5] Certifikační autorita CESNET. CESNET CA[CESNET PKI] , poslední revize < [6] Centrální evidence projektů výzkumu, experimentálního vývoje a inovací a Informace o předávání údajů (CEP). Výzkum a vývoj v ČR < [7] Web administrace projektu, IT4Innovations#Extranet. < [8] Popis nastavení terminálu PUTTY. IT4Innovations národní < accessing-the-clusters/shell-access-and-data-transfer/ putty> [9] Kerslager, M. Základní příkazy Unixu [online]. 2007, poslední revize < [10] Popis souborového manažeru WinSCP. WinSCP, Free SFTP, SCP and FTP client for Windows. Poslední revize < 0405&utm_source=winscp&utm_medium=app&utm_ campaign=5.7.6> [11] Popis Virtual Network Computing (VNC). IT4Innovations národní < accessing-the-clusters/graphical-user-interface/vnc> [12] Instalace terminálu PuTTY. < [13] Instalace souborového manažeru WinSCP. SourceForge - Download, Develop and Publish Free Open Source Software < download> (odkaz platný k ). [14] Instalace VNC Vieweru TigerVNC. Bintray - Download Center Automation & Distribution w. Private Repositories < path=tigervnc exe> [15] Dokumentace k superpočítačům a jejich provozu. IT4Innovations národní < [16] Jirkovský, J. Paralelní výpočty v MATLABu. Webový seminář < &potential_use=Education&country_ code=cz> [17] Popis superpočítače Salomon. IT4Innovations národní < [18] Popis superpočítače Anselm. IT4Innovations národní <