3ware Escalade 7006-2

3ware Escalade 7006-2 Struný manuál Autor: František Ryšánek <rysanek@fccps.cz> FCC Prmyslové Systémy s.r.o. Obsah 3ware Escalade 7006-2... 1 Obsah...1 Úvodem...2 Spolené poznámky (nezávislé na operaním systému)...3 Poátení nastavení pole v BIOSu...3 3DM - 3ware Disk Management utility...3 CLI...5 Umístní režijních dat...5 Jak se pozná porucha pole...6 Obnova pole...8 3DM...8 CLI...8 BIOS...9 Poznámky specifické pro operaní systémy...10 Windows 2000...10 Instalace systému...10 Instalace obslužných utilit...10 3DM...10 CLI...10 Linux...11 Instalace systému...11 Instalace obslužných utilit...11 3DM...12 CLI...12 FreeBSD...13 Instalace systému...13 Instalace obslužných utilit...13 3DM...13 CLI...14

Úvodem adi 3ware Escalade 7006-2 je IDE adi, na kterém lze nakonfigurovat "diskové pole", anglicky RAID (Redundant Array of Inexpensive Disks) - virtuální disk skládající se z více disk. Jedná se o relativn levné RAID ešení, proto umí pouze RAID level 0, 1 a JBOD s tím, že pole zabere na oznaených discích vždy celou dostupnou kapacitu (nelze vytváet více logických disk). Pesnji eeno, zdá se, že firmware a software je univerzální pro celou adu 3ware 7xxx v konfiguraci se nabízí i RAID5. Tato volba ovšem patrn nedává smysl, pokud nepipustíme pipojení dvou disk na jeden kanál, což není dobrý nápad už kvli výkonnosti a stabilit v kritických situacích. Jedná se o plnokrevný hardwarový RAID, patrn jediný dvoukanálový hardwarový IDE RAID na trhu - viz též samostatný dokument o typech polí. adie 3ware nepoužívají procesor i960/iop, ani žádný jiný bžný IO procesor firma 3ware používá vlastní architekturu StorSwitch. adi má ve srovnání s konkurencí v této cenové kategorii pomrn kvalitní softwarovou výbavu pro Windows a Linux, Existuje také standardní ovlada a neoficiální management utilita ve FreeBSD. Vtšina zákazník si poizuje pole kvli spolehlivosti, proto drazn doporuujeme RAID 1 (mirror)! S nastavením adie a vytvoených polí lze pracovat jednak z nástroje, který je souástí BIOSu adie a lze ho vyvolat kombinací kláves Alt+3 pi startu poítae (ješt než nastartuje operaní systém), nebo pomocí utilit nainstalovaných v operaním systému Windows nebo Linux. Utility pod Windows a Linuxem jsou o nco komfortnjší a jsou vhodné pro opravu pole za provozu. Webový nástroj 3DM je mírn tžkopádný, píkazový ádek tw_cli je spartánský le mocný oba ovšem umožují v zásad totéž a pracují s podobnou logikou. Nástroj v BIOSu lze použít v pípad, kdy operaní systém není k dispozici. Obnova pole bží v každém pípad na pozadí.

Spolené poznámky (nezávislé na operaním systému) Poátení nastavení pole v BIOSu K vytvoení pole jsou poteba alespo dva disky. Následující postup popisuje vytvoení pole typu mirror ze dvou disk, které zabírá celou kapacitu obou disk (menší kapacita zvolit nejde). Pi startu poítae se po úvodní obrazovce PC BIOSu ohlásí BIOS adie 3ware. - Po výzv Press <Alt-3> to enter the configuration screen stisknte Alt + 3 dostanete se do konfiguraní utility, která je souástí BIOSu. - Potvrte uvítací hlášku (kteroukoli klávesou). Jedná se o varování, že nesprávnou manipulací mžete pijít o data a že pípadné zmny se definitivn provedou teprve po volb Done (F8), po které budete ješt naposledy varováni. - Kurzorovými šipkami a klávesou Enter oznate disky, které si pejete zapojit do pole (oznaený disk má ped názvem hvzdiku). - Kurzorovými šipkami najete na volbu Create Array a stisknte Enter. - Konfiguraní utilita nabídne pole typu Mirror a navrhne povolit write cache. adi 7006-2 podporuje pouze dva kanály, tj. dva IDE disky proto pipadají v úvahu pouze pole typu mirror (RAID 1) a Stripe (RAID 0). S ohledem na spolehlivost drazn doporuujeme pole typu Mirror! Pole typu Stripe sice poskytuje vyšší kapacitu a prchodnost, ale je neredundantní a tudíž nebezpené! Pokud stroj není zálohován UPS, doporuujeme zvážit vypnutí write cache, za cenu jistého snížení výkonnosti. Pokud zstane write cache zapnuta, v pípad výpadku napájení se ztratí data, která adi po zápisu z operaního systému nestail uložit na disky s následkem porušení souborového systému, pípadn i s následkem degradace pole. - Kurzorovými šipkami najete na symbol OK a potvrte klávesou Enter. V základní obrazovce jsou nyní oba disky piazeny do pole. - Hotovo - stisknte F8. Objeví se rekapitulace provedených zmn a žádost o definitivní potvrzení. Stisknte klávesu Y. - Poíta se restartuje. 3DM - 3ware Disk Management utility Jedná se o správcovskou utilitu, která navenek komunikuje protokolem HTTP na TCP portu 1080 (funguje jako HTTP server, bez SSL). K jejímu využití je tedy teba, aby byla spuštna vlastní správcovská služba a dále je teba nastartovat webový browser na službu se dá pipojit jak v rámci jednoho poítae, tak na dálku po síti (pokud tuto možnost povolíme). URL na lokálním poítai je tedy http://127.0.0.1:1080/.

3DM také umí rozesílat upozornní e-mailem. Zdá se, že služba 3DM ve skutenosti neumí bžet jako NTková služba v pravém slova smyslu tak jak je stadardn nainstalována, startuje se teprve po pihlášení uživatele z menu po spuštní a bží pod ikonkou v systrayi. Aby si s konfigurací pole nemohl kdokoli hrát, existuje možnost ochránit pístup do 3DM heslem, a to dokonce ve dvou úrovních: pro prohlížení a pro konfiguraci. Také je možno zcela zakázat pístup po síti je teba si uvdomit, že pístup pes HTTP není zabezpeen šifrováním, takže není odolný vi pípadnému odposlechu. HTML stránky generované službou 3DM jsou pomrn jednoduché, jejich nejsložitjší souástí je nkolik prostých funkcí napsaných v JavaScriptu v oblasti zadávání hesla. Ve výsledku je toto rozhraní možná pehlednjší, než složitá client-side javovská aplikace, kterou dodává v rámci svého webového dohlížee Adaptec. 3DM je k dispozici pod Windows i pod Linuxem. CLI Jedná se o správcovskou aplikaci, která s uživatelem komunikuje pes píkazový ádek (Command Line Interface). Je k dispozici pod Windows i pod Linuxem, není teba ji pi instalaci nijak konfigurovat a má mizivé požadavky na systémové zdroje. V jednoduchosti je síla. Umístní režijních dat Pro rychlejší ištní fyzických disk po použití je dobré vdt, kde jsou na disku umístna režijní data staí totiž vynulovat sektory, o kterých víme, že je adi používá a není teba ekat, až se dkladn vynuluje celý disk. Zdá se, že adi 3ware Escalade 7006-2 si zapisuje své režijní údaje do prvních ty sektor fyzického disku (tj. do sektor 0,1,2,3) a dále do ty sektor takka na konci disku, jejichž pozice se poítá ponkud složitji:. (LBA_KAPACITA 1024) + 0,1,2,3 ). Ke zrušení polí tedy staí pepsat nulami první tyi sektory a zmínné tyi sektory na konci poté je disk použitelný pro vytváení nových polí a pedevším pro opravy degradovaných polí. Pro samostatné použití na obyejném IDE adii staí smazat prvních pár sektor. Teoreticky by mlo stait smazat sektor obsahující partition table (MBR tj. sektor.0) a Fdisk bude disk považovat za prázdný. Podrobnjší popis najdete v samostatném dokumentu Poznámky o RAIDu.

Jak se pozná porucha pole Na webovém rozhraní 3DM se v hlavice zmní velký modrý nápis OK na ervený nápis ERROR. V záložce DETAILS je porucha podrobnji rozvedena. Napíklad pokud vypadne jeden ze dvou disk v poli typu Mirror, pole je nyní degraded a píslušný disk je not in service.

Zárove služba 3DM jakožto aplikace Windows zobrazí své stavové okno se zprávou, že došlo k poruše a zane vydávat akustický signál (pokud jsme jí to nezakázali). Vzáptí zobrazí druhé, obsáhlejší hlášení, které obsahuje podrobný návod, jak je teba dále postupovat informaní hodnota tohoto nouzového hlášení je nadobyej vysoká a v krizové situaci mže být k nezaplacení. V utilit CLI lze stav polí zjistit napíklad touto sekvencí píkaz: CLI> info CLI> info c2 CLI> info c2 u0 # zobraz adie v systému (zjistili jsme, že systém obsahuje jediný adi.2) # zobraz vlastnosti adie.2 # - zjistili jsme, že adi.2 obsahuje degradované pole (unit).0 # zobraz vlastnosti pole.0 na adii.2 # - zjistili jsme, že pole má poškozený disk (subunit) 0 Píklad výpisu (barviky jsou pidány umle): 3ware CLI> info c2 u0 Controller 2, Unit 0 --------------------- Status: DEGRADED Unit Type: RAID 1 Stripe Size: N/A Size: 37.27 GB (78163312 blocks) # of subunits: 2 Subunit 0: CBOD: DEGRADED Physical Port: 0 Logical Port: 0 Subunit 1: CBOD: OK Physical Port: 1 Logical Port: 1 Po pípadném restartu BIOS adie ohlásí, že unit 1 je DEGRADED. Software dodávaný s adiem má lehce nekonzistentní názvosloví - nap. CLI rozlišuje port, disk a subunit, tebaže reáln tyto entity existují v pomru 1:1. Dále pak CLI poítá pole od nuly, kdežto BIOS a 3DM poítají pole od jedniky. Pokud máme v poítai jediné pole, což s tímto adiem bude patrn pravidlem, není to velký problém. Dležité je, že všechen software funguje bez chyby.

Obnova pole Pokud nemáme hot-swapové rámeky, je teba provést výmnu disku pi vypnutém poítai. Po výmn disku je teba provést softwarovou rekonfiguraci je teba íci adii, že jsme vymnili disk a že se má pokusit o obnovu pole. Obnovu pole lze zaídit temi zpsoby: pomocí utilit 3DM nebo CLI, nebo v nástroji dostupném z BIOSu adie. 3DM Nov pipojený náhradní disk je oznaen jako not in service a pole zstává ve stavu degraded. Otevete záložku Configure a postupujte takto: - softwarov odeberte postižený disk, tebaže již vymnný (oznate disk, stisknte Remove Drive ) - pidejte disk bu pímo, nebo jako hot spare (oznate disk, stisknte Add Drive nebo Add Spare ) - spuste obnovu pole (oznate pozstalý i vymnný disk, stisknte Rebuild Unit ) Ovládání je v tomto bod lehce nelogické mám vybírat disky, které chci vzájemn rebuildovat? Tak hovoí nápovda na téže stránce. Logitjší by bylo, pokud by lovk dostal na výbr pole a volné disky a vybral si, který disk chce do kterého pole v rámci obnovy piadit. Ale budiž funguje to. CLI Stav polí a disk lze zjistit píkazem info c<c> u<u> viz výše. Pole i nov pipojený náhradní disk je oznaeny jako Degraded. Obnovu pole spustíte následujícím zpsobem (adi.2, pole.0, disk.0): CLI> info CLI> info c2 CLI> info c2 u0 CLI> alarms CLI> maint remove c2 p0 CLI> maint add c2 p0 CLI> maint rebuild c2 u0 p0 CLI> info c2 u0 CLI> info c2 CLI> alarms # zobraz adie # zobraz pole na adii # zobraz stav pole.0 na adii.2 # zobraz aktivní alarmy # odeber postižený disk z konfigurace # pipoj disk lze použít též maint add c2 p0 spare # spus obnovu pole # zobraz stav pole.0 na adii.2 # zobraz pole na adii # zobraz aktivní alarmy Zajímavé je, že postižený/vymnný disk i po dobu obnovy zstává podle CLI ve stavu degraded obnova ale skuten probíhá, procenta naskakují. Další svéráznou vlastností je, že pi výpadku disku je hlášen problém na píslušné subunit ve výpisu info c2 u2, ale nikoli na disku resp. portu (info c2 p2). Což ovšem platí i pro 3DM. CLI je oproti 3DM zejm logitjší a pro leckoho možná i pehlednjší.

BIOS BIOS se hlásí pi startu poítae zobrazí detekované disky a pole a na nkolik sekund zobrazí výzvu ke stisknutí Alt+3. Nov pipojený náhradní disk je oznaen jako not in use a pole zstává ve stavu degraded. Obnovu pole v BIOSu provedete takto: - po výzv stisknte Alt + 3. - potvrte úvodní varovnou/informaní hlášku (jakoukoli klávesou). - oznate degradované pole (kurzorovými šipkami a klávesou Enter). - kurzorovými šipkami se pesute na symbol Rebuild Array a stisknte Enter. - zobrazí se upozornní, že obnova doopravdy zane až po potvrzení všech zmn klávesou F8. - zvolte OK (a Enter) - stisknte F8 ( hotovo ). Objeví se žádost o potvrzení, že chcete opravdu spustit obnovu potvrte klávesou Y. BIOSová utilita spustí na pozadí obnovu, ihned se ukoní a systém pokrauje v bootování (bez restartu).

Poznámky specifické pro operaní systémy Windows 2000 Instalace systému Pi instalaci systému Windows 2000 je teba dodat instalátoru brzy v prbhu instalace disketu se základními ovladai adie 3ware jinak instalátor nenajde pole (virtuální diskový svazek), na které se chystáme systém nainstalovat. - vyrobte disketu s ovladai. Disketu je teba zformátovat (pozor, instalátor nemá rád diskety zformátované pod Windows95!) a zkopírovat obsah adresáe <CD>:\Windows\driver_w2kxp\ do koene diskety. - spuste instalaci W2000 a vas stisknte F6. (Výzva ke stisku F6 se objeví krátce po startu - pokud nezareagujete, za nkolik sekund sama opt beze stopy zmizí!) - Chvíli pokejte na obrazovku, která hovoí o možnosti vložení diskety s ovladai od výrobce. Zde stisknte klávesu S, vložte disketu, potvrte klávesou Enter, zobrazí se seznam o jedné položce (3ware Escalade 7000/8000), potvrte klávesou Enter, zpátky v menu ješt jednou Enter (=Pokraovat s instalací). - poté, co se natou všechny ovladae a dojde na rozdlení disku, instalátor by ml nabídnout pole, které jsme vytvoili v BIOSu. - V instalaci pokraujte obvyklým zpsobem. Instalace obslužných utilit Poté co nainstalujeme operaní systém, mžeme pikroit k instalaci správcovských utilit. Bez správcovských utilit bude pole pochopiteln také fungovat ovladae jsme instalovali pi instalaci systému. Nemli bychom pak ale možnost sledovat stav pole a pípadn mnit konfiguraci za bhu Windows (což pochopiteln dává smysl vícemén pouze u polí, která neslouží jako systémový disk). 3DM Instalaní program je teba spustit z CD média dodávaného s ovladaem: <CD>:\Windows\3DM\3dmSetup.exe Instalace je pímoará, lze zakázat pístup pes HTTP po síti (takže je možný pouze lokální pístup v rámci jednoho poítae) a lze zadat parametry pro odesílání upozornní e-mailem. Složitjší než samotná instalace 3DM je zejm konfigurace a použití browseru Microsoft Internet Explorer na erstv nainstalovaném poítai s Windows MSIE neustále tvrdošíjn požaduje pipojit se a zkusit znovu, pestože se pipojuje na vlastní loopback... samotný 3DM je ve srovnání s tím pehledný a nezáludný. CLI Pod Windows se CLI skládá z jediného spustitelného souboru tw_cli.exe neinstaluje se, lze ho spustit pímo z CD, nebo nakopírovat nkam na harddisk, run vytvoit zástupce apod.

Linux Instalace systému Ovlada pro adie 3ware je standardní souástí linuxového jádra 2.4 a jeho podoba v aktuálním vanilla jáde obvykle odpovídá nejnovjší verzi na webu 3ware údržba ovladae je vzorná. Vtšina distribucí proto již nkolik let obsahuje ovladae pro adie 3ware jako standardní souást. Zárove je teba podotknout, že HW API adie je pomrn stabilní, takže není nezbytn nutné používat pro nové adie nejnovjší verzi ovlada a starší distribuce jdou i na nových adiích snadno nainstalovat bez poteby pidávat erstvé ovladae. Je tedy pomrn zbytené, že CD médium dodávané s adiem obsahuje pedkompilované binární moduly pro distribuce RedHat 7.2, 7.3 a 8.0 a pro SuSE 7.2, 7.3 a 8.0. (Vyzkoušený je také Debian 3.0 Woody s pvodním jádrem bf24, tj. 2.4.18 vanilla.) Nicmén je patrn vhodné používat pro ostrý provoz rozumn nové jádro pedevším proto, že starší ovladae nemusí chodit s erstvou verzí správcovských utilit, které jsou k dispozici na CD a na webu 3ware. Ovlada pro adie 3ware lze v menu make menuconfig nalézt v sekci SCSI Support -> SCSI low-level drivers. adi 3ware se totiž do systému tváí jako SCSI adi. Instalace obslužných utilit Správcovské utility pod Linuxem potebují znakový device node, tj. soubor v adresái /dev/ - bude se jmenovat /dev/twe* - neplést s blokovými diskovými zaízeními /dev/sd*, která se používají pro ukládání dat. Ovlada adie exportuje znakové zaízení s dynamicky alokovaným major number. Nemá pevn pidlené major íslo takto fungují všechny experimentální ovladae. Viz `cat /proc/devices`. Pi startu jádra, pi inicializaci ovladae, dostane zaízení twe první volné íslo shora od 254 vetn. Na toto major number dlá vtšina moderních distribucí automaticky na disku nkolik device nod /dev/twe0 až /dev/twe<n> (teba /dev/twe10). Minor number bude njaké od nuly výše. Pokud Vaše distribuce device nody nevytvoila, nebo jste pidávali do systému zaízení a díky tomu nesedí major number, mžete si device node vytvoit run píkazem mknod: mknod /dev/twe0 c <major> 0 Ovlada dále vytváí ve virtuálním /proc filesystému vtev /proc/scsi/3w-xxxx/*, kde se zobrazují souhrnné údaje jednotlivých adi. Tato vtev se vytváí automaticky za bhu není teba ji jakkoli konfigurovat. Zajímavé je, že íslo adie hlášené /proc vtví a správcovskými utilitami neodpovídá minor íslu. Jediný adi v systému mže mít íslo 2 nebo 3, ale minor number bude 0 a píslušný správcovský device node bude také /dev/twe0.

3DM Instalace 3DM pod Linuxem se spouští z CD skriptem /mnt/cdrom/linux/3dm/install.3dm. Tento skript má v hlavice jako interpreter uvedený `csh` - pokud nemáte C-shell, musíte skript spustit explicitn v jiném shellu, nap. v tcsh nebo i v bashi: cd /mnt/cdrom/linux/3dm tcsh./install.3dm sh./install.3dm bash./install.3dm Skript bezezbytku podporuje systémy RedHat a SuSE. Na jiných systémech (nap. na Debianu) pouze nakopíruje spustitelný soubor 3DM démona do /usr/sbin/3dmd a jeho konfiguraní soubor do /etc/3dmd.conf. Uživatel je ovšem v tom pípad podrobn informován, co je teba ješt dodlat tj. v pípad SysV initu skript do /etc/init.d a píslušné startovací/zabíjecí symlinky pro používané runlevely, resp. v pípad BSD initu zaadit démona do vhodného RC skriptu. Soubory kopírované instalaní skriptem pocházejí z.tgz archivu v tomtéž adresái. HTTP thread démona 3dmd poslouchá standardn na portu 1080. To má v Linuxu jeden malý háek. Mozilla, Netscape a snad i další browsery mají z bezpenostních dvod zakázán pístup na port 1080 (smrem ven) snad aby se zabránilo potenciálnímu zneužití SOCKS firewallu z vnitní sít zákeným HTML kódem. Z toho dvodu odmítají pístup i na localhost:1080. Existují dv ešení: 1) bu zmnit port používaný 3dmd v souboru /etc/3dmd.conf 2) nebo pemluvit Mozillu, aby chodila i na port 1080 to se dá zaídit pidáním následujícího ádku do souboru /etc/mozilla/prefs.js : pref("network.security.ports.banned.override", "1080 ); CLI Pod Linuxem se CLI skládá z jednoho obslužného prográmku zvaného tw_cli. Program je staticky linkovaný, nepotebuje žádné knihovny ani konfiguraní soubory. Instalace tedy spoívá ve zkopírování na vhodné místo na harddisk.

FreeBSD Instalace systému Ovlada pro adie 3ware je standardní souástí systému vetn instalátoru. Pokud budete kompilovat vlastní jádro, jedná se o device twe. Vytvoená pole se jmenují twed0, twed1 atd. Ovladae jsou údajn již delší dobu kvalitní, podle zlých jazyk dokonce kvalitnjší než v Linuxu. Nicmén se pravideln v nových releasech objevují patche, patrn pedevším kvli novému hardwaru v rodin Escalade. Instalace obslužných utilit Správcovské utility pod FreeBSD potebují znakový device node, tj. soubor v adresái /dev/ - bude se jmenovat /dev/twe* - neplést s blokovými diskovými zaízeními /dev/twed*, která se používají pro ukládání dat. Major number je 164, minor number prvního adie je 0. Lze tedy volat explicitn mknod /dev/twe0 c 164 0 nebo lze zaízení vytvoit skriptem /dev/makedev: cd /dev./makedev twe0 Ovlada dále vytváí ve virtuálním /proc filesystému vtev /proc/scsi/3w-xxxx/*, kde se zobrazují souhrnné údaje jednotlivých adi. Tato vtev se vytváí automaticky za bhu není teba ji jakkoli konfigurovat. Zajímavé je, že íslo adie hlášené /proc vtví a správcovskými utilitami neodpovídá minor íslu. Jediný adi v systému mže mít íslo 2 nebo 3, ale minor number bude 0 a píslušný správcovský device node bude také /dev/twe0. 3DM Oficiální web ani instalaní CDka neobsahují podporu pro FreeBSD. Existuje nicmén port 3DM, který je standardní souástí distribuce port pod FreeBSD. Z toho plyne zpsob instalace: cd /usr/ports/sysutils/3dm make fetch && make && make install Konfiguraci lze zeditovat v souboru /usr/local/etc/3dmd.conf. Démon 3dmd se pouze nakopíruje do adresáe /usr/local/sbin je teba ho spustit run, nebo ho run zaadit do /etc/rc.*. HTTP thread démona 3dmd poslouchá standardn na portu 1080. To má jeden malý háek. Mozilla, Netscape a snad i další browsery mají z bezpenostních dvod zakázán pístup na port 1080 (smrem ven) snad aby se zabránilo potenciálnímu zneužití SOCKS firewallu z vnitní sít zákeným HTML kódem. Z toho dvodu odmítají pístup i na localhost:1080.

Existují dv ešení: 3) bu zmnit port používaný 3dmd v souboru /etc/3dmd.conf 4) nebo pemluvit Mozillu, aby chodila i na port 1080 to se dá zaídit pidáním následujícího ádku do souboru /etc/mozilla/prefs.js : pref("network.security.ports.banned.override", "1080 ); CLI Prográmek tw_cli bohužel není k dispozici pro FreeBSD a jeho Linuxová verze nechodí ani v emulaci. Zdá se, že tw_cli nepoužívá znakové zaízení twe0, ale pistupuje pes mapovanou pam pímo do prostoru jádra a spoléhá se, že tam najde datové struktury aktuálního linuxového ovladae. Což samozejm neprojde.