Osvědčené postupy při konfiguraci virtualizovaných prostředí. Symposium 2014

Transkript

1 Osvědčené postupy při konfiguraci virtualizovaných prostředí Symposium 2014

2 1. Virtualizace a podpora Caché Caché (Ensemble a další produkty) jsou podporovány na virtualizovaných operačních systémech InterSystems ověřuje a uvolňuje nové produkty proti OS Virtualizační software je pro nás stejná kategorie jako počítač Existuje mnoho dodavatelů virtualizačních řešení ware ESXi, Hyper-V, K, Xen, IBM z, AIX LPAR, Micro partitions WRC nerozlišuje mezi Caché provozovaným ve virtualizovaném prostředí nebo na holém železe

3 Virtualizační platformy a InterSystems InterSystems má zkušenosti především s Ware vsphere (ESXi) Intel Xeon procesory řady 5500 a vyšší, E5, E7 série AMD procesory nejsou podporovány HW kompatibilitu s Ware ESXi si musí každý ověřit sám V současnosti neplánujeme věnovat úsilí jiným platformám

4 Obecné schéma virtualizované Caché architektury Production Load Balancers Web Servers Database/Print Analytics Integration Non-Production Other Train Scratch Test Base RDS vcenter Other Other Pooled resources: CPU, Memory, Storage, Interconnect ware ware ware ware Host Servers SAN Shared Storage Backup Media Server SAN Tape Library or Deduplication Solution

5 Cluster prostřednictvím virtualizace Doporučujeme minimálně 3 fyzické servery pro Ware HA Cluster může obsahovat až 32 (fyzických) serverů Správa záloh a testování obnovení záloh DR obnova po katastrofickém výpadku Zdroje vsphere clusteru je možno sdílet s jinými aplikacemi Zvažte nakolik tyto aplikace spotřebují zdroje clusteru Minimální verze vsphere pro Caché je ware 5.0 Doporučujeme verzi ware 5.5 Doporučujeme Enterprise Edici

6 Další vlastnosti vsphere Enterprise Edition vmotion pro stěhování s mezi fyzickými servery vsphere ware HA V případě fyzického výpadku serveru s je daný nastartován na jiném serveru Padne-li pouze je proveden failover na jiný na stejném fyzickém stroji mohou mít až 64 vcpus Nutno koupit separátně licenci vcenter Server Porovnání s ostatními edicemi vsphere je možno nalézt zde

7 Ukázková konfigurace jednoduché ware HA + DR ware Host Servers V M Web Base Pooled resources: CPU, Memory, Storage, Interconnect ware Test Primary Data Center Cluster Train Database + Print Non-Production Production Upgrade ware Analytics DRS vcenter Integration Other ware Others Per CPU licence Standard vmotion HA Hot add Enterprise DRS Storage APIs Enterprise + I/O Control LAN SAN SAN Shared Storage Async Mirror to DR (or Shadow) Operations Manager též Kits Backup Media Server SAN Tape Library or Deduplication Solution

8 Benchmark Vmware - výsledky You ll make breakthroughs HP DL980, 8 procesorů, 64 jader SLES11 SP1 x64 8 každý s 8 vcpu 2násobná zátěž proti běžnému provozu 8 vcpu = 16x celkem Neměřitelný rozdíl ve výkonu v porovnání Ware x holé železo Global References CPU % Utilization vmotion Hot Add CPU

9 Konfigurace ESXi Host BIOS Fyzický server Použít nejnovější verzi BIOSu Ověřit zda existují Vmware specifická nastavení BIOSu pro daný server / CPU Ne všechna výchozí nastavení BIOS jsou optimální pro virtualizaci

10 Konfigurace ESXi Host BIOS BIOS nastavení Povolit Poznámky All cores Ano Ujistěte se, že BIOS je nastaven tak, aby povoloval použít všechny zabudované procesorové sokety a jádra v soketech Turbo boost Hyper-threading NUMA Hardware assist Disable unused devices Ano Ano Ano Ano Ne Zvyšuje nebo snižuje takt procesoru k vyvážení výkonu a spotřeby, vypněte nastavení green, výkon bude řídit ESX Na Intel Xeon procesorech (5500 a vyšší) ESXi ví, že se jedná o logické jednotky a použije je správným způsobem Pokuste se používat především lokální pamět uzlu. Některé systémy s NUMA schopnostmi mají v BIOSu volbu pro zakázání NUMA povolením prokládání uzlů (rozložení mezi více uzlů) Ve většině případů získáte nejlepší výkon ponecháním NUMA v zapnutém stavu (tj. vypnutím prokládání uzlů) Ponechte hardwarově ovládané virtualizační vlastnosti (např. VT-x, EPT) povolené. Pomáhá to. Vypněte na úrovni BIOSu všechna nepoužívaná zařízení (nepotřebné diskové mechaniky, porty, USB či síťové) Power management Ne Ponechte řízení na OS. ESXi si s tím poradí. 64-bit Ano Je potřeba mít 64bitový OS.

11 Konfigurace Paměť Doporučení Poznámky Alokujte vyhrazenou paměť pro produkční systémy Při startu si Caché alokuje jeden spojitý kus sdílené paměti pro použití na databázovou keš (globálové buffery), rutinovou keš, haldu, žurnálové buffery a jiné řídící struktury. Abyste zamezili swapování jádra mezi ESXi a hostovaným OS nastavte vyhrazenou paměť nejméně na velikost sdílené paměti Caché plus paměť pro Caché procesy a služby OS a jádra. Nezakazujte TPS, balloon driver nebo komprimaci Aplikujte stejná pravidla pro swapovací prostor jako pro fyzické prostředí Vyhněte se alokování odkládací paměti (swap) na lokálních discích Swapovací prostor nesmí být alokován dynamicky (thin provisioning) Povolte velké stránky v hostovaných operačních systémech Správu paměti dělá nejlíp přímo ware Hostovaný OS ve virtualizovaném prostředí tak jako tak potřebuje svůj swapovací prostor, Vmware doporučuje umístit jej do pracovního adresáře virtuálního stroje (soubor.vmx) Lokální swapovací prostor zpomaluje vmotion protože lokální swapovací stránky musí být nejprve přesunuty než může vmotion pokračovat s přesunem Pokud je potřeba, musí být k dispozici okamžitě ESXi povoluje velké stránky ve výchozím nastavení. Povolte velké stránky (large huge pages) na hostovaném OS stejně jako by to bylo na fyzickém stroji.

12 Konfigurace CPU Doporučení Poznámky Nealokujte více CPU než je nutné minimum pro dostatečný výkon Ačkoliv virtuální stroj umožňuje alokovat velký počet CPU, je dobré použít nejmenší možný počet CPU nutný pro bezpečný provoz aplikace, neboť správa nevyužitých CPU zabírá (byť malé) zdroje Pro produkční systémy platí 1 fyzický CPU = 1 vcpu Nealokujte zbytečně mnoho CPU na produkčních systémech, pouze pokud provádíte měření výkonnosti. Např. pomocí resxtop či esxtop utilit pro pravidelné měření. Povolte Hyper-threading Za předpokladu, že hyper-threading již byl povolen na úrovni BIOSu ESXi serveru.

13 Konfigurace Uložiště Doporučení Držte se doporučení výrobců uložišť pro rozložení databází na jejich polích Produkční uložiště může být rozděleno na úrovni pole na několik diskových skupin Použijte sdílené uložiště kvůli výkonu a dostupnosti Caché iscsi uložiště musí být podporováno příslušnými sítěmi Použijte vícenásobné virtuální SCSI řadiče pro databázové virtuální stroje Mějte oddíly souborového systému srovnané Používejte FS souborové systémy Alokujte 25-30% dodatečné ukládací kapacity pro zamezení alarmů vcentra Produkční disky jsou nastaveny jako thick provisioned, eager zero Popis Použijte stejnou strategii jako v případě holého železa Náhodný přístup pro produkční databáze Caché Sekvenční přístup pro zálohy a žurnály, také pro neprodukční uložiště jako test, trénink atd.. Buď direct-attach SAS uložiště pro menší instalace, nebo SAN uložiště (Fibre Channel nebo iscsi) pro větší instalace. Nejméně 10Gb Ethernet a jumbo frames (MTU 9000) musí být podporovány všemi síťovými komponentami mezi serverem a uložištěm nepočítajíc ostatní provoz. K tomu NIC adaptéry musí zahrnovat iscsi TCP offload pro lepší výkon Vícenásobné SCSI řadiče dovolují paralelní výkonávání I/O operací uvnitř hostovaného OS Doporučuje se také oddělit I/O provoz žurnálů od I/O provozu databází prostřednictvím separátních SCSI řadičů FS diskové oddíly vytvořené pomocí vcenter jsou zarovnány na 64KB hranicích dle doporučení dodavatelů úložných a operačních systémů. ware obecně kvůli jednodušší správě doporučuje FS, ale mohou nastat situace, kdy bude potřeba RDM. Nutné pro snapshoty či zálohovací operace nebo výměny. Nedostatek místa může mít významné negativní dopady a ovlivnit výkonnost celého virtualizovaného prostředí Výsledkem je lepší výkon při zápisu

14 Konfigurace Uložiště - pojmy FS Virtual Machine File Systém Vyvinut ware, určen a optimalizován pro klastrovaná virtualizovaná prostředí (umožňuje čtení/zápisy z různých uzlů klastru soubory lze ukládat do jednoho adresáře snažší údržba FS také podporuje infrastrukturní služby jako vmotion, DRS a ware HA. FS 5 (vsphere 5 a vyšší) má maximální velikost svazku 64 TB, nicméně pro Caché je lépe použít víceré FS svazky na separátních diskových skupinách kvůli oddělení I/O podle druhu provozu a k oddělení produkčního provozu od ostatního 1. vmdk (OS) TrakCare FS Volume 2. vmdk (Data1) Datastore1 Storage Array DAS or SAN 7. vmdk (LAB) LUN A LUN B LAB 4. vmdk (JNL) Datastore2 Disk Group A Random Access LUN D TEST 5. vmdk (B/up) LUN E Disk Group B Sequential Access 6. vmdk (TEST) Datastore3

15 Konfigurace Uložiště - pojmy RDM Raw Device Mapping RDM umožňuje správu a přístup k nemapovaným (raw) SCSI diskům či LUN jako k FS souborům RDM je soubor na FS s funkcí proxy pro přímý přístup k zařízení RDM je k dispozici pouze na Fibre Channel nebo iscsi řadičích Raw Device Mapping (RDM) jsou typicky používány v následujících situacích: Failover Clustering (jediný podporovaný režim pro MSCS quorum disky) Pokud jsou používány snapshoty na bázi polí RDM disky mapují jeden LUN na jeden, takže nad daným LUN je možno vytvořit pouze jeden

16 Konfigurace Síť Doporučení Oddělte inftrastruktní provoz od provozu Použijte NIC teaming Poznámky Kvůli bezpečnosti a izolaci Kvůli dostupnosti a rozložení zátěže. K NIC teamingu dochází pokud je víceré uplinkové adaptéry svázány s jedním vswitchem k vytvoření týmu Využivejte výhod Network I/O Control Ke sloučení síťového a úložného provozu na 10GbE. Network I/O Control umožňuje garantovat úrovně služeb (šířku pásma) pro jednotlivé typy vsphere komunikací: provoz, FT logování, iscsi, NFS, správa, a vmotion. Toto je zvláště důležité v okamžiku vysokého zatížení sítě, například pro operaci vmotion. Výchozí týmová politika musí být Load Based Teaming (LBT) LBT dynamicky přeskupuje vazby portů, na základě zátěže, k efektivnímu využití šířky pásma, není to výchozí nastavení vsphere Pokud možno, nepoužívejte výchozí síťový adaptér E1000 Kde to jen lze, používejte XNET3 síťový adaptér místo výchozího E1000. To je pouze částečně virualizované zařízení které funguje pouze, jsou-li na hostovaném OS instalovány ware Tools.XNET3 adaptér je optimalizován pro virtuální prostředí a navržen pro poskytování vysoké propustnosti Nakonfigurujte afinitní pravidla kvůli udržení virtuálních strojů na stejném vswitchi

17 Konfigurace Ostatní Doporučení Instalujte ware tools Poznámky Povolí balonovou* správu paměti, lepší síťové ovladače, synchronizaci času a další výhody. Aktualizujte ware tools po každé aktualizaci ESXi Musí být aktuální Zakažte spořiče obrazovky (nejsou-li požadovány) Spořiče obrazovky, animace, X-servery spotřebovávají prostředky CPU navíc, potenciálně ovlivňují míry konsolidace a výkonu ostatních virtuálních strojů Dbejte aby všechny hostující stroje měly správný čas Nastavte správný čas na VŠECH hostujících (fyzických) strojích. Na každém pak použijte volbu pro synchronizaci času nebo jiný nástroj jako NTP, ale nikoliv obojí najednou. Nastavte časovou službu aby se spouštěla spolu s hostujícím strojem. DNS přidejte soubor hosts na server vcenter Umožňuje správu virtuálních strojů při výpadku DNS serveru * Technika uvolňování nevyužité paměti

18 HA vysoká dostupnost Ukázka hybridní architektury: Vmware HA + Cache Mirror otion/ha/drs Mirror 1 Mirror 2 Pooled resources: CPU, Memory, Storage, Interconnect Doporučená praxe ware ware ware SAN Anti-afinitní pravidla pro členy mirroru Izolované uložiště pro každý člen mirroru oddělte diskové skupiny nebo pole Datastore (A) Datastore (B)

19 Správa systému Zálohy Menší instalace zálohování prostředky Caché (nejjednodušší) Větší instalace dle licence Vmware snapshoty na úrovni uložiště + Caché externí zálohy (freeze/thaw) Snapshot není záloha! Šablony Vytvořte si (pro neprodukční prostředí) předinstalovaný a optimalizovaný a z něj šablonu Monitorování výkonu vcenter nebo esxtop/resxtop utility pro monitorování výkonu ve virtualizovaném prostředí Pozor na čítače v rámci OS, mohou dávat jiná čísla než dává ESX (CPU, paměť)

20 Osvědčené postupy při konfiguraci virtualizovaných prostředí Symposium 2014