Agenda. Micropartitioning - POWER5/6 POWER5/6 Hypervisor - aktivní Virtuální I/O

Transkript

1 Agenda LPAR a virtualizační technologie Přehled virtualizačních technologií Historie LPARů na platformě POWER Statické LPARy - POWER4 - technologie umožňující fungování v LPARovaném serveru POWER4 Hypervisor - pasivní VMM Micropartitioning - POWER5/6 POWER5/6 Hypervisor - aktivní Virtuální Porovnání s pojmy ze světa Intel virtualizace Full virtualization, paravirtualization, hardware-assist Novinky a budoucnost POWER6 a dál Partition Mobility Real virtual memory, FC multiple N-port

2 Základní pojmy Co to je LPAR technologie a virtualizace LPAR a virtualizační technologie Přehled virtualizačních technologií Historie LPARů na platformě POWER Historie Vmware a XEN na platformě Intel

3 Definice pojmů LPAR a virtualizace LPAR = Logical Partition Jeden velký server je rozparcelován na několik oddělených jednotek, tz. partitions. Uvniř každého LPARu běží vlastní operační systém nezávislý na ostatních LPARech. Virtualizace HW Fyzický HW je virtualizační mezivrstvou prezentován jako virtuální HW. Virtuální HW může mít jiné vlastnosti a množství než fyzický HW. Tím se zajišťuje bezpečné sdílení fyzického HW LPARy. LPARy: LPAR1 LPAR2 LPAR3 LPAR4 AIX LINUX LINUX AIX Virtual HW resources Virtual layer HW resources

4 Server Partitioning And Virtualization Approaches Hardware Partitioning Hypervisor type 1: LPAR Hypervisor type 2: Hypervisor type 3: interlayer Hypervisor on top of host Apps... Apps Apps... Apps Apps... Apps Apps... Apps Partition Controller Adjustable partitions Hypervisor Hypervisor Hypervisor Host SMP Server SMP Server SMP Server SMP Server Physical partitioning IBM S/370, Sun Domains, HP npartitions Logical partitioning Hypervisor controls HW allocation, LPARs access HW directly. IBM POWER4 IBM POWER5/6 for CPU,MEM, HP vpartitions Sun Logical Domains Logical partitioning Hypervisor provides interlayer between LPARS and HW. System z PR/SM and zvm VMware ESX Server ScaleMP Hypervisor software runs on a host operating system and user hosts device drivers. VMware GSX, Workstation Microsoft Virtual Server HP Integrity VM Win4Lin User Mode Linux Xen Open Source Hypervisor Virtual in IBM POWER 5/6

5 IBM POWER: History of Virtualization IBM develops hypervisor that would become VM on the mainframe IBM announces first machines to do physical partitioning IBM announces LPAR on the mainframe POWER LPAR design begins IBM introduces LPAR in POWER4 based systems with AIX 5L POWER5 Advanced POWER Virtualization POWER6 AIX 6 + WPARs Live Partition Mobility IVE - HEA Virtual servers (LPARs) Dedicated resources Min LPAR size: 1 CPU Up to 32 LPARs Dynamic resizing fencing Create on demand POWER Hypervisor Min LPAR size: 0.1 CPU Virtual Server Policy-based workload management (PLM) resource sharing Excellent HW utilization LPAR mobility Durable LPARs IVE Integrated Virtual Ethernet Adapter WPARs, WPAR mobility Future: LPAR virtual memory Multiple Shared Pools Partition hibernation

6 Intel Virtualization: VMWARE and XEN

7 Statické LPARy - POWER4 technologie umožňující fungování v LPARovaném serveru POWER4 Hypervisor - pasivní VMM DLPAR - dynamická změna konfigurace

8 POWER4 - Logical Partitioning LPAR 1 LPAR 2 LPAR 3 LPAR 4 Processors Memory Slots Flexibility to allocate resources depending on need

9 What is it? LPAR LPAR = Logical Partition Logical Partitioning - The allocation of system resources to create logically separate systems within the same physical footprint System resources include:» Processors» Memory» controllers and devices (PCI slots)

10 POWER ARCHITECTURE CHIP CPU0 CPU1 CHIP CPU0 CPU1 MEM CTRL BRIDGE MEM CTRL BRIDGE MEM BANK0 PCI HT BRIDGE PCI TERMINAL BRIDGE ADAPTER TO OTHER MEMORY TO OTHER PHYS MEMORY MEM BANK1 MEM BANK2 MEM BANK3 PCI HT BRIDGE DIRECT ADAPTER PCI TERMINAL BRIDGE TO OTHER TERMINAL BRIDGES ADAPTER ADAPTER ADAPTER

11 CHIP POWER ARCHITECTURE + LPAR CPU0 CPU1 LPAR CHIP CPU0 CPU1 MEM CTRL BRIDGE MEM CTRL BRIDGE MEM BANK0 PCI HT BRIDGE PCI TERMINAL BRIDGE ADAPTER TO OTHER MEMORY TO OTHER PHYS MEMORY MEM BANK1 MEM BANK2 MEM BANK3 PCI HT BRIDGE DIRECT ADAPTER PCI TERMINAL BRIDGE TO OTHER TERMINAL BRIDGES ADAPTER ADAPTER ADAPTER

12 POWER4 (passive) Hypervisor Functions The POWER4 Hypervisor firmware poskytuje tyto služby: Alokační politika zdojů (CPU,MEM. ) alokační tabulka LPAR VMM memory management, správa PFT pro LPARy Poskytuje klon firmware pro LPARy + device tree Bootuje LPARy Správa zařízení (TCE tabulky) Služby LPARům (H_CALL) Virtuální terminál Virtuální operátorský panel Dynamická realokace zdrojů za běhu LPARů Hypervisor je podporován HW nová úroveň oprávnění (mód) instrukce: 4. (nejvyšší) Hypervisor 5. System (kernel) 6. User (uživatelské procesy) LPAR 1 LPAR 2 LPAR 3 LPAR 4 POWER Hypervisor System Hardware (memory, processors, devices) Security and isolation barriers POWER Hypervisor independent of any

13 Rámce, stránky a segmenty Fyzická pamět rozdělena na oblasti jednotné velikosti rámce (frame) 4 kb standard 16 MB large (pinned) 64 kb medium (Power5+, Power 6) 16 GB huge (Power5+, Power 6) Virtuální paměť definuje oblasti stránky (page) - alokované paměti o stejné velikosti jako jsou hardwarem podporované velikosti rámce VMM (Virtual Memory Manager) alokuje stránky virtuální paměti do rámců fyzické paměti dle požadavků aplikací (procesů) Pamět procesu je organizována v rámci segmentů. Všechny stránky náležející danému segmentu jsou stejné velikosti a typu. Velikosti segmentu: 256MB 1 TB (Power5+ a Power6) vsuvka: VMM slide 1

14 64 bitová efektivní, virtuální, fyzická a reálná adresa vsuvka: VMM slide 2 efektivní adresa 64 bit tyto adresy používají procesy, skládá se z čísla segmentu, adresy stránky v rámci segmentu a adresy uvnitř stránky. Unikátní v rámci procesu. virtuální adresa 80 bit efektivní adresa je přeložena VMM na virtuální adresu a VMM zajistí mapování virtuální adresy na fyzickou. Unikátní v rámci systému (LPARu). fyzická adresa - 64bit (případně 62bit dle implementace). Adresa ve fyzické paměti. Unikátní v rámci systému (LPARu). reálná adresa = fyzická adresa. V některých případech kernel nepoužívá VMM pro mapování, ale adresuje paměť přímo.

15 64 bitová adresa - překlad 32-bit adresa vsuvka: VMM slide 3

16 Adresní prostory adresní prostor procesu - efektivní adresa segment segment segment segment segment segment adresní prostor procesu - efektivní adresa segment segment segment segment segment segment adresní prostor procesu - efektivní adresa segment segment segment segment segment segment paging space 0 file system segment segment segment stránka virtuální paměť - virtuální adresa 0 stránka fyzická paměť vsuvka: VMM slide 4 0

17 Hypervisor má vlastní pamět, nepřístupnou pro LPARy. Překladové tabulky stránek (PTF) pro každý jednotlivý LPAR jsou spravovány Hypervisorem a jsou nepřístupné pro přímou modifikaci z LPARů. Hypervisor managed VMM HYPERVISOR REG TO MODIFY PFT LPAR1 - FILLS REGISTERS PFTR, RMO - MANAGES PFTs HYP FILLS PFTR, RMO CPU0 PFTR RMO PHYSICAl MEMORY PTF1 PFT2 RMA HYP MEM LPAR1 MEM Nové registry: PTFR ukazatel na PTF příslušnou LPARu RMO Real Mode Memory offset Registry plní hypervisor před startem LPARu a jsou nepřístupné pro modifikaci z LPARu. LPAR2 CPU1 CPU2 PFTR RMO PFTR PAGE PAGE RMA LPAR2 MEM RMO

18 Hypervisor managed access - DMA HYPERVISOR - FILLS LODMA, HIDMA IN PCI TERMINAL BRIDGES - MANAGES TCEs REG TO MODIFY TCE LPAR1 CPU0 TCE1 HYP MEM PCI BUS DMA ADDRESSES CPU1 LOADS/ STORES DATA PAGE LPAR1 MEM PAGE ADDDRESS TRANSLATION PCI TERMINAL BRIDGE HIDMA LODMA CHECK LPAR2 CPU2 DMA DATA ADAPTER LPAR2 MEM PHYSICAL MEMORY

19 Agenda 2.4 Micropartitioning - POWER5/ POWER5/6 Hypervisor - aktivní Sdílené CPU Virtuální Vitruální Ethernet (interně) Virtuání (externě) - Virtual Server Ethernet bridge Virtuání SCSI

20 J ay Kruemc ke IBM 2003 LPAR a virtualizace na platformě IBM POWER4/5/6 POWER5 - Virtualization Micro-partitioning Shared CPU, fraction of CPU power can be assigned to a partition. One shared CPU pool. Virtual server partition Ethernet sharing Storage sharing SAN Storage Dynamically resizable 2 CPUs 2 CPUs 2 CPUs Linux AIX 5L V5.2 AIX 5L V5.3 Virtual paths Hypervisor AIX 5L V5.3 Linux Linux 6 CPUs Micro-partitioning AIX 5L V5.3 AIX 5L V5.3 HMC Virtual Server AIX 5L V 5.3 Virtual Ethernet Virtual Ethernet VLAN compliant switch implements in Hypervisor. (firmware) Virtual Server Appliance partition to provide Virtual Disk Storage and Ethernet Adapter Sharing for the POWER5 Advanced Virtualization environment. Not a general use partition dedicated to. Shared Ethernet (Bridge) Provides bridge between virtual and physical world. Virtual SCSI Provides virtual access to physical storage (SCSI, FC, iscsi).

21 J ay Kruemc ke IBM 2003 LPAR a virtualizace na platformě IBM POWER4/5/6 POWER5 - Virtualization Micro-partitioning Shared CPU, fraction of CPU power can be assigned to a partition. One shared CPU pool. Virtual server partition Ethernet sharing Storage sharing SAN Storage Dynamically resizable 2 CPUs 2 CPUs 2 CPUs Linux AIX 5L V5.2 Virtual paths Hypervisor NEW AIX 5L V5.3 AIX 5L V5.3 Linux Linux 6 CPUs Micro-partitioning AIX 5L V5.3 AIX 5L V5.3 HMC Virtual Server AIX 5L V 5.3 Virtual Ethernet Virtual Ethernet VLAN compliant switch implements in Hypervisor. (firmware) Virtual Server Appliance partition to provide Virtual Disk Storage and Ethernet Adapter Sharing for the POWER5 Advanced Virtualization environment. Not a general use partition dedicated to. Shared Ethernet (Bridge) Provides bridge between virtual and physical world. Virtual SCSI Provides virtual access to physical storage (SCSI, FC, iscsi).

22 POWER5/6 (active) Hypervisor Functions POWER4 Hypervisor firmware poskytuje tyto služby: Alokační politika zdojů (CPU,MEM. I/ O) alokační tabulka LPAR VMM memory management, správa PFT pro LPARy Poskytuje klon firmware pro LPARy + device tree Bootuje LPARy Správa zařízení (TCE tabulky) Slušby LPARům (H_CALL) Virtuální terminál Virtuální operátorský panel Dynamická realokace zdrojů za běhu LPARů POWER5 aktivní Hypervisor firmware poskytuje navíc oproti POWER4 Hypervisoru tyto služby: vyhodnocuje výkonnové statistiky LPARů Na základě statistik a alokace řídí přidělování CPU sdílení CPU je tzv. time sliced Poskytuje virtuální Virtuální Ethernet Virtuální SCSI Doručuje IRQ (cílový virtuální CPU nemusí vůbec být v dané chvíli příchodu IRQ aktivován) Řídí Partition mobility (POWER6 pouze) Běží jako samostatný neviditelný LPAR

23 POWER5 - Virtual Server (VI) & Disk Virtualization Virtualization of SCSI disk drives Both internal and external disk drives and LUNs can be virtualized Both full disks and Logical Volumes can be served as virtual hdisks Virtualized devices appear and are treated as hdisks at the client managed by IBM Hypervisor VI* #1 POWER5/6 server SAN - RAID Shared disk pool AIX LVM LPAR1 AIX 5.3 LPAR2 LINUX lv1 lv0 hdisk0 hdisk1 Virtual & physical SCSI vhost0 vhost1 vscsi0 vscsi1 POWER Hypervisor

24 POWER5 - Virtual Server (VI) & Ethernet bridging VI Enables Bridging of Physical Devices to Virtual Devices Virtual Server (VI) LPAR is required No physical adapters required in non VI LPARs Physical adapters in VI LPAR shared with non VI LPARs Requires the Advanced POWER Virtualization Feature managed by IBM Hypervisor Physical Adapter VI* #1 SEA Internal Device Logical adapter Logical adapter LPAR1 AIX 5.3 Logical adapter POWER5/6 server Logical adapter LPAR2 LINUX Logical adapter Hypervisor emulates 802.1Q-compliant virtual Ethernet switch 802.1Q (VLAN) Ethernet switch External Device POWER Hypervisor POWER Hypervisor

25 Agenda Pojmy ze světa Intel virtualizace Full virtualization Paravirtualization Hardware-assist Porovnání POWER versus Intel přístupů k virtualizaci

26 Intel (compatible) world virtualization terms Intel platform used to be hard (impossible) to virtualize no support for third CPU mode - hypervisor mode. It is now available in newer CPU s both from Intel and AMD. Full virtualization Guest is fully abstracted (completely decoupled) from the underlying hardware by the virtualization layer. The guest is not aware it is being virtualized and requires no modification. VMware ESX uses Binary Translation to accomplish full virtualization (changes some code of hosted ). The hypervisor translates all operating system instructions on the fly and caches the results for future use, while user level instructions run unmodified at native speed. Paravirtualization (Assisted Virtualization) Involves modifying the kernel to replace privileged instructions with hypercalls that communicate with the virtualization layer - hypervisor. The hypervisor provides interfaces for critical kernel operations such as memory management, interrupt handling and time keeping. Xen uses paravirtualization that virtualizes the processor and memory using a modified Linux kernel and virtualizes the using custom guest device drivers Hardware Assisted Virtualization

27 POWER in Intel virtualization terms POWER platform since POWER4 supports hardware assisted virtualization. POWER 4/5/6 virtualization in Intel words could be described as: hardware assisted paravirtualization. hardware assisted there is support for hypervisor mode CPU instructions paravirtulization - LPAR es use hypervisor calls for priviledged operations thus es need to be LPAR aware

28 POWER versus Intel virtualization approaches Hypervisor type 1: LPAR Hypervisor type 2: Hypervisor type 3: interlayer Hypervisor on top of host Hybrid mode POWER5/6 Apps drivers... Apps drivers Apps... Apps Apps... Hypervisor Apps Apps drivers... VI drivers Hypervisor Hypervisor drivers Host drivers Hypervisor SMP Server SMP Server SMP Server SMP Server Logical partitioning Hypervisor controls HW allocation, LPARs access HW directly. IBM POWER4 IBM POWER5/6 for CPU,MEM Logical partitioning Hypervisor provides interlayer between LPARS and HW. VMware ESX Server Hypervisor software runs on a host operating system and user hosts device drivers. VMware GSX, Workstation Microsoft Virtual Server Win4Lin User Mode Linux Xen Open Source Hypervisor Logical partitioning + VI Hypervisor controls HW allocation, LPARs access HW directly or through VI. IBM POWER5/6 for IO

29 Novinky a budoucnost POWER6 a dál Partition Mobility Real virtual memory FC multiple N-port

30 POWER6 - Partition Mobility Partition Mobility Benefits Zero downtime maintenance: Planned outages for hardware and firmware maintenance and upgrades can be avoided Much higher flexibility by redistributing multiple Workloads within servers Avoid impending failures by moving workloads to an alternate server. (Not a replacement for HA clusters!) Active Partition Mobility Active Partition Migration is the actual movement of a running LPAR from one physical machine to another without disrupting the operation of the and applications running in that LPAR. Applicability Workload consolidation (e.g. many to one) Workload balancing (e.g. move to larger system) Planned CEC outages for maintenance/upgrades Impending CEC outages (e.g. hardware warning received) Inactive Partition Mobility Inactive Partition Migration transfers a partition that is logically powered off (not running) from one system to another.

31 POWER6 Partition Mobility Components MAC, IP address, storage takeover Memory copy VASI VASI Mover Mover Takeover of MAC Address & IP Address. Re-mapping VSCSI devices.

32 POWER6 possible future enhancements Durable LPARs Priorities to control which LPARs will survive possible HW failures in case of HW resource congestion. Partition hibernation Will put to sleep a partition with all its running processes and memory. Virtual Partition Memory Real Virtual Memory pool of memory that can be shared by partitions. Over-commitment of physical memory with overflow going to a system paging disk managed by VI. Group Capping Group capping provides a mechanism to limit the capacity consumed by a group of partitions. Group capping provides a means for enforced licensing in an uncapped environment and customers do not overpay for software. NPIV Fibre Channel Adapters Multiple virtual FC adapters are defined on top of a physical FC adapter. Physical adapter appears as multiple virtual adapters to SAN / end-point device. Similar like IVE for Ethernet.

33