HP HELION OPENSTACK LAB GUIDE ČÁST DRUHÁ POKROČILÉ. HP Helion OpenStack 1.1 Květen 2014 Tomáš Kubica Dokument verze 0.13

Transkript

1 HP HELION OPENSTACK LAB GUIDE ČÁST DRUHÁ POKROČILÉ HP Helion OpenStack 1.1 Květen 2014 Tomáš Kubica Dokument verze 0.13

2 Obsah 1. Úvod do pokročilého ovládání Helion OpenStack Jdeme za rámec základní práce aneb proč automatizovat automatizované Jak (a proč) se posunout z pouhé automatizované infrastruktury blíže k potřebám aplikací? Příkazová řádka Proč příkazovou řádku? OpenStack CLI Přihlášení První kroky v příkazové řádce Pokročilejší operace v příkazové řádce Praktický příklad skriptu Lidsky čitelné datové formáty YAML JSON Orchestrační šablony OpenStack Heat Nejjednodušší šablona Komplexnější šablona Heat autoscaling a autohealing OpenStack API Úvod do orchestrace s HP Cloud Service Automation Starejme se o vnitřek VM s Ansible K čemu je to dobré? Ansible Instalace Příprava labu Základní operace Názorný příklad web server HP Server Automation HP Helion Development Platform Shrnutí a závěr Další zdroje H P H e l i o n O p e S t a c k

3 1. Úvod do pokročilého ovládání Helion OpenStack 1.1. Jdeme za rámec základní práce aneb proč automatizovat automatizované V první části labu jsme si vyzkoušeli práci s Helion OpenStack přes jeho GUI. Dokázali jsme z jednoho nástroje rychle a efektivně vytvářet potřebné zdroje na úrovni virtuálních serverů, storage, sítí i bezpečnosti, a to všechno řízeným způsobem spojovali do výsledné infrastruktury na vyžádání. Proč bychom vůbec chtěli nad takovým systémem dělat ještě něco dalšího? Představte si následující situace: Máte komplexní aplikaci složenou z různých vrstev a komponent, má specifické nároky pro každou část z pohledu paměti, CPU, storage, jsou definovaná komunikační pravidla, označen backend a frontend a tak podobně. Jak bychom mohli pro své kolegy takovou infrastrukturu popsat? Screenshoty z GUI? Nešlo by to nějak lépe? Potřebujete dávkově vytvořit nějaké infrastrukturní prostředí, například založit 30 projektů, spustit 30 různě velkých VM nebo promazat nepoužívané sítě? Přece to nebudete klikat... Co když dostanete zadání infrastrukturních požadavků ve formě excel tabulky s názvy serverů? Co když budete potřebovat založit infrastrukturu na základě informací z jiného systému? Budete muset vzít nějakou tiskovou sestavu a naklikat to v GUI? Možná máte nějaké opakující se úkony, které ovšem vyžadují dosazení nějakých parametrů. Budete infrastrukturu pokaždé ručně naklikávat a vždy změníte jen těch pár parametrů? GUI Helion OpenStack je poněkud technické, možná by bylo dobré nabídnou nějaký katalag služeb, kde si uživatel jen vybere z katalogu možností chci nový blog server, nový sharepoint, novou QA infrastrukturu, Development prostředí pro vývoj v Javě. Přesně v těchto momentech je vhodné nad Helion OpenStack budovat další vrstvu automatizace a abstrakcí a to i pokud se stále jedná jen o infrastrukturu na vyžádání. Jaké máte prostředky? OpenStack CLI OpenStack Heat šablony OpenStack API a například Python HP Cloud Service Automation... to je zlatý hřeb! O tom všem v tomto labu Jak (a proč) se posunout z pouhé automatizované infrastruktury blíže k potřebám aplikací? Infrastruktura je palivo, aplikace jsou auta. Aplikace jsou to, co má blízko k byznysu a přináší zásadní hodnotu. Téměř každý nový byznysový projekt dnes potřebuje podporu IT, ať už kvůli realizaci, sběru dat, marketingu, řízení vztahů, výroby, dodávek. Prakticky vždy tato hodnota dříme v nějaké aplikaci. Teprve tu je potřeba někam umístit do nějaké platformy (aplikačního prostředí) a tu do infrastruktury. My ovšem v dnešním labu nebudeme příliš zacházet do oblastí PaaS (to si necháme na jindy), ale i v rámci IaaS dává smysl se OS, aplikačnímu prostředí a třeba i vlastním aplikacím věnovat. Tak například jak to zařídit, abyste měli image (šablonu) nějaké instance, a přitom byla jistota, že po jejím nasazením bude obsahovat všechny nejnovější security patche, budou tam nainstalovány potřebné balíčky pro nejnovější verzi aplikace a tak podobně? Určitě nechcete po naběhnutí šablony pokaždé znovu 2 H P H e l i o n O p e S t a c k

4 procházet kompletní proces aktualizací a instalací balíčků a prostředí či modifikace konfiguračních souborů apod. Stejně tak nechcete váš image přetvářet každý měsíc tak, aby obsahoval potřebné aktualizace. Pravděpodobně sáhnete po nějakém způsobu jak automatizovaným způsobem tyto potřeby zajišťovat. V dnešním labu si vyzkoušíte: Ansible (open source) HP Server Automation... to je zlatý hřeb! 2. Příkazová řádka 2.1. Proč příkazovou řádku? V předchozí části labu jsme se soustředili na ovládání skrze grafické rozhraní. Proč tedy vůbec má smysl znát příkazovou řádku? Příkazová řádka je open source a využívá OpenStack API, takže funguje stejně v různých modifikací OpenStack od různých výrobců to co se naučíte se vám hodí v mnoha situacích V některých operacích je příkazová řádka rychlejší Ovládat infrastrukturu můžete i z minimálního systému bez grafického prostředí Příkazy můžete skriptovat, tedy vytvářet jednoduché aplikace, které dávkovým způsobem budou provádět nějaké operace nebo provádět pravidelné záležitosti (například sestavíte nějaké demo prostředí, které dáte k rozbití a po ukončení takové session skriptem vrátíte demo do původního stavu) Některé funkce jsou dostupné pouze tímto způsobem běžný vývoj je, že nová funkce je jako první k dispozici v příkazové řádce a později v grafickém interface Pokročilejší uživatel by tedy měl CLI znát, stojí to za to OpenStack CLI OpenStack příkazová řádka je ve skutečnosti soubor open source aplikací napsaných v jazyce Python, který využívá OpenStack API. Jde tedy o CLI wrapper, čili textové rozhraní nad OpenStack RESTful API. Tyto aplikace můžete používat kdekoli, z jakéhokoli počítače s podporou Python (samotné aplikace si nainstalujete přes pip, v případě ubuntu jsou dostupné i jako apt-get balíčky). Aplikace mají jména podle názvů jednotlivých projektů: Nova (práce s instancemi) Cinder (práce s blokovou storage, tedy volume, snapshot apod.) Glance (práce s image) Swift (práce s objektovou storage) Neutron (síťařina) Keystone (jména, hesla, identity) Heat (orchestrační šablony) Jsou i další, ale pro lab je nebudeme potřebovat Obvykle se příkaz volá způsobem: nova operace poziční_parametr další_parametry (označené jako --parametr hodnota) 3 H P H e l i o n O p e S t a c k

5 Tak například to může vypadat takhle: nova boot mojevm --image Windows flavor m1.tiny Často můžete požádat o pomoc, například: tomas@helion-proliant-dl380-gen9:~$ nova help usage: nova [--version] [--debug] [--os-cache] [--timings] [--timeout <seconds>] [--os-auth-token OS_AUTH_TOKEN] [--os-username <auth-user-name>] [--os-password <auth-password>] [--os-tenant-name <auth-tenant-name>] [--os-tenant-id <auth-tenant-id>] [--os-auth-url <auth-url>] [--os-region-name <region-name>] [--os-auth-system <auth-system>] [--service-type <service-type>] [--service-name <service-name>] [--volume-service-name <volume-service-name>] [--endpoint-type <endpoint-type>] [--os-compute-api-version <compute-api-ver>] [--os-cacert <ca-certificate>] [--insecure] [--bypass-url <bypass-url>] <subcommand>... Command-line interface to the OpenStack Nova API. Positional arguments: <subcommand> absolute-limits add-fixed-ip add-floating-ip add-secgroup agent-create... Print a list of absolute limits for a user Add new IP address on a network to server. DEPRECATED, use floating-ip-associate instead. Add a Security Group to a server. Create new agent build. Nebo o detaily konkrétní operace tomas@helion-proliant-dl380-gen9:~$ nova help boot usage: nova boot [--flavor <flavor>] [--image <image>] [--image-with <key=value>] [--boot-volume <volume_id>] [--snapshot <snapshot_id>] [--num-instances <number>] [--meta <key=value>] [--file <dst-path=src-path>] [--key-name <key-name>] [--user-data <user-data>] [--availability-zone <availability-zone>] [--security-groups <security-groups>] [--block-device-mapping <dev-name=mapping>] [--block-device key1=value1[,key2=value2...]] [--swap <swap_size>] [--ephemeral size=<size>[,format=<format>]] [--hint <key=value>] [--nic <net-id=net-uuid,v4-fixed-ip=ip-addr,port-id=port-uuid>] [--config-drive <value>] [--poll] <name> Boot a new server. Positional arguments: <name> Name for the new server Optional arguments: --flavor <flavor> Name or ID of flavor (see 'nova flavor-list'). --image <image> Name or ID of image (see 'nova image-list'). --image-with <key=value> Image metadata property (see 'nova image-show'). 4 H P H e l i o n O p e S t a c k

6 --boot-volume <volume_id> Volume ID to boot from. --snapshot <snapshot_id>... Jste vyzbrojeni, pojďme na to! 2.3. Přihlášení Nejprve se přes SSH (doporučuji program Putty) připojte na server v labu, z kterého budeme následující kroky provádět. Některé CLI příkazy jsou docela široké nastavte tedy Putty tak, že se změnou velikosti okna bude přidávat znaky (místo zvětšování fontu) Pak zadejte IP adresu serveru v labu a připojte se Jakmile se připojíte ujistěte se, že jsou pro vás připraveny potřebné soubory api.sh a eca.crt tomas@helion-proliant-dl380-gen9:~$ ls api.sh eca.crt Pokud ano, pokračujeme dál. Příkazová řádka je ve skutečnosti aplikace, která může běžet kdekoli. Musíme ji tedy říct, kde má hledat Helion OpenStack API server a dát jí přihlašovací údaje vašeho 5 H P H e l i o n O p e S t a c k

7 projektu. Použijte připravený skript, aplikujte ho příkazem source a jako argumenty uveďte jméno heslo tenant. Například: tomas@helion-proliant-dl380-gen9:~$ source api.sh tomas.kubica helion tomas.kubica kde tomas.kubica je uživatelské jméno i jméno projektu (tenantu) a helion je vaše heslo 2.4. První kroky v příkazové řádce Pojďme to hned vyzkoušet. Pokud jste po předchozím labu vše v rámci vašeho projektu pořádně vyčistili, neměla by být spuštěna žádná instance. Následující příkaz tedy vrátí prázdnou tabulku ale to, že ji zobrazí znamená, že máme přihlašovací údaje správně. tomas@helion-proliant-dl380-gen9:~$ nova list ID Name Status Task State Power State Networks Ale můžeme se podívat na Flavors tomas@helion-proliant-dl380-gen9:~$ nova flavor-list ID Name Memory_MB Disk Ephemeral Swap VCPUs RXTX_Factor Is_Public m1.small True 3 m1.medium True 4 m1.large True 5 m1.xlarge True ddd64d6e-884c-4277-a068-eae6b370a479 m1.tiny True Podobné to bude se storage volume tomas@helion-proliant-dl380-gen9:~$ cinder list ID Status Display Name Size Volume Type Bootable Attached to Pokud jste vyčistili předchozí lab, uvidíte pouze výchozí síť a externí síť tomas@helion-proliant-dl380-gen9:~$ neutron net-list id name subnets a5b5cd4-0c4b-4bc3-b44e-826c7b19556e ext-net e3be37fb-1ced-432f-950c-99b887bb52c2 7590c21a ae-b e4dc1d0d default-net 2c223f18-79f9-41c0-b19a-e5bdfa / Podívejme se ještě na dostupné image tomas@helion-proliant-dl380-gen9:~$ glance image-list ID Name Disk Format Container Format Size Status dfc71bdf-06ab-42d6-828e-51612cbcd9ac debian-wheezy-amd disk qcow2 bare active 35c7876d-a a44a-bcaa303b2673 msgaas-rabbit-cluster_ qcow2 bare active Vyzkoušíme si jednoduché spuštění instance. V Putty využijte toho, že jakýkoli text označíte, tak se vám ihned automaticky nakopíruje do schránky. Do řádky ho pak vložíte jednoduše kliknutím na pravé tlačítko. To udělejte s názvem našeho debian image, ať to nemusíte opisovat. 6 H P H e l i o n O p e S t a c k

8 nova boot mojevm --image debian-wheezy-amd disk --flavor m1.tiny Property Value OS-EXT-AZ:availability_zone nova OS-EXT-STS:power_state 0 OS-EXT-STS:task_state scheduling OS-EXT-STS:vm_state building OS-SRV-USG:launched_at - OS-SRV-USG:terminated_at - accessipv4 accessipv6 adminpass CwE4vk7vyQFx config_drive created T11:27:57Z flavor m1.tiny (ddd64d6e-884c-4277-a068-eae6b370a479) hostid id f6-49b6-404a-9c3a-da11c21f8189 image debian-wheezy-amd disk (dfc71bdf-06ab-42d6-828e-51612cbcd9ac) key_name - metadata {} name mojevm os-extended-volumes:volumes_attached [] progress 0 security_groups default status BUILD tenant_id baa7096fe1d c e0939 updated T11:27:57Z user_id 078a6c284c804ba0b68e9e da Koukněte se v jakém je stavu nejdřív vám bude možná příkaz nova list ukazovat BUILD, ale po nějaké době už ACTIVE tomas@helion-proliant-dl380-gen9:~$ nova list ID Name Status Task State Power State Networks f6-49b6-404a-9c3a-da11c21f8189 mojevm BUILD spawning NOSTATE tomas@helion-proliant-dl380-gen9:~$ nova list ID Name Status Task State Power State Networks f6-49b6-404a-9c3a-da11c21f8189 mojevm ACTIVE - Running default-net= Pojďme ji hned zase zrušit tomas@helion-proliant-dl380-gen9:~$ nova delete mojevm tomas@helion-proliant-dl380-gen9:~$ nova list ID Name Status Task State Power State Networks Vytvoříme si nový volume, který bude bootovací a bude na něm náš debian image. Tento musíme referencovat přes jeho ID, takže opět použijte příkaz glance image-list a označte si ID tak, že ho přes pravé tlačítko použijete, když je třeba. tomas@helion-proliant-dl380-gen9:~$ cinder create --image-id dfc71bdf-06ab-42d6-828e-51612cbcd9ac --display-name MujBootDisk 4 7 H P H e l i o n O p e S t a c k

9 Property Value attachments [] availability_zone nova bootable false created_at T12:28: display_description None display_name MujBootDisk encrypted False id bac044cb-c5ca-4c19-828b-47ad7cafd72b image_id dfc71bdf-06ab-42d6-828e-51612cbcd9ac metadata {} size 4 snapshot_id None source_volid None status creating volume_type None tomas@helion-proliant-dl380-gen9:~$ cinder list ID Status Display Name Size Volume Type Bootable Attached to bac044cb-c5ca-4c19-828b-47ad7cafd72b downloading MujBootDisk 4 None false Po nějaké době bude volume připraven tomas@helion-proliant-dl380-gen9:~$ cinder list ID Status Display Name Size Volume Type Bootable Attached to bac044cb-c5ca-4c19-828b-47ad7cafd72b available MujBootDisk 4 None true Nabootujeme z něj novou instanci budeme potřebovat volume ID tomas@helion-proliant-dl380-gen9:~$ nova boot dalsivm --boot-volume bac044cb-c5ca-4c19-828b-47ad7cafd72b --flavor m1.tiny Property Value OS-EXT-AZ:availability_zone nova OS-EXT-STS:power_state 0 OS-EXT-STS:task_state scheduling OS-EXT-STS:vm_state building OS-SRV-USG:launched_at - OS-SRV-USG:terminated_at - accessipv4 accessipv6 adminpass ed2mknnbdm5d config_drive created T12:35:55Z flavor m1.tiny (ddd64d6e-884c-4277-a068-eae6b370a479) hostid id 497fd77b-af7a-4c29-a0a6-fb e image Attempt to boot from volume - no image supplied key_name - metadata {} name dalsivm 8 H P H e l i o n O p e S t a c k

10 os-extended-volumes:volumes_attached [{"id": "bac044cb-c5ca-4c19-828b-47ad7cafd72b"}] progress 0 security_groups default status BUILD tenant_id baa7096fe1d c e0939 updated T12:35:56Z user_id 078a6c284c804ba0b68e9e da tomas@helion-proliant-dl380-gen9:~$ nova list ID Name Status Task State Power State Networks fd77b-af7a-4c29-a0a6-fb e dalsivm ACTIVE - Running default-net= Prohlédněme si detaily běžící instance tomas@helion-proliant-dl380-gen9:~$ nova show dalsivm Property Value OS-EXT-AZ:availability_zone nova OS-EXT-STS:power_state 1 OS-EXT-STS:task_state - OS-EXT-STS:vm_state active OS-SRV-USG:launched_at T12:36: OS-SRV-USG:terminated_at - accessipv4 accessipv6 config_drive created T12:35:55Z default-net network flavor m1.tiny (ddd64d6e-884c-4277-a068-eae6b370a479) hostid 7ee01409c d27bbd5c42f5852e df105b143d96e id 497fd77b-af7a-4c29-a0a6-fb e image Attempt to boot from volume - no image supplied key_name - metadata {} name dalsivm os-extended-volumes:volumes_attached [{"id": "bac044cb-c5ca-4c19-828b-47ad7cafd72b"}] progress 0 security_groups default status ACTIVE tenant_id baa7096fe1d c e0939 updated T12:36:37Z user_id 078a6c284c804ba0b68e9e da Podívejme se na volume a také na jeho detaily tomas@helion-proliant-dl380-gen9:~$ cinder list ID Status Display Name Size Volume Type Bootable Attached to bac044cb-c5ca-4c19-828b-47ad7cafd72b in-use MujBootDisk 4 None true 497fd77b-af7a-4c29-a0a6-fb e tomas@helion-proliant-dl380-gen9:~$ cinder show MujBootDisk Property Value attachments [{u'device': u'/dev/vda', u'server_id': u'497fd77b-af7a-4c29-a0a6-fb e', u'id': u'bac044cb-c5ca-4c19-828b-47ad7cafd72b', u'host_name': None, u'volume_id': u'bac044cb-c5ca-4c19-828b-47ad7cafd72b'}] availability_zone nova bootable true created_at T12:28: display_description None display_name MujBootDisk encrypted False id bac044cb-c5ca-4c19-828b-47ad7cafd72b metadata {u'readonly': u'false', u'attached_mode': u'rw'} os-vol-tenant-attr:tenant_id baa7096fe1d c e0939 os-volume-replication:driver_data None os-volume-replication:extended_status None size 4 snapshot_id None source_volid None status in-use volume_image_metadata {u'container_format': u'image_id': u'bare', u'min_ram': u'0', u'disk_format': u'qcow2', u'image_name': u'debian-wheezy-amd disk', u'dfc71bdf-06ab-42d6-828e-51612cbcd9ac', u'checksum': u' c3f261fac819347a6d8b7eb32', u'min_disk': u'0', u'size': u' '} volume_type None H P H e l i o n O p e S t a c k

11 2.5. Pokročilejší operace v příkazové řádce Některé další aspekty, které si pamatuje z první části labu, si jen rámcově ukážeme, ale nebudeme s nimi aktivně pracovat. Pokud vás budou zajímat, využívejte help příkazů (nova help, nova boot help, ) a pohrajte si sami. tomas@helion-proliant-dl380-gen9:~$ nova secgroup-list Id Name Description ea62d680-0c24-4f ea6f5d639eee MojePravidla MojePravidla b9eaf0cf-e8b2-41f1-93d8-df59fbcc3615 default default tomas@helion-proliant-dl380-gen9:~$ nova secgroup-list-rules MojePravidla IP Protocol From Port To Port IP Range Source Group icmp /0 tcp /0 MojePravidla tomas@helion-proliant-dl380-gen9:~$ swift list MujKontejner tomas@helion-proliant-dl380-gen9:~$ swift upload MujKontejner api.sh api.sh tomas@helion-proliant-dl380-gen9:~$ swift list MujKontejner api.sh Můžeme si vytvořit další, tentokrát prázdný volume a připojit ho do naší běžící instance tomas@helion-proliant-dl380-gen9:~$ cinder create --display-name DalsiDisk Property Value attachments [] availability_zone nova bootable false created_at T12:57: display_description None display_name DalsiDisk encrypted False id d1b9-4d92-a3fa-148a7b1445a2 metadata {} size 1 snapshot_id None source_volid None status creating volume_type None tomas@helion-proliant-dl380-gen9:~$ nova list ID Name Status Task State Power State Networks fd77b-af7a-4c29-a0a6-fb e dalsivm ACTIVE - Running default-net= tomas@helion-proliant-dl380-gen9:~$ nova volume-attach dalsivm d1b9-4d92-a3fa-148a7b1445a H P H e l i o n O p e S t a c k

12 Property Value device /dev/vdb id d1b9-4d92-a3fa-148a7b1445a2 serverid 497fd77b-af7a-4c29-a0a6-fb e volumeid d1b9-4d92-a3fa-148a7b1445a cinder list ID Status Display Name Size Volume Type Bootable Attached to d1b9-4d92-a3fa-148a7b1445a2 in-use DalsiDisk 1 None false 497fd77b-af7a-4c29-a0a6-fb e bac044cb-c5ca-4c19-828b-47ad7cafd72b in-use MujBootDisk 4 None true 497fd77b-af7a-4c29-a0a6-fb e Následně můžeme volume zase odpojit, udělat snapshot a znovu připojit tomas@helion-proliant-dl380-gen9:~$ nova volume-detach dalsivm d1b9-4d92-a3fa-148a7b1445a2 tomas@helion-proliant-dl380-gen9:~$ cinder snapshot-create d1b9-4d92-a3fa-148a7b1445a2 --display-name MujDalsiSnapshot Property Value created_at T18:55: display_description None display_name MujDalsiSnapshot id 0ee3d322-29fb-453b-b448-6bf169569cdb metadata {} size 1 status creating volume_id d1b9-4d92-a3fa-148a7b1445a tomas@helion-proliant-dl380-gen9:~$ cinder snapshot-list ID Volume ID Status Display Name Size ee3d322-29fb-453b-b448-6bf169569cdb d1b9-4d92-a3fa-148a7b1445a2 available MujDalsiSnapshot tomas@helion-proliant-dl380-gen9:~$ nova volume-attach dalsivm d1b9-4d92-a3fa-148a7b1445a Property Value device /dev/vdb id d1b9-4d92-a3fa-148a7b1445a2 serverid 497fd77b-af7a-4c29-a0a6-fb e volumeid d1b9-4d92-a3fa-148a7b1445a Na závěr si ještě pohrajeme se sítí. Nejprve se ujistěte, že jste na konci minulého labu zrušili router i nové sítě, ale floating IP máte pro projekt přiřazenou (pokud ne, snadno si opravíte ) tomas@helion-proliant-dl380-gen9:~$ neutron floatingip-list id fixed_ip_address floating_ip_address port_id d298a-357f-4def-90fd c6a tomas@helion-proliant-dl380-gen9:~$ neutron net-list 11 H P H e l i o n O p e S t a c k

13 id name subnets a5b5cd4-0c4b-4bc3-b44e-826c7b19556e ext-net e3be37fb-1ced-432f-950c-99b887bb52c2 7590c21a ae-b e4dc1d0d default-net 2c223f18-79f9-41c0-b19a-e5bdfa / neutron router-list neutron subnet-list id name cidr allocation_pools c223f18-79f9-41c0-b19a-e5bdfa /24 {"start": " ", "end": " "} Teď se pokusíme v CLI udělat něco podobného, co v prvním labu v GUI tedy vytvoříme dvě nové sítě, každou se svým subnetem a router, který je propojuje a připojuje na gateway. tomas@helion-proliant-dl380-gen9:~$ neutron net-create PrvniSit Created a new network: Field Value admin_state_up True id d78a23ba-d8d3-46f3-99eb-4f a name PrvniSit router:external False shared False status ACTIVE subnets tenant_id baa7096fe1d c e tomas@helion-proliant-dl380-gen9:~$ neutron net-create DruhaSit Created a new network: Field Value admin_state_up True id 8c7f0937-0b96-4cf6-bc5f-70884fa58e1b name DruhaSit router:external False shared False status ACTIVE subnets tenant_id baa7096fe1d c e tomas@helion-proliant-dl380-gen9:~$ neutron subnet-create --name PrvniSubnet --allocation-pool start= ,end= dns-nameserver PrvniSit /24 Created a new subnet: Field Value allocation_pools {"start": " ", "end": " "} cidr /24 dns_nameservers enable_dhcp True gateway_ip host_routes id 8bb ba7-45a c1da8b H P H e l i o n O p e S t a c k

14 ip_version 4 ipv6_address_mode ipv6_ra_mode name PrvniSubnet network_id d78a23ba-d8d3-46f3-99eb-4f a tenant_id baa7096fe1d c e tomas@helion-proliant-dl380-gen9:~$ neutron subnet-create --name DruhySubnet --allocation-pool start= ,end= dns-nameserver DruhaSit /24 Created a new subnet: Field Value allocation_pools {"start": " ", "end": " "} cidr /24 dns_nameservers enable_dhcp True gateway_ip host_routes id b9e ad-a7ba-5efde9f36894 ip_version 4 ipv6_address_mode ipv6_ra_mode name DruhySubnet network_id 8c7f0937-0b96-4cf6-bc5f-70884fa58e1b tenant_id baa7096fe1d c e tomas@helion-proliant-dl380-gen9:~$ neutron net-list id name subnets a5b5cd4-0c4b-4bc3-b44e-826c7b19556e ext-net e3be37fb-1ced-432f-950c-99b887bb52c2 7590c21a ae-b e4dc1d0d default-net 2c223f18-79f9-41c0-b19a-e5bdfa /24 8c7f0937-0b96-4cf6-bc5f-70884fa58e1b DruhaSit b9e ad-a7ba-5efde9f /24 d78a23ba-d8d3-46f3-99eb-4f a PrvniSit 8bb ba7-45a c1da8b / tomas@helion-proliant-dl380-gen9:~$ neutron router-create DalsiRouter Created a new router: Field Value admin_state_up True external_gateway_info id ca89b936-0c1b-401b-aa66-f5a0c9adab44 name DalsiRouter routes status ACTIVE tenant_id baa7096fe1d c e tomas@helion-proliant-dl380-gen9:~$ neutron router-gateway-set ca89b936-0c1b-401b-aa66-f5a0c9adab44 3a5b5cd4-0c4b- 4bc3-b44e-826c7b19556e Set gateway for router ca89b936-0c1b-401b-aa66-f5a0c9adab44 tomas@helion-proliant-dl380-gen9:~$ neutron router-interface-add ca89b936-0c1b-401b-aa66-f5a0c9adab44 PrvniSubnet Added interface 12bdc a55a-f8dc8732e8ff to router ca89b936-0c1b-401b-aa66-f5a0c9adab44. tomas@helion-proliant-dl380-gen9:~$ neutron router-interface-add ca89b936-0c1b-401b-aa66-f5a0c9adab44 DruhySubnet Added interface 43ddd2ce-39ba-4aaa-9fcc-6116cbbe1a25 to router ca89b936-0c1b-401b-aa66-f5a0c9adab H P H e l i o n O p e S t a c k

15 Podívejte se do GUI a ověřte si, že výsledek je dle očekávání Posledním krokem bude vytvořit instanci běžící v některé z našich nových sítí tomas@helion-proliant-dl380-gen9:~$ nova boot netvm --image debian-wheezy-amd disk --flavor m1.tiny --nic net-id=d78a23ba-d8d3-46f3-99eb-4f a Property Value OS-EXT-AZ:availability_zone nova OS-EXT-STS:power_state 0 OS-EXT-STS:task_state scheduling OS-EXT-STS:vm_state building OS-SRV-USG:launched_at - OS-SRV-USG:terminated_at - accessipv4 accessipv6 adminpass NYERzSDLFn9b config_drive created T05:06:34Z flavor m1.tiny (ddd64d6e-884c-4277-a068-eae6b370a479) hostid 14 H P H e l i o n O p e S t a c k

16 id e266c8d8-c6de-4419-aa22-04a9354fbbe2 image debian-wheezy-amd disk (dfc71bdf-06ab-42d6-828e-51612cbcd9ac) key_name - metadata {} name netvm os-extended-volumes:volumes_attached [] progress 0 security_groups default status BUILD tenant_id baa7096fe1d c e0939 updated T05:06:34Z user_id 078a6c284c804ba0b68e9e da A výsledek? Právě jste pronikli do základů OpenStack CLI, gratuluji! Na závěr po sobě uklidíme tomas@helion-proliant-dl380-gen9:~$ nova list ID Name Status Task State Power State Networks fd77b-af7a-4c29-a0a6-fb e dalsivm ACTIVE - Running default-net= e266c8d8-c6de-4419-aa22-04a9354fbbe2 netvm ACTIVE - Running PrvniSit= tomas@helion-proliant-dl380-gen9:~$ nova delete dalsivm tomas@helion-proliant-dl380-gen9:~$ nova delete netvm 15 H P H e l i o n O p e S t a c k

17 cinder snapshot-list ID Volume ID Status Display Name Size ee3d322-29fb-453b-b448-6bf169569cdb d1b9-4d92-a3fa-148a7b1445a2 available MujDalsiSnapshot tomas@helion-proliant-dl380-gen9:~$ cinder snapshot-delete 0ee3d322-29fb-453b-b448-6bf169569cdb tomas@helion-proliant-dl380-gen9:~$ cinder list ID Status Display Name Size Volume Type Bootable Attached to d1b9-4d92-a3fa-148a7b1445a2 available DalsiDisk 1 None false bac044cb-c5ca-4c19-828b-47ad7cafd72b available MujBootDisk 4 None true tomas@helion-proliant-dl380-gen9:~$ cinder delete DalsiDisk tomas@helion-proliant-dl380-gen9:~$ cinder delete MujBootDisk tomas@helion-proliant-dl380-gen9:~$ neutron router-list id name external_gateway_info ca89b936-0c1b-401b-aa66-f5a0c9adab44 DalsiRouter {"network_id": "3a5b5cd4-0c4b-4bc3-b44e-826c7b19556e", "enable_snat": true, "external_fixed_ips": [{"subnet_id": "e3be37fb-1ced-432f-950c-99b887bb52c2", "ip_address": " "}]} tomas@helion-proliant-dl380-gen9:~$ neutron subnet-list id name cidr allocation_pools c223f18-79f9-41c0-b19a-e5bdfa /24 {"start": " ", "end": " "} 8bb ba7-45a c1da8b PrvniSubnet /24 {"start": " ", "end": " "} b9e ad-a7ba-5efde9f36894 DruhySubnet /24 {"start": " ", "end": " "} tomas@helion-proliant-dl380-gen9:~$ neutron router-interface-delete DalsiRouter 8bb ba7-45a c1da8b Removed interface from router DalsiRouter. tomas@helion-proliant-dl380-gen9:~$ neutron router-interface-delete DalsiRouter b9e ad-a7ba-5efde9f36894 Removed interface from router DalsiRouter. tomas@helion-proliant-dl380-gen9:~$ neutron net-list id name subnets a5b5cd4-0c4b-4bc3-b44e-826c7b19556e ext-net e3be37fb-1ced-432f-950c-99b887bb52c2 7590c21a ae-b e4dc1d0d default-net 2c223f18-79f9-41c0-b19a-e5bdfa /24 8c7f0937-0b96-4cf6-bc5f-70884fa58e1b DruhaSit b9e ad-a7ba-5efde9f /24 d78a23ba-d8d3-46f3-99eb-4f a PrvniSit 8bb ba7-45a c1da8b / tomas@helion-proliant-dl380-gen9:~$ neutron net-delete PrvniSit Deleted network: PrvniSit tomas@helion-proliant-dl380-gen9:~$ neutron net-delete DruhaSit Deleted network: DruhaSit 2.6. Parsování Linux a příkazová řádka je odvěká kombinace, takže nepřekvapí, že obsahuje řadu nástrojů pro parsování výstupu. Vyzkoušejme si jednoduchý příklad. Nejprve vypišme seznam image bez nějakých modifikací: 16 H P H e l i o n O p e S t a c k

18 glance image-list ID Name Disk Format Container Format Size Status b8f00f a07-9c f1c2ff ansible qcow2 bare active abcac3ce b bb48080c0 dbaas-api_ qcow2 bare active 6e2b077a-26fe-4eac-bfd2-937c e dbaas-conductor_ qcow2 bare active 6a42e333-9bb6-40a7-862f-11b53fffb676 dbaas-database_ qcow2 bare active ef6211f6-95a9-4eb6-a45b-cd9f9d4ab641 dbaas-guest_ qcow2 bare active 16f03c0b-6c47-4ac8-ab5a-19e64338a8c0 dbaas-messaging_ qcow2 bare active ee7280a3-b4ad-4bd1-98e5-6639cefe51c3 dbaas-taskmanager_ qcow2 bare active dfc71bdf-06ab-42d6-828e-51612cbcd9ac debian-wheezy-amd disk qcow2 bare active 0d54050e-8b4f-454b-adc1-6ee23ad1efba HP Helion Development Platform CE - Application Lifecycle Service Installer qcow2 bare active 8be1cda2-b2be-4fa6-a5b4-0e63e66e0491 HP Helion Development Platform CE - Application Lifecycle Service Seed Node qcow2 bare active a652e1e2-462f-41ef-926c-2fe marketplace-api_ qcow2 bare active b b57-b139-dd2935a03284 marketplace-database_ qcow2 bare active 2fd c-aa19-c71701eb4c2e marketplace-engine_ qcow2 bare active 15e dea-4f0e-b07f e34 marketplace-messaging_ qcow2 bare active b9942ece-e544-4dff-b7c8-b7d0d msgaas-rabbit-cluster_ qcow2 bare active a37d347e-e9b b47c-c730c2727a1f msgaas-rabbit-cluster_ qcow2 bare active 35c7876d-a a44a-bcaa303b2673 msgaas-rabbit-cluster_ qcow2 bare active Možná bychom teď potřebovali pro další zpracování získat jen všechna ID našich obrazů, ostatní informace nám tam překážejí. Výstup příkazu můžeme nasměrovat do jiné utilitky s nzvek awk, která dokáže parsovat jednotlivá slova. Takto si vytiskneme vždy jen druhé slovo v řádku: tomas@helion-proliant-dl380-gen9:~$ glance image-list awk '{print $2}' ID 8b8f00f a07-9c f1c2ff abcac3ce b bb48080c0 6e2b077a-26fe-4eac-bfd2-937c e 6a42e333-9bb6-40a7-862f-11b53fffb676 ef6211f6-95a9-4eb6-a45b-cd9f9d4ab641 16f03c0b-6c47-4ac8-ab5a-19e64338a8c0 ee7280a3-b4ad-4bd1-98e5-6639cefe51c3 dfc71bdf-06ab-42d6-828e-51612cbcd9ac 0d54050e-8b4f-454b-adc1-6ee23ad1efba 8be1cda2-b2be-4fa6-a5b4-0e63e66e0491 a652e1e2-462f-41ef-926c-2fe b b57-b139-dd2935a fd c-aa19-c71701eb4c2e 15e dea-4f0e-b07f e34 b9942ece-e544-4dff-b7c8-b7d0d a37d347e-e9b b47c-c730c2727a1f 35c7876d-a a44a-bcaa303b2673 To není špatné, ale oddělující čáry nám vycházejí jako prázdné řádky (jsou totiž jedno slovo, takže druhé neexistuje a tím vznikne prázdný řádek ve výstupu). Awk umožňuje klást podmínky, tak například nám vypíše pouze řádky, které splňují nějaké kritérium (například název image, tedy $4, obsahuje nějaké znaky). My jednoduše budeme chtít, aby se něco vytisklo jen, pokud $2 existuje: tomas@helion-proliant-dl380-gen9:~$ glance image-list awk '{if ($2) print $2}' ID 8b8f00f a07-9c f1c2ff abcac3ce b bb48080c0 6e2b077a-26fe-4eac-bfd2-937c e 6a42e333-9bb6-40a7-862f-11b53fffb676 ef6211f6-95a9-4eb6-a45b-cd9f9d4ab641 16f03c0b-6c47-4ac8-ab5a-19e64338a8c0 ee7280a3-b4ad-4bd1-98e5-6639cefe51c3 dfc71bdf-06ab-42d6-828e-51612cbcd9ac 0d54050e-8b4f-454b-adc1-6ee23ad1efba 8be1cda2-b2be-4fa6-a5b4-0e63e66e0491 a652e1e2-462f-41ef-926c-2fe b b57-b139-dd2935a H P H e l i o n O p e S t a c k

19 2fd c-aa19-c71701eb4c2e 15e dea-4f0e-b07f e34 b9942ece-e544-4dff-b7c8-b7d0d a37d347e-e9b b47c-c730c2727a1f 35c7876d-a a44a-bcaa303b2673 To už je lepší, prázdné řádky jsou pryč. Ještě nám tam zbývá název sloupce, tedy ID. V takovém případě ho do výstupu zahrnout nechceme: tomas@helion-proliant-dl380-gen9:~$ glance image-list awk '{if ($2!="ID" && $2) print $2}' 8b8f00f a07-9c f1c2ff abcac3ce b bb48080c0 6e2b077a-26fe-4eac-bfd2-937c e 6a42e333-9bb6-40a7-862f-11b53fffb676 ef6211f6-95a9-4eb6-a45b-cd9f9d4ab641 16f03c0b-6c47-4ac8-ab5a-19e64338a8c0 ee7280a3-b4ad-4bd1-98e5-6639cefe51c3 dfc71bdf-06ab-42d6-828e-51612cbcd9ac 0d54050e-8b4f-454b-adc1-6ee23ad1efba 8be1cda2-b2be-4fa6-a5b4-0e63e66e0491 a652e1e2-462f-41ef-926c-2fe b b57-b139-dd2935a fd c-aa19-c71701eb4c2e 15e dea-4f0e-b07f e34 b9942ece-e544-4dff-b7c8-b7d0d a37d347e-e9b b47c-c730c2727a1f 35c7876d-a a44a-bcaa303b2673 A je to máme očištěný výstup, který můžeme použít pro další zpracování o tom za chvilku Praktický příklad skriptu Pro tento lab jsem potřeboval vytvořit prostředí pro 30 účastníků - vytvořit projekt v Helion OpenStack, uživatelské přihlášení a loginy v serveru v labu (to s Helion nijak nesouvisí). Stačilo z pozvánky v kalendáří vzít začátek vašich ových adres a uložit to po řádkách do souboru. Následně spustit následující skript, který udělá co potřebujeme. Všimněte si, že nastavení OpenStack prostředí je kratší a jednodušší, než vytvoření vašeho loginu do serveru v labu #!/bin/bash while read line do name=$line keystone tenant-create --name $line keystone user-create --tenant $line --name $line --pass helion home="/home/$line" useradd $line -s /bin/bash echo "$line:helion" chpasswd cp -R /etc/skel "$home" && echo $'\e[32m'"copied skeleton to: $home"$'\e[m' ( exit_code=$?; echo $'\e[31m'"failed to create: $home"$'\e[m' ) >&2 chown -R "$line:$line" "$home" && echo $'\e[32m'"set owner on: $home"$'\e[m' ( exit_code=$?; echo $'\e[31m'"failed to set owner on: $home"$'\e[m' ) >&2 done < $1 Tím pádem je možné kdykoli do prostředí přidat další účastníky školení... přece to nebudete všechno klikat. 18 H P H e l i o n O p e S t a c k

20 2.8. Příklad skriptu s parsováním Pokud chcete v OpenStack vymazat router, musíte nejdřív zrušit jeho interface. Zkusme si napsat jednoduchý skript, kterému jako parametr pošleme ID routeru a on nejprve zjistí jeho interface, ty zruší a následně smaže celý router. Vypadalo by to nějak takhle: for port in $(neutron router-port-list $1 awk '{if ($2!= "id" && $2) print $2}') do neutron router-interface-delete $1 port=$port done neutron router-delete $1 Jak script vytvořit? Použijte třeba editor nano (nano jmenoskriptu.sh) a do něj tento text vložte (schránka a pravé tlačítko), pak to uložte. Ještě musíte skript učinit spustitelný příkazem Chmod +x jmenoskriptu.sh Jak použít? Takhle: root@helion-proliant-dl380-gen9:~# neutron router-list id name external_gateway_info dd11512d-469c-4285-b27c-708a258f9eef test null root@helion-proliant-dl380-gen9:~#./routerdelete.sh dd11512d-469c-4285-b27c-708a258f9eef Removed interface from router dd11512d-469c-4285-b27c-708a258f9eef. Deleted router: dd11512d-469c-4285-b27c-708a258f9eef root@helion-proliant-dl380-gen9:~# neutron router-list... tady je prázdno Tak vidíte, skriptování není těžké. 3. Lidsky čitelné datové formáty Prakticky všechny moderní nástroje používají k popisu nějaké datové struktury lidsky čitelné formáty místo dřívějších binárních souborů. Určitě znáte jeden z nich, který je ale (z mnoha důvodů) spíše na ústupu XML. V rámci našeho labu se setkáme s YAML a JSON YAML YAML je předpis datové struktury, který je extrémně dobře lidsky čitelný. Přestože se může zdát, že jde o text bez zřejmých pravidel, tato jsou jasně daná a díky nim dokáže počítač celou strukturu zpracovat. Myslím, že následující příklad tak není třeba nijak podrobně vysvětlovat poznáte, jaké informace jsou obsaženy a v jaké struktuře? --- zamestnanci: - jmeno: "tomas" napoj: "pivo" jazyk: - "EN" - "CZ" - jmeno: "martin" napoj: "vino" jazyk: - "EN" 19 H P H e l i o n O p e S t a c k

21 - "SK" YAML (případně jeho různé podmnožiny) je velmi často využíván pro šablony, konfigurační soubory, předpisy a tak podobně. Jsou na něm postaveny například OpenStack Heat infrastrukturní šablony nebo Ansible playbooky JSON Formát JSON je jiný předpis datové struktury, který je velmi úsporný, velmi dobře zpracovatelný počítačem, a přitom si zachovává dobrou lidskou čitelnost. Takhle vypadají stejná data z předchozího příladu v JSON formátu: {"zamestnanci":[ { "jmeno":"tomas", "napoj":"pivo", "jazyk":["en", "CZ"] }, { "jmeno":"martin", "napoj":"vino", "jazyk":["en", "SK"] } ] } Pro svoje vlastnosti je velmi oblíbený v různých API, zejména v RESTful. Do této kategorie patří OpenStack API, ilo, OneView, imc i SDN API a také API celé řady nástrojů z dílny HP Software. 4. Orchestrační šablony OpenStack Heat 4.1. Nejjednodušší šablona Připojte se do GUI a jděte na záložku Orchestration, Stacks a klikněte na Launch Stack Šablonu můžete zadat přímo do okna, nebo ji nahrajete ve formě souboru. Obsah šablony používá YAML strukturu a pro začátek bude vypadat takto: heat_template_version: description: Vytvorime jednoduchou instanci resources: PrvniPokus: 20 H P H e l i o n O p e S t a c k

22 type: OS::Nova::Server key_name: MujKlic image: debian-wheezy-amd disk flavor: m1.tiny Vložte do okna (nebo přes soubor) a klikněte na Next Použijte nějaké jméno, zadejte heslo a klikněte na Launch Počkejte až všechno doběhne 21 H P H e l i o n O p e S t a c k

23 Koukněte se do instancí je tam? Nic složitého, ale také zatím nic zvlášť užitečného. Vraťte se do Stacků a zrušte ho kliknutím na Delete Stack Šablona může být interaktivnější a některé parametry si nechat zadat uživatelem až v okamžiku jejího deploymentu. Následující příklad dává možnost definovat typ (velikost/flavor) serveru, ale chceme dát na výběr jen ze dvou možností. Dále využijeme možnosti formovat výstup, ve kterém předáme dál některé informace z instalace šablony, v našem případě jakou IP adresu VM dostala (teď se vám to bude zdát zbytečné, ale až se dostaneme k možnosti navázat šablonu na další operace v Ansiblu nebo jinému nástroji, uvidíte, jak je předání parametrů dál důležité). Vezměte tento text a vložte do schránky (nebo si přepište do souboru). heat_template_version: description: Vytvorime jednoduchou instanci parameters: instance_type: type: string label: Typ instance description: Vyberte si flavor m1.tiny nebo m1.small constraints: - allowed_values: [ m1.tiny, m1.small ] description: Pripustne hodnoty jsou m1.tiny nebo m1.small. resources: PrvniPokus: type: OS::Nova::Server key_name: MujKlic image: debian-wheezy-amd disk flavor: { get_param: instance_type } 22 H P H e l i o n O p e S t a c k

24 outputs: instance_ip: description: IP adresa vysledne instance value: { get_attr: [PrvniPokus, first_address] } Založte tento Stack a klikněte na Next Všimněte si, že GUI po vás chce vyplnit onen parametr a klikněte na Launch Až bude nahoře, klikněte na Stack pro další detaily 23 H P H e l i o n O p e S t a c k

25 Na první záložce je obrázek topologie šablony, ale to zatím neukazuje nic zajímavého. Klikněte na Overview Všimněte si některých detailů včetně našeho output pravidla 24 H P H e l i o n O p e S t a c k

26 Na úvod to není špatné. Zrušte tento Stack a zkusíme si něco pořádného Komplexnější šablona Přestaňme chodit kolem horké kaše a připravme si něco složitějšího a užitečnějšího. Zrušte aktuální Stack a vytvoříme si nový, komplexnější. YAML je dostatečně dobře čitelný, takže nebudeme vysvětlovat jednotlivé aspekty této šablony pročtěte si jí a určitě pochopíte, co se tady děje. Vytvoříme si dvě nové sítě, dva subnety, nový router a zajistíme potřebné propojení. Dále založíme dva volume, dva servery koukající každý do jiné sítě a volume k nim namapujeme. Vypadá to takhle: heat_template_version: description: Vytvorime jednoduchou instanci resources: sit1: type: OS::Neutron::Net name: MojeSit1 sit2: type: OS::Neutron::Net name: MojeSit2 subnet1: type: OS::Neutron::Subnet network_id: { get_resource: sit1 } cidr: /24 allocation_pools: 25 H P H e l i o n O p e S t a c k

27 - start: end: subnet2: type: OS::Neutron::Subnet network_id: { get_resource: sit2 } cidr: /24 allocation_pools: - start: end: router: type: OS::Neutron::Router external_gateway_info: network: ext-net router_interface: type: OS::Neutron::RouterInterface router_id: { get_resource: router } subnet_id: { get_resource: subnet1 } router_interface2: type: OS::Neutron::RouterInterface router_id: { get_resource: router } subnet_id: { get_resource: subnet2 } server1_port: type: OS::Neutron::Port network_id: { get_resource: sit1 } fixed_ips: - subnet_id: { get_resource: subnet1 } server2_port: type: OS::Neutron::Port network_id: { get_resource: sit2 } fixed_ips: - subnet_id: { get_resource: subnet2 } server1: type: OS::Nova::Server key_name: MujKlic image: debian-wheezy-amd disk flavor: m1.tiny networks: - port: { get_resource: server1_port } server2: type: OS::Nova::Server key_name: MujKlic image: debian-wheezy-amd disk flavor: m1.tiny networks: - port: { get_resource: server2_port } 26 H P H e l i o n O p e S t a c k

28 volume1: type: OS::Cinder::Volume size: 1 volume2: type: OS::Cinder::Volume size: 1 vol1_att: type: OS::Cinder::VolumeAttachment instance_uuid: { get_resource: server1 } volume_id: { get_resource: volume1 } mountpoint: /dev/vdb vol2_att: type: OS::Cinder::VolumeAttachment instance_uuid: { get_resource: server2 } volume_id: { get_resource: volume2 } mountpoint: /dev/vdb Založte tuto šablonu (už víte jak) a až bude nastartována, pojďme si ji prohlédnout. Takhle třeba Stack topologie ukazuje návaznosti Prohlédněte si vytvořené zdroje (screenshot nezahrnuje všechny) 27 H P H e l i o n O p e S t a c k

29 a události 28 H P H e l i o n O p e S t a c k