Návrh architektury škálovatelné cloudové služby aneb nespalte se v cloudu. Mgr. David Gešvindr MCSE: Data Platform MCT MSP

Rozměr: px

Začít zobrazení ze stránky:

Download "Návrh architektury škálovatelné cloudové služby aneb nespalte se v cloudu. Mgr. David Gešvindr MCSE: Data Platform MCT MSP"

Roman Neduchal
před 7 lety
Počet zobrazení:

1 Návrh architektury škálovatelné cloudové služby aneb nespalte se v cloudu Mgr. David Gešvindr MCSE: Data Platform MCT MSP david@wug.cz

2 Motto Běžná webová aplikace navržená pro provoz na vlastním serveru není schopná využít potenciálu cloudu Její provoz bude drahý a neefektivní Aplikace je třeba navrhovat s ohledem na vlastnosti cloudového prostředí Široké portfolio dostupných služeb Kdykoliv může cokoliv selhat Třeba optimalizovat podle více kritérií: cena, škálovatelnost Vysoké náklady na výkonnou relační databázi

3 Osnova 1. Metriky kvality 2. Case-studies 3. Taktiky aplikovatelné pro návrh SW architektury cloudové služby

4 Osnova 1. Metriky kvality 2. Case-studies 3. Taktiky aplikovatelné pro návrh SW architektury cloudové služby

5 Service Deployment Service Deployment Dostupnost Platforma disponuje výbornou dostupností Dočasné výpadky Implementace ochrany proti Transient Errors Selhání uživatele poškození dat, recovery Výpadek datacentra Distribuce uživatelů mezi datacentry Active datacenter Region 1 Datacenter Load Balancer Web Role Servers Application Services Storage Services Azure Traffic Manager Incoming service requests One-way storage replication Passive datacenter Region 2 Datacenter Load Balancer Web Role Servers Application Services Storage Services

6 Propustnost Počet požadavků, které aplikace musí zpracovat za jednotku času Je silně závislý na jednotlivých komponentách, které se účastní zpracování požadavku Je třeba zavčasu identifikovat slabé místo Service throughput 50 request/s 50 web server request/s Web Server 500 web server request/s 2 database requests Database Throughput 100 request/s 1 incoming request GET Products Page 1 storage request Blob Storage Throughput 500 request/s Pozor na rozdíl mezi průměrnou propustností a špičkovou propustností

7 Odezva Zpoždění při zpracování operace Je dána Komunikační latencí Latencí jednotlivých komponent GET Products Page 900 ms Web Server Database Blob Storage Load product from DB << return >> Load categories from DB << return >> 380 ms 255 ms Load precomputed pro duct recommendations from blob storage << return >> 170 ms

8 Škálovatelnost Škálovatelnost charakterizuje, jak dobře bude řešení pracovat, pokud zvětšíme problém Neplést s: Výkonnostními atributy popisují chování při daném množství zdrojů Elasticitou Popisuje, jak rychle a přesně systém zareaguje alokací a dealokací zdrojů, aby se přizpůsobil potřebám aplikace Pokud aplikace není škálovatelná, navýšení prostředků nepovede k výraznému zlepšení výkonnostních atributů

9 Náklady na provoz Je nutné uvážit, jaké jsou skutečné náklady na provoz dané služby v cloudu Problém: Platíme za využití služeb, náročné predikovat skutečnou úroveň využití

10 Náklady na vývoj Podobné služby nabízí odlišnou funkcionalitu a jiné výkonnostní charakteristiky Podle nabízené funkcionality se také liší pracnost jejich zakomponování do architektury aplikace Například: Azure Storage x Azure SQL Database

11 Problémy při návrhu Zmíněné metriky kvality jsou velmi často konfliktní Zlepšení jedné skupiny metrik vede ke zhoršení jiných metrik

12 Osnova 1. Metriky kvality 2. Case-studies 3. Taktiky aplikovatelné pro návrh SW architektury cloudové služby

13 Case study: Volby v USA Příklad prezentován na konferenci TechEd 2014 technickým ředitelem Azure Markem Russinovichem Celá přednáška: Sledování výsledků voleb

14 Staging Layer Processing Layer Storage Layer Frontend Layer Architektura služby Volební výsledky se nahrávají do Storage Worker role je průběžně zpracovávají Výsledky ukládají do relační databáze s výsledky Webové servery načítají výsledky z databáze Built-in Azure Web Role Load Balancer Web Role Virtual Servers 1 2 n Azure SQL Database Worker Role Virtual Servers Azure Blob Storage Containers Results DB Main DB 1 2 n n Precincts n

15 Očekávaná zátěž Ukázalo se, že každý požadavek na zobrazení stránky s výsledky vyústí v 10 dotazů do databáze Očekávaná zátěž Scenarios Expected Page Views Expected Load Time Window (hrs) Page View/sec 10X/pvs DB Calls/sec Average 10,000, ,944 Peak Hour 6,000, ,667 16,667 Problémy: Azure SQL škáluje přibližně do 1000 požadavků za vteřinu

16 Storage Layer Frontend Layer Úprava SW architektury 1. Přidání vrstvy worker serverů s in-memory cache Řádové navýšení propustnosti úložiště Built-in Azure Web Role Load Balancer Web Role Virtual Servers 1 2 n Cache Requests Load Balancer In-memory cache Virtual Servers Azure SQL Database Results DB Main DB Rest of the architecture remains the same

17 Jak vypadala zátěž

18 Alokovaná kapacita S využitím databáze Actual Page Views Time Window (sec) S využitím cache Page View/sec Difference Calls/sec Request s served Time Calls/sec 8pm+10 secs ,22% 8pm+30 secs ,97% 8:01 odp ,75% 8:03 odp ,17% 8:10 odp ,49% 8:30 odp ,82% Actual Page Views Time Window (sec) Page View/sec Difference Calls/sec Request s served Time Calls/sec 8pm+10 secs ,64% 8pm+30 secs ,00% 8:01 odp ,00% 8:03 odp ,00% 8:10 odp ,00% 8:30 odp ,00%

19 Case study 2: Nákup na Amazonu Víte, jak probíhá zpracování stránky při prohlížení produktu na e- shopu Amazon? Stránka včetně doporučených produktů pro uživatele je uložená v úložišti S3 a je pouze načtena bez dalšího zpracování

20 Asynchronní závislosti Výpočetní operace se provádějí asynchronně přes frontu

21 Case study 3: Chytré termostaty HVAC Azure Thermostat Thermostat Building Router Web Role (Synchronous HTTP) Azure Queue Queue Web Role Mobile User Interface Gateway On-Prem Weather WCF Service SMTP Relay

22 Zanesení asynchronních závislostí HVAC Azure Thermostat Thermostat Building Router Web Role (Synchronous HTTP) Service Bus Worker Role (write-leveling) Web Role Mobile User Interface Gateway Queue On-Prem Weather WCF Service SMTP Relay

23 Case study 3: Závěr Iniciální testování selhalo už při připojených termostatech Cíl byl ( ) termostatů Hlavní problémy: Synchronní HTTP handler Aktualizace databáze po řádcích (nahrazeno dávkami) Úprava výkonu databáze Navýšení škálovatelnosti fronty jejím partitioningem Azure Service Bus Queue Azure Service Bus Queue Synchronous Message Retrieval Worker Role Virtual Server Message Procesor Application Synchronous Message Processing Worker Role Virtual Server Message Procesor Application Batch Message Retrieval Asynchronous Message Processing

24 Osnova 1. Metriky kvality 2. Case-studies 3. Taktiky aplikovatelné pro návrh SW architektury cloudové služby

25 Taktiky aplikovatelné pro návrh SW architektury cloudové služby 1. Vícevrstvé úložiště 2. Asynchronní závislosti 3. Předpočítání dat

26 Vícevrstvé úložiště Efektivní kombinace výhod různých úložišť: Relační databáze + Transakční zpracování, vynucení integrity dat - Omezená škálovatelnost NoSQL databáze (Azure Table Storage) + Dobrá škálovatelnost - Složitý návrh klíčů pro efektivní dotazování In-memory cache (Redis Cache) + Extrémní škálovatelnost, rychlá odezva - Key/value store, drahé

27 Storage Layer Processing Layer Storage Layer Asynchronous operations Frontend Layer Asynchronní závislosti Požadavky nejsou zpracovány synchronně webserverem Built-in Azure Web Role Load Balancer Jsou uloženy do škálovatelné fronty, postupně zpracovány workery Počet workerů je variabilní Web Role Virtual Servers Azure SQL DB 1 2 Azure Blob and Table Storage n Výsledky uloženy do škálovatelného úložiště Worker Role Virtual Servers 1 n Problém: Notifikace uživatele o změnách SignalR (Web Socket) Azure Storage Queue High priority queue Low priority queue

28 Předpočítání dat Rozšíření varianty vícevrstvého úložiště o předpočítání dat při nevytížených výpočetních zdrojích Následné načtení dat probíhá s minimálním vytížením výpočetních zdrojů Pro efektivní implementaci vyžaduje aplikaci taktiky asynchronní závislosti

29 Osnova 1. Metriky kvality 2. Case-studies 3. Taktiky aplikovatelné pro návrh SW architektury cloudové služby

Podobné dokumenty

Vhodnost nasazení jednotlivých webových architektur, sdílení dat, perzistence, webové služby a REST, asynchronnost, messaging

Vhodnost nasazení jednotlivých webových architektur, sdílení dat, perzistence, webové služby a REST, asynchronnost, messaging 1. Vhodnost nasazení jednotlivých webových architektur - toto je podle Klímy