NPRG051 Pokročilé programování v C /17 Úkol 2

Transkript

1 NPRG051 Pokročilé programování v C /17 Úkol 2

2 Téma Async I/O B-Tree server

3 Motivace Typická databáze: stromové indexy výkon odvozený od rychlosti disku rychlosti synchronizace při paralelním přístupu zátěž CPU minimální

4 Motivace Typická databáze: stromové indexy B-trees kvůli šetření I/O výkon odvozený od rychlosti disku cca. O(h seek) rychlosti synchronizace při paralelním přístupu locking zátěž CPU minimální 1 CPU úplně stačí

5 Cíl Zadání: Server poskytující asynchronní přístup k základním operacím na B-stromě. 1 vlákno požadavky klientů budeme obsluhovat asynchronně

6 Asynchronní zpracování 1 Klienti Server Úložiště op 1 1 recv 2 2 recv op 2 ok 1 ok 2 poll poll poll

7 Implementace Jak na paralelní požadavky v jednom vláknu? event loop AIO Proč prostě nepoužít víc vláken?

8 Implementace Jak na paralelní požadavky v jednom vláknu? event loop AIO Proč prostě nepoužít víc vláken? Více vlákny nejde přidat prakticky žádná propustnost navíc bottleneck je jinde šetření systémových prostředků ruční scheduling je často lepší Synchronizační overhead! "poslouchat" může jen 1 vlákno nutnost zamykání při zapisování deadlocky...

9 Implementace Jak na paralelní požadavky v jednom vláknu? event loop AIO Proč prostě nepoužít víc vláken? Více vlákny nejde přidat prakticky žádná propustnost navíc bottleneck je jinde šetření systémových prostředků ruční scheduling je často lepší Synchronizační overhead! "poslouchat" může jen 1 vlákno nutnost zamykání při zapisování deadlocky... Tradiční motivace: C10K problém

10 Asynchronní zpracování Server: Klient: send(s, "get X"); reply = recv(s); for(;;) { active=poll(sockets); foreach(s in active) { req=recv(s); handle(req); } }

11 Asynchronní zpracování Server: Klient: send(s, "get X"); reply = recv(s); for(;;) { active=poll(sockets); foreach(s in active) { req=recv(s); handle(req); } }

12 Asynchronní zpracování Server: Klient: send(s, "get X"); reply = recv(s); for(;;) { active=poll(sockets); foreach(s in active) { req=recv(s); handle(req); } }

13 Asynchronní zpracování Server: Klient: send(s, "get X"); reply = recv(s); for(;;) { active=poll(sockets); foreach(s in active) { req=recv(s); handle(req); } }

14 Asynchronní zpracování Server: Klient: send(s, "get X"); reply = recv(s); for(;;) { active=poll(sockets); foreach(s in active) { req=recv(s); handle(req); } }

15 Podpora v OS Sockety: POSIX fcntl (fd, F_SETFL, O_NONBLOCK); poll(2); Windows ioctlsocket (fd, FIONBIO, &a); select(); Soubory: Linux/glibc aio(7) (!!!) UNIX aio(4) Windows OVERLAPPED portable Boost.Asio, libeio Pro účely DÚ a testování dodáme vlastní neškodný wrapper.

16 aio struct aiocb { int aio_fildes; off_t aio_offset; size_t aio_nbytes; void *aio_buf; struct sigevent aio_sigevent; //... }; aio_read(aiocb*); aio_write(aiocb*); aio_cancel(aiocb*); aio_suspend(aiocb**, n, timespec); aio_error(aiocb*); aio_return(aiocb*);

17 AdvC++AIO using IO=ACIO<...>; size_t block_size = IO::block_size; // == k*512 IO io("file.dat"); io.resize(10000); IO::op o(blockid, dataptr); io.read(&o); io.write(&o); io.poll(io_list, 1.5, false); io.finish(&o); IO::req req; io.recv_request(&req); req.value=12345; io.send_reply(&req); io.poll(io_list, 2.0, true);

18 Požadavky na funkcionalitu program implementuje B-strom chovající se stejně jako map<uint64_t, uint64_t>::operator[] požadavky od klientů: read req.type==io::req::read vstup: req.key výstup: req.value (default 0) write IO::req::write, 2 vstupy, výstup stejný erase IO::req::erase, výstup 0

19 Požadavky na funkcionalitu program implementuje B-strom chovající se stejně jako map<uint64_t, uint64_t>::operator[] požadavky od klientů: read req.type==io::req::read vstup: req.key výstup: req.value (default 0) write IO::req::write, 2 vstupy, výstup stejný erase IO::req::erase, výstup 0 potvrzená data musí být persistentní (!) pořadí odpovědí by mělo být konzistentní např.: write(10,5), write(10,6), read(10,5) je nutné zvládat obsloužit víc požadavků paralelně množství aktivních požadavků je vhodné umět omezit (!!)

20 Testování Prohlédněte si demo (slouží jako dokumentace) ACIO má 2 implementace mock in-memory s umělým zpožděním aio POSIX AIO, vhodná pro testování na větších datech Parametry klienta: frekvence a počet příchozích požadavků bursty

21 Odevzdávání V main.cpp doplňte svou implementaci do run_btree_server. Můžete přidat vlastní btserver.cpp a btserver.hpp. Odevzdejte do SISu.

22 Hodnocení správnost kvalita kódu implementace absence chyb správnost odpovědí klientovi přenositelnost (relativní) správně odevzdané soubory struktura formátování dokumentativní komentáře (!!) rychlost na mock implementaci schopnost omezit cache

23 Dotazy? Q&A

24 Dotazy? Dobré dotazy: Jak přežít request flood? K čemu to je? Q&A

25 Dotazy? Q&A Dobré dotazy: Jak přežít request flood? šetřit RAM K čemu to je? PostgreSQL?