Různé algoritmy mají různou složitost

Transkript

1 / 1 Různé algoritmy mají různou složitost

2 1/ 1 Rychlost... Jeden algoritmus (program, postup, metoda ) je rychlejší než druhý. Co ta věta znamená??

3 2/ 1 Asymptotická složitost y y x x Každému algoritmu lze jednoznačně přiřadit rostoucí funkci zvanou asymptotická složitost, která charakterizuje počet operací algoritmu v závislosti na rostoucím rozsahu vstupních dat. Čím pomaleji tato funkce roste, tím je algoritmus rychlejší.

4 Asymptotická složitost 3/ 1 Y Y ~ zatížení systému (trvání výpočtu) X X ~ naše požadavky (rozsah vstupních dat)

5 Příklady 4 / 1 Najdi min and max Find hodnotu max and v poli min in the STANDARD array min 3 max 3 a min 3 max 3 a if (a[i] < min) min = a[i]; if (a[i] > max) max = a[i]; min 2 max 3 a

6 Příklady 5 / 1 Najdi min and max hodnotu v poli STANDARD min max a atd... hotovo min max a kód min = a[0]; max = a[0]; for ( i = 1; i < a.length; i++) { if (a[i] < min) min = a[i]; if (a[i] > max) max = a[i]; }

7 Příklady 6 / 1 Najdi min and max hodnotu v poli RYCHLEJI! min 3 max 3 a min 3 max 3 a if (a[i] < a[i+1]) { if ( a[i] < min) min = a[i]; if (a[i+1] > max) max = a[i+1];} min 2 max 7 a

8 Příklady 7 / 1 Najdi min and max hodnotu v poli RYCHLEJI! min max a if (a[i] < a[i+1]) { if ( a[i] < min) min = a[i]; if (a[i+1] > max) max = a[i+1];} else { if ( a[i] > max) max = a[i]; if (a[i+1] < min) min = a[i+1];} min 0 max 10 a

9 Příklady 8 / 1 Najdi min and max hodnotu v poli RYCHLEJI! hotovo min max a kód min = a[0]; max = a[0]; for (i=1; i < a.length-1; i=i+2 ) { if (a[i] < a[i+1]) { if ( a[i] < min) min = a[i]; if (a[i+1] > max) max = a[i+1];} else { if ( a[i] > max) max = a[i]; if (a[i+1] < min) min = a[i+1];}}

10 9 / 1 Počítání složitosti Elementární operace aritmetická operace porovnání dvou čísel přesun čísla v paměti Složitost A celkový počet elementárních operací zjednodušení Složitost B celkový počet elementárních operací nad daty

11 10 / 1 Počítání složitosti Složitost B celkový počet elementárních operací nad daty další zjednodušení Složitost C celkový počet porovnání čísel (znaků).v datech Takto složitost mnohdy počítáme

12 11 / 1 Počítání složitosti Najdi min and max hodnotu v poli STANDARD Složitost Všechny operace Případ A 1 1 a.length = N min = a[0]; max = a[0]; 1 N for ( i = 1; i < a.length; i++){ N 1 if (a[i] < min) min = a[i]; N N 1 N 1 exkluzive! if (a[i] > max) max = a[i]; } nejlepší nejhorší N + N 1 + N N = 4N N + N 1 + N 1 + N 1 + N 1 = 5N 1

13 12 / 1 Počítání složitosti Najdi min and max hodnotu v poli STANDARD složitost Operace nad daty Případ B 1 1 a.length = N min = a[0]; max = a[0]; for ( i = 1; i < a.length; i++){ N N 1 if (a[i] < min) min = a[i]; N N 1 if (a[i] > max) max = a[i]; } nejlepší nejhorší N N = 2N N 1 + N 1 + N 1 + N 1 = 4N 2

14 13 / 1 Počítání složitosti Najdi min and max hodnotu v poli STANDARD složitost C pouze testy v datech min = a[0]; max = a[0]; for ( i = 1; i < a.length; i++){ N 1 if (a[i] < min) min = a[i]; N 1 a.length = N if (a[i] > max) max = a[i]; } vždy N 1 + N 1 = 2N 2 testů

15 14 / 1 Počítání složitosti Najdi min and max hodnotu v poli RYCHLEJI! složitost C pouze testy v datech a N a.length = N Jedna dvojice 3 testy (N 1)/2 dvojic vždy 3(N 1)/2 = (3N 3)/2 testů

16 15/ 1 Velikost pole N Počítání složitosti Počet testů STANDARDNÍ 2 (N 1) Počet testů RYCHLEJŠÍ (3N 3)/2 poměr STD./RYCHL Tab. 1

17 Příklady 16 / 1 data pole a: pole b: úloha Kolik prvků pole b je rovno součtu prvků pole a? řešení pole a: součet = 4 pole b: výsledek =

18 funkce Příklady int sumarr(int[] a) { /*snadné*/ } POMALÁ metoda count = 0; for (int i = 0; i < b.length; i++) if (b[i]==sumarr(a)) count++; return count; 17/ 1 count = 0; sumof_b = sumarr(a); RYCHLÁ metoda for (int i = 0; i < b.length; i++) if (b[i]==sumof_b) count++; return count;

19 18 / 1 pole a: Počítání složitosti a.length == n b.length == n POMALÁ metoda pole b: n x n = n 2 operací Kvadratická složitost pole a: a.length == n b.length == n RYCHLÁ metoda součet a: 4 2 x n operací pole b: Lineární složitost

20 19 / 1 Počítání složitosti Velikost pole N POMALÁ metoda RYCHLÁ metoda operací N 2 operací 2N poměr POMALÁ/RYCHLÁ Tab. 2

21 20 / 1 Počítání složitosti Velikost pole N Poměr rychlostí řešení 1. úlohy Poměr rychlostí řešení 2. úlohy Tab. 3

22 Příklady Hledání v seřazeném poli lineární, POMALÉ 21 / 1 dané pole Seřazené pole: velikost = N najdi 993! testů: N najdi 363! testů:

23 Příklady Hledání v seřazeném poli binární, RYCHLÉ 22 / 1 najdi 863! testy 2 testy testy test

24 23 / 1 Exponent, logarimus a půlení intervalu k N... N =2 k = = =2 1 N = 2 k => =2 0 k = log 2 (N)

25 24/ 1 Počítání složitosti Velikost pole Počet testů lineární hledání případ binární hledání nejhorší případ nejlepší nejhorší průměrný poměr Tab. 4

26 25/ 1 Počítání složitosti Doba výpočtu pro různé časové složitosti s předpokladem, že 1 operace trvá 1 s (10-6 sec) složitost Počet operací log 2 n 3,3 s 4,3 s 5 s 5,8 s 9 s 10 s n 10 s 20 s 40 s 60 s 0,5 ms 1 ms n log 2 n 33 s 86 s 0,2 ms 0,35 ms 4,5 ms 10 ms n 2 0,1 ms 0,4 ms 1,6 ms 3,6 ms 0,25 s 1 s n 3 1 ms 8 ms 64 ms 0,2 s 125 s 17 min n 4 10 ms 160 ms 2,56 s 13 s 17 hod 11,6 dnů 2 n 1ms 1s 12,7 dnů let let let n! 3,6 s let let let let let Tab. 5

27 26 / 1 Řád růstu funkcí Řád růstu funkcí

28 27 / 1 Řád růstu funkcí y e(x) = (x+26.44) p(x) = (x ) x

29 28 / 1 Řád růstu funkcí Zoom out! : y 1 p(x) = (x ) 16 e(x) = (x+26.44) předchozí pohled x

30 29 / 1 Řád růstu funkcí Zoom out! : y e(x) = (x+26.44) 1 p(x) = (x ) 16 předchozí pohled x

31 30 / 1 Řád růstu funkcí Zoom out! : y e(x) = (x+26.44) p(x) = (x ) 16 x předchozí pohled atd: e(1000) = p(1000) =

32 31 / 1 Řád růstu funkcí (f(x)) g 2 (x) (f(x)) y g 1 (x) (f(x)) f(x) g 3 (x) (f(x)) x Pozor, obrázek není pravdivý, je jen ilustrační

33 32 / 1 Omega Řád růstu funkcí (f(x)) V množině (f(x)) se octne každá funkce g(x), která od určitého bodu x 0 (není nijak předem předepsáno, kde by x 0 měl být) a) je už vždy větší než funkce f(x) b) sice větší než f(x) není, ale po vynásobení nějakou kladnou konstantou (hodnota konstanty také není nijak předepsána) je už vždy větší než funkce f(x). Takže: pokud najdeme nějaké x 0 a c>0 takové, že c g(x) > f(x) všude napravo od x 0, (někdy stačí c=1) je jisto, že g(x) (f(x))

34 33 / 1 Řád růstu funkcí Takže: pokud najdeme nějaké x 0 a c>0 takové, že c g(x) > f(x) všude napravo od x 0, (někdy stačí c=1) je jisto, že g(x) (f(x)) y c = 1 x 0 = 60 e(x) = (x+26.44) p(x) = (x ) 16 x x > 60 e(x) > p(x), tj. tudíž platí e(x) (p(x)) (x+26.44) > 1 16 (x ) (ověřte!)

35 34 / 1 Řád růstu funkcí Takže: pokud najdeme nějaké x 0 a c>0 takové, že c g(x) > f(x) všude napravo od x 0, (někdy stačí c=1) je jisto, že g(x) (f(x)) b(x) = x + 3 x r(x) = x y c = 4 4 r(x) = 4(x 1) x 0 = 3.1 b(x) = x + 3 x r(x) = x x x > r(x) > b(x), tj. 4(x-1) > x + 3 x tudíž platí r(x) (b(x)) (ověřte!)

36 35 / 1 Řád růstu funkcí Typické ukázky x 2 Ω(x) x 3 Ω(x 2 ) x n+1 Ω(x n ) 2 x Ω(x 2 ) 2 x Ω(x 3 ) 2 x Ω(x 5000 ) x Ω(log(x)) x log(x) Ω(x) x 2 Ω(x log(x) ) 2 x Ω(x ) x Ω(x) x Ω(1) vždy f(x) > 1 f(x) Ω(1) těžko uvěřitelné x Ω(log(x) )

37 36 / 1 Řád růstu funkcí y g 2 (x) O(f(x)) f(x) g 1 (x) O(f(x)) g 3 (x) O(f(x)) x O(f(x)) Pozor, obrázek není pravdivý, je jen ilustrační

38 37 / 1 O Omikron Řád růstu funkcí O(f(x)) V množině O(f(x)) se octne každá funkce g(x), která od určitého bodu x 0 (není nijak předem předepsáno, kde by x 0 měl být) a) je už vždy menší než funkce f(x) b) sice menší než f(x) není, ale po vynásobení nějakou kladnou konstantou ( asi < 1 ) (hodnota konstanty také není nijak předepsána) je už vždy menší než funkce f(x). Takže: pokud najdeme nějaké x 0 a c>0 takové, že c g(x) < f(x) všude napravo od x 0, (někdy stačí c=1) je jisto, že g(x) O(f(x))

39 38 / 1 Řád růstu funkcí Takže: pokud najdeme nějaké x 0 a c>0 takové, že c g(x) < f(x) všude napravo od x 0, (někdy stačí c=1) je jisto, že g(x) O(f(x)) y c = 1 x 0 = 60 e(x) = (x+26.44) p(x) = (x ) 16 x 1 x > 60 p(x) < e(x), tj. (x ) 16 tudíž platí p(x) O(e(x)) < (x+26.44) ověřte!

40 39 / 1 Řád růstu funkcí Takže: pokud najdeme nějaké x 0 a c>0 takové, že c g(x) < f(x) všude napravo od x 0, (někdy stačí c=1) je jisto, že g(x) O(f(x)) b(x) = x + 3 x r(x) = x y x 0 = 1 b(x) = x + 3 x 5 r(x) = x x x > 1 r(x) < b(x), tj. x 1 < x + 3 x tudíž platí r(x) O(b(x))

41 40 / 1 Řád růstu funkcí f Ω(g) g O(f) x O(x 2 ) x 2 O(x 3 ) x n O(x n+1 ) x 2 O(2 x ) x 3 O(2 x ) x 5000 O(2 x ) log(x) O(x) x O(x log(x)) x log(x) O(x 2 ) x O(2 x ) x O(x ) 1 O(x) vždy f(x) > 1 1 O(f(x)) těžko uvěřitelné log(x) O( x )

42 41 / 1 Řád růstu funkcí y (f(x)) g 2 (x) (f(x)) f(x) g 1 (x) (f(x)) g 3 (x) (f(x)) x Pozor, obrázek není pravdivý, je jen ilustrační

43 42 / 1 Řád růstu funkcí (f(x)) = Ω(f(x)) O(f(x)) Theta V množině (f(x)) se octne každá funkce g(x), která spadá jak do Ω(f(x)) tak do O(f(x)). f(x) (g(x)) g(x) (f(x))

44 43 / 1 Řád růstu funkcí f(x) (g(x)) g(x) (f(x)) b(x) = x + 3 x r(x) = x 1 r(x) (b(x)) r(x) O(b(x)) y b(x) = x + 3 x r(x) = x x r(x) (b(x)) b(x) (r(x))

45 44 / 1 Řád růstu funkcí Pravidla 1. (a > 0) (f(x)) = (a f(x)) 2. g(x) O(f(x)) (f(x)) = (f(x) + g(x)) Slovy 1. Multiplikativní konstanta nemá vliv na náležení do množiny (f(x)). 2. Přičtení/odečtení menší funkce nemá vliv na náležení do množiny (f(x)). Příklady 1.8x log 2 (x) (x) x 3 + 7x 1/2 + 5(log 2 (x)) 4 (x 3 ) 13 3 x + 9x x (3 x ) 4 2 n n n/2 (2 n ) 0.1x x 4 + 7x 2-3 (x 5 ) O(x 5 ) (x 5 )

46 6 45 / 1 Řád růstu funkcí (f(x)) = { g(x) ; x 0 >0,c>0 x>x 0 : c f(x) < g(x) } (f(x)) = { g(x) ; x 0 >0,c>0 x>x 0 : g(x) < c f(x) } (f(x)) = { g(x) ; x 0 >0,c 1 >0, c 2 >0 x>x 0 : c 1 f(x) < g(x) < c 2 f(x) } Pozor, obrázky jsou jen ilustrační

47 46 / 1 Řád růstu funkcí Porovnání rychlosti růstu funkcí Funkce f(x) roste asymptoticky rychleji než funkce g(x), když f(x) Ω(g(x)) & f(x) (g(x)) Porovnání rychlosti algoritmů Pozor! Algoritmus A je asymptoticky pomalejší než algoritmus B, když f A (n) Ω(f B (n)) & f A (n) (f B (n)), kde f A (n), resp. f B (n) je funkce určující počet operací, které provede algoritmus A, resp. B, při zpracování dat o rozsahu n.

48 47 / 1 Řád růstu funkce Řád růstu funkcí Řád růstu funkce f je taková co nejjednodušší funkce g, pro kterou platí g(x) (f(x)) Manipulace Řád růstu funkce f získáme většinou tak, že zanedbáme 1. Aditivní členy rostoucí pomaleji nebo stejně rychle 2. Multiplikativní konstantu Příklady ff(n) = 4 2 n n n/2 (2 n ) Řád růstu ff(n) je 2 n hh(x) = x + log 2 (x) - x (x) Řád růstu hh(x) je x

49 48 / 1 Asymptotická složitost Asymptotická složitost algoritmu Asymptotická složitost algoritmu A je řád růstu funkce f(n), která charakterizuje počet elementárních operací algoritmu A při zpracování dat o rozsahu n. Přitom uvažujeme nejnáročnější možná data. (rozsah dat = celkový počet čísel a znaků v nich) Ve většině případů nehraje roli, zda uvažujeme A) počet všech elementárních operací, B) počet všech elementárních operací nad daty, C) počet testů nad daty. Asymptotická složitost vycházívá táž.

50 49 / 1 Asymptotická složitost Asymptotická složitost předložených ukázek Asymptotická složitost hledání minima v poli o n prvcích je (n). V obou uvedených případech. Asymptotická složitost pomalého zjišťování, kolik čísel v poli je rovno součtu jiného pole, je (n 2 ). Asymptotická složitost rychlého zjišťování, kolik čísel v poli je rovno součtu jiného pole, je (n). Za předpokladu, že obě pole mají délku n. Asymptotická složitost lineárního hledání prvku v poli je O(n). Asymptotická složitost hledání prvku uspořádaném poli pomocí půlení intervalu je O(log(n)). Za předpokladu, že pole má délku n.

51 50 / 1 Asymptotická složitost Úmluvy Zjednodušení Běžně se zkráceným termínem složitost algoritmu rozumí právě výraz asymptotická složitost algoritmu Zmatení Běžně se v literatuře neříká f(x) náleží do (g(x)), ale f(x) je (g(x)). Rovněž se to tak značí: f(x) = (g(x)) namísto f(x) (g(x)) (a stejně pro O a ). Chápe se to ale beze změny, v původním smyslu náležení.

52 51 / 1 Asymptotická složitost ( ) ( ) ( ) O( )

53 / 1 Různé algoritmy mají různou složitost