Metody analýzy dat I (Data Analysis I) Úvod do sítí (Networks Basics)

Transkript

1 Metody analýzy dat I (Data Analysis I) Úvod do sítí (Networks Basics)

2 Literatura Newman, M. (2010). Networks: An Introduction. Oxford University Press. [15-77] Leskovec, J., Rajaraman, A., Ullman, J. D. (2014). Mining of massive datasets. Cambridge University Press. [ ]

3 Co je síť? Tradiční paradigma v analýze dat předpokládá, že je každá datová instance nezávislá na jiné (viz nezávislost jevů). Ale, často mohou být instance spojeny s jinými prostřednictvím různých typů vztahů. Jednotlivé instance mohou být popsány různými atributy. Vzniká tak síť (nebo graf) instancí (vrcholů), které jsou propojeny odkazy (hranami). Jak uzly tak hrany mohou mít různé atributy (číselné nebo kategoriální, nebo dokonce složitější (např. časové řady).

4 Sociální sítě Analýza sociálních dat (Social Network Analysis, SNA) Sociální sítě V užším slova smyslu např. Facebook (neorient.) nebo Twitter (orient.) V širším slova smyslu kolekce entit propojených odkazy (existuje alespoň jeden odkaz) v mnoha případech sítě nejsou náhodné Lidé, kteří jsou přáteli Počítače, které jsou propojeny do poč. sítě Webové stránky, které se odkazují na jiné Interakce proteinů

5 Terminologie Terminologie (v různých oborech) points lines discipline vertices, nodes edges, arcs math= graph theory routers links computer science sites bonds physics actors ties, relations sociology

6 Network Science SNA, NS Co je NS? NS je věda o komplexních (tj. složitých, ale i složených ) systémech reprezentovaných (typicky dynamickými) sítěmi Sociální, biologické, atd. Opírá se o: Síťová data Síťové modely Síťové algoritmy Statistické vlastnosti síťových dat

7 Komplexní sítě Komplexní systém: sbírka interagujících prvků projevujících globální dynamiku, která vyplývá z činnosti (chování) jeho částí bez organizovaného centralizovaného řízení. Complex networks - networks whose structure is irregular, complex and dynamically evolving in time. Wikipedie: In the context of network theory, a complex network is a graph (network) with non-trivial topological features features that do not occur in simple networks such as lattices or random graphs but often occur in real graphs.

8 Kořeny NS Graph Theory Statistical Mechanics Nonlinear Dynamics Games and Learning Data mining ( graph mining ) and machine learning Algorithms Complexity theory

9 Aplikace NS Social networks and social media Economic networks Biology Ecology Network medicine Climate science Brain Science and Neuroscience Web Internet and computer networks Scientometrics..

10 Proč se zabývat sítěmi? Jsou všude kolem nás Čím dál tím více systémů lze modelovat sítěmi Jejich analýza poskytuje mnoho zajímavých informací o reálném světě Stávající sítě ale rostou Problém s velikostí sítí Máme výpočetní prostředky pro jejich studium Úkolem je ale vyvinout nástroje pro práci s rozsáhlými sítěmi

11 Příklady sítí Sítě Sociální Informační Biologické Technologické

12 Sociální sítě Linky znamenají sociální vazby Sítě známostí Newman: The structure and function of complex networks, 18th page

13 Romantic relations in highschool

14 Jiné sociální sítě ové sítě Sítě spolupráce Sítě autorů, resp. spoluautorů Herecké sítě

15 exchanges in a company

16 Phone calls in a country

17 Socio-epidemic networks

18 Informační (znalostní) sítě Entity představují informace, odkazy (linky) sdružují (spojují) informace Citační sítě The World Wide Web

19 Technologické sítě Sítě vybudované pro účely distribuce určité komodity Internet Sítě aerolinií Telefonní sítě Transportní sítě Silniční, železniční, energetické

20 US highway network

21 Airline network

22 PoP-level Internet2 network

23 Biologické sítě Interakce protein-protein Potravinové sítě (řetězce) Uzly živočišné druhy Linky druh živící se jiným druhem

24 Metabolic networks

25 Protein interaction networks

26 Brain networks - Structural vs Functional networks

27 Internet - vizualizace Komplexní sítě s biliony uzlů nelze přesně zobrazit, musíme se spokojit s přibližnou vizualizací

28 A dál? Svět plný sítí. Co s nimi? Chceme: Porozumět jejich topologii Měřit jejich vlastnosti Studovat jejich chování (vývoj, dynamiku změn) Získávat informace o reálném světě Vytvářet realistické modely Vytvářet užitečné algoritmy

29 Metody analýzy dat I (Data Analysis I) Typy a reprezentace sítí (Types and Representation of Networks)

30 Literatura Newman, M. (2010). Networks: an introduction. Oxford University Press. [ ] Zaki, M. J., Meira Jr, W. (2014). Data Mining and Analysis: Fundamental Concepts and Algorithms. Cambridge University Press. [93-97]

31 Základní pojmy Orientovaný (directed), neorientovaný (undirected) graf, hrany, vrcholy, relace incidence Smyčka (loop), izolovaný vrchol, multihrana, Stupeň (degree) Ohodnocený (weighted) graf (síť) - hranové, vrcholové, cena (váha, ohodnocení) Multigraf, prostý (simple) graf, úplný (complete) graf, bipartitní graf (2-mode graph), regulární graf, strom

32 Základní pojmy Sled (walk), tah (trail), cesta (path), kružnice, cyklus, úplný uzavřený s., t., c. Dostupnost (dosažitelnost) vrcholu Vzdálenost (distance) 2 Souvislost (connectedness), komponenta (component)

33

34 Obrázkem, nakreslením Reprezentace grafů

35 Matice sousednosti (adjacency matrix)

36 Matice incidence (incidence matrix)

37 matice cen matice vzdáleností

38 Seznamem vrcholů a jejich sousedů (a příp. i cen)

39 Seznamem hran (příp. i s cenami) (v5, v4)