Protokoly a Internet. Miloš Hrdý. 19. listopadu 2007

Transkript

1 Protokoly a Internet Miloš Hrdý 19. listopadu 2007

2 Obsah 1 Pojmy 2 2 Protokoly Odeslání zprávy Protokol IP Protokoly vyšších vrstev TCP UDP ARP RARP ICMP IGMP FTP, TFTP HTTP, HTTPS Telnet POP SMTP IMAP RPC/XDR DNS BOOTP DHCP Internet Trocha historie Co je Internet? Jak to funguje? Server Co vlastně Internet nabízí? Služby Neviditelný web (Invisible web) Velikost invisible web Jaké typy dokumentů se v rámci invisible web vyskytují? Proč jsou stránky neviditelné? Postup při vyhledávání na internetu Ověřování informací Použité zdroje 13 Seznam tabulek 1 Seznam nejznámějších portů Popis adresy cs.felk.cvut.cz/webis Seznam obrázků 1 Rozdělení rodiny TCP/IP protokolů do vrstev Souvislost TCP/IP s modelem ISO/OSI Proces odesílání zprávy Struktura IP protokolu Struktura TCP protokolu

3 1 Pojmy URL Uniform Resource Locator, jednoznačná identifikace zdroje v Internetu. Formát: protokol://host:čísloportu/cesta/soubor Měla by obsahovat jen základní informace o odkazu (bez odkazů na místo v dokumentu a s počátečním příklad: URI Uniform Resource Identifier, představuje klasický odkaz se vším všudy (i s odkazy na místo v dokumentu a počátečním příklad: URN Uniform Resource Name, moc se nepoužívá, ale určitě má svůj specifický význam obsahuje jen strohé informace o odkazu bez příkladem může být: simko-cz.com/dokument.html#kotva Packet Elementární datová jednotka procházející přes síť. Datagram Elementární datová jednotka, datový balíček odesílaný zdrojovým počítačem. Datagram lze chápat jako ekvivalent packetu. Podle jiné terminologie se muže datagram skládat z jednoho nebo více packetů. My budeme datagram chápat jako ekvivalent packetu. Port Na jednom počítači lze provozovat několik programů, které poskytují své služby. Aby se rozlišilo na kterou službu program přistupuje musí být nějak rozlišeny. A to takzvaným portem (16bitové číslo, tj. maximálně může být najednou spuštěno portů. Porty jsou rozděleny do tří skupin: (dobře) známé porty (anglicky well known ports) porty v rozsahu ; vyhrazené pro nejběžnější služby, registrované porty v rozsahu , použití portu by se mělo registrovat u ICANN 1, dynamické a soukromé porty v rozsahu , vyhrazené pro dynamické přidělování a soukromé využití, Seznam známých a registrovaných portů je v tab. 1 na str.3. Socket IP adresa + port SSL Secure Sockets Layer, (doslova vrstva bezpečných socketů) je protokol, resp. vrstva vložená mezi vrstvu transportní (např. TCP/IP) a aplikační (např. HTTP), která poskytuje zabezpečení komunikace šifrováním a autentizaci komunikujících stran. Vyhledávač internetový vyhledávač je stránka, určená k vyhledávání hlavně dalších stránek, ale také souborů (např. obrázků, nebo audia) na Internetu. Toto jsou jen základní pojmy, více jich najdete například v [10]. 2 Protokoly Rozdělení rodiny TCP/IP protokolů do vrstev je na obr. 1 na str Odeslání zprávy Je názorně vyobrazeno na obr. 3 na str.4. 1 ICANN vyslovuj aj ken Internet Corporation for Assigned Names and Numbers 2

4 Číslo TCP UDP Služba 0 tcp udp Rezervováno, nepoužívá se 13 tcp udp DAYTIME protocol 20 tcp udp FTP (data) 21 tcp udp FTP (příkazy) 22 tcp udp SSH (Secure Shell) 23 tcp udp Telnet 25 tcp udp SMTP 37 tcp udp TIME protocol 53 tcp udp DNS 67 udp BOOTP (server), DHCP 68 udp BOOTP (klient), DHCP 69 udp TFTP 80 tcp HTTP 110 tcp POP3 115 tcp SFTP(FTP relace přes SSH) 143 tcp udp IMAP 443 tcp udp HTTPS 3306 tcp MySQL 5222 tcp Jabber 5223 tcp Jabber, SSL Tab. 1: Seznam nejznámějších portů, více v [7] Obr. 1: Rozdělení rodiny TCP/IP protokolů do vrstev Pro srovnání s ISO/OSI modelem na obr. 2. aplikaèní TCP/IP transportní síová vrstva síového rozhraní (fyzická) ISO/OSI aplikaèní prezentaèní relaèní transportní síová linková fyzická Obr. 2: Souvislost TCP/IP s modelem ISO/OSI 3

5 INTERNET SÍŤOVÉ PROTOKOLY Proces odesílání zprávy vrstva aplikační transportní síťová linková datagram IP hlavička rámec Ethernet hlav. IP hlavička zpráva data vyslaná z aplikace paket (segment) TCP hlavička data TCP hlavička data TCP hlavička data Obr. 3: Proces odesílání zprávy 2.2 Protokol IP Aleš Krejčí BU01_PR04.ppt IP Internet Protocol, základní přenosový protokol Internetu, struktura IP protokolu viz obr. 4. Protokoly vyšších vrstev na něm staví, každé síťové rozhraní má jednu IP adresu, obsahuje adresu zdroje a cíle, adresa má 4 byte (u IP protokolu verze 4), packet se dělí na, hlavičku (min 20 byte), Tělo (max 216 byte), nezaručuje doručení packetů, Nezaručuje pořadí doručení packetů. Obr. 4: Struktura IP protokolu 2.3 Protokoly vyšších vrstev TCP TCP Transmission Control Protocol, struktura viz obr. 5. Zavádí porty (16 bit). Aplikace poslouchá na IP adrese a TCP portu, vytváří virtuální okruhy, 4

6 zaručuje doručení data, v případě ztráty packetu, zaručuje pořadí doručení packetů, Je základním protokolem pro většinu aplikací. Vhodný pro aplikace, kde je třeba zajistit správné a kompletní doručení dat. Obr. 5: Struktura TCP protokolu UDP UDP User Datagram Protocol, Zavádí porty (16 bit). Stejný princip jako u TCP, ale čísla portů UDP a TCP jsou nezávislá, nezaručuje doručení dat, nezaručuje pořadí, vhodný pro aplikace typu video streaming, voice over IP. Vhodný pro aplikace, které jsou orientované na datový tok a nesmějí čekat na vyřešení problémů. Příkladem jsou streaming zvuku a videa ARP ARP Address Resolution Protocol Převádí 32 bitovou IP adresu na 48 bitovou MAC adresu RARP RARP Reverse Address Resolution Protocol Naopak převádí MAC adresu na IP adresu. Tento protokol používají bezdiskové pracovní stanice, které neznají svojí IP adresu ICMP ICMP Internet Control Message Protocol Používá se k signalizaci chyb a různých nestandardních situací (ale pouze potřebám signalizace, ICMP sám nezajišťuje jejich nápravu). 5

7 2.3.6 IGMP IGMP Internet Group Management Protocol Podporující tzv. skupinové vysílání (multicasting) FTP, TFTP FTP/TFTP File Transfer Protocol/Trivial FTP Slouží k přenosu souborů mezi počítači spojenými do sítě. TFTP je jednoduší varianta k FTP HTTP, HTTPS HTTP/HTTPS Hyper Text Transfer Protocol Slouží k přístupu na www stránky. HTTPS je zabezpečený (šifrovaný) přenos www stránek Telnet Telnet Telecommunication Network Vytváří terminálový provoz. Můžeme pracovat se vzdáleným počítačem stejně jako bychom seděli u terminálu bezprostředně k němu připojeném. Protože komunikace probíhá nešifrovaně představuje jeho používání bezpečnostní riziko. Náhradou za Telnet je SSH (Secure Shell) který komunikuje šifrovaně POP3 POP3 Post Office Protocol Slouží k přijímání elektronické pošty poštovním klientem SMTP SMTP Simple Mail Transfer Protocol Slouží k odesílání elektronické pošty poštovním klientem IMAP IMAP Internet Message Access Protocol, je protokol pro přístup k ovým schránkám. Na rozdíl od protokolu POP3 je optimalizován pro práci v dlouhodobě připojeném režimu, kdy zprávy zůstávají uloženy na serveru průběžně se stahují, když jsou potřeba. Rozdíly zahrnují podporu pro práci více připojených klientů zároveň, uchovávání stavů zpráv na serveru, podporu více složek a prohledávání zpráv na straně serveru RPC/XDR RPC/XDR Remote Procedure Call/eXternal Data Representation standard Vzdálené volání procedur. Používá se při požadavku provést výpočet programu na jiném počítači než kde jsou uložená data DNS Domain Name System (Service, Server) celosvětově distribuovaná databáze jmen, překládá textově zapsaná jména na IP adresy, systém domén a subdomén, např.: cs.felk.cvut.cz, tečková notace, 6

8 case insensitiv (nerozlišuje velká a malá písmena) BOOTP BOOTP Bootstrap Protocol Slouží k nastavování síťových parametrů s pomocí serveru bez zásahu uživatele. To umožňuje centralizovanou správu síťových adres, bez nutnosti vytvářet na každém počítači v síti konfigurační soubor. Klient komunikuje na UDP portu 68, server naslouchá na UDP portu DHCP Dynamic Host Configuration Protocol, aplikační protokol z rodiny TCP/IP. Používá se pro automatické přidělování IP adres koncovým stanicím v síti. Je rozšířením staršího BOOTP 3 Internet 3.1 Trocha historie Před 32 lety poslal jeden americký profesor ze svého počítače kolegovi na jeho počítač slovo LOG, což znamená připojit. Vzápětí bylo spojením přerušeno a počítač se zhroutil. Tím odstartovala éra Internetu. 3.2 Co je Internet? Internet je celosvětová počítačová síť velice podobná té, kterou známe ze školy či zaměstnání, jen trochu rozsáhlejší. Počítače jsou propojeny kabely nebo i bezdrátově. Díky tomu je možné komunikovat, předávat informace a data komukoli na světě, pokud to výslovně nezakáže. (není příjemné zjistit, že se vám někdo prohrabuje osobními daty). K tomuto účelu existuje mnoho ochranných systémů. Původně byl Internet vyvíjen americkou armádou za účelem rychlejší komunikace v případě jaderné války. Až později vznikla myšlenka celosvětového systému volně přístupných dat. 3.3 Jak to funguje? Snadno. Každý počítač má svou specifickou adresu. Žádný jiný počítač nemůže mít stejnou adresu. Fyzická adresa MAC 2, 6bytové číslo (byty oddělené dvojtečkou nebo pomlčkou), např ab nebo 01:23:45:67:89:ab IP adresa, 4bytové číslo (byty oddělené tečkami), např Fyzickou adresu lze podle ní zjistit pomocí ARP 3. Doménová adresa, skládá se z textových řetězců (domény) oddělených tečkami, např. cs.felk.cvut.cz. IP adresu lze z ní získat pomocí DNS 4. Popis adresy viz tab. 2. Veškerá data se do PC dostávají prostřednictvím serverů, velmi výkonných počítačů, které obsahují, mimo jiné, databázi adres počítačů a data na ně rozesílají. Z toho vyplývá, že k Internetu je připojeno více druhů počítačů. Ať už jde o jeden exemplář z rozsáhlé sítě nějakého podniku nebo mazlíčka čekajícího 2 MAC Media Access Control 3 ARP address resolution protocol 4 DNS DNS Domain Name Server (Service) 7

9 text cs felk cvut cz webis popis doména 4. úrovně (označení serveru) doména 3. úrovně doména 2. úrovně doména 1. úrovně adresář na serveru Tab. 2: Popis adresy cs.felk.cvut.cz/webis Domény nejvyšší (1.) úrovně obvykle korespondují s dvouznakovým ASCII kódem země: cz Česká republika, sk Slovensko, at Rakousko, de Německo, us USA... Dle oblasti působení dané instituce: edu vzdělávací instituce, com komerční organizace, org nekomerční organizace, gov instituce státní správy, mil armádní instituce, net organizace provozující počítačové sítě apod. a Pokud na konci adresy není žádný konkrétní soubor např. cs.felk.cvut.cz/webis/events/292.html, ale jen cs.felk.cvut.cz/webis/events/, tak záleží na nastavení serveru: např. vrátí soubor index.htm nebo index.html nebo index.php... a pokud neexistuje ani jedna možnost, tak vrátí seznam souborů a adresářů. a v obýváku až jeho pán přijde z práce a připojí ho. Žádný z těchto PC nemusí být neustále zapnutý ani trvale připojený k Internetu. Jinak je to ovšem se servery, které tvoří páteř celého Internetu. 3.4 Server Servery musí být v chodu neustále a trvale připojeny. Serverů je mnoho druhů: webový server především v síti Internet poskytuje WWW stránky souborový server slouží např. v podnikové síti jako centrální úložiště dat (dokumentů) databázový server slouží jako úložiště strukturovaných dat (databází), umožňuje provádět vyhledávání tiskový server zpřístupňuje ostatním uživatelům sítě služby tiskárny faxový server proxy server zprostředkovává ostatním uživatelům sítě přístup do sítě jiné (např. Internet) aplikační server počítač specializovaný na provoz nějaké aplikace herní server nabízí hraní her s více hráči (multiplayer) Jeden server (jeden stroj) může kombinovat více funkcí. 3.5 Co vlastně Internet nabízí? Především obrovské, nepřeberné množství informací. Ať už toužíte po adrese na mapě, odjezdu vlaků, prodejně elektroniky, životopisu vašeho oblíbeného zpěváka nebo tisíci dalších věcí, najde vždy cokoli si vymyslíte. Připojením ke službě chat si můžete živě povídat s mnoha jinými lidmi z celého světa. Další 8

10 možností Internetu je . Oproti klasické poště má řadu výhod. Je rychlá. Na druhý konec světa putuje zpráva slabou minutu. Můžete do ní vložit obrázek, hudbu, krátký filmeček a to vše za cenu místního hovoru. Problémem však je její utajení. Prochází několika jinými počítači, kde by si mohl nudící se slídil přečíst všechno co jste napsali. V neposlední řadě na Internetu narazíte na www 5 neboli web, což znamená pavučina. Jsou to vlastně stránky obsahující text a obrázky. Je to jednoduché, pěkné a hlavně funkční. 3.6 Služby Všechny služby jsou založeny na modelu klient server. Klient zahajuje komunikaci, žádá službu. Server poskytuje služby na žádost klienta. Některé služby: i. FTP přenos souborů mezi lokálním a vzdáleným počítačem ii. Telnet terminálové spojení se vzdáleným počítačem iii. WWW přenos hypertextových multimediálních dokumentů iv. Elektronická pošta v. Elektronická konference mailing list vi. Diskusní skupiny news 3.7 Neviditelný web (Invisible web) Problematika Invisible web byla poprvé otevřena v roce 1994, kdy doktorka Jill Ellsworth poprvé tohoto termínu užila k označení materiálu na internetu, který je neviditelný pro běžné vyhledávací stroje. Invisible web (také označovaný jako deep web se tedy používá jako označení pro dokumenty v prostředí www, které jsou obtížně vyhledatelné. Jejich opakem je tzv. visible web, (nebo také surface web), který označuje běžně dostupné stránky. Označení stránek jako viditelných nebo neviditelných je často problematické. Některé vyhledávače mohou najít pouze zlomek informací z prezentace nebo vstupní bránu k databázi, ale další obsah již nemohou prohledat. Proto jsou některé stránky, jejichž obsah není plně možné prohledat označována jako stránky neviditelné Velikost invisible web Velikost visible webu se dá podle Michaela Bergmana odhadovat přibližně na 2,5 miliardy dokumentů. Velikost invisible webu autor na základě studie odhaduje jako přibližně 400 až 550 větší než velikost stránek viditelných. Veškeré tyto údaje jsou pouze přibližné odhady na základě různých studií. Přesnou velikost viditelného i neviditelného webu nebude patrně možné určit nikdy Jaké typy dokumentů se v rámci invisible web vyskytují? Dokumenty v rámci invisible web jsou často označovány jako hodnotnější než dokumenty z webu viditelného. Důvodem jsou specializované typy dokumentů a to především: 1. databáze patrně nejhodnotnějším typem dokumentů jsou databáze. Jedná se o databáze určené odborné i laické veřejnosti. Velká část databází pochází z akademického prostředí nebo z oblasti odborných profesních organizací. 5 www World Wide Web 9

11 2. Adresáře, specializované vyhledávače především specializované zdroje je často obtížné lokalizovat. Adresáře a vyhledávače se specializují na jeden nebo několik málo oborů pro který hledají specializované stránky. Nejrozšířenější jsou adresáře a vyhledávače pro oblast ekonomiky. 3. Dokumenty v jiných formátech v prostředí internetu se již nevyskytují pouze stránky ve formátu HTML. Čím dál častější jsou dokumenty v jiných standardizovaných formátech především PDF (Portable Document Format) a PS (Postscript). V těchto formátech se často publikují různé výzkumné zprávy a studie, příspěvky z konferencí, oficiální zprávy a další významné dokumenty Proč jsou stránky neviditelné? Vezmeme-li v potaz velikost služby www, je jasné, že není možné zachytit veškeré existující dokumenty. Důvodem je nízké pokrytí stránek vyhledávači. Vzhledem k množství existujících www stránek (cca 2,5 mld.) nemohou vyhledávače pokrýt veškeré stránky. Exponenciální růst stránek (cca 7,3 milionu nových stránek za den) zaručuje, že pokrytí tohoto prostoru se v budoucnu bude spíše zmenšovat než zvětšovat. Dynamika vývoje v prostředí www (tj. rychlý nárust dokumentů a jejich krátká životnost) také značně komplikují aktuálnost nabízených informací. Problémy vyhledávačů můžeme ještě blíže specifikovat: 1. zvláštní typy dokumentů, které vyhledávače neumí prohledávat Formáty jiného formátu než HTML jsou pro většinu vyhledávačů nečitelné. Některé formáty (PDF, Postscript) některé vyhledávače sice umí prohledávat (např. AltaVista PDF, Google PDF, PS) ale jiné jsou zatím velmi tvrdým oříškem (formáty Macromedia Flash, skriptovací jazyky apod.). Za tohoto stavu není možné získat úplné informace, které se na stránkách vyskytují. 2. Tzv. samotáři stránky, které nemají odkazy na jiné a na které také není odkaz Dnes se již tento problém vyskytuje méně často, ale pořád přetrvává. Na některé stránky neexistují odkazy z jiných stránek, které by je umožňovaly nalézt. To se týká i celých prezentací. Vyhledávač zpravidla sleduje různé odkazy ze stránek a tak nacházejí další stránky, které pak registrují ve své databázi. Stránky, na které nejsou odkazy, pak mohou být (ale také nemusí) nalezeny vyhledávačem. 3. Dynamicky generované stránky Některé stránky vytvářejí svůj obsah teprve na základě požadavku uživatele. Tyto tzv. dynamické stránky jsou psány různými programovými a skriptovacími jazyky, které na základě vložených dat stránku vytvářejí. Každá takto vytvořená stránka je unikátní a již pravděpodobně nedojde k dalšímu zobrazení stránky ve stejné podobě. Typickým příkladem jsou různé databáze (dotazy v databázích), výpisy z ceníků nebo různé kalkulátory (konverze měn, výpočet tělesného tuku atd.). Takto generované stránky mají navíc ještě dynamicky generovanou adresu např..../cv.asp?pid=25152&ui, která je platná pouze pro tuto operaci a dále nebude platná. 4. Omezená přístupová práva ke stránkám Každá stránka může vyhledávači zakázat aby ji zaindexoval (zaregistroval). Pokud budou tyto pokyny zápsány v hlavičce stránky, každý vyhledávač, který na stránku narazí, nebude stránku zapisovat a ihned ji opustí. Tato možnost byla vytvořena pro stránky, které nemají veřejný charakter a tvůrce nemá zájem na jejich zveřejnění. Další překážkou pro vyhledávače mohou být kódované 10

12 stránky, kde je pro přístup vyžadováno heslo. Obsah, který se tak skrývá pod zakódovanými stránkami nemůže být prohledán anebo prohledán a zaindexován je, ale uživatel k němu nemá přístup. 3.8 Postup při vyhledávání na internetu 1. Vymezte problematiku, která vás zajímá. Proč máte hledat, k čemu informaci použijete, čeho chcete dosáhnout. Formulujte slovy, co chcete zjistit, např.: Jaký zákon se týká nebezpečných odpadů. 2. Určete časový horizont informace. Chcete informaci aktuální, starší nebo ověřené informace 3. Jaký má být charakter informace. Populárně-naučná, vědecká... Komu je výsledek hledání určen laik, výzkumník 4. Zjistěte si odbornou terminologii. Použijte referenční zdroje daného oboru. Jde-li o oblast, ve které se nevyznáte poraďte se s někým, kdo zná terminologii. 5. Rozložte dotaz na klíčová slova. Sepište klíčová slova pro pozdější kombinování za pomocí vyhledávacích operátor 6, např.: zákon, odpady, Česká republika 6. Vyberte vhodné vyhledávače k vyhledání. Použijte jich několik, každý může najít unikátní dokumenty. 7. Sestavte dotaz pomocí klíčových slov a operátorů. 8. Hledání. Za pomocí nápovědy vyhledávače sestavte dotaz. Nepoužívejte příliš komplikovaný dotaz. 9. Hodnocení výsledků. Kolik dokumentů bylo nalezeno (velké množství příliš obecný dotaz, žádný příliš komplikovaný dotaz nebo špatná klíčová slova). Pokud neodpovídají nalezené dokumenty dotazu, tak byla pravděpodobně zvolena nevhodná terminologie. 10. Zpřesněte dotaz, Prostudujte specializovaná pole vyhledávače. Zkuste přeformulovat dotaz pomocí jiných operátorů. 6 operátory: AND(&,+), OR (), NOT (!,, ), NEAR (např do 10 slov od 1. termínu) 11

13 3.9 Ověřování informací Pokud se vám podařilo něco najít nebo i získat odjinud, měli byste si to ověřit: Kdo? Co? Kde? Kdy? Jak? Proč? Kdo je autorem, je autor uveden? Je k dispozici kontakt na autora? ( , pracoviště, adresa) Kde autor pracuje? (odborné pracoviště, univerzita) Z jaké pozice autor píše? (oficiální stanovisko, soukromý názor) O jaký druh materiálu se jedná? (reklamní materiál, vědecká práce, zveřejněný výzkum, soukromé stránky) Uvádí autor důkazy pro svá tvrzení? Obsahuje dokument odkazy na prameny, ze kterých autor čerpal? Kde je dokument umístěn? (stránky univerzity, volný www prostor) V jaké doméně je dokument umístěn? (komerční.com... viz text pod tab. 2 na str. 8) Dá se zjistit vlastník? Je dokument součástí oficiální prezentace? Jsou uvedena data zveřejnění/poslední aktualizace? Je uvedena platnost údajů k určitému datu? Formát dokumentu? (HTML, ps, pdf) Je dokument objektivní nebo tendenčně zaměřený (zaujatý)? Nakolik bezchybný dokument je? Jsou zde stylistické, gramatické chyby? Jsou uváděné informace ověřeny z několika zdrojů? Komu je dokument určen? (osvětová a popularizační nebo odborná práce) Proč o dané problematice autor píše? Jaké odborné předpoklady má autor k psaní na toto téma? (pracoviště, kvalifikace) 12

14 Použité zdroje [1] [2] ppt [3] sluzby.ppt [4] [5] [6] [7] [8] [9] [10] [11] html [12] 13