Název projektu: Jméno autora: Login. Podpis:

Fakulta informačních technologií VUT Brno Název projektu: Jméno autora: Login Systém elektronických konferencí Usenet Petr Hirš xhirsp00 Datum: 2004-10-24 Podpis:.. Obsah 1. CO TO JSOU NEWS?...1 1.1 NEWS A USENET NEWS SYSTÉM...1 2. NNTP PROTOKOL...1 2.1 PŘÍKAZY...1 2.2 ODPOVĚDI OD SERVERU...1 2.3 ZÁKLADNÍ PŘÍKAZY NNTP SERVERU...2 2.3.1 Article (Body, Head a Stat)...2 2.3.2 GROUP jméno...2 2.3.3 HELP...2 2.3.4 IHAVE <identifikátor příspěvku>...2 2.3.5 LAST...3 2.3.6 LIST...3 2.3.7 NEWGROUPS datum čas [GMT] [<distribuce>]...3 2.3.8 NEWNEWS skupiny datum čas [GMT] [<distribuce>]...3 2.3.9 NEXT...3 2.3.10 POST...3 2.3.11 QUIT...3 2.3.11 SLAVE...3 3. INTERNETNEWS SERVER (INN)...4 3.1 CO TO JE INN?...4 3.2 INSTALACE...4 3.2.1 Příprava systému...4 3.2.2 Sestavení programu...4 3.2.3 Formát uložených příspěvků...4 3.3 KONFIGURACE...5 3.3.1 inn.conf...5 3.3.2 newsfeeds...5 3.3.3 incoming.conf...5 3.3.4 storage.conf...5 3.3.5 expire.ctl...6 3.3.6 readers.conf...6 3.4 SPUŠTĚNÍ...6 3.5 KONKRÉTNÍ PŘÍKLADY K NASTAVENÍ INN SERVERU...6 3.5.1 Vytvorení nové lokální skupiny newsgroup...6 3.5.3 Distribuce lokální skupiny...7 4. PŘÍSTUP K PŘÍSPĚVKŮM NETNEWS...7 4.1 PINE...7 4.2 MOZILLA...8 4.3 OUTLOOK EXPRESS...8 LITERATURA...9

1. Co to jsou news? Lidé využívající síť Internet již v ranných dobách měli potřebu šířit informace a data mezi další účastníky sítě. Důležité bylo, aby se informace dostaly do správné cílové skupiny a to rychle a včas. Tyto informace se postupem času začaly označovat jako news. Dnes tzv. newsy používají velké firmy nebo vzdělávací instituce (např. Vysoké školy). Často bývají zřizovány diskusní skupiny pro různé softwarové produkty, což umožňuje uživatelům rychlý přístup k informacím a vývojářům dobrou zpětnou vazbu. 1.1 News a Usenet news systém Přístup k jednotlivým příspěvkům je realizován pomocí modelu server klient. Všechny news příspěvky jsou uloženy v centrální databázi. Jednotliví odběratelé (klienti) si pouze vybírají příspěvky, které je zajímají. Díky tomuto přístupu nemusí každý klient mít kopii celé databáze příspěvků na svém počítači. News server poskytuje rozhraní mezi databází news příspěvků a programy, které slouží pro práci s news. Komunikace mezi serverem a klientem je realizována pomocí NNTP protokolu. V menších počítačových sítích většinou běží NNTP server pouze jako proces na pozadí na jednom z počítačů. Pro sítě, které obsahují velké množství počítačů (např. Vysoké školy, nebo průmyslové společnosti) se používá tzv. intermediate server. Tento server běží na každém počítači a má za úkol zprostředkovávat čtení příspěvků a uchovávat několik posledních čtených příspěvků ve vyrovnávací paměti. Pokud poté požaduje klient některou ze služeb news, směřuje jeho dotaz nejdříve na lokální server, který běží na jeho počítači. Lokální server se snaží obsloužit klienta, pokud toto není možné, je kontaktován centrální news server. 2. NNTP protokol Pokud používáme NNTP společně s protokolem TCP, bude komunikace s největší pravděpodobností probíhat přes rezervovaný port 119. Komunikace se serverem probíhá textovou formou (např. jako u protokolu FTP aj.). 2.1 Příkazy Příkaz se skládá ze jména příkazu, které může být doplněno parametry. Jednotlivé parametry musí být odděleny jednou nebo více mezerami popř. tabelátorem. Každý příkazový řádek nesmí obsahovat více jak jeden příkaz. Při zadávání příkazů a parametrů nezáleží na velikosti jednotlivých písmen. Každý příkazový řádek musí být zakončen sekvencí znaků CR-LF. Příkazový řádek nesmí přesáhnout velikost 512ti znaků (počítají se i bílé znaky a znaky CR-LF). 2.2 Odpovědi od serveru Server posílá 2 typy odpovědí. Jedná se o textové odpovědi a o odpovědi, které nesou informaci o stavu. Tyto stavové odpovědi se vztahují vždy k poslednímu odeslanému příkazu. textové odpovědi - obsahují normálně čitelný text - každý řádek je ukončen sekvencí CR-LF - konec textu je indikován řádkem, který obsahuje pouze znak. (tečka) stavové odpovědi - začínají sekvencí tří číslic - první číslice nese informaci o úspěšnosti předchozího příkazu - druhá číslice určuje kategorii odpovědi - třetí číslice může být použita pro přesnější určení typu odpovědi 1

Jednotlivé významy číslic, které uvozují stavové odpovědi, zde nejsou popsány. Detailní popis jejich významu lze nalézt v [1]. Uvedu pouze několik příkladů často se vyskytujících stavových odpovědí: 100 text nápovědy 200 server je připraven zasílání příspěvků je povoleno 201 server je připraven zasílání příspěvků není povoleno 400 server přestal poskytovat své služby 500 neznámý příkaz 501 chyba syntaxe příkazu 502 zamezení vstupu 2.3 Základní příkazy NNTP serveru Každý NNTP server musí rozumět minimálně 15ti základním příkazům. Jména příkazů budou zobrazena tučným a velkým písmem. Parametry příkazů, pro lepší odlišení, budou psány malým písmem. Nepovinné parametry příkazů budou uvedeny v hranatých závorkách. 2.3.1 Article (Body, Head a Stat) Tyto příkazy mají stejnou syntaxi. Lze je použít tak, že jako jejich parametr uvedeme: <identifikátor příspěvku> nebo číslo. Identifikátor příspěvku je identifikátor, který je obsažen v hlavičce příspěvku. Číslo je číselná identifikace příspěvku v právě zvolené diskusní skupině (newsgroup). Pokud nepoužijeme žádný parametr, příkaz se vztahuje na aktuálně vybraný příspěvek. ARTICLE - zobrazí hlavičku příspěvku, prázdný řádek a tělo příspěvku BODY HEAD STAT - zobrazí pouze tělo příspěvku - zobrazí pouze hlavičku příspěvku - chová se stejně jako příkaz ARTICLE, ale nevrací žádný text - pokud vybíráme příspěvek v nějaké skupině nastaví se ukazatel na aktuální příspěvek právě na tento příspěvek a není přitom vrácen žádný text 2.3.2 GROUP jméno Vybere diskusní skupinu, kde jméno je jméno této diskusní skupiny. Pokud se povede vybrat zadanou skupinu jsou vrácena čísla prvního a posledního příspěvku z této skupiny. Ukazatel na aktuální příspěvek je nastaven na první příspěvek v této skupině. 2.3.3 HELP Vrátí krátký textový popis příkazů, které podporuje aktuální implementace NNTP serveru. 2.3.4 IHAVE <identifikátor příspěvku> Tímto příkazem klient informuje server, že vlastní příspěvek, který je určen identifikátorem příspěvku. Pokud se server rozhodne zkopírovat tento příspěvek, odpoví klientovi zprávou, ve které si vyžádá tento příspěvek. Pokud server nemá zájem o tento příspěvek, pošle klientovi zprávu, že tento příspěvek nepotřebuje. 2

2.3.5 LAST Nastaví vnitřně uchovávaný ukazatel na aktuální příspěvek na předchozí příspěvek aktuální diskusní skupiny. Pokud je příspěvek první z této skupiny, je vrácena chybová zpráva a ukazatel zůstává na tomto příspěvku. 2.3.6 LIST Vrátí seznam platných diskusních skupin s přidruženými informacemi. Každá příspěvková skupina je zaslána na samostatném řádku v tomto formátu: skupina poslední první p Kde skupina je název diskusní skupiny, poslední je číslo posledního známého příspěvku této skupiny (analogický je význam pole první). V poli p je vráceno buď y (ano) nebo n (ne). Toto pole informuje o tom, zda je možné do této příspěvkové skupiny zasílat nové příspěvky. 2.3.7 NEWGROUPS datum čas [GMT] [<distribuce>] Vrací stejný seznam diskusních skupin jako příkaz LIST. Jediný rozdíl je v tom, že tento příkaz vrátí pouze takové skupiny, které byly založené od udaného datumu a času. V nepovinném parametru <distribuce> lze uvést části skupin, ve kterých se bude hledat (např. net v net.wombat ). 2.3.8 NEWNEWS skupiny datum čas [GMT] [<distribuce>] Vrací seznam identifikátorů příspěvků, které se nacházejí v diskusních skupinách skupiny od datumu a času. Seznam na každém řádku obsahuje jeden identifikátor příspěvku. Konec seznamu je indikován řádkem, který obsahuje pouze jednu. následovanou sekvencí znaků CR-LF. 2.3.9 NEXT Nastaví vnitřně uchovávaný ukazatel na aktuální příspěvek na následující příspěvek aktuální diskusní skupiny. Pokud je příspěvek poslední z této skupiny, je vrácena chybová zpráva a ukazatel zůstává na tomto příspěvku. 2.3.10 POST Posláním tohoto příkazu serveru, server odpoví, zda je možné zasílat nové příspěvky. Pokud je zasílání povoleno, může klient zaslat nový příspěvek v přesně daném formátu, který je definován v [2]. Jestliže klient poslal svůj příspěvek serveru a zavolá znovu tento příkaz, dostane odpověď zda byl příspěvek úspěšně poslán či nikoliv. 2.3.11 QUIT Tímto příkazem klient oznamuje serveru, že dokončil veškerou komunikaci se serverem. Spojení mezi serverem a klientem se ukončí. Klient dostane zprávu o ukončení spojení. 2.3.11 SLAVE Tímto příkazem dává klient serveru vědět, že klient se kterým komunikuje je zároveň tzv. slave serverem. Ve většině implementací NNTP serverů dává server těmto klientům přednost před obyčejnými klienty. 3

3. InterNetNews server (INN) 3.1 Co to je INN? INN je Usenet / netnews server. Autorem je Rich Salz a jedná se o free software. INN server lze stáhnout z ftp://ftp.isc.org/isc/inn/. Pro bližší seznámení s INN serverem doporučuji manuálové stránky pod Unixem, nebo lze využít konverze dokumentace do HTML podoby na [3]. 3.2 Instalace INN server je napsán v jazyce C a měl by pracovat na systémech s platformou Unix. Seznam podporovaných systémů lze nalézt v dokumentaci. Pro bezproblémové sestavení programu je doporučeno mít nainstalováno gcc a GNU make. 3.2.1 Příprava systému Před instalací je doporučeno vytvořit na vašem počítači uživatele pojmenovaného news a tomuto uživateli přiřadit primární skupinu pojmenovanou news. Poté se INN nainstaluje do domovského adresáře tohoto uživatele. 3.2.2 Sestavení programu INN používá GNU autoconf a pomocí vygenerovaného konfiguračního skriptu se instalace podstatně zjednoduší. Pro většinu instalací je doporučeno použít příkaz:./configure --with-perl Tento příkaz s přepínačem --with-perl zapne podporu Perlu, který se dá použít k vytváření filtračních skriptů (např. filtrování spamu). Jestliže konfigurační program proběhl úspěšně, je možné přistoupit k sestavení programu. K tomuto stačí v adresáři kde je INN server rozbalen spustit příkaz make. Po sestavení programu lze pokračovat v instalaci příkazem make install. Tento příkaz je nutné spustit pod uživatelem root. 3.2.3 Formát uložených příspěvků INN server podporuje 4 různé druhy formátů, ve kterých ukládá příspěvky. Všechny formáty lze použít najednou (tzn. pro různé diskusní skupiny různé formáty). Jedná se o tyto metody uložení: tradspool - jednotlivé příspěvky jsou uloženy do souborů a každý soubor je pojmenován dle čísla příspěvku - soubory jsou rozděleny do adresářů dle skupin příspěvků (newsgroups) - např. příspěvek 25546 v news.software.nntp bude uloženo do news/software/nntp/25546 timehash - příspěvky jsou uloženy stejně jako v tradspool, ale jsou rozděleny do adresářů dle příchozího času timecaf - příspěvky jsou opět uloženy dle příchozího času, ale místo uložení do adresářů se používá uložení více příspěvků do jednoho souboru cnfs - příspěvky se sekvenčně ukládají do předpřipravených vyrovnávacích souborů - pokud je dosaženo konce souboru, nové články jsou ukládány znovu od začátku vyrovnávacích souborů (tzn. nové příspěvky přepisují staré) Metoda uložení se konfiguruje v souboru storage.conf viz. následující kapitola. 4

3.3 Konfigurace Pro popis konfigurace INN serveru se předpokládá, že instalace proběhla do adresáře ~news/. Veškeré konfigurační soubory lze nalézt v adresáři ~news/etc. Popis konfiguračních souborů lze nalézt v manuálových stránkách, které jsou nainstalovány v ~news/man. Detailní popis parametrů a jejich význam lze nalézt v dokumentaci na [3]. Dále bude uvedeno pouze několik hlavních konfiguračních souborů, kterými lze nastavit INN server. U každého souboru uvádím krátký popis, který napoví k jakému nastavení je soubor určen. 3.3.1 inn.conf Inn.conf je hlavní konfigurační soubor INN serveru. Uvedu pouze seznam parametrů, které je třeba nastavit, aby bylo možné spustit INN server: mta: /usr/lib/sendmail -oi -oem %s ovmethod: tradindexed pathhost: news.example.com pathnews: /usr/local/news hismethod: hisv6 Jedná se o nastavení cesty k sendmailu, způsobu uložení indexu pro prohlížení příspěvků, jména systému, domovského adresáře news uživatele a metody uložení historie. 3.3.2 newsfeeds Konfigurační soubor newsfeeds určuje, kam se budou příspěvky diskusních skupin posílat. Soubor neurčuje pouze rozesílání přijatých příspěvků na další NNTP servery, ale lze ho použít i k nastavení rozesílání těchto příspěvků programům na lokálním počítači. Na následujícím příkladu je část konfigurace, která umožní distribuci lokální skupiny k jinému serveru: daleko/daleko.domena.cz\ :*,\ :Tf,Wnm: První řádek obsahuje jméno vzdáleného serveru. Na druhém řádku je seznam diskusních skupin, které budou odeslány vzdálenému serveru (v našem případě to jsou všechny diskusní skupiny na našem serveru). Třetí řádek určuje cestu k lokálním zprávám, které se budou odesílat. Příznak Tf určuje, že seznam zpráv se nalézá v souboru /usr/local/news/spool/outgoing/<server> a příznak Wnm určuje, že soubor obsahuje relativní cesty k příspěvkům a relativní identifikátory zpráv. V souboru newsfeeds je možné využít daleko více možností nastavení, než bylo ukázáno na předchozím příkladu. Podrobný popis ke konfiguraci souboru newsfeeds obsahuje dokumentace k INN serveru na [3]. 3.3.3 incoming.conf V tomto konfiguračním souboru se určuje, které počítače se budou moci připojit na server a zasílat příspěvky. Následující příklad demonstruje povolení zasílání od počítačů remote.example.com nebo news.example.com: peer remote.example.com { hostname: "remote.example.com, news.example.com" } 3.3.4 storage.conf Určuje kde se uloží příchozí příspěvky, která metoda pro jejich uložení bude použita, třídu, maximální velikosti akceptovaných příspěvků. Toto nastavení se vztahuje vždy k diskusním skupinám.. 5

3.3.5 expire.ctl Zde se nastavuje doba platnosti příspěvků, které jsou uloženy na NNTP serveru. Za povšimnutí stojí výchozí hodnota, která je nastavena tak, že doba platnosti příspěvků vyprší za 10 dní. 3.3.6 readers.conf Jedná se o důležitý soubor z hlediska autentifikace uživatelů. Záznamy v tomto souboru určují, kteří klienti mohou číst příspěvky. Dále je zde možné nastavit, které příspěvkové skupiny může klient číst a do kterých může příspěvky posílat. K autentifikaci uživatelů může být použita IP adresa, reverzní záznam DNS nebo ověření pomocí jména a hesla. Ta se většinou provádí pomocí další samostatné aplikace. Více informací k nastavení autentifikace lze získat na [4]. Užitečné programy k autentizaci lze nalézt v adresáři authprogs/. Často se také používá omezení přístupu k diskusním skupinám pouze na počítače, které leží ve stejné doméně. Pokud vložíme následující text do souboru readers.conf, zpřístupníme diskuzní skupiny na našem serveru pro všechny počítače z domény vutbr.cz a přístup z jakékoliv jiné domény bude zakázán: auth example.com { hosts: "*.example.com, example.com" default: <LOCAL> } access full { newsgroups: * } Pokud byl INN server zkompilován s podporou SSL je možné vybrat diskusní skupiny, ke kterým bude možné přistupovat pouze přes šifrované spojení. 3.4 Spuštění Po konfiguraci NNTP serveru lze server již spustit. INN server se spouští skriptem shellu rc.news. Je nutné tento skript spustit pod uživatelem news nikoliv root. Pokud chceme, aby se skript spustil např. při startu systému, vložíme do bootovacího skriptu tento řádek: su - news -c /usr/local/news/bin/rc.news Skript rc.news lze dále použít pro zastavení INN serveru. Příkaz pro zastavení INN serveru vypadá následovně: su - news -c '/usr/local/news/bin/rc.news stop' 3.5 Konkrétní příklady k nastavení INN serveru 3.5.1 Vytvoření nové lokální skupiny newsgroup Novou lokální diskusní skupinu lze vytvořit třemi způsoby: manuální editací souboru db/active (nedoporučuje se) využití cizího hotového soubory active (např. z ftp://ftp.isc.org/pub/usenet/config) využitím ctlinnd k nastavení skupin Pokud se rozhodnete např. vytvořit novou moderovanou diskusní skupinu local.zabava pomocí příkazu ctlinnd, zápis příkazu bude vypadat takto: ctlinnd newgroup local.zabava m vas_email@domena.cz 6

Písmeno m v příkazu značí, že skupina bude moderovaná, proto je ještě třeba uvést emailovou adresu moderátora v konfiguračním souboru moderators. Pokud budeme upravovat soubor db/active ručně, pak platí pro každý řádek souboru následující syntaxe: jméno nejvyšší nejnižší příznaky Kde jméno je jméno diskusní skupiny, nejvyšší je nejvyšší číslo příspěvku, které bylo použito v diskusní skupině. Stejně tak nejnižší je nejnižší aktivní číslo příspěvku používané v diskusní skupině. V poslední položce příznaky lze nastavit pravidla pro zpracování příspěvků na INN server. Podrobný popis příznaků lze nalézt v dokumentaci k INN serveru v části zabývající se popisem souboru active. 3.5.3 Distribuce lokální skupiny INN server může kromě správy vlastních příspěvků, také tyto příspěvky poskytovat jiným NNTP serverům. Tohoto lze dosáhnout dvěma způsoby: Dávkový způsob (batch) - je vhodný hlavně pro maloobjemové přenosy dat - přenos zajišťuje program nntpsend, který volá pro obsluhu každého hosta program innxmit - program nntpsend se konfiguruje soubory nntpsend.ctl a passwd.nntp Proudový způsob (stream) - je vhodnější pro přenosy objemnějších dat - přenos zajišťuje jediná instance programu innfeed, která obsluhuje všechny spojení - program innfeed lze konfigurovat souborem innfeed.conf Pokud nakonfigurujeme soubor newsfeeds tak, jak bylo uvedeno v kapitole 3.3.2 k žádnému odesílání příspěvků na vzdálený server nedojde. Je třeba ještě nakonfigurovat soubor nntpsend.ctl: daleko:daleko.domena.cz::-t60 Vložením předchozího řádku říkáme programu nntpsend, aby procházel příspěvky na našem serveru. Pokud program najde nějaké nové příspěvky, pošle je na vzdálený server daleko.domena.cz. Parametr -t na konci řádku určuje, že program nntpsend počká maximálně 60s na ustavení spojení se vzdáleným serverem. Pokud se do této doby nepodaří ustavit spojení, budou nové příspěvky zaslány na server později. 4. Přístup k příspěvkům netnews V této kapitole budou popsány tři často používané programy pro práci s příspěvky diskusních skupin NNTP serverů. Záměrně jsem vybral programy, které se vyskytují na různých platformách (Unix, Linux, Microsoft Windows). 4.1 Pine Program Pine je jednoduchý program pro Unix, který pracuje jako poštovní klient a klient pro práci s NNTP servery. Pine používá jednoduché textové rozhraní čehož lze s výhodou využít při vzdáleném přístupu např. pomocí programu Putty. Po spuštění programu vybereme na úvodní obrazovce možnost Setup stisknutím klávesy S. Dále pokračujeme stiskem klávesy L pro vstup do Collection Listu. Zde stiskem A otevřeme obrazovku, kde zadáme nový news server a vyplníme jméno, které bude zobrazováno u našich příspěvků. Pak se stačí vrátit do hlavní nabídky a zde pokračovat do podnabídky Folder List. Zde je již zobrazen námi zadaný news server, proto jej vybereme. Nyní můžeme stiskem klávesy A přidávat nové diskusní skupiny. 7

Čtení a psaní příspěvků je velice intuitivní a není ho třeba dále popisovat. 4.2 Mozilla Program Mozilla je dobře známý jak pro Linuxové uživatele, tak pro uživatele produktů Microsoftu. Jedná se o internetový prohlížeč a program pro práci s emailem a diskusními skupinami. Dále se zaměřím pouze na program Mail a to v anglicky mluvící verzi 1.7. Pro přidání nového NNTP serveru je třeba vybrat položku Edit hlavního menu a v zobrazené nabídce kliknout na položku Mail & Newsgroups Account Settings. V nově zobrazeném okně spustíme průvodce nastavením kliknutím na tlačítko Add Account. V průvodci vybereme, že chceme nastavovat Newsgroup account, dále vyplníme jméno a email a adresu NNTP serveru. Po potvrzení všech zadaných údajů se nově vytvořený účet zobrazí v levé části hlavní obrazovky programu Mail. Pro vybrání diskusních skupin přidaného NNTP serveru je třeba na tento účet kliknout pravým tlačítkem myši a vybrat položku Subscribe. V nově zobrazeném okně si jednoduše (tlačítkem Subsribe) vybereme diskusní skupiny, které chceme odebírat. Vytváření a čtení příspěvků probíhá přes stejné dialogy jako při práci s emailem. 4.3 Outlook Express Outlook Express je součástí operačních systémů Microsoft Windows. Slouží jako jednoduchý emailový klient s vestavěnou podporou pro přístup k NNTP serverům. Další popis se bude vztahovat k verzi 6.x s českou lokalizací. Newsgroups jsou v této aplikaci nazývány diskusními skupinami. Pro přidání nové diskusní skupiny je nutné kliknout na položku hlavního menu Nástroje, vybrat položku Účty. V nově otevřeném okně zvolit záložku Příspěvky a tlačítkem Přidat příspěvky spustit průvodce. V průvodci vyplníte jméno, které bude zobrazováno u Vašich příspěvků, email a adresu NNTP serveru. Jakmile potvrdíte tyto údaje, program se zeptá zda si přejete načíst diskusní skupiny s přidaného účtu. Stisknutím tlačítka Ano se načte seznam diskusních skupin a již si lze vybrat tlačítkem Přihlásit se k odběru skupiny, které Vás zajímají. Takto vybrané diskusní skupiny se přidají do stromového menu v levé části hlavní obrazovky programu Outlook Express. Čtení příspěvků je intuitivní a zasílání příspěvků probíhá přes stejné dialogy jako odesílání emailů. 8

Literatura [1] Kantor, B., Lapsley, P.: Network News Transfer Protocol, RFC 977, U.C. San Diego, U.C. Berkeley, 1986 [2] Horton, M., Adams, R.: Standard for Interchange of USENET Messages, RFC 1036, AT&T Bell Laboratories, Center for Seismic Studies, 1987 [3] Salz, R.: INN 2.4 Documentation. Dokument dostupný na URL http://www.eyrie.org/~eagle/software/inn/docs-2.4/ (listopad 2004) [4] Samsonova E.: INN Implementation Guide, 1999. Dokument dostupný na URL http://web.inter.nl.net/users/elena.samsonova/unix/inn/v2.3/implementation.html (listopad 2004) 9