Servisní dokumentace. Na co si dát pozor. StackTrace

Transkript

1 Servisní dokumentace Carmen neběží - základní postup Logování problémů Podmínky (Svazkové, titulové, čtenářské) Zobrazované položky - Show Items Externí přihlašovací formulář Na co si dát pozor StackTrace Sledování Tomcatu přes JMX Domovský adresář (CARMEN_HOME) Postup nasazení na Tomcat Carmen potřebuje ke svému běhu nastavený domovský adresář. Ten slouží pro Základní struktura Priority nastavení domovského adresáře Nastavení připojení databáze Nastavení logování Ovladač k databázi Komunikace ze serveru, kde je Carmen Připojení k centrální části přes webové služby Indexování Synonyma Diakritika Databáze Aplikační server - Apache Tomcat Zásady pro tvorbu překladů Eliminace Robotů z Internetu Naplánované úlohy Interní katalog knihovny Favicon - ikona ve webovém prohlížeči vedle url Doporučená konfigurace Servisní úkony spustitelné přes URL Rezervace Známé problémy Naplánované úlohy nedobíhají do konce MySQL klíčové slovo LINEAR Nefunkční diakritika vyhledávaných výrazů Špatná čeština zobrazovaná v mraku Nejhledanějších Zahlcení databáze MySQL Výpadky databázového spojení Nefunguje kombinované vyhledávání podle lokací Zobrazuje se rozdílná dostupnost ve výpisu výsledků vyhledávání a v detailu díla V Chromu při přepnutí katalogu do webové definice se zachová původní obsah Hlídací pes Na co si dát pozor neinstalovat novější verzi Tomcatu neinstalovat novější verzi Javy všechny potřebné instalační soubory brát z disket - neprovádět update Javy a Tomcatu StackTrace Odhalení problémů, které nejsou poznat ani z logu je PID procesu C:\debug\jdk\bin>jstack.exe 1234 > dump.txt Pokud není dostatek místa je nutné stáhnout soubor PsTools.zip ( PsTools.zip). rozbalit soubor

2 spustit cmd jako administrátor a spustit následující příkaz pak už je možné spustit jstack.exe psexec -s cmd.exe Sledování Tomcatu přes JMX do startovních parametrů Tomcatu přidat: -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=1092 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=localhost restartovat Tomcat spustit C:\Program Files\Java\jdk1.6.0_27\bin\jconsole.exe připojit se k localhost:1092 Domovský adresář (CARMEN_HOME) Carmen potřebuje ke svému běhu nastavený domovský adresář. Ten slouží pro systémovou konfiguraci (připojení k databázi) uživatelskou konfiguraci (soubory CSS stylů, obrázky pro web) ukládání provozních dat mimo databázi (indexy pro vyhledávání, aplikační logy) Postup nasazení na Tomcat Pro nasazení nové verze je důležité: Zastavení Tomcatu Promazání následujících adresářů: tomcat\webapps\ - smazat soubor Carmen.war (nebo jiné podle pojmenování) a stejnojmenou složku smazat složku - tomcat\work\catalina\localhost\ - adresář Carmen smazat soubor - tomcat\conf\catalina\localhost\carmen.xml Nasazení nové verze Carmen - existují dvě možnosti: přes webové rozhraní tomcat nakopírovat WAR soubor do tomcat\webapps\ (doporučujeme tuto variantu) Spustit Tomcat Po spuštění Tomcatu se provede automaticky update všech složek potřebných pro běh Carmen. (u některých souborů dochází k zachování předchnozího nastavení - např. user.properties, vlastní skin, další soubory se mažou a nahrazují novými) Carmen potřebuje ke svému běhu nastavený domovský adresář. Ten slouží pro systémovou konfiguraci (připojení k databázi) uživatelskou konfiguraci (soubory CSS stylů, obrázky pro web) ukládání provozních dat mimo databázi (indexy pro vyhledávání, aplikační logy) Základní struktura

3 CARMEN_HOME/user.properties - základní soubor konfigurace, ZDE se provádí většina uživatelského nastavení!!! CARMEN_HOME/ui.properties - Nastavení uživatelského rozhraní katalogu CARMEN_HOME/debug.properties - Nastavení vnitřních komponent systému, zásadně nedoporučujeme měnit tento soubor bez předchozí konzultace CARMEN_HOME/log (aplikační logy webového katalogu) CARMEN_HOME/solr (konfigurace a indexy SOLR vyhledávacího engine) CARMEN_HOME/statistics (ukládání statistik vyhledávání ve webovém katalogu) Priority nastavení domovského adresáře Domovský adresář je určen systémovou proměnnou '''CARMEN_HOME''', kterou je možno nastavit jako '''systémovou proměnnou''' CARMEN_HOME="C:\Carmen"... absolutní cesta k adresáři s právy pro zápis pro Tomcat" (ve Windows XP, Linuxu...) jako '''běhovou proměnnou předávanou JVM''' při startu aplikačního serveru (Tomcat), parametr "-DCARMEN_HOME=C:\Carmen" pokud není nastaveno nic, jako výchozí se podle operačního systému zvolí "C:\Carmen" (Windows) nebo "/carmen" (Linux) Nastavení připojení databáze Upravit soubor CARMEN_HOME\user.properties (tj. specifikovat datový SQL server - server, port, název databáze, uživatele, heslo, ovladač a SQL dialekt) Společné db.logging=true db.password=mojeheslo db.username=uzivateldatabaze db.connectionproperties=parametrypripojeni (vice nize viz konkretni databaze) MySQL db.driver=com.mysql.jdbc.driver db.type=mysql db.url=jdbc:mysql://[server]:[port]/[database] db.connectionproperties=characterencoding=[cp1250 utf8...] hibernate.dialect=org.hibernate.dialect.mysql5innodbdialect MSSQL db.driver=com.microsoft.sqlserver.jdbc.sqlserverdriver db.type=mssql db.url=jdbc:sqlserver://[server]:[port];databasename\=[database] db.connectionproperties= hibernate.dialect=org.hibernate.dialect.sqlserverdialect Nastavení logování je možno vypnout v případě problémů: value="false" Upravit soubor CARMEN_HOME\user.properties db.logging=true V administraci Carmen lze nastavit dynamicky úroveň logování. Každá třída lze nastavit samostatně bez nutnosti restartovat tomcat. Administrace -> Logy log4j.logger.cz.effectiva.carmen=info log4j.logger.cz.effectiva.carmen.web.carmenwebapplicationcontext=error log4j.logger.cz.effectiva.carmen.service.indicesserviceimpl=info log4j.logger.cz.effectiva.carmen.web.messagebeanall=debug #log4j.logger.cz.effectiva.carmen.beans.readerbean=debug Například při problémech s přihlašováním zapneme DEBUG pro ReaderBean. Viz. poslední zakomentovaný řádek.

4 Ovladač k databázi Podle použité databáze je třeba do aplikačního serveru (Tomcat) doinstalovat JDBC ovladač pro připojení k databázi. Ovladač (JAR knihovna) je třeba zkopírovat do adresáře $TOMCAT_HOME/lib a RESTARTOVAT Tomcat Windows: C:\Program Files\Apache Software Foundation\Tomcat6\lib Linux: /usr/share/tomcat6/lib Pro MySQL - MySQL Connector Java (download viz google, příp. or/j/5.1.html) Komunikace ze serveru, kde je Carmen s IP adresou , která patří okresní knihovně v Táboře, na portu 8080 Pomocí webové služby je na uvedené adrese aktualizována obousměrně celostátní databáze hodnocených dokumentů, rating + slovní komentáře, všechny katalogy Carmen ji sdílejí. (Povolení je nezbytné, bez něj by nefungovalo zobrazení hodnocení jednotlivých dokumentů) s IP adresou , která patří Moravské zemské knihovně Brně, na portu 80 Pomocí HTTP protokolu je stahováno velké množstsví obálek dokumentů tzn. grafických souborů zejména JPG, které jsou poskytovány všem knihovnám jako služba (Povolení je nezbytné, bez něj by nefungovalo správně například zobrazení novinek v horním pásu) Může být ještě problém s tím, že se nezobrazují grafy statistik, používáme flash komponentu. Na firewallu knihovny je pravděpodobně filtr obsahu i odchozích stránek nebo něco podobného... Připojení k centrální části přes webové služby centrální část Carmen je společné místo, kam se ukládájí příspěvky, hodnocení a další společné části Upravit soubor CARMEN_HOME\user.properties jessica.url= Pro testovací prostředí je určena tato adresa jessica.url= Indexování Jedno dílo lze zaindexovat přes URL Přeskakování spojek Pro indexování textových částí je možno definovat spojky, které nemají být do indexu zahrnovány. Formát souboru musí odpovídat předpisu "každý řádek jedna spojka". Soubor je zde - CARMEN_HOME/'''Carmen\solr\core0\conf\stopwords.txt''', příklad: a i ale v s z Synonyma Mohou být rozdílná pro každou knihovnu (i když je více katalogů spuštěno na jednom serveru). Nachází se v domovském adresáři Carmen. CARMEN_HOME/'''Carmen\solr\core0\conf\synonyms.txt''' Na každém řádku se nachází nastavení pro jedno slovo ('''klíč''') jako oddělovač slouží '''=>'''. Za oddělovačem se nalézá synonymum pro klíč. Pokud máme více synonym k jednomu klíči máme více možností jak je definovat: každé synonymum ke klíči se vloží na nový řádek např.:

5 tady => zde zde => tady tady, zde => tady, zde nebo lze synonyma definovat na stejném řádku jako klíč. V tom případě pro oddělení synonym se jako oddělovač používá ''',''' (čárka) za kterou následuje mezera např.: Diakritika pro řešení vyhledávání diakritiky je v SearchFieldech možnost volby indexování s diakritikou či bez diakritiky. nejjednodušší přístup je v textových polích vybrat indexování s odstraněním diakritiky - v tomto případě ovšem nemá diakritika vliv na výsledné skore - relevanci vyhledaných výsledků. pokud je požadováno rozdílné skore pro vyhledávání s diakritikou či bez, je třeba vytvořit pro taková pole související dvojice. * např. k poli UF_200a s nastavením Odstraňována diakritika, Váha 100 vytvořit související pole UF_200a_DIAC Neodstraňována diakritika, Váha 200. * méně pracný postup, ovšem také méně učinný, je vytvoření pole UF_CONTENT_DIAC, které se indexuje včetně diakritiky a je pro všechna pole - nastavení ufields="*". Databáze V tabulce '''defweb''' musí být právě jedna řádka, kde v atributu '''webalias''' bude název webového katalogu (např. /Carmen). Tabulka '''linear''' - hodnoty v '''010a''' - ISBN nesmí za koncem ISBN obsahovat žádné mezery. Při vyhledávání podle ISBN pak nelze použít IN Criteria criteria = getsession().createcriteria(!indextitulitem.class); criteria.add(restrictions.eq("pole", "010a")); List<IndexTitulItem> result = criteria.list(); Session session = getsessionfactory().opensession(); for (!IndexTitulItem iti : result) { iti.sethodnota(iti.gethodnota().trim()); session.saveorupdate(iti); } session.close(); Do tabulky '''defdruhd''' je nutné přidat sloupec popis ALTER TABLE `schema`.`table` ADD COLUMN `popis` VARCHAR(1000) NOT NULL AFTER `id`; Pak naplnit tabulku libovolnými hodnotami - pro testování UPDATE `schema`.`table`, r SET popis=@rownum:=@rownum+1; V tabulce '''svazky''' ve sloupci '''datumvloz''' nesmí být hodnoty: * :00:00 (je nutné je nahradit za :00:00) * SELECT datumvloz FROM `schema`.`table` where datumvloz = ' :00:00'; * UPDATE `schema`.`table` SET datumvloz = ' :00:00' WHERE datumvloz = ' :00:00'; Aplikační server - Apache Tomcat Potřebuje pro běh aplikace min 1 GB RAM. Pro každý nasazovaný war soubor je třeba nastavit 96MB paměti na permgen, nejlépe 128MB. Pokud tedy nasazuji 3 war soubory, na permgen musím nastavit minimálně 288MB, nelépe 384MB. Pozor, tato paměť se ukrajuje z celkové paměti přidělené pro Tomcat. Pro správné fungování diakritiky je v konfiguračním souboru server.xml nastavit: URIEncoding="utf-8" v konfiguračním souboru je více connectorů - musí se nastavit ten správný:

6 <!-- A "Connector" represents an endpoint by which requests are received and responses are returned. Documentation at : Java HTTP Connector: /docs/config/http.html (blocking & non-blocking) Java AJP Connector: /docs/config/ajp.html APR (HTTP/AJP) Connector: /docs/apr.html Define a non-ssl HTTP/1.1 Connector on port > <Connector URIEncoding="utf-8" connectiontimeout="20000" port="8084" protocol="http/1.1" redirectport="8443"/> Zásady pro tvorbu překladů pro zvolený jazyk se musí vytvořit soubor s přesným názvem (ze závorky příslušného jazyka) soubor musí být vytvořen v kódování UTF-8 samotné vytvoření překladu (doporučujeme vycházet z již existujících překladů z jiného jazyka, pouze změnit hodnotu) každý jednotlivý překlad se umístňuje na nový řádek '''klíč'''='''hodnota''' '''klíč''' - nesmí se měnit, slouží k identifikaci překladu rovná se (=) - oddělovač mezi klíčem a hodnotou '''hodnota''' - překlad k danému klíči ve zvoleném jazyce Eliminace Robotů z Internetu V Administraci Carmen v menu Parametry vyhledávání - Nastavení IP adres když se zjistí, IP adresa nějakého robota který vyhledával v Carmen - tak se tam zadá jeho ip adresa nebo rozsah adres a pro další hledání se už nebude dělat pro tuto ip adresu statistika, jsou v databázi vygenerovaný nějaký defaultní roboti o kterých víme, ale v administraci je nezobrazujeme, protože je jich velmi mnoho, dá se tam zadat IP adrea a zjistit jestli je už mezi roboty nebo ne a pak se tam ještě dá zadat IP adresa o které víme, že to není robot, ale je to nějaká externí knihovna, pak se nastaví, že je povolena Naplánované úlohy Popis možností nastavení časování je na adrese: utorial-lesson-06 Lze nastavit například */10 pro každých deset sekund, nebo */15 pro každou čtvrthodinu apod. Změna spouštění reindexace místo v 4.00 ráno: job.solrreindexjob.cronexp=0 0 4 * *? tak v 1.00 ráno: job.solrreindexjob.cronexp=0 0 1 * *? změna se provádí v user.propertiesa je potřeba pak restartovat tomcat Interní katalog knihovny o přístup k rozlišení interního a veřejného katalogu se musí starat webový server např. Apache 2.X v tomto webovém serveru se nastaví možnost přístupu na základě IP adres do určitých katalogů Favicon - ikona ve webovém prohlížeči vedle url celé nastavení je v instalačním adresáři Tomcatu. nejprve je nutné do souboru /conf/web.xml přidat následující řádky: <mime-mapping> <extension>ico</extension> <mime-type>image/x-icon</mime-type> </mime-mapping>

7 pak zbývá do adresáře /webapps/root/ nahrát soubor favicon.ico pro jistotu je doporučeno restartovat tomcat Doporučená konfigurace Hardwarové nároky jsou závislé na velikosti fondu knihovny (počet svazků) a průměrném počtu uživatelů pracujících s webovým katalogem najednou. Zde uvádíme doporučenou konfiguraci. OS (Operační systém) Linux (Debian, Ubuntu a další po domluvě) Windows (2000 Server, 2003 Server, XP, Vista) RAM (Operační pamět) 2GB pro běh samotného webového katalogu (tedy bez databáze) CPU (Procesor) moderní 2jádro, např. Intel Core 2 Duo, 2Ghz HDD (Místo na disku) 10GB pro potřebné aplikační vybavení i datové soubory webového katalogu (tedy bez databáze) Servisní úkony spustitelné přes URL Carmen obsahuje několik speciálních URL adres, pomocí kterých lze spouštět některé úkony. Obvykle jde o jinak nedostupné servisní funkce. URL adresa servletu /reindex?id=12345 /indices-reindex /perf4j Akce Spustí reindexaci zadaného díla Spustí reindexaci rejstříků Zobrazí výkonové grafy Rezervace Nastavení předvybraných oddělení při rezervaci se nastavuje jako parametr defweb.bezne_rez. Chová se stejně jako jiné vazby na oddělení, tj. podporuje výčet vybraných oddělení a negativní formu (s "-"). Pokud je prázdné, vyberou se všechna oddělení. Známé problémy Naplánované úlohy nedobíhají do konce Je třeba zkontrolovat logy, ale pravděpodobně má Apache Tomcat přiděleno málo paměti a v průběhu úlohy mu pamět dojde - úloha pak spadne. řešením je přidat pamět případně snížit BATCH_SIZE v Administraci - Systém->Obecné->BATCH_SIZE_POPULARITY_EVALUATION, BATCH_SIZE_CREATE_INDICES, BATCH_SIZE_SOLR_INDEX, BATCH_SIZE_INDEX_DEPARTMENT MySQL klíčové slovo LINEAR Od verze MySQL 5.1 je LINEAR klíčovým slovem a Carmen s databází nejede. řešením je verze vyšší jak 5.0 nepoužívat pracujeme na "pluginu" do hibernate, který bude názvy tabulek vkládat do uvozovek - pak jsou SQL funkční i na verzích vyšších

8 Nefunkční diakritika vyhledávaných výrazů Vyhledávané výrazy jsou předávány v url, pro Tomcat je třeba mít nastavené správné encodování URI. Nastavení pro default connector: <Connector URIEncoding="UTF-8" port="8080" protocol="http/1.1" connectiontimeout="20000" redirectport="8443" /> Pokud je využíváno AJP, je třeba toto kodování nastavit i pro AJP connector: <Connector URIEncoding="UTF-8" port="8009" protocol="ajp/1.3" redirectport="8443" /> Špatná čeština zobrazovaná v mraku Nejhledanějších Katalog sice správně vyhledává češtinu včetně diakritiky, ale po nějaké době jsou v Nejhledanějších výrazech zobrazeny výrazy s otazníky místo českých znaků. Příčinou je špatné nastavení kódování (charset) spojení do databáze. Pro MySQL je třeba přidat do user.properties: db.connectionproperties=characterencoding=cp1250 Zahlcení databáze MySQL databáze neodpovídá, v process listu jsou dlouho trvající dotazy se stavem Converting HEAP to MyISAM je třeba zvednout # Maximum size for internal (in-memory) temporary tables. If a table # grows larger than this value, it is automatically converted to disk # based table This limitation is for a single table. There can be many # of them. tmp_table_size=205m # Maximum allowed size for a single HEAP (in memory) table. This option # is a protection against the accidential creation of a very large HEAP # table which could otherwise use up all memory resources. max_heap_table_size = 64M Výpadky databázového spojení Možné příčiny: nastavení síťové karty - povolení EEE (Energy-Efficient Ethernet) - je třeba toto nastavení vypnout Energy efficient Ethernet - nutno vyškrtnout Reduce link speed during standby - nutno vyškrtnout V českých windows je tam něco takového:

9 Nefunguje kombinované vyhledávání podle lokací Je nezbytné zkontrolovat definici lokací a příslušné svazky, že hodnota lokace je přesně stejná - stejná velikost písmen a také mezery před nebo za označením lokace. Zobrazuje se rozdílná dostupnost ve výpisu výsledků vyhledávání a v detailu díla Dostupnost v detailu díla se vždy vypočítává z aktuálních dat v databázi a je tedy vždy správná. Dostupnost ve výpisu výsledků vyhledávání je uložena ve vyhledávacím enginu SOLR a je aktualizována vždy při změně stavu díla a při celkové reindexaci každou noc. Při změně stavu díla v Claviu se zaznamená záznam do tabulky car_reindexs. Carmen tyto záznamy načítá každou minutu a zaznamenaná díla reindexuje. Pokud stav díla mezi výsledky vyhledávání a detailem není stejný došlo k chybě indexace do vyhledávacího enginu Náprava: Je třeba zkontrolovat, zda noční reindexace proběhla správně. Je třeba zkontrolovat tabulku car_reindexs, zda-li se zde nehromadí záznamy. Je třeba zkontrolovat logy, jestli v nich nejsou chyby. Nejjednodušší je spustit reindexaci celého fondu. Jednotlivá díla lze reindexovat i ručně pomocí URL: /reindex?id=12345 (Viz. Servisní úkony spustitelné přes URL) V Chromu při přepnutí katalogu do webové definice se zachová původní obsah Problém byl zaznamenán v knihovně Karviná na CentOS, Apache , Tomcat , JDK 1.8.0_66 s použitím mod_proxy_ajp.

10 Detailní popis problému: Řešení: Chrome posílá hlavičku Cache-Control:max-age=0, která není úplně univerzální ( /whats-the-difference-between-cache-control-max-age-0-and-no-cache) a pravděpodobně Tomcat odpoví, že se obsah nezměnil a použije se zastaralý obsah. Na Apache Proxy je třeba změnit hlavičky: Header set Cache-Control "max-age=0, no-cache, no-store, must-revalidate" Hlídací pes Carmen obsahuje tzv. hlídacího psa. Tato komponenta hlídá naplánované úlohy a pokud některá běží déle než 24 hodin, informuje obsluhu na nastavený v administraci komunikační kanály - příjemce informací o stavu.