Experimentální systém pro WEB IR
|
|
- Marian Pokorný
- před 8 lety
- Počet zobrazení:
Transkript
1 Experimentální systém pro WEB IR Jiří Vraný Školitel: Doc. RNDr. Pavel Satrapa PhD.
2 Problematika disertační práce velmi stručný úvod WEB IR information retrieval from WWW, vyhledávání na webu Vzhledem k množství informací na webu, vrací WWW vyhledávače na běžné dotazy statisíce možných výsledků. Ty je nutno nějak seřadit a předložit uživateli. Výzkum v oblasti získávání informací na webu, postupně vedl k vytvoření celé řady řešení modifikujícíh metody klasického IR, i zcela nových postupů. Nejznámnější publikované algoritmy PageRank, Hits, Salsa a další. V současnosti snaha o přizpůsobení výsledků konkrétnímu uživateli personalizace. V ideálním případě tak aby uživatel nemusel dělat nic navíc. Matematika v pozadí WWW stránky tvoří graf W. Řadu problémů lze tak převést na problémy z teorie grafů, teorie pravděpodobnosti a další. Většina personalizovaných algoritmů vychází z algorimtu PageRank. Hlavní otázky DP: Jak jsou tato řešení aplikovatelná na češtinu a česky psané stránky? Lze aplikací jiných přístupů k výpočtu dosáhnout reálné aplikovatelnosti algoritmů odsunutých na pole teorie pro jejich výpočetní náročnost?
3 Experimentální systém? Pro testování algoritmů je nutné mít k dispozici vyhledávací stroj a dostatečně velký podgraf grafu W. Požadavky: Efektivní získání a uložení podgrafu Možnost snadné modifikace řadících a indexačních algoritmů Jednoduché uživatelské rozhraní
4 Vlastní řešení nebo existující OpenSource? OS řešení existuje mnoho Např. Nutch + Lucene, Sherlock Holmes, Isearch, mnogosearch. Studium manuálů + implementace + nutnost pochopit cizí kód. Ne vždy je splněn druhý požadavek. Komplet vlastní řešení Proč po desáté vynalézat kolo? 100% kontrola nad kódem a algoritmy řada slepých uliček.
5 Výsledek = kombinace OpenSource: získání dat Heritrix úložiště MySQL Python nástroje BeatifulSoup, Cython a další. Vlastní řešení: middleware zpracování získaných dat do databáze, indexační server, rank server uživatelské rozhraní řazení výsledků, testování kvality
6 Schéma systému
7 Databáze Požadavky: Rychlé ukládání a vydávání dat Efektivní vyhledávání neúplných informací Možnost vytvářet další podgrafy Škálovatelnost, robustnost řešení
8 Model databáze
9 Middleware zpracování dat Python WebTextTools zpracovává WWW stránky uložené na pevném disku rekurzivní prohledávání zadaného adresáře čte data v ARC (Internet Archive) formátu načtená data parsuje a odstraňuje fatální chyby (chybějící titulky, nevalidní url aj.) veškeré texty konvertuje do UTF-8 zpracovaná data ukládá do databáze. z uložených dat ukládá incidenční matice web grafu a podgrafů ve formátech CSR (Numpy) a MPIAIJ (Petsc4py)
10 Middleware komunikace Pro komunikaci klient / server slouží TCP protokol, implementovaný pomocí modulu socket v Pythonu. Pro aplikační vrstvu byl navržen jednoduchý protokol obsahující základní instrukce pro: ukončení přenosu identifikaci jednotlivých dat fragmentace, typ
11 Middleware index server Na základě dotazu od klienta najde ID příslušných dokumentů, načte data z databáze a ty vrátí klientovi. Index je uložen v paměti pro 50 tisíc stránek má cca 100 MB Akutálně používaný index - inverzní index stránek - obsahuje ID dokumentů + váhu slova dle Saltonova vzorce.
12 Middleware index server Zpracování dotazu Index server používá zjednodušený Booleovský model s absolutní shodou. dotaz je rozdělen na n slov s každé slovo s i odpovídá příslušné množině dokumentů S i Výsledná množina dokumentů V je průnikem monžin S i pro i = 1..n
13 Middleware rank server Podobný index serveru, pouze používá jinou datovou strukturu Od klienta obdrží ID stránky na základě kterého vyhledá příslušný rank. Umožňuje hromadné zpracování více ID.
14 Uživatelské rozhraní WWW stránka generovaná z Pythonu pomocí Apache + mod_python Přijme dotaz od uživatele, komunikuje s index serverem a rank serverem, sestavuje výsledné pořadí stránek. Vyhodnocení experimentů umožňuje přepínat hodnotící funkci (utajeně) + vkládat zpětnou vazbu která hodnotící funkce je dle uživatele lepší.
15 Děkuji za pozornost. Dotazy?
Vývoj moderních technologií při vyhledávání. Patrik Plachý SEFIRA spol. s.r.o. plachy@sefira.cz
Vývoj moderních technologií při vyhledávání Patrik Plachý SEFIRA spol. s.r.o. plachy@sefira.cz INFORUM 2007: 13. konference o profesionálních informačních zdrojích Praha, 22. - 24.5. 2007 Abstrakt Vzhledem
VíceVzdělávací obsah vyučovacího předmětu
V.9.3. Vzdělávací obsah vyučovacího předmětu Vzdělávací oblast: Inormatika a informační a komunikační technologie Vyučovací předmět: Informatika Ročník: 1. ročník + kvinta chápe a používá základní termíny
VíceDigiDepot: JPEG 2000 jako ukládací formát
DigiDepot: JPEG 2000 jako ukládací formát Implementace JPEG 2000 jako ukládacího formátu v datovém úložišti DigiDepot - zkušenosti a výsledky Ing. Martin Hankovec, Státní oblastní archiv v Třeboni martin.hankovec@ceskearchivy.cz
VíceLoad Balancer. RNDr. Václav Petříček. Lukáš Hlůže Václav Nidrle Přemysl Volf Stanislav Živný
Load Balancer RNDr. Václav Petříček Lukáš Hlůže Václav Nidrle Přemysl Volf Stanislav Živný 1.4.2005 Co je Load Balancer Nástroj pro zvýšení výkonnosti serverů Virtuální server skrývající farmu skutečných
VíceSledování výkonu aplikací?
Sledování výkonu aplikací? FlowMon APM Pavel Minařík minarik@invea.com Problémy s výkonností aplikací Je příčina problému v síti nebo v aplikaci? Jedná se o pomalou odezvu aplikačního nebo databázového
VíceUAI/612 - Cloudová Řešení. Technologie
UAI/612 - Cloudová Řešení Technologie Rekapitulace Multitenance Bezestavovost Škálovatelnost Cachování Bezpečnost Způsoby nasazení Datová úložiště SQL databáze NoSQL databáze Cloudová datová úložiště (API)
VíceSRSW4IT Inventarizační SW. Prezentace aplikace. Vedoucí DP: ing. Lukáš Macura Autor: Bc. Petr Mrůzek
Prezentace aplikace Vedoucí DP: ing. Lukáš Macura Autor: Bc. Petr Mrůzek Osnova Úvod Programovací jazyk - PHP Etapy vývoje Funkce aplikace Co SW umí Na čem se pracuje Vize do budoucna Úvod Úvod Inspirováno
VíceUživatelská podpora v prostředí WWW
Uživatelská podpora v prostředí WWW Jiří Jelínek Katedra managementu informací Fakulta managementu Jindřichův Hradec Vysoká škola ekonomická Praha Úvod WWW obsáhlost obsahová i formátová pestrost dokumenty,
VíceFREEWAROVÉ ŘEŠENÍ DICOM SERVERU S NÍZKÝMI NÁROKY NA HARDWAROVÉ VYBAVENÍ
FREEWAROVÉ ŘEŠENÍ DICOM SERVERU S NÍZKÝMI NÁROKY NA HARDWAROVÉ VYBAVENÍ Daniel Smutek 1), Ludvík Tesař 2) 1) 3. interní klinika 1.LF UK a VFN, Praha 2) Ústav teorie informace a automatizace, Akademie věd
VíceVypracoval: Ing. Antonín POPELKA. Datum: 30. června 2005. Revize 01
Popis systému Revize 01 Založeno 1990 Vypracoval: Ing. Antonín POPELKA Datum: 30. června 2005 SYSTÉM FÁZOROVÝCH MĚŘENÍ FOTEL Systém FOTEL byl vyvinut pro zjišťování fázových poměrů mezi libovolnými body
VíceArchivace dat s využitím DÚ CESNET
České vysoké učení technické v Praze Fakulta elektrotechnická Katedra počítačové grafiky a interakce Zpráva k projektu 493/2013/1 Archivace dat s využitím DÚ CESNET Jan Kubr, Ondřej Votava Květen 2015
VíceAplikace je program určený pro uživatele. Aplikaci je možné rozdělit na části:
Aplikace Aplikace je program určený pro uživatele. Aplikaci je možné rozdělit na části: prezentační vrstva vstup dat, zobrazení výsledků, uživatelské rozhraní, logika uživatelského rozhraní aplikační vrstva
VíceSdílení a poskytování dat KN. Jiří Poláček
Sdílení a poskytování dat KN Jiří Poláček Přehled služeb Datové služby Výměnný formát (SPI, SGI) Skenované katastrální mapy Aplikace a webové služby Dálkový přístup do KN (včetně webových služeb) Nahlížení
VíceLekce 9 - Migrace dat
Lekce 9 - Migrace dat 1 Cíle lekce...1 2 Co je migrace dat?...1 3 Cíle migrace dat...1 4 Parametry migrace dat...1 5 Procesy migrace dat...2 6 Projekt migrace dat...3 7 Zařazení projektu migrace do projektu
VíceKritéria hodnocení praktické maturitní zkoušky z databázových systémů
Kritéria hodnocení praktické maturitní zkoušky z databázových systémů Otázka č. 1 Datový model 1. Správně navržený ERD model dle zadání max. 40 bodů teoretické znalosti konceptuálního modelování správné
VíceInformatikaaVT(1) Cílem předmětu je: Žáci:
InformatikaaVT(1) Cílem předmětu je: seznámení žáků se základními pojmy informatiky a VT poskytnutí teoretických znalostí a praktických dovedností nezbytných při práci s informacemi azařízeními VT Žáci:
VíceDatabázové a informační systémy
Databázové a informační systémy doc. Ing. Miroslav Beneš, Ph.D. katedra informatiky FEI VŠB-TUO A-1007 / 597 324 213 http://www.cs.vsb.cz/benes Miroslav.Benes@vsb.cz Obsah Jak ukládat a efektivně zpracovávat
VíceProjekt č. TA02030435
Projekt č. TA02030435 Technická podpora a metody pro ověřování interoperability odbavovacích a informačních systémů ve veřejné dopravě Funkční vzorek SW platformy pro ověřování datových rozhraní IS ve
VíceGTL GENERATOR NÁSTROJ PRO GENEROVÁNÍ OBJEKTŮ OBJEKTY PRO INFORMATICA POWERCENTER. váš partner na cestě od dat k informacím
GTL GENERATOR NÁSTROJ PRO GENEROVÁNÍ OBJEKTŮ OBJEKTY PRO INFORMATICA POWERCENTER váš partner na cestě od dat k informacím globtech spol. s r.o. karlovo náměstí 17 c, praha 2 tel.: +420 221 986 390 info@globtech.cz
VíceVyhledávač datových referencí. Dokumentace
Dokumentace goshoom 18.8.2010 OBSAH Obsah... 1 Základní informace... 2 Podporované verze Microsoft Dynamics AX... 2 Podporované jazyky... 2 Instalace... 3 Uživatelská příručka... 4 Jak používat Vyhledávač
Vícewebových zdrojů Mgr. Jan HUTAŘ Bc.. Lukáš JKA Mgr. Ludmila CELBOVÁ http://www.webarchiv.cz
Vyhledávání v archivu českých webových zdrojů Mgr. Jan HUTAŘ Bc.. Lukáš MATĚJKA JKA Mgr. Ludmila CELBOVÁ Proč vznikl WebArchiv? archivace elektronických online zdrojů je celosvětovým trendem Potřeba zachránit
VíceKritéria hodnocení praktické maturitní zkoušky z databázových systémů
Kritéria hodnocení praktické maturitní zkoušky z databázových systémů Otázka č. 1 Datový model 1. Správně navržený ERD model dle zadání max. 40 bodů teoretické znalosti konceptuálního modelování správné
VíceDobrý SHOP Popis produktu a jeho rozšíření
Dobrý SHOP Popis produktu a jeho rozšíření 501M012.N01 11/11/2011 www.dlaex.cz info@dlaex.cz OBSAH 1 Úvod...3 2 Účel produktu...3 3 Vlastnosti produktu...3 3.1 Koncepce...3 3.2 Základní y...3 3.3 Doplňkové
VíceUkládání a vyhledávání XML dat
XML teorie a praxe značkovacích jazyků (4IZ238) Jirka Kosek Poslední modifikace: $Date: 2014/12/04 19:41:24 $ Obsah Ukládání XML dokumentů... 3 Ukládání XML do souborů... 4 Nativní XML databáze... 5 Ukládání
VícePoužití databází na Webu
4IZ228 tvorba webových stránek a aplikací Jirka Kosek Poslední modifikace: $Date: 2010/11/18 11:33:52 $ Obsah Co nás čeká... 3 Architektura webových databázových aplikací... 4 K čemu se používají databázové
VíceStřední odborná škola a Střední odborné učiliště, Hořovice
Kód DUM : VY_32_INOVACE_DYN.1.18 Název materiálu: Anotace Autor Jazyk Očekávaný výstup 18 PHP- Základy práce s databází PHP - MySQL DUM naučí žáky postupu při vytvoření, připojení databáze a vytvoření
Vícepro komplexní řešení agendy neziskových organizací se zaměřením na sociální služby zdravotně postiženým NABÍDKOVÝ LIST
pro komplexní řešení agendy neziskových organizací se zaměřením na sociální služby zdravotně postiženým NABÍDKOVÝ LIST Nabídkový list informačního systému modularis Informační systém modularis je typickým
VíceMBI - technologická realizace modelu
MBI - technologická realizace modelu 22.1.2015 MBI, Management byznys informatiky Snímek 1 Agenda Technická realizace portálu MBI. Cíle a principy technického řešení. 1.Obsah portálu - objekty v hierarchiích,
VíceKnihovna SBUS. Implementace neúplných protokolů S-BUS pro stanici server, paritní a datový mód
Knihovna SBUS Implementace neúplných protokolů S-BUS pro stanici server, paritní a datový mód Verze 3.07/2007 Změny ve verzích Verze 3.05-9.10.2006 Doplnění timeoutu při vysílání na sériovém kanálu. Mohlo
VícePROVÁZÁNÍ ECM/DMS DO INFORMAČNÍCH SYSTÉMŮ STÁTNÍ A VEŘEJNÉ SPRÁVY
PROVÁZÁNÍ ECM/DMS DO INFORMAČNÍCH SYSTÉMŮ STÁTNÍ A VEŘEJNÉ SPRÁVY SYSCOM SOFTWARE Firma vznikla vroce 1994. Zaměřuje se na dodávky komplexních služeb voblasti informačních technologií. Orientuje se zejména
VíceSeminář pro vedoucí knihoven a SVI ústavů AV ČR
Seminář pro vedoucí knihoven a SVI ústavů AV ČR ASEP bibliografická databáze - online katalog, analytika ASEP repozitář pro plné texty výsledků datový repozitář ASEP bibliografická databáze, repozitář
VíceAutorizovaný software DRUM LK 3D SOFTWARE PRO VYHODNOCENÍ MĚŘENÍ ODCHYLEK HÁZIVOSTI BUBNOVÝCH ROTAČNÍCH SOUČÁSTÍ
Autorizovaný software DRUM LK 3D SOFTWARE PRO VYHODNOCENÍ MĚŘENÍ ODCHYLEK HÁZIVOSTI BUBNOVÝCH ROTAČNÍCH SOUČÁSTÍ Ing. Michal Švantner, Ph.D. Doc. Ing. Milan Honner, Ph.D. 1/10 Anotace Popisuje se software,
VíceDobrý CMS Popis produktu a jeho rozšíření
Dobrý CMS Popis produktu a jeho rozšíření 503M012.N01 11/09/2012 www.dlaex.cz info@dlaex.cz OBSAH 1 Úvod...3 2 Účel produktu...3 3 Vlastnosti produktu...3 3.1 Koncepce...3 3.2 Základní y...3 3.3 Doplňkové
VícePHP framework Nette. Kapitola 1. 1.1 Úvod. 1.2 Architektura Nette
Kapitola 1 PHP framework Nette 1.1 Úvod Zkratka PHP (z anglického PHP: Hypertext Preprocessor) označuje populární skriptovací jazyk primárně navržený pro vývoj webových aplikací. Jeho oblíbenost vyplývá
VíceMicrosoft Office. Excel vyhledávací funkce
Microsoft Office Excel vyhledávací funkce Karel Dvořák 2011 Vyhledávání v tabulkách Vzhledem ke skutečnosti, že Excel je na mnoha pracovištích používán i jako nástroj pro správu jednoduchých databází,
VíceElektronická podpora výuky předmětu Komprese dat
Elektronická podpora výuky předmětu Komprese dat Vojtěch Ouška ouskav1@fel.cvut.cz 19. června 2006 Vojtěch Ouška Elektronická podpora výuky předmětu Komprese dat - 1 /15 Co je to SyVyKod? SyVyKod = Systém
VícePetr Nevrlý <petr.nevrly@firma.seznam.cz>
Fulltextové vyhledávání Petr Nevrlý Obsah přednášky Cíl vyhledávání Architektura Vyhledávání Robot Údaje z provozu Cíl fulltextového vyhledávání Poskytnutí odpovědi na dotaz
VíceDATABÁZE MS ACCESS 2010
DATABÁZE MS ACCESS 2010 KAPITOLA 5 PRAKTICKÁ ČÁST TABULKY POPIS PROSTŘEDÍ Spuštění MS Access nadefinovat název databáze a cestu k uložení databáze POPIS PROSTŘEDÍ Nahoře záložky: Soubor (k uložení souboru,
VíceDatabáze. Velmi stručný a zjednodušený úvod do problematiky databází pro programátory v Pythonu. Bedřich Košata
Databáze Velmi stručný a zjednodušený úvod do problematiky databází pro programátory v Pythonu Bedřich Košata K čemu jsou databáze Ukládání dat ve strukturované podobě Možnost ukládat velké množství dat
VíceMaturitní projekt do IVT Pavel Doleček
Maturitní projekt do IVT Pavel Doleček CO FILMBOOK JE Filmbook je uzavřená webová aplikace pro celkovou správu informací a dat souvisejících se sledováním filmů. Primárně je zaměřen na uchovávání a spravování
VíceProjekt informačního systému pro Eklektik PRO S EK. Řešitel: Karolína Kučerová
Projekt informačního systému pro Eklektik PRO S EK Řešitel: ÚVODNÍ ZPRÁVA ZADÁNÍ PROJEKTU Zefektivnění komunikace ve firmě Eklektik, a to především v oblasti informací o klientech a o tištěných materiálech
VíceUDS for ELO. Univerzální datové rozhraní. >> UDS - Universal Data Source
Univerzální datové rozhraní UDS for ELO UDS pro ELO je univerzální datové rozhraní, schopné napojit systém pro archivaci a správu dokumentů ELO na libovolný datový zdroj a to bez nutnosti programování.
VíceMěření teploty, tlaku a vlhkosti vzduchu s přenosem dat přes internet a zobrazování na WEB stránce
ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE Fakulta elektrotechnická Katedra mikroelektroniky Měření teploty, tlaku a vlhkosti vzduchu s přenosem dat přes internet a zobrazování na WEB stránce Zadání Stávající
VíceRegistrační číslo projektu: CZ.1.07/1.5.00/34.0553 Elektronická podpora zkvalitnění výuky CZ.1.07 Vzděláním pro konkurenceschopnost
Registrační číslo projektu: CZ.1.07/1.5.00/34.0553 CZ.1.07 Vzděláním pro konkurenceschopnost Projekt je realizován v rámci Operačního programu Vzdělávání pro konkurence schopnost, který je spolufinancován
VíceINFORMAČNÍ SYSTÉM VIDIUM A VYUŽITÍ MODERNÍCH TECHNOLOGIÍ
INFORMAČNÍ SYSTÉM VIDIUM A VYUŽITÍ MODERNÍCH TECHNOLOGIÍ Michal Brožek, Dominik Svěch, Jaroslav Štefaník MEDIUM SOFT a.s., Cihelní 14, 702 00 Ostrava, ČR Abstrakt Neustále rostoucí význam sběru dat, možnost
VíceNovinky v ASEPu a zkušenosti s vkládáním plných textů
Novinky v ASEPu a zkušenosti s vkládáním plných textů Jana Doleželová Knihovna AV ČR, v. v. i. Seminář pro pracovníky knihoven a SVI ústavů AV ČR Praha, 17. 6. 2013 Nová interní směrnice č. 4 / 2013 Tvorba
VíceRadioBase 3 Databázový subsystém pro správu dat vysílačů plošného pokrytí
Databázový subsystém pro správu dat vysílačů plošného pokrytí RadioBase je datový subsystém pro ukládání a správu dat vysílačů plošného pokrytí zejména pro služby analogové a digitální televize a rozhlasu.
VícePARAMETRY EFEKTIVITY UČENÍ SE ŽÁKA V PROSTŘEDÍ E-LEARNINGU SE ZAMĚŘENÍM NA ADAPTIVNÍ VÝUKOVÉ MATERIÁLY
PARAMETRY EFEKTIVITY UČENÍ SE ŽÁKA V PROSTŘEDÍ E-LEARNINGU SE ZAMĚŘENÍM NA ADAPTIVNÍ VÝUKOVÉ MATERIÁLY Kateřina Kostolányová Ostravská univerzita v Ostravě 1 Podpořeno projektem ESF OP VK CZ.1.07/2.3.00/09.0019
VíceAnalýza a prezentace dat
2015 Analýza a prezentace dat rozsah: 2 dny (10 hodin) Mgr. Jiří Číhař www.dataspectrum.cz Analýza a prezentace dat Formátování buněk Nastavení vhodného formátu čísla Vytváření vlastních formátovacích
VíceProfilová část maturitní zkoušky 2013/2014
Střední průmyslová škola, Přerov, Havlíčkova 2 751 52 Přerov Profilová část maturitní zkoušky 2013/2014 TEMATICKÉ OKRUHY A HODNOTÍCÍ KRITÉRIA Studijní obor: 78-42-M/01 Technické lyceum Předmět: TECHNIKA
VíceVÝPOČETNÍ TECHNIKA OBOR: EKONOMIKA A PODNIKÁNÍ ZAMĚŘENÍ: PODNIKÁNÍ FORMA: DENNÍ STUDIUM
VÝPOČETNÍ TECHNIKA OBOR: EKONOMIKA A PODNIKÁNÍ ZAMĚŘENÍ: PODNIKÁNÍ FORMA: DENNÍ STUDIUM 1. Historie a vývoj VT. Dnešní parametry PC. Von Neumannovo schéma. a. historie a vznik počítačů b. využití počítačů
VíceStudent si po a 1. ročníku podle svého osobního zaměření volí kurzy (předměty).
Aplikovaná informatika Akreditováno do: 31.10.2013 Délka studia: 3 roky Forma studia: Prezenční studium Předpokládaný počet studentů nastupujících do 1. ročníku: 60 Přijímací zkouška: bez přijímacích zkoušek
VíceMARIE PACS S PACSem hezky od podlahy když se data sypou!
MARIE PACS S PACSem hezky od podlahy když se data sypou! Telemedicína, Brno, 3. března 2014 RNDr. Milan Pilný MARIE PACS Je to systém pro práci s obrazovými DICOM daty v medicíně. Je klasifikován jako
VíceO Apache Derby detailněji. Hynek Mlnařík
O Apache Derby detailněji Hynek Mlnařík Agenda Historie Vlastnosti Architektura Budoucnost Historie 1997 Cloudscape Inc. - JBMS 1999 Informix Software, Inc. odkoupila Cloudscape, Inc. 2001 IBM odkoupila
VíceDatová věda (Data Science) akademický navazující magisterský program
Datová věda () akademický navazující magisterský program Reaguje na potřebu, kterou vyvolala rychle rostoucí produkce komplexních, obvykle rozsáhlých dat ve vědě, v průmyslu a obecně v hospodářských činnostech.
VíceStředoškolská technika SCI-Lab
Středoškolská technika 2016 Setkání a prezentace prací středoškolských studentů na ČVUT SCI-Lab Kamil Mudruňka Gymnázium Dašická 1083 Dašická 1083, Pardubice O projektu SCI-Lab je program napsaný v jazyce
VíceSpark SQL, Spark Streaming. Jan Hučín
Spark SQL, Spark Streaming Jan Hučín 22. listopadu 2017 Osnova 1. Spark SQL 2. Další rozšíření Sparku Spark streaming GraphX Spark ML 2 Spark SQL Spark SQL a DataFrames (DataSets) Rozšíření k tradičnímu
VíceNSS - Cache 5. LECTURE MARTIN TOMASEK
NSS - Cache 5. LECTURE MARTIN TOMASEK Cache mechanismus 1. Lze využít k: 1. Optimalizaci výkonu systému 2. Snížení náročností jednotlivých operací 3. Snížení náročností na jednotlivé vrstvy 4. Mitigaci
VíceRD.CZ : EVIDENCE DIGITALIZOVANÝCH DOKUMENTŮ A SLEDOVÁNÍ PROCESU ZPRACOVÁNÍ
RD.CZ : EVIDENCE DIGITALIZOVANÝCH DOKUMENTŮ A SLEDOVÁNÍ PROCESU ZPRACOVÁNÍ Pavel Kocourek, Incad Praha Přestože mnohé knihovny v České republice digitalizují své dokumenty a další se na to chystají, neprobíhá
VíceODBORNÝ VÝCVIK VE 3. TISÍCILETÍ. MEIV - 2.3.1.1 Windows server 2003 (seznámení s nasazením a použitím)
Object 12 3 Projekt: ODBORNÝ VÝCVIK VE 3. TISÍCILETÍ Téma: MEIV - 2.3.1.1 Windows server 2003 (seznámení s nasazením a použitím) Obor: Mechanik Elektronik Ročník: 4. Zpracoval(a): Bc. Martin Fojtík Střední
Vícerychlý vývoj webových aplikací nezávislých na platformě Jiří Kosek
rychlý vývoj webových aplikací nezávislých na platformě Jiří Kosek Co je to webová aplikace? příklady virtuální obchodní dům intranetový IS podniku vyhledávací služby aplikace jako každá jiná přístupná
VíceGeografické informační systémy p. 1
Geografické informační systémy Slajdy pro předmět GIS Martin Hrubý hrubym @ fit.vutbr.cz Vysoké učení technické v Brně Fakulta informačních technologií, Božetěchova 2, 61266 Brno akademický rok 2004/05
VíceInternetové vyhledávače
Internetové vyhledávače Co je internetový vyhledávač služba, která umožňuje na Internetu najít webové stránky, které obsahují požadované informace uživatel zadává do rozhraní vyhledávače klíčová slova,
VíceSpark SQL, Spark Streaming. Jan Hučín
Spark SQL, Spark Streaming Jan Hučín 21. listopadu 2018 Osnova 1. Spark SQL 2. Další rozšíření Sparku Spark streaming GraphX Spark ML 2 Spark SQL Spark SQL a DataFrames (DataSets) Rozšíření k tradičnímu
VíceProces vývoje HRIS Vema (Human Resources Information System) Jaroslav Šmarda
Proces vývoje HRIS Vema (Human Resources Information System) Jaroslav Šmarda Proces vývoje HRIS Vema Vlastnosti HRIS (Human Resources Information System) HRIS Vema Proces vývoje HRIS Vema Vema, a. s. Přední
VíceKapitola 1: Úvod. Systém pro správu databáze (Database Management Systém DBMS) Účel databázových systémů
- 1.1 - Kapitola 1: Úvod Účel databázových systémů Pohled na data Modely dat Jazyk pro definici dat (Data Definition Language; DDL) Jazyk pro manipulaci s daty (Data Manipulation Language; DML) Správa
VíceInformační systém katastru nemovitostí - nové funkce a služby - ISSS 2007 Hradec Králové, 2. a 3. dubna 2007
Informační systém katastru nemovitostí - nové funkce a služby - ISSS 2007 Hradec Králové, 2. a 3. dubna 2007 ČÚZK Ing. Milan Vaněček, Ing. Jitka Rubešová, Ing. Ivana Valdová Obsah Rozší šíření spolupráce
VíceAnalýza a Návrh. Analýza
Analysis & Design Návrh nebo Design? Design = návrh Není vytváření použitelného uživatelského prostředí (pouze malinká podmnožina celého návrhu) Často takto omezeně chápáno studenty nedokáží si představit,
Více1 Webový server, instalace PHP a MySQL 13
Úvod 11 1 Webový server, instalace PHP a MySQL 13 Princip funkce webové aplikace 13 PHP 14 Principy tvorby a správy webového serveru a vývojářského počítače 14 Co je nezbytné k instalaci místního vývojářského
VíceRoční periodická zpráva projektu
WAK-1F44C-2005-2 WAK System Název projektu: Automatizovaná výměna dat mezi informačními systémy krizového řízení v dopravě s jednotným univerzálním a implementovaným rozhraním založeným na standardu webových
VíceVytvořen. ení genetické databanky vybraných druhů savců ČR ití pro udržitelný rozvoj dopravy. Tomáš. Libosvár
Vytvořen ení genetické databanky vybraných druhů savců ČR k využit ití pro udržitelný rozvoj dopravy Tomáš Libosvár TA02031259 Vytvořen ení genetické databanky vybraných druhů savců ČR k využit ití pro
VíceZákladní informace: vysoce komfortnímu prostředí je možné se systémem CP Recorder efektivně pracovat prakticky okamžitě po krátké zaškolení.
Základní informace: CP Recorder je v Čechách vyvíjený systém pro sofistikované zaznamenávání telefonních hovorů. V prvé řadě je určen pro optimalizaci služeb, které poskytují u nás stále více populární
VíceWebové rozhraní pro datové úložiště. Obhajoba bakalářské práce Radek Šipka, jaro 2009
Webové rozhraní pro datové úložiště Obhajoba bakalářské práce Radek Šipka, jaro 2009 Úvod Cílem práce bylo reimplementovat stávající webové rozhraní datového úložiště MU. Obsah prezentace Úložiště nasazené
VíceRozšíření infrastruktury projektu Pikater Specifikace softwarového projektu
Rozšíření infrastruktury projektu Pikater Specifikace softwarového projektu Datum ukončení: září 2014 Vedoucí projektu: Mgr. Martin Pilát, Ph.D. Řešitelé: Štěpán Balcar Jiří Smolík Jan Krajíček Peter Šípoš
VíceÚSTAV FYZIKÁLNÍ BIOLOGIE JIHOČESKÁ UNIVERZITA V ČESKÝCH BUDĚJOVICÍCH
Projekt ÚSTAV FYZIKÁLNÍ BIOLOGIE JIHOČESKÁ UNIVERZITA V ČESKÝCH BUDĚJOVICÍCH PŘIHLÁŠKA STUDENTSKÉHO PROJEKTU Název projektu: Návrh a implementace procesu zpracování dat, formát MzXML Uchazeč Hlavní řešitel
VíceTECHNICKÉ POŽADAVKY NA NÁVRH, IMPLEMENTACI, PROVOZ, ÚDRŽBU A ROZVOJ INFORMAČNÍHO SYSTÉMU
zadávací dokumentace TECHNICKÉ POŽADAVKY NA NÁVRH, IMPLEMENTACI, PROVOZ, ÚDRŽBU A ROZVOJ INFORMAČNÍHO SYSTÉMU Stránka 1 z 6 Obsah 1. Specifikace požadavků webové stránky... 4 2. Specifikace technických
VíceVrstvy programového vybavení Klasifikace Systémové prostředky, ostatní SW Pořizování Využití
Programové prostředky PC - 5 Informatika 2 Přednáší: doc. Ing. Jan Skrbek, Dr. - KIN Přednášky: středa 14 20 15 55 Spojení: e-mail: jan.skrbek@tul.cz 16 10 17 45 tel.: 48 535 2442 Obsah: Vrstvy programového
VíceVybraná zajímavá Lotus Notes řešení použitelná i ve vašich aplikacích. David Marko TCL DigiTrade - 29.5.2014
Vybraná zajímavá Lotus Notes řešení použitelná i ve vašich aplikacích David Marko TCL DigiTrade - 29.5.2014 Xpages a napojení na SQL data Přístup na SQL tabulky a nebo uložené procedury (stored procedures
VíceGeis Point Plugin Map
Str. 1/5 Geis Point Plugin Map Rozhraní pro vložení výdejního místa do objednávky na e-shopu Str. 2/5 Obsah 1. Co je Geis Point Plugin Map?... 3 2. Jak to funguje?... 3 3. Obecný postup nasazení... 3 4.
VíceVyvinuté programové vybavení (projekt čís. TA02030806)
Vyvinuté programové vybavení (projekt čís. TA02030806) 1.část programů Předzpracování dat Program sloužící k vytvoření Digitálního modelu reliéfu, povrchu a bezpečnostní hladiny, do formátu grid, s konstantním
Více7. října 2008, Systémy pro zpřístupňování evškp 2008. Miroslav Křipač Michal Brandejs, Jitka Brandejsová, Jan Kasprzak, Martin Stančík
7. října 2008, Systémy pro zpřístupňování evškp 2008 Miroslav Křipač Michal Brandejs, Jitka Brandejsová, Jan Kasprzak, Martin Stančík Masarykova univerzita Národní registr VŠKP a systém na odhalování plagiátů
VíceZaměření Webové inženýrství doc. Ing. Tomáš Vitvar, Ph.D. Katedra softwarového inženýrství Fakulta informačních technologií České vysovké učení technické v Praze Den otevřených dveří 20.2.2014 http://www.fit.cvut.cz
VíceInovace bakalářského studijního oboru Aplikovaná chemie
Inovace bakalářského studijního oboru Aplikovaná chemie http://aplchem.upol.cz CZ.1.07/2.2.00/15.0247 Tento projekt je spolufinancován Evropským sociálním fondem a státním rozpočtem Českérepubliky. Internet
VíceElektronická komunikace s CSÚIS. Jak to řeší Fenix
Elektronická komunikace s CSÚIS Jak to řeší Fenix Asseco Solutions a veřejná správa Informační systém Fenix Balík aplikací pro státní správu a samosprávu Více než 15 let zkušeností Více než 2000 instalací
VíceTřídy a objekty. Třídy a objekty. Vytvoření instance třídy. Přístup k atributům a metodám objektu. $z = new Zlomek(3, 5);
Programovací jazyk PHP doc. Ing. Miroslav Beneš, Ph.D. katedra informatiky FEI VŠB-TUO A-1007 / 597 324 213 http://www.cs.vsb.cz/benes Miroslav.Benes@vsb.cz Obsah Třídy a objekty Výjimky Webové aplikace
VíceMatematika v programovacích
Matematika v programovacích jazycích Pavla Kabelíková am.vsb.cz/kabelikova pavla.kabelikova@vsb.cz Úvodní diskuze Otázky: Jaké programovací jazyky znáte? S jakými programovacími jazyky jste již pracovali?
VícePlatební systém XPAY [www.xpay.cz]
Platební systém XPAY [www.xpay.cz] implementace přenosu informace o doručení SMS verze 166 / 1.3.2012 1 Obsah 1 Implementace platebního systému 3 1.1 Nároky platebního systému na klienta 3 1.2 Komunikace
Více5.15 INFORMATIKA A VÝPOČETNÍ TECHNIKA
5.15 INFORMATIKA A VÝPOČETNÍ TECHNIKA 5. 15. 1 Charakteristika předmětu A. Obsahové vymezení: IVT se na naší škole vyučuje od tercie, kdy je cílem zvládnutí základů hardwaru, softwaru a operačního systému,
VíceREGISTR CITES VE STÁTNÍ SPRÁVĚ. Duben 2009
REGISTR CITES VE STÁTNÍ SPRÁVĚ Duben 2009 Co je CITES? Úmluva o mezinárodním obchodu ohroženými druhy volně žijících živočichů a planě rostoucích rostlin Podepsána v r. 1973 ve Washingtonu, zahrnuje v
VíceModerní privátní cloud pro město na platformě OpenStack a Kubernetes
Moderní privátní cloud pro město na platformě OpenStack a Kubernetes Agenda O TCP Produkt TCP CityCloud K čemu slouží Z čeho se skládá Reálné nasazení pro město Strakonice Projekt Bezpečnost infrastruktury
VíceVYUŽITÍ REGISTRU CITES V MEZINÁRODNÍ OCHRANĚ BIODIVERZITY
VYUŽITÍ REGISTRU CITES V MEZINÁRODNÍ OCHRANĚ BIODIVERZITY RNDr. Ondřej Klouček Ph.D. Ministerstvo životního prostředí Ondrej.Kloucek@mzp.cz www.mzp.cz/cites Co je CITES? Úmluva o mezinárodním obchodu ohroženými
VíceIB111 Programování a algoritmizace. Programovací jazyky
IB111 Programování a algoritmizace Programovací jazyky Programovací jazyky Programovací jazyk Prostředek pro zápis algoritmů, jež mohou být provedeny na počítači Program Zápis algoritmu v programovacím
Víceedu-learning Výukový program přímo v aplikacích Microsoft Offi ce Word, Excel a PowerPoint
edu-learning Výukový program přímo v aplikacích Microsoft Offi ce Word, Excel a PowerPoint w w w. e d u - l e a r n i n g. c z Konfucius* řekl: Co slyším, to zapomenu. Co vidím, si pamatuji. Co si vyzkouším,
VícePRODUKTY Tovek Server 6
Tovek Server je serverová aplikace určená pro efektivní zpracování velkého objemu sdílených strukturovaných i nestrukturovaných dat. Umožňuje automaticky indexovat data z různých informačních zdrojů, intuitivně
VícePRVNÍ ELASTICKÝ INFORMAČNÍ SYSTÉM : QI
PRVNÍ ELASTICKÝ INFORMAČNÍ SYSTÉM : QI Cyril Klimeš a) Jan Melzer b) a) Ostravská univerzita, katedra informatiky a počítačů, 30. dubna 22, 701 03 Ostrava, ČR E-mail: cyril.klimes@osu.cz b) DC Concept
VíceIng. Přemysl Brada, MSc., Ph.D. Ing. Martin Dostal. Katedra informatiky a výpočetní techniky, FAV, ZČU v Plzni
Webové aplikace Ing. Přemysl Brada, MSc., Ph.D. Ing. Martin Dostal Katedra informatiky a výpočetní techniky, FAV, ZČU v Plzni Harmonogram Dopolední blok 9:00 12:30 Ing. Dostal Úvod, XHTML + CSS Ing. Brada,
VíceProduktový list Zboží.cz. PPC reklama Internetová reklama placená za proklik
Produktový list Zboží.cz PPC reklama Internetová reklama placená za proklik O službě Zboží.cz je služba zaměřená na vyhledávání zboží importovaného z řádně registrovaných internetových obchodů na Zboží.cz.
VíceEXCELentní tipy a triky pro mírně pokročilé. Martina Litschmannová
EXCELentní tipy a triky pro mírně pokročilé Martina Litschmannová Obsah semináře definování názvu dynamicky měněné oblasti, kontingenční tabulky úvod, kontingenční tabulky násobné oblasti sloučení, převod
VíceŠKOLENÍ MS OFFICE na rok 2010
ŠKOLENÍ MS OFFICE na rok 2010 1/ Školení Word 2007 základní: - Psaní textu a změna písma - Ukládání a otevírání souborů - Kopírování, vyjmutí a vkládání textu - Způsoby zobrazení dokumentu a znaků - Vkládání
Vícel Kontakt s klientem SSP Popis automatizované komunikace s ÚP ČR v součinnosti a exekuci
l Kontakt s klientem SSP automatizované komunikace s ÚP ČR v součinnosti a exekuci Obsah: 1. SEZNAM POUŽITÝCH ZKRATEK... 3 2. POPIS SLUŽBY... 4 2.1 Forma a struktura rozhraní... 4 2.2 Dostupnost služby...
Více