Statistický software - význam pro výuku a analýzu dat v akademickém prostředí Ing. Václav Adamec, Ph.D. Ústav statistiky a operačního výzkumu MZLU Brno
Obsah Výpočetní technika a vzdělání Výuka statistiky v USA Statistický software ve výuce a výzkumu Přehled a charakteristiky titulů softwaru Komerční Volně šířitelný Faktory výběru akademického softwaru
IT a vzdělání IT - faktor ekonomického růstu Tlak zaměstnavatelů, vlády, na IT gramotnost Veřejné statistiky zaměstnanosti, nástupní platy Návratnost finanční, časové investice do studia Práce s IT do sylabů, vzdělávacího procesu Požadavek vlastnit PC při vstupu na universitu Aktivní využívání internetu, e-mailu, diskus. skupin E - komunikace s universitou, knihovnou Akademický software
Trendy ve výuce statistiky Statistika méně oblíbená, avšak potřebná Důraz na domácí práci, praktické projekty, eseje Přednášky, cvičení sjednoceny. Bez zápočtů, indexu Zkoušení skupinové, písemné Multiplicita informací pro známku - 3 písemné práce (vč. závěrečné) - týdenní quizy - 8-10 domácích úkolů - semestrální projekt (písemná část, obhajoba) Klasifikace studentů ukončena do 7 dnů
Cíle ve výuce statistiky Zvládnutí matematického základu Výuka pomocí maticové algebry, SW, tužka a papír Estimabilita, absorbce, parametrizace, kolinearita Sestavení a analýza vědeckého experimentu Definice vědecké hypotézy Design experimentu, n, polní vs. experimentální data Sběr dat, popisné charakteristiky, čištění dat Hlavní testy, závěry pro vědní disciplinu Schopnost napsat zprávu, esej Statistické konzultace
Statistický software Interaktivně nabídkový Pro obecné, jednoduché analýzy Flexibilita určena nabídkou Princip černé skříňky Programové okno Vlastní nebo integrovaný zdrojový kód Komputační flexibilita agregace více aplikací Znalost matematického principu, programování Pro specializovaný, teoretický výzkum Kombinovaný
Statistický software pokračování Komerční Většinou nabídkový Testována numerická přesnost Právní garance Požadavky majoritního uživatele Různý poměr funkčnosti a ceny Volně šířitelný Na bázi Linux, Unix i Windows Software bez záruky Rychlejší vývoj, flexibilita, menší pohodlí Neovlivněn komerčními hledisky
SW - University v USA Iowa State University: Minitab, SAS, SPSS, S-plus, XGobi, knihovny IMSL, NAG k programovacím jazykům North Carolina State University: Bugs, Matlab, Mathematica, Octave, R, S-plus, SAS University of Minnesota: JMP, Minitab, R, S-plus, SAS, Xlispstat Washington State University: C /C++, Java, Lisp, Pascal, R, S-plus University of Wisconsin: Maple, Matlab, Minitab, R, S, S-plus, SAS
Statistica 6.0 StatSoft, Inc. Tulsa, OK (1984) Modulární, nabídkový SW pro biometriky, biostatistiky, sociální vědy Uživatelské prostředí podobné MS Office Nedokončený překlad do češtiny Výborná grafika a úprava výstupů Export výstupů do html, pdf Modifikace analýz Visual Basic Uživatelská podpora on-line, AJ i ČJ www.statsoft.cz
Statistica 6.0 pokračování Moduly pro vytěžování dat kvalita neznámá Nabídkové i příkazové ovládání, tvorba maker Síťová podpora, server Html statistická učebnice (AJ) Časově neomezená, funkčně omezená demoverze Podřadná licenční a cenová politika pro university (4350 Kč / rok, minimum 10 ks), bez výuky Omezená studentská verze $ 95, bez podpory, 3-letá licence
Statistica - grafika
Statistica - analýzy
SPSS Statistický balíček pro sociální vědy (1988) Modulární, nabídkový produkt SPSS Inc. (Base + 10 pro statistiku, 5 pro podnikovou analýzu) Výlučně pro Windows Numerický program vytvořen v jazyce Fortran 77 Tabulkový datový procesor Výstupy organizovány do zpráv a grafů Wordu, html, Excel, text Grafický editor, podpora 10 grafických formátů export do www.spss.com
SPSS pokračování Datová konektivita - ODBC driver, SAS, Systat, Excel, dbase, text Obsažný webový tutoriál (pouze AJ) StatCoach učitel statistiky, průvodce výsledky Síťová podpora server 30 denní demoverze ( max. 1500 řádků) Akademická cena 17.800 Kč + upgrade za 20% aktuální ceny
Base SPSS - prostředí
Statistical Analysis System (SAS) Sas Institute, Inc. Cary, Sever. Karolína (1976) - konec 60. let, podpora agro - výzkumu -původně Unixový software na mainframe Platformy Win-95/XP, Unix, OS/2, Linux Modulární uspořádání s 80+ produkty Flexibilita a stabilita systému Využívají: velké podniky, banky, kreditní společnosti, pojišťovny, Stat-IT firmy www.sas.com
Statistical Analysis System (SAS) Komerční banka, VZP, Barclay s Bank, US Army Nevyužívají: firmy, ústavy se specializovaným R&D Statistické moduly: BASE, ETS, IML, OR, STAT, QC Sas jako developerské prostředí, SAS jazyk, makra Sas - výkonná databáze, skladování a vytěžování dat Nástroj rozhodování, optimalizace řízení podniku Vyspělá uživatelská podpora
SAS - nevýhody Rozsáhlost projektu SAS - 60. léta: zemědělský software - dnes super DB s mnoha analytickými nástroji Omezení extenze mimo SAS Institute - princip hotového řešení SAS - flexibilita SAS systému pouze dovnitř Kvalita grafických, textových, pdf, html výstupů - make it big, velká spotřeba papíru - robustnost, netechnický vzhled
SAS - aspekty využití Slučitelnost datových formátů zvláštní modul! Prvotní zaškolení uživatelů - Analýzy s použitím nabídky pod Windows - Programy, makra v jazyce SAS - ovládnutí Sas procedur Potřeba používání zákaznické podpory Komunikace se softwarem, manuály v AJ Roční platnost licence, cena Koncepční rozhodnutí na úrovni university
Akademické licence SAS Výrazné slevy pro university Uživatelská podpora jako pro sektor komerce Ústavní, fakultní a universitní typy licencí (25,100,500 ks za 1000, 1500, 2000) Základní a pokročilé ( 400) balíky modulů Výuka nejméně 3 předmětů se SAS - Statistika, IT, Podnikové řízení Běžné náklady na universitní licence 2400 / rok Prodej studentům, zaměstnancům? $ 30+ cena média
JMP 5.0 Nabídkový analytický, grafický program od SAS Inst. Platformy Windows, Linux Pro běžné uživatele, popisné analýzy Instruktážní software, úvod do statistiky Jednoduchá obsluha, hierarchická nabídka Podpora tvorby modelů Dobrá grafika, horší úpravy výstupů, základní grafy Data import v txt a Sas formátu, další přes ODBC Cena $ 450 akademická licence, $ 190 upgrade www.jmp.com
Analýzy v JMP
Statgraphics Plus 5.1. Nabídkový produkt od Statistical Graphics Corp. Platforma DOS, od 1999 (?) Windows Obecný, výukový, použití s důrazem na regresi a QC Standardní a profesionální (TS, MV, Regrese, QC, DOE) menu Grafika ve výstupech i odděleně přes menu StatAdvisor kontextová interpretace výstupů www.statgraphics.com
Statgraphics Plus 5.1. Průvodce analýzami -pro začátečníky Nápověda integrovaná, on-line, pdf Statistický slovník - zjednodušený Vlastní editor - tvorba závěrečných zpráv Interakce pouze v AJ Standardní licence $ 750, bez akadem. slevy Profesionální licence $ 1650
Prostředí Statgraphics
Minitab 13 Produkt Minitab Inc., College Park, PennState (1972) Akademický instruktážní software pro Win 95/NT - 70% příjmů z akademické sféry Vysoká podobnost s Unistat, Statgraphics Rozšíření v Sev. Americe, záp. Evropě Ovládání pomocí menu nebo příkazového okna Vhodný pro tvorbu, spouštění maker Výběr a kvalita grafiky www.minitab.com
Minitab 13 pokračování Pro malé až středně velké datové soubory Omezené datové manipulace Import dat: textová a DB forma před ODBC driver Jednoduchá, intuitivní obsluha - datový procesor -příkazové / výstupní okno - projektový manager - grafický editor
Minitab 13 pokračování Srozumitelnost výstupů Uživ. podpora on-line, možnost školení, tutoriály Komunikace se softwarem v AJ Výhodná cena: $ 150za akad. licenci Funkční demo na www.minitab.com, 30 dnů
Minitab 12 - prostředí
Unistat 5.5. Produkt Unistat Ltd. UK pro Windows Uni-modulární instalace, jednoduchá obsluha Integrace do Excelu v Add-In modu Možný samostatný provoz Datový procesor podobný MS Excel Přehledné a obsažné výstupy analýz Export výsledků do datového procesoru, Excelu, txt, doc, html formátu www.unistat.com
Unistat 5.5. pokračování Minimální nároky na HW, instalaci Datová konektivita - 12 formátů Grafická nabídka, editor grafů Více-jazyková verze (AJ, ČJ, SJ) Nápověda pouze v AJ!, od verze 5. příručka v ČJ Progresivní licenční politika, cena Demoverze omezena na data Unistat
Unistat - prostředí
GNU R - projekt Vytvořen Univ. of Auckland, Dept. of Statistics Součástí GNU volně šířitelné licence (GPL) Platformy Unix, Linux, Win 95/XP Jazyk R = vyšší programovací jazyk. Překrytí s jazykem S. Interpretační jazyk. Vysoká flexibilita Možná integrace objektů v C/ C++, Fortran, Perl Vlastní moduly v jazyce R + Add-On moduly Další součásti projektu GNU (ESS ) www.r-project.org
GNU R projekt t pokračování Jednoduché, nastavitelné GUI Spouštění z příkaz. řádku systému (DOS) Integrace do Unixu, textové, systémové utility Základem je příkazové okno Interaktivní analýzy nebo skriptové soubory Výkonné grafické prostředí podobné Gnuplot Objektová filosofie S, manipulace s objekty příkazy, skriptový mód print f-ce Podpora maticového jazyka
GNU R projekt t pokračování Výhradní komunikace v AJ Dobrá podpora on-line, news-groups, první učebnice Využití učebnic, manuálů k S, S-plus Nápověda v html, pdf Vynikající průprava pro práci v prostředí S-plus R-web, R-online, R-CGI webová prostředí pro R http://www.math.montana.edu/rweb/ pro výuku statistiky
Uživatelské prostředí R
Jazyk S S: vyšší programovací jazyk pro statistické analýzy a grafiku Vytvořil John Chambers, AT&T Bell Labs Numerické operace, vektorová, maticová algebra, numerické integrace, soustavy rovnic Integrace objektů v C/C++, Fortran Volání procedur S-plus z C++, Java, Fortran Podpora komerčních knihoven IMSL, NAG Vlastní statistické f-ce: princip minima www.insightful.com
S & S-plus S-plus: vylepšená komerční verze od Insightful Inc. Platformy Unix a Windows 95/XP, pouze AJ Oblíbený SW biostatistiků a marketingových analytiků Standardní verze: pouze menu Profesionální verze: nabídka + prostředí jazyka S Statistické analýzy: robustní regrese, neparametrická regrese, časové řady, analýza přežití, vícerozměrné analýzy, kontrola kvality, resampling, L/NL smíšené modely, vyhlazování
Popis S-plus S Integrace S-plus do MS Excel, SPSS (grafika) Přímá analýza Excel souborů v S-plus. Možná konverze Kvalitní grafika - pohyblivé grafy (Java) Průvodce pro prezentace v PowerPointu Datová konektivita, formáty statistických programů, ODBC ovladač Vysoká grafická konektivita (50+ formátů) Možnost rozšíření o další moduly Insightful Inc. Velké datové soubory
S-plus! Program neběží pod procesory AMD Athlon XP na platformě Win XP Pro! Potřeba paměti - alespoň 128MB RAM
S-plus - prostředí
GNU Octave 2.1. Vyšší programovací jazyk pro numerické výpočty 1992, John Eaton v University ve Wisconsinu, Texasu Platformy Unix, Linux, OS/2, Win 95/XP Prostředí pro tvorbu, překlad programů Instruktážní SW chemického inženýrství Kompletní slučitelnost s Matlab Aritmetika, matice, integrace, L/NL soustavy rovnic Běžné distribuční funkce, analýzy (Anova, t-test, z- test, korelace, regrese, neparametrika, ) www.octave.org
GNU Octave 2.1. Spouštění ve vlastním prostředí, DOSu, Cygwin, přímo pod Unixem Vlastní moduly v jazyce Octave (Matlab) Extenze objekty v C, C++, Fortran Gnuplot grafika TeX, LaTeX, Word Integrovaná nápověda, diskusní skup., pdf manuál On-line manuál: http://sunland.gsfc.nasa.gov/info/octave Program Matvec pro výuku maticové algebry, selekčních indexů, LMM, aplikované genetiky.
GNU Octave 2.1.
Výběr statistického softwaru Aspekty: Vzdělávací charakter instituce podpora diversity Rozvoj obecných schopností, uživatelská flexibilita Skupiny uživatelů, úroveň hardware Výzkumné zaměření ústavů, školy Potřeby potenciálních zaměstnavatelů Programy konkurenčních universit Finanční náklady, licenční podmínky, možnost upgrade
Poděkování Prof. Ing. Bohumil Minařík, CSc. materiály k programům S-plus, Unistat. Prof. Ing. Milan Palát, CSc. program JMP
"The business of a statistician is to catalyze the scientific learning process." George E.P. Box