Statistický software - význam pro výuku a analýzu dat v akademickém prostředí

Transkript

1 Statistický software - význam pro výuku a analýzu dat v akademickém prostředí Ing. Václav Adamec, Ph.D. Ústav statistiky a operačního výzkumu MZLU Brno

2 Obsah Výpočetní technika a vzdělání Výuka statistiky v USA Statistický software ve výuce a výzkumu Přehled a charakteristiky titulů softwaru Komerční Volně šířitelný Faktory výběru akademického softwaru

3 IT a vzdělání IT - faktor ekonomického růstu Tlak zaměstnavatelů, vlády, na IT gramotnost Veřejné statistiky zaměstnanosti, nástupní platy Návratnost finanční, časové investice do studia Práce s IT do sylabů, vzdělávacího procesu Požadavek vlastnit PC při vstupu na universitu Aktivní využívání internetu, u, diskus. skupin E - komunikace s universitou, knihovnou Akademický software

4 Trendy ve výuce statistiky Statistika méně oblíbená, avšak potřebná Důraz na domácí práci, praktické projekty, eseje Přednášky, cvičení sjednoceny. Bez zápočtů, indexu Zkoušení skupinové, písemné Multiplicita informací pro známku - 3 písemné práce (vč. závěrečné) - týdenní quizy domácích úkolů - semestrální projekt (písemná část, obhajoba) Klasifikace studentů ukončena do 7 dnů

5 Cíle ve výuce statistiky Zvládnutí matematického základu Výuka pomocí maticové algebry, SW, tužka a papír Estimabilita, absorbce, parametrizace, kolinearita Sestavení a analýza vědeckého experimentu Definice vědecké hypotézy Design experimentu, n, polní vs. experimentální data Sběr dat, popisné charakteristiky, čištění dat Hlavní testy, závěry pro vědní disciplinu Schopnost napsat zprávu, esej Statistické konzultace

6 Statistický software Interaktivně nabídkový Pro obecné, jednoduché analýzy Flexibilita určena nabídkou Princip černé skříňky Programové okno Vlastní nebo integrovaný zdrojový kód Komputační flexibilita agregace více aplikací Znalost matematického principu, programování Pro specializovaný, teoretický výzkum Kombinovaný

7 Statistický software pokračování Komerční Většinou nabídkový Testována numerická přesnost Právní garance Požadavky majoritního uživatele Různý poměr funkčnosti a ceny Volně šířitelný Na bázi Linux, Unix i Windows Software bez záruky Rychlejší vývoj, flexibilita, menší pohodlí Neovlivněn komerčními hledisky

8 SW - University v USA Iowa State University: Minitab, SAS, SPSS, S-plus, XGobi, knihovny IMSL, NAG k programovacím jazykům North Carolina State University: Bugs, Matlab, Mathematica, Octave, R, S-plus, SAS University of Minnesota: JMP, Minitab, R, S-plus, SAS, Xlispstat Washington State University: C /C++, Java, Lisp, Pascal, R, S-plus University of Wisconsin: Maple, Matlab, Minitab, R, S, S-plus, SAS

9 Statistica 6.0 StatSoft, Inc. Tulsa, OK (1984) Modulární, nabídkový SW pro biometriky, biostatistiky, sociální vědy Uživatelské prostředí podobné MS Office Nedokončený překlad do češtiny Výborná grafika a úprava výstupů Export výstupů do html, pdf Modifikace analýz Visual Basic Uživatelská podpora on-line, AJ i ČJ

10 Statistica 6.0 pokračování Moduly pro vytěžování dat kvalita neznámá Nabídkové i příkazové ovládání, tvorba maker Síťová podpora, server Html statistická učebnice (AJ) Časově neomezená, funkčně omezená demoverze Podřadná licenční a cenová politika pro university (4350 Kč / rok, minimum 10 ks), bez výuky Omezená studentská verze $ 95, bez podpory, 3-letá licence

11 Statistica - grafika

12 Statistica - analýzy

13 SPSS Statistický balíček pro sociální vědy (1988) Modulární, nabídkový produkt SPSS Inc. (Base + 10 pro statistiku, 5 pro podnikovou analýzu) Výlučně pro Windows Numerický program vytvořen v jazyce Fortran 77 Tabulkový datový procesor Výstupy organizovány do zpráv a grafů Wordu, html, Excel, text Grafický editor, podpora 10 grafických formátů export do

14 SPSS pokračování Datová konektivita - ODBC driver, SAS, Systat, Excel, dbase, text Obsažný webový tutoriál (pouze AJ) StatCoach učitel statistiky, průvodce výsledky Síťová podpora server 30 denní demoverze ( max řádků) Akademická cena Kč + upgrade za 20% aktuální ceny

15 Base SPSS - prostředí

16 Statistical Analysis System (SAS) Sas Institute, Inc. Cary, Sever. Karolína (1976) - konec 60. let, podpora agro - výzkumu -původně Unixový software na mainframe Platformy Win-95/XP, Unix, OS/2, Linux Modulární uspořádání s 80+ produkty Flexibilita a stabilita systému Využívají: velké podniky, banky, kreditní společnosti, pojišťovny, Stat-IT firmy

17 Statistical Analysis System (SAS) Komerční banka, VZP, Barclay s Bank, US Army Nevyužívají: firmy, ústavy se specializovaným R&D Statistické moduly: BASE, ETS, IML, OR, STAT, QC Sas jako developerské prostředí, SAS jazyk, makra Sas - výkonná databáze, skladování a vytěžování dat Nástroj rozhodování, optimalizace řízení podniku Vyspělá uživatelská podpora

18 SAS - nevýhody Rozsáhlost projektu SAS léta: zemědělský software - dnes super DB s mnoha analytickými nástroji Omezení extenze mimo SAS Institute - princip hotového řešení SAS - flexibilita SAS systému pouze dovnitř Kvalita grafických, textových, pdf, html výstupů - make it big, velká spotřeba papíru - robustnost, netechnický vzhled

19 SAS - aspekty využití Slučitelnost datových formátů zvláštní modul! Prvotní zaškolení uživatelů - Analýzy s použitím nabídky pod Windows - Programy, makra v jazyce SAS - ovládnutí Sas procedur Potřeba používání zákaznické podpory Komunikace se softwarem, manuály v AJ Roční platnost licence, cena Koncepční rozhodnutí na úrovni university

20 Akademické licence SAS Výrazné slevy pro university Uživatelská podpora jako pro sektor komerce Ústavní, fakultní a universitní typy licencí (25,100,500 ks za 1000, 1500, 2000) Základní a pokročilé ( 400) balíky modulů Výuka nejméně 3 předmětů se SAS - Statistika, IT, Podnikové řízení Běžné náklady na universitní licence 2400 / rok Prodej studentům, zaměstnancům? $ 30+ cena média

21 JMP 5.0 Nabídkový analytický, grafický program od SAS Inst. Platformy Windows, Linux Pro běžné uživatele, popisné analýzy Instruktážní software, úvod do statistiky Jednoduchá obsluha, hierarchická nabídka Podpora tvorby modelů Dobrá grafika, horší úpravy výstupů, základní grafy Data import v txt a Sas formátu, další přes ODBC Cena $ 450 akademická licence, $ 190 upgrade

22 Analýzy v JMP

23 Statgraphics Plus 5.1. Nabídkový produkt od Statistical Graphics Corp. Platforma DOS, od 1999 (?) Windows Obecný, výukový, použití s důrazem na regresi a QC Standardní a profesionální (TS, MV, Regrese, QC, DOE) menu Grafika ve výstupech i odděleně přes menu StatAdvisor kontextová interpretace výstupů

24 Statgraphics Plus 5.1. Průvodce analýzami -pro začátečníky Nápověda integrovaná, on-line, pdf Statistický slovník - zjednodušený Vlastní editor - tvorba závěrečných zpráv Interakce pouze v AJ Standardní licence $ 750, bez akadem. slevy Profesionální licence $ 1650

25 Prostředí Statgraphics

26 Minitab 13 Produkt Minitab Inc., College Park, PennState (1972) Akademický instruktážní software pro Win 95/NT - 70% příjmů z akademické sféry Vysoká podobnost s Unistat, Statgraphics Rozšíření v Sev. Americe, záp. Evropě Ovládání pomocí menu nebo příkazového okna Vhodný pro tvorbu, spouštění maker Výběr a kvalita grafiky

27 Minitab 13 pokračování Pro malé až středně velké datové soubory Omezené datové manipulace Import dat: textová a DB forma před ODBC driver Jednoduchá, intuitivní obsluha - datový procesor -příkazové / výstupní okno - projektový manager - grafický editor

28 Minitab 13 pokračování Srozumitelnost výstupů Uživ. podpora on-line, možnost školení, tutoriály Komunikace se softwarem v AJ Výhodná cena: $ 150za akad. licenci Funkční demo na 30 dnů

29 Minitab 12 - prostředí

30 Unistat 5.5. Produkt Unistat Ltd. UK pro Windows Uni-modulární instalace, jednoduchá obsluha Integrace do Excelu v Add-In modu Možný samostatný provoz Datový procesor podobný MS Excel Přehledné a obsažné výstupy analýz Export výsledků do datového procesoru, Excelu, txt, doc, html formátu

31 Unistat 5.5. pokračování Minimální nároky na HW, instalaci Datová konektivita - 12 formátů Grafická nabídka, editor grafů Více-jazyková verze (AJ, ČJ, SJ) Nápověda pouze v AJ!, od verze 5. příručka v ČJ Progresivní licenční politika, cena Demoverze omezena na data Unistat

32 Unistat - prostředí

33 GNU R - projekt Vytvořen Univ. of Auckland, Dept. of Statistics Součástí GNU volně šířitelné licence (GPL) Platformy Unix, Linux, Win 95/XP Jazyk R = vyšší programovací jazyk. Překrytí s jazykem S. Interpretační jazyk. Vysoká flexibilita Možná integrace objektů v C/ C++, Fortran, Perl Vlastní moduly v jazyce R + Add-On moduly Další součásti projektu GNU (ESS )

34 GNU R projekt t pokračování Jednoduché, nastavitelné GUI Spouštění z příkaz. řádku systému (DOS) Integrace do Unixu, textové, systémové utility Základem je příkazové okno Interaktivní analýzy nebo skriptové soubory Výkonné grafické prostředí podobné Gnuplot Objektová filosofie S, manipulace s objekty příkazy, skriptový mód print f-ce Podpora maticového jazyka

35 GNU R projekt t pokračování Výhradní komunikace v AJ Dobrá podpora on-line, news-groups, první učebnice Využití učebnic, manuálů k S, S-plus Nápověda v html, pdf Vynikající průprava pro práci v prostředí S-plus R-web, R-online, R-CGI webová prostředí pro R pro výuku statistiky

36 Uživatelské prostředí R

37 Jazyk S S: vyšší programovací jazyk pro statistické analýzy a grafiku Vytvořil John Chambers, AT&T Bell Labs Numerické operace, vektorová, maticová algebra, numerické integrace, soustavy rovnic Integrace objektů v C/C++, Fortran Volání procedur S-plus z C++, Java, Fortran Podpora komerčních knihoven IMSL, NAG Vlastní statistické f-ce: princip minima

38 S & S-plus S-plus: vylepšená komerční verze od Insightful Inc. Platformy Unix a Windows 95/XP, pouze AJ Oblíbený SW biostatistiků a marketingových analytiků Standardní verze: pouze menu Profesionální verze: nabídka + prostředí jazyka S Statistické analýzy: robustní regrese, neparametrická regrese, časové řady, analýza přežití, vícerozměrné analýzy, kontrola kvality, resampling, L/NL smíšené modely, vyhlazování

39 Popis S-plus S Integrace S-plus do MS Excel, SPSS (grafika) Přímá analýza Excel souborů v S-plus. Možná konverze Kvalitní grafika - pohyblivé grafy (Java) Průvodce pro prezentace v PowerPointu Datová konektivita, formáty statistických programů, ODBC ovladač Vysoká grafická konektivita (50+ formátů) Možnost rozšíření o další moduly Insightful Inc. Velké datové soubory

40 S-plus! Program neběží pod procesory AMD Athlon XP na platformě Win XP Pro! Potřeba paměti - alespoň 128MB RAM

41 S-plus - prostředí

42 GNU Octave 2.1. Vyšší programovací jazyk pro numerické výpočty 1992, John Eaton v University ve Wisconsinu, Texasu Platformy Unix, Linux, OS/2, Win 95/XP Prostředí pro tvorbu, překlad programů Instruktážní SW chemického inženýrství Kompletní slučitelnost s Matlab Aritmetika, matice, integrace, L/NL soustavy rovnic Běžné distribuční funkce, analýzy (Anova, t-test, z- test, korelace, regrese, neparametrika, )

43 GNU Octave 2.1. Spouštění ve vlastním prostředí, DOSu, Cygwin, přímo pod Unixem Vlastní moduly v jazyce Octave (Matlab) Extenze objekty v C, C++, Fortran Gnuplot grafika TeX, LaTeX, Word Integrovaná nápověda, diskusní skup., pdf manuál On-line manuál: Program Matvec pro výuku maticové algebry, selekčních indexů, LMM, aplikované genetiky.

44 GNU Octave 2.1.

45 Výběr statistického softwaru Aspekty: Vzdělávací charakter instituce podpora diversity Rozvoj obecných schopností, uživatelská flexibilita Skupiny uživatelů, úroveň hardware Výzkumné zaměření ústavů, školy Potřeby potenciálních zaměstnavatelů Programy konkurenčních universit Finanční náklady, licenční podmínky, možnost upgrade

46 Poděkování Prof. Ing. Bohumil Minařík, CSc. materiály k programům S-plus, Unistat. Prof. Ing. Milan Palát, CSc. program JMP

47 "The business of a statistician is to catalyze the scientific learning process." George E.P. Box