Původní práce cs7 Tradiční míry diverzity a citlivost mocninných entropií Martin Horáček,2, Jana Zvárová,2 Centrum biomedicínské informatiky, Ústav informatiky AV ČR, vvi, Praha, Česká republika 2 Ústav hygieny a epidemiologie lékařské fakulty Univerzity Karlovy v Praze, Česká republika Souhrn Cíle: Zabývali jsme se tradičními mírami diverzity a jejich odhady Zkoumali jsme způsoby, jak porovnávat citlivost různých měr diverzity na změny Metody: Navrhli jsme nový typ odhadu pro míry diverzity V simulační studii jsme srovnali jeho vlastnosti, zejména vychýlení a rozptyl, se třemi zavedenými odhady Zavedli jsme funkci, kterou jsme nazvali citlivost na změny míry diverzity H a studovali jsme její vlastnosti Výsledky: Navržený odhad je v mnoha situacích srovnatelný či lepší než zavedené typy odhadů Citlivost na změny má srozumitelnou interpretaci a jednoduchý tvar Závěry: Citlivost míry diverzity na změny může být využita ke srovnání chování různých měr diverzity a k vybrání těch měr, které jsou nejvhodnější pro daný problém Kontakt: Mgr Martin Horáček Centrum biomedicínské informatiky, Ústav informatiky AV ČR, vvi Adresa: Pod Vodárenskou věží 2, 82 7 Praha E mail: horacek@euromisecz Mgr Martin Horáček Klíčová slova diverzita, entropie, odhady diverzity, citlivost EJBI 2; 7(:7 2 zasláno: 29 září 2 přijato: 24 října 2 publikováno: 2 listopadu 2 Úvod V tomto článku se zabýváme funkcemi, jejichž cílem je vhodně a jednoduše zachytit míru diverzity zvolené populace Může nás zajímat například genetická diverzita - diverzita alel zvoleného genu, druhová diverzita ve zvolené lokaci, ale také jazyková či ekonomická diverzita Zejména se budeme zabývat situací, kdy míra diverzity populace závisí pouze na pravděpodobnostech p i, že náhodné vybraný člen populace má právě znak i z r možných navzájem se vylučujících znaků Při splnění několika dalších předpokladů (popsaných v následujícím odstavci, které lze intuitivně očekávat od funkce, která měří populační diverzitu, se tyto funkce často souhrně nazývají tradiční míry diverzity Formálně zapsáno, tradiční míra diverzity je reálná funkce H definovaná na { } r = p = (p,, p r : p i =, p i i, která splňuje je nezáporná, je symetrická vzhledem k permutacím, je minimální, když pro nějaký index i platí p i = (v populaci se vyskytuje jen jeden znak je maximální, když p i /r (znaky jsou rovnoměrně zastoupeny, když se zvetší jedna pravděpodobnost p i na úkor jiné menší pravděpodobnosti p j, hodnota H(p se nezvětší Pro ověřování těchto požadavků může být užitečné si všimnout, že když je funkce H : r R + nezáporná a Schur-konkávní, splňuje všech pět požadavků (viz 3 Existuje několik často používaných tradičních měr diverzity Nejznámější z nich uvádíme v následující sekci Většinu z nich lze zahrnout pod takzvané f-entropie, navržené Zvárovou, nebo jsou s touto rodinou zobecněných entropií úzce spjaty Tyto f-entropie, jejich vlastnosti c 2 EuroMISE sro EJBI Ročník 7 (2, číslo
cs8 Horáček, Zvárová Tradiční míry diverzity a citlivost mocninných entropií a způsob, jakým je lze využít k měření diverzity, je studován a popsán například v pracích Zvárová, Vajda 2 a Horáček 3 2 Tradiční míry diverzity a jejich odhady V této sekci zavedeme nejznámější tradiční míry diverzity, jako například Simpsonův index, Shannonovu entropii, Rényiho entropii řádu α, Hillův index a další Uvedeme problematiku odhadů tradičních měr diverzity a odvodíme nový druh odhadu Část sekcí 22 a 3 byla publikována ve sborníku k 7 Letní škole výpočetní biologie 4 2 Příklady tradičních měr diverzity Mezi nejčastěji zmiňované a používané tradiční míry diverzity patří počet znaků (napříkal alel nebo druhů H (p = I (, (p i, kde I značí funkci identity, Simpsonův index a Shannonova entropie H 2 (p = H (p = p 2 i p i ln p i Tyto tři míry jsou zobecněny parametrickou rodinou mocninných entropií H α (p = (α (, pro α >, α, limitně dodefinovanou pro α = (pak dostaneme počet znaků a pro α = (dostaneme Shannonovu entropii Když je α = 2, dostaneme Simpsonův index Mezi další často používané indexy patří γ-entropická funkce ( γ H A,γ (p = ( γ, γ >, γ, Hillův index H H,α (p = ( EJBI Ročník 7 (2, číslo p /γ i α, pro α >, α a Rényiho entropie řádu α ( H R,α (p = ( α ln, pro α >, α Limitním dodefinováním všech těchto indexů pro α = dostaneme Shannonovu entropii Tyto a další zobecňující parametrické jsou užitečné různými způsoby Lze z nich vybírat vhodný index pro měření zvoleného druhu diverzity, lze je však také použít ke zlepšení procedur založených na tradiční Shannonově entropii Nahradíme-li tuto entropii vhodným parametrických indexem, můžeme volbou parametru docílit zlepšení dotyčné procedury Tento postup je použit například v práci Andrade, Wang 5 22 Odhady tradičních měr diverzity Nechť p = {p,, p r } r je vektor neznámých pravděpodobností p i, že jedinec náhodně vybraný z populace má znak A i z r možných znaků V této situaci se odhad míry diverzity H(p často provádí na základě relativních frekvencí ˆp n = (X /n,, X r /n = (ˆp i,, ˆp r, napozorovaných v náhodné výběru s vracením o rozsahu n Rozdělení vektoru X = (X,, X r pak je multinomické M(n, p Míru diverzity lze odhadnout různými způsoby a vlastnosti zvoleného odhadu, zejména jeho vychýlení a rozptyl, případně jejich střední čtvercová chyba, závisí jak na použité míře diverzity, tak na dané populaci Zřejmě nejčastěji používaný je takzvaný plug-in odhad Jeho princip spočívá v jednoduchém nahrazení neznámých pravděpodobností p i napozorovanými frekvencemi ˆp i a jejich dosazením H(ˆp Ačkoli jsou frekvence ˆp i nestranným odhadem pravděpodobností p i, plud-in odhad není obecně nestranný V některých případech lze jeho vychýlení opravit Je to možné například u odhadu Simpsonova indexu, pro jehož střední hodnotu platí EH 2 (ˆp n = n 2 EX 2 i = n 2 varxi + (EX i 2 = n 2 npi ( p i + n 2 p 2 i = ( n H 2 (p Nevychýlený odhad Simsonova indexu je tedy Ĥ 2 (ˆp n = n(n H 2 (ˆp n U jiných měr diverzity je ale většinou obtížné či dokonce nemožné nalézt vhodnou korekci plug-in odhadu Lze například ukázat, že pro Shannonovu entropii nevychýlený odhad neexistuje (Blyth 6 Několik autorů se zabývalo tímto problémem a navrhli sofistikovanější typy odhadů Uvádíme zde odhad navržený Bonachelou a kol 7 zvaný c 2 EuroMISE sro
Horáček, Zvárová Tradiční míry diverzity a citlivost mocninných entropií cs9 Obrázek : Výběrový průměr a výběrový rozptyl odhadů mocninné entropie H 3/2 balanced odhad Navrhujeme modifikaci tohoto odhadu, ktérá bere v úvahu rozložení hodnot p i ve vektoru p Předpokládejme, že zvolenou míru diverzity lze zapsat ve tvaru ( H(p = F h(p i, kde F a h jsou libovolné reálné spojité funkce Tento tvar zahrnuje mimo jiné všechny indexy uvedené v předchozí části kromě počtu znaků Bonachela a kol navrhli svůj odhad ve tvaru ( Ĥ(X = F ζ(x i, kde funkce ζ je zvolena tak, aby se minimalizovala hodnota výrazu Φ 2 ζ(p i = E(ζ(X i h(p i 2 + var(ζ(x i s váhovou funkcí w(p i umožnující při minimalizaci měnit důraz kladený na různé hodnoty p i z intervalu, Pokud zanedbáme vliv funkce F a korelací, můžeme zároveň redukovat rozptyl a druhou mocninu vychýlení odhadu Vážená průměrná chyba je pak dána vztahem Φ 2 ζ(p i = Φ2 ζ (p iw(p i dp i ( Nutná podmínka pro minimalitu chyby je nulová hodnota derivací ζ(k Φ 2 ζ(p i =, k {,, n} Zvolíme proto ζ tak, aby ζ(k h 2 (p i 2h(p i n P (X i = jζ(j + j= + n j= P (X i = jζ 2 (j w(p i dp i = což se dá zjednodušit do tvaru Protože máme ζ(kp (X i = k h(p i P (X i = k w(p i dp i = P (X i = k = ζ(k = ( n p k i ( p i n k, k h(piw(pi(n kp k i ( pin k dp i w(pi(n kp k i ( pin k dp i (2 Bonachela a kol 7 odvodili podobu balanced odhadu pro mocninné entropie s váhovou funkcí rovnou jedné na celém intervalu, Nemáme-li žádnou apriorní znalost o hodnotách složek vektoru p, je přirozené pro tento vektor nepreferovat žádný bod z r Na vektor p tak můžeme nahlížet jako na realizaci náhodného vektoru Y = (Y,, Y r, která má rovnoměrné rozdělení na r Váhu w(p i je vhodné zvolit proporcionálně k očekávaným hodnotám složek p i, v tomto případě tedy jako marginální hustotu náhodné veličiny Y i Tu lze spočítat jako f(y y = ( y r 2, (r 2! y y r 2 dy r dy 2 což je až na konstantu hustota Beta rozdělení B(, r Zvolili jsme proto váhovou funkci jako w(p i = ( p i r 2 a odvodili odpovídající funkci ζ Odhad založený c 2 EuroMISE sro EJBI Ročník 7 (2, číslo
cs2 Horáček, Zvárová Tradiční míry diverzity a citlivost mocninných entropií na této funkci jsme nazvali β-odhad Popíšeme zde odvození β-odhadu pro Shannonovu entropii, tedy pro situaci, kdy h(p i = p i ln p i a F (x = x Symboly Γ, B a Ψ označují gama, beta and digamma funkce Nejprve jsme nahradili h(p i a w(p i odpovídajícími výrazy a spočítali integrál ve jmenovateli výrazu zeta ζ(x i = h(pipx i ( p i i n X i +r 2 dp i B(X i+,n X i+r Pro parciální derivace beta funkce platí B(x, y = B(x, yψ(x Ψ(x + y, x a čitatel lze tedy vyjádřit jako = h(p i p Xi i ( p i n Xi+r 2 dp i = lim α p i ln(p i p Xi i ( p i n Xi+r 2 dp i α pxi+ i ( p i n Xi+r 2 dp i = lim α α B(X i + 2, n X i + r B(X i + α + 2, n X i + r = B(X i + 2, n X i + r Ψ(n + r + Ψ(X i + 2 Funkce ζ tedy splňuje ζ(x i = X i + n + r Ψ(n + r + Ψ(X i + 2 = X i + n + r n+r k=x i+2 k a β-odhad Shannonovy entropie má tvar Ĥ (X = r X i+ n+r n+r k=x i+2 β-odhad mocninných entropií, pro které platí F (x = x a h(p i = (α (p i, lze odvodit podobným způsobem U mocninných entropií nabývá tvaru Ĥ α (X = (α r k B(n+r,α B(X i+,α EJBI Ročník 7 (2, číslo Na obrázku můžeme vidět srovnání β-odhadu, Bonachelova balanced odhadu, plug-in odhadu a Jamesova- Steinova shrinkage odhadu 8 v populaci se šesti znaky, rozdělenými v poměru 24 : : 9 : 3 : 2 : Zobrazeny jsou výběrové průměry a výběrové rozptyly odhadů spočítané z 3 pokusů Obrázky byly vytvořeny v programu R 9 Další srovnání vývěrových rozptylů a absolutních hodnot výběrového vychýlení je v tabulce Tentokrát jsme srovnávali odhady mocninných entropií H /2 a H 5/2 v populacích s p = (3, 9, 2, 2, /27 a p 2 = (2, 8, 5, 3, 3, 2, 2, 2,,,,,,,,, /46, na základě výběrů o velikosti n = 5 Tabulka : Absolute sample bias and sample variance of estimates H /2 H 5/2 bias var bias var plug-in,843,339,94, p balanced,59,43,69,8 beta,52,35,9,6 shrink,354,2,56, plug-in,7476,486,75 2 p 2 balanced,2867,28,673,2 beta,288,28,38, shrink,65,87,52,2 3 Citlivost na změny Vlastnosti indexů používaných k měření diverzity se více či méně liší Často by nás přitom zajímalo, jak by daná míra diverzity reagovala na změny frekvencí jednotlivých znaků v populaci Tímto problémem se zabývalo několik autorů, zejména Boyle a kol, kteří se zaměřili zejména na empirickou stránku věci, a Izsak, který navrhnul míru citlivosti na teoretickém základě Na základě návrhu I Vajdy zde navrhujeme míru citlivosti měr diverzity na změny ve frekvenci znaků, kterou je snadné spočítat a má intuitivní interpretaci Míru citlivosti míry diverzity H na změny ve frekvenci j-tého znaku definujeme jako kde S H (p j = lim ɛ H(p j,ɛ H(p ɛh(p p j,ɛ = (p,, p j, p j + ɛp j, p j+,, p r + ɛp j Citlivost je tedy definována jako limita výrazu relativní změna H relativní změna p j a odráží poměr relativních změn H(p a p j, když se p j změní o malou hodnotu 3 Citlivost mocninných entropií Citlivost mocninných entropií byla spočítána v práci Horáček 3 Pokud platí p i > pro všechna i {,, r}, pro tuto citlivost platí vztah S Hα (p j = α p α i (p i ij r, c 2 EuroMISE sro
Horáček, Zvárová Tradiční míry diverzity a citlivost mocninných entropií cs2 pokud α, a S H (p j = (p i ij ln p i p i ln p i Srovnání citlivostí mocninných entropií jsme provedli na populaci s p = (24/5, /5, 9/5, 3/5, 2/5, /5 a je zobrazeno na obrázku 2 Můžeme vidět, že s klesajícím α jsou mocninné entropie více citlivé na změny ve znacích, které jsou v populaci zastoupeny vzácně Podíváme-li se například na Shannonovu entropii, řekněme desetiprocentní nárůst v pravděpodobnosti p 5 = /25 by vedl ke zhruba desetiprocentnímu nárůstu H (p, zatímco desetiprocentní nárůst v pravděpodobnosti p = 24/5 by vyústil v asi tříprocentní snížení hodnoty H (p Malé změny v pravděpodobnosti p 2 = /5 by pak na hodnotu H (p měly jen zanedbatelný vliv Poděkování Tato práce byla podporována projektem M64 Ministerstva školství, mládeže a sportu ČR a projektem SVV-2-26254 Univerzity Karlovy v Praze Literatura Zvárová J: On Measures of Statistical Dependence Časopis pro pěstování matematiky 974; 99: 5 29 2 Zvárová J, Vajda I: On Genetic Information, Diversity and Distance Methods of Inform in Medicine 26; 2: 73 79 3 Horáček, M: Measures of biodiversity and their applications Master thesis, Charles university, Prague, supervisor J Zvárová 29 4 Horáček, M, Zvárová J: Traditional Measures of Diversity, Their Estimates and Sensitivity to Changes Proceedings of the 7th Summer School on Computational Biology 2; 73 8 5 Andrade, M de, Wang, X: Entropy Based Genetic Association Tests and Gene-Gene Interaction Tests Statistical Applications in Genetics and Molecular Biology 2; : Iss, Article 38 6 Blyth, C R: Note on estimating information Annals of Math Stat 959; 3: 7 79 7 Bonachela, J A, Hinrichsen, H, Muñoz, M A: Entropy estimates of small data sets J of Phys A: Math and Theor 28; 4: 9 8 Hausser, J, Strimmer, K: Entropy Inference and the James- Stein Estimator, with Application to Nonlinear Gene Association Networks Journal of Machine Learning Research 29; : 469-484 9 R Development Core Team: R: A Language and Environment for Statistical Computing R Foundation for Statistical Computing, Vienna, Austria http://wwwr-projectorg 2 Obrázek 2: Srovnání citlivostí na změny u mocninných entropií Boyle, T P, Smillie, G M, Anderson, J C, and Beeson, D R: A sensitivity analysis of nine diversity and seven similarity indices Research Journal Water Pollution Control Federation 99; 62: 749 762 Izsak, J: Sensitivity Profiles of Diversity Indices Biom J 996; 38: 92 93 c 2 EuroMISE sro EJBI Ročník 7 (2, číslo