Strukturální regresní modely určitý nadhled nad rozličnými typy modelů
Jde zlepšit odhad k-nn? Odhad k-nn konverguje pro slušné k očekávané hodnotě. ALE POMALU! Jiné přístupy přidají předpoklad o funkci lineární regrese předpokládá při odhadu modelu nepodmiňujeme x-em. Srovnání: lin. reg. aproximuje f(x) globálně lineární funkcí k-nn aproximuje f(x) lokálně konstantní funkcí.
Aproximace funkcí (úvod) Aproximujeme Nejčastěji přidáváme předpoklady o f(x), první: tj. existují vnější vlivy mimo X, které vytvářejí chybu predikce nezávislou na X. ALE: pro klasifikaci můžeme modelovat pro binární G, 0-1 kódování kde rozptyl závisí na x! LZE: aproximovat logaritmus podílu P().. logistická regrese
Expanze lineární báze Hledáme parametry modelu minimalizující kde náš model je tvaru kde h k je zvolená množina funkcí vstupu, např. pro neuronové sítě ale třeba i logaritmy či. Pokud volíme h k např. rozhodovací stromy, mluvíme o kombinaci modelů.
Strukturální regresní modely penalizace za složitost, bayesovské metody Lasso, Ridge reg., i např. kubický splajn jádrové (kernal) metody a lokální regrese slovníkové metody, báze funkcí
Lineární metody pro regresi Ridge, Lasso penalizace PCR, PLS změna souřadného systému + selekce
Vybereme nejlepší podmnožinu do p=30,40 lze upočítat, jinak postupně přidávat, postupně ubírat, apod.
Jak velkou podmožinu vybrat? např. krosvalidace 1 std. err. interval u chyby nejsložitějšího, nejmenší model, co se do intevalu vejde.
Ridge Lambda parametr, penalizujeme součet. se záměrně neobjevilo v penaltě. můžeme centrovat příznaky a fixovat β 2 Pro centrované vstupy pro ortonormální vstupy
Ridge coef. - Cancer example
Lasso regression tj. penalta je nutí některé koeficienty být nulové ekvivalentí formulace
Ridge x Lasso
Best subset, Ridge, Lasso Pro ortonormální vstupy se koeficienty změní:
Srovnání koef. metod, korelov. X
Penalta ~ apriorní pravděp. modelů Ridge je-li apriorní pravděpodobnost parametrů nezávislé, pak je Ridge maximálně pravděpodobný odhad. Bayesův vzorec P (β / X )= P( X / β ) P (β ) P ( X ) P(X) konstanta, P (β ) apriorní pravděpodobnost, P ( X / β ) věrohodnost, P (β / X ) aposteriorní pravd.
Strukturální regresní modely penalizace za složitost, jádrové (kernal) metody a lokální regrese slovníkové metody, báze funkcí
Jádrové metody - příklad Jádrová funkce určuje váhu bodu dle vzdálenosti od x 0 Nadaraya-Watson vážený průměr
Jádrové metody a lokální regrese Hledáme odhad jakožto, kde minimalizuje je parametrizovaná funkce, např. polynom nízkého řádu:
Strukturální regresní modely penalizace za složitost, bayesovské metody Lasso, Ridge reg., i např. kubický splajn jádrové (kernal) metody a lokální regrese slovníkové metody, báze funkcí
MARS
Pro splajny máme jednorozměrný vstup X (pak teprve zobecníme na MARS).
Splajny 1. stupně: po částech lineární funkce uzly pevně dané nebo v datových bodech v uzlech spojité napojení lze popsat jako součet: lineání funkce plus pro každý uzel bazická funkce *β i
Kubický splajn Po částech polynomy 3. stupně v uzlech spojitá druhá derivace. Lze zapsat jako součet: kubická funkce plus pro každý uzel bazická funkce*β i
Přirozený kubický splajn Na koncích lineární, mezi uzly kubický (resp. podle stupně ve jménu). U krajů se těžko predikuje, velký rozptyl odhadů proto raději volíme jednodušší model.
Do více dimenzí Součiny jednorozměrných. Ale je jich moc, proto přidávat jen potřebné prvky báze.
Počet stupňů volnosti složitost f Potřebujeme vyjádřit, že model s menším je jednodušší efektivní počet stupňů volnosti u jiných modelů např. počet parametrů, Vapnik- Chervonenkis dimenze,... k-nn složité zhruba N/k.
singulární rozklad Singular Value Decomposition SVD (centered) d i jsou singulární čísla matice X (singular values) je-li nějaké nulové, je X singulární.
PCA - Analýza hlavních komponent vlastní čísla, vlastní vektory
PCR, PLS PCR Principal component regression volí směry odpovídající největším vlastním číslům pro tyto směry spočte regresní koeficienty. Při size=p odpovídá lineární regresi. Partial least squares navíc bere v potaz Y spočte regresní koeficienty tím váží vstupy a spočte první vlastní číslo a vektor odtud první směr PLS, další obdobně, kolmé na 1.