ANALÝZA A KLASIFIKACE DAT

Transkript

1 ANALÝZA A KLASIFIKACE DA prof. Ig. Jří Holčík, CSc. INVESICE Isttut DO bostatstky ROZVOJE VZDĚLÁVÁNÍ a aalýz

2 IV. LINEÁRNÍ KLASIFIKACE pokračováí Isttut bostatstky a aalýz

3 (SUPPOR VECOR MACHINE SVM) SEPARABILNÍ ŘÍDY mějme v učebí možě obrazy x, =,,,, ze dvou leárě separablích klasfkačích tříd ω a ω cílem je určeí parametrů defující hrac y(x) = x + =, jejíž pomocí klasfkátor správě zařadí všechy obrazy z učebí možy Isttut bostatstky a aalýz

4 přpomeutí: SEPARABILNÍ ŘÍDY vzdáleost jakéhokolv bodu od klasfkačí hrace je d = y(x) Isttut bostatstky a aalýz

5 SEPARABILNÍ ŘÍDY určeme hodoty váhového vektoru a tak, aby hodota y(x) v ejblžším bodě třídy ω byla rova a pro ω rova - Isttut bostatstky a aalýz

6 SEPARABILNÍ ŘÍDY máme ochraé klasfkačí pásmo o šířce a chceme ebo také - chceme ajít mmálí za předpokladu, že x x kde t =+ pro ω a t =- pro ω (mmalzace ormy maxmalzuje klasfkačí pásmo) J(, ) = t = pro pro ( x + ), = x ω x ω,,..., Isttut bostatstky a aalýz

7 SEPARABILNÍ ŘÍDY eleárí kvadratcká optmalzačí úloha se soustavou podmíek formulovaých pomocí leárích erovostí Karushovy-Kuhovy-uckerovy podmíky praví, že pro to musí být splěo L(,, λ) = L(,, λ) = λ, =,,..., λ [t ( x + ) ] kde λ je vektor Lagragových součtelů a L(,, λ) je Lagragova fukce defováa vztahem L(, =, =,,...,,, λ) = λ[t( x + ) ] = Isttut bostatstky a aalýz

8 SEPARABILNÍ ŘÍDY když se všechy vztahy z předcházející stray dají dohromady dostaeme = = λ = t λ t x = podpůré vektory Isttut bostatstky a aalýz

9 NESEPARABILNÍ ŘÍDY stále ale platí, že klasfkačí ochraé pásmo je defováo dvěma paralelím adrovam defovaým x + = ± obrazy z tréovací možy patří do ásledujících tří kategorí: obraz leží vě pásma a je správě klasfková [platí podmíka t ( x+ ) =,,,]; obraz leží uvtř pásma a je správě klasfková (čtverečky) [platí pro ě t ( x+ )<]; obraz je chybě klasfková (kolečka) [platí pro ěj t ( x+ )<] Isttut bostatstky a aalýz

10 NESEPARABILNÍ ŘÍDY všechy tř kategore obrazů mohou být řešey a základě pro daý typ specfckých podmíek t ( x+ ) -ξ pomocí ově zavedeých proměých ξ (tzv. volé proměé - slack varables). Prví kategore je pro ξ =, druhá <ξ a třetí pro ξ >. Cílem ávrhu v tomto případě je vytvořt co ejšrší ochraé pásmo, ale současě mmalzovat počet obrazů s ξ >, což vyjadřuje krtérum se ztrátovou fukcí J(, kde ξ je vektor parametrů ξ a, ξ) = + C I( ξ) = I( ξ ) = ξ ξ > = C je kladá korekčí kostata, která váhuje vlv obou čleů v uvedeém vztahu. Isttut bostatstky a aalýz

11 NESEPARABILNÍ ŘÍDY optmalzace je obtížá, protože ztrátová fukce je espojtá (díky fukc I( )). V takových případech se proto používá áhradí ztrátová fukce J(,, ξ) = + C a cílem ávrhu je mmalzovat J(,,ξ) za podmíek, že t ( x+ ) -ξ a ξ, =,,,. Problém lze opět řešt pomocí Lagrageovy fukce L(,, ξ, λ, μ) = + C ξ μξ λ[t( x + ) + ξ] = = = = ξ Isttut bostatstky a aalýz

12 NESEPARABILNÍ ŘÍDY příslušé Karushovy-Kuhovy-uckerovy podmíky jsou L L L ξ λ μ ξ μ = ebo = = ebo [ t ( ) ] x + + ξ =, =,,...,;, λ = λ = ebo C μ, =,,...,; = t λ t x x ; λ ; =, =,,...,; =, =,,...,; Isttut bostatstky a aalýz

13 NESEPARABILNÍ ŘÍDY z čehož platí požadavek a maxmalzac L(,,λ,ξ,μ) za podmíek μ =, λ = λ λt = ; = C μ λ =, t x, =,,...,; ; Isttut bostatstky a aalýz

14 VÍCE KLASIFIKAČNÍCH ŘÍD přímé rozšířeí řešeí případu dchotomckého problému podle schématu jeda versus zbytek M dchotomckých úloh; každý klasfkátor je tréová podle schématu s hračí fukcí y (x)> pro obrazy z ω a y (x)< pro všechy ostatí; jeda versus jeda M(M-)/ bárích klasfkátorů klasfkačí schéma používající K bárích klasfkátorů, přčemž jedotlvé shluky obrazů z jedotlvých tříd jsou staovey avrhovatelem a jsou kódováy vektory o délce K, jehož hodoty jsou + ebo -. apř. pro M=4 a K=6 může být taková matce Isttut bostatstky a aalýz

15 Příprava ových učebích materálů pro obor Matematcká bologe je podporováa projektem ESF č. CZ..7/../7.38 VÍCEOBOROVÁ INOVACE SUDIA MAEMAICKÉ BIOLOGIE INVESICE DO ROZVOJE VZDĚLÁVÁNÍ Isttut bostatstky a aalýz