Metoda nejmenších čtverců Michal Čihák 26. listopadu 2012

Metoda nejmenších čtverců Matematicko-statistická metoda používaná zejména při zpracování nepřesných dat (typicky experimentálních empirických dat získaných například měřením). S nejjednodušší aplikací metody nejmenších čtverců se setkáváme například při prokládání (aproximaci) naměřených dvojrozměrných dat přímkou. Nepatrně složitější aplikací je proložení dat parabolou, obecným polynomem předem daného stupně, nebo obecnou lineární kombinací předem daných bázových funkcí.

Prokládání dvojrozměrných dat přímkou Jako motivační úlohu si podrobně prostudujeme ukázku na adrese: http://user.mendelu.cz/marik/prez/mnc-cz.pdf

Proložení dat obecnou polynomickou funkcí Nyní zobecníme postup z předchozí motivační úlohy. Představme si, že chceme měřením získaná data v podobě m dvojic hodnot (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ) aproximovat polynomem n-tého stupně kde n < m 1. P n (x) = a n x n + a n 1 x n 1 + + a 1 x + a 0,

Proložení dat obecnou polynomickou funkcí Nyní zobecníme postup z předchozí motivační úlohy. Představme si, že chceme měřením získaná data v podobě m dvojic hodnot (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ) aproximovat polynomem n-tého stupně P n (x) = a n x n + a n 1 x n 1 + + a 1 x + a 0, kde n < m 1. Použijeme-li stejný princip jako v předchozí motivační úloze, pak nám půjde o nalezení konstant a 0, a 1,..., a n, které minimalizují následující výraz (součet čtverců odchylek naměřených hodnot y i od aproximovaných hodnot P n (x i )): S(a 0, a 1,..., a n ) = m (y i P n (x i )) 2.

Proložení dat obecnou polynomickou funkcí Nyní zobecníme postup z předchozí motivační úlohy. Představme si, že chceme měřením získaná data v podobě m dvojic hodnot (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ) aproximovat polynomem n-tého stupně P n (x) = a n x n + a n 1 x n 1 + + a 1 x + a 0, kde n < m 1. Použijeme-li stejný princip jako v předchozí motivační úloze, pak nám půjde o nalezení konstant a 0, a 1,..., a n, které minimalizují následující výraz (součet čtverců odchylek naměřených hodnot y i od aproximovaných hodnot P n (x i )): S(a 0, a 1,..., a n ) = m (y i P n (x i )) 2. Pro nalezení minima tohoto výrazu vypočteme postupně parciální derivace S(a 0, a 1,..., a n )/ a j pro j = 0, 1,..., n a všechny je položíme rovny nule.

Proložení dat obecnou polynomickou funkcí Nyní zobecníme postup z předchozí motivační úlohy. Představme si, že chceme měřením získaná data v podobě m dvojic hodnot (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ) aproximovat polynomem n-tého stupně P n (x) = a n x n + a n 1 x n 1 + + a 1 x + a 0, kde n < m 1. Použijeme-li stejný princip jako v předchozí motivační úloze, pak nám půjde o nalezení konstant a 0, a 1,..., a n, které minimalizují následující výraz (součet čtverců odchylek naměřených hodnot y i od aproximovaných hodnot P n (x i )): S(a 0, a 1,..., a n ) = m (y i P n (x i )) 2. Pro nalezení minima tohoto výrazu vypočteme postupně parciální derivace S(a 0, a 1,..., a n )/ a j pro j = 0, 1,..., n a všechny je položíme rovny nule. Tím získáme soustavu n + 1 tzv. normálních rovnic o n + 1 neznámých a 0, a 1,..., a n.

Proložení dat obecnou polynomickou funkcí Tím získáme soustavu n + 1 tzv. normálních rovnic o n + 1 neznámých a 0, a 1,..., a n.

Proložení dat obecnou polynomickou funkcí Tím získáme soustavu n + 1 tzv. normálních rovnic o n + 1 neznámých a 0, a 1,..., a n. Tato soustava má právě jedno řešení v případě, že hodnoty x 1, x 2,..., x m jsou navzájem různé.

Příklad proložení dat kvadratickou funkcí Daty v následující tabulce proložíme polynom druhého stupně (kvadratickou funkci) pomocí metody nejmenších čtverců. i 1 2 3 4 5 x i 0 0,25 0,50 0,75 1,00 y i 1,0000 1,2840 1,6487 2,1170 2,1170

Příklad proložení dat kvadratickou funkcí Daty v následující tabulce proložíme polynom druhého stupně (kvadratickou funkci) pomocí metody nejmenších čtverců. i 1 2 3 4 5 x i 0 0,25 0,50 0,75 1,00 y i 1,0000 1,2840 1,6487 2,1170 2,1170 Ze zadání vidíme, že n = 2 a m = 5, tomu odpovídá soustava tří normálních rovnic 5a 0 + a 1 x i + a 2 x 2 i = y i, a 0 a 0 x i + a 1 x 2 i + a 1 x 2 i + a 2 x 3 i + a 2 x 3 i = x 4 i = y i x i, y i x 2 i.

Příklad proložení dat kvadratickou funkcí Ze zadání vidíme, že n = 2 a m = 5, tomu odpovídá soustava tří normálních rovnic 5a 0 + a 1 x i + a 2 x 2 i = y i, a 0 a 0 x i + a 1 x 2 i + a 1 x 2 i + a 2 x 3 i + a 2 x 3 i = x 4 i = y i x i, y i x 2 i. Ze zadání příkladu postupně vypočteme jednotlivé sumy a po dosazení obdržíme soustavu tří rovnic o třech neznámých 5a 0 + 2,5a 1 + 1,875a 2 = 8, 7680, 2,5a 0 + 1,875a 1 + 1,5625a 2 = 5,4514, 1,875a 0 + 1,5625a 1 + 1,3828a 2 = 4,4015.

Příklad proložení dat kvadratickou funkcí Ze zadání příkladu postupně vypočteme jednotlivé sumy a po dosazení obdržíme soustavu tří rovnic o třech neznámých 5a 0 + 2,5a 1 + 1,875a 2 = 8, 7680, 2,5a 0 + 1,875a 1 + 1,5625a 2 = 5,4514, 1,875a 0 + 1,5625a 1 + 1,3828a 2 = 4,4015. Tato soustava má právě jedno řešení a 0 = 1,0051, a 1 = 0,86468 a a 2 = 0,84316 (přesnost na 6 platných číslic). Hledaný polynom druhého stupně má proto tvar P 2 (x) = 1,0051 + 0,86468x + 0,84316x 2.

Příklad proložení dat kvadratickou funkcí

Příklad proložení dat kvadratickou funkcí Pro posouzení kvality proložení zvolené funkce danými daty se využívá tzv. reziduální součet čtverců m (y i P n (x i )) 2.

Příklad proložení dat kvadratickou funkcí Pro posouzení kvality proložení zvolené funkce danými daty se využívá tzv. reziduální součet čtverců m (y i P n (x i )) 2. Pro právě získaný polynom P 2 (x) v našem příkladu vychází (y i P 2 (x i )) 2 = 0,000276.

Příklad proložení dat kvadratickou funkcí Pro posouzení kvality proložení zvolené funkce danými daty se využívá tzv. reziduální součet čtverců m (y i P n (x i )) 2. Pro právě získaný polynom P 2 (x) v našem příkladu vychází (y i P 2 (x i )) 2 = 0,000276. Polynom P 2 (x) aproximuje data v našem příkladu nejlépe ze všech polynomů druhého stupně ve smyslu metody nejmenších čtverců, tj. reziduální součet čtverců je pro něj minimální (nejmenší možný).