Kontrola kvality dat Homogenizace časových. řad. Petr Štěpánek. Český hydrometeorologický ústav, p. Brno

Transkript

1 Kontrola kvality dat Homogenizace časových řad Petr Štěpánek Český hydrometeorologický ústav, p. Brno

2 Klimatologické studie naměření a sběr dat

3 Klimatologické studie pořízení dat kontrola kvality dat a homogenizace

4 Klimatologické studie pořízení dat homogenizace analýza dat

5 Zpracování dat Měsíční, sezonní a roční průměry Kontrola kvality - vychýlené hodnoty Mezikvart. odchylka Porovnání se sousedy Navazání řad sousedních stanic Testování homogenity Alexanderssonův test Bivariační test t-test Mann-Whitney-Pettit pomocí korelací Referenční řady pomocí vzdáleností Několik iterací Vyhodnocení nehomogenit Pravděpodobnost Oprava dat Doplnění chybějících hodnot

6 Kontrola kvality dat Nalezení vychýlených hodnot

7 Kontrola kvality dat Nalezení vychýlených hodnot 1. Limitní hodnoty získané z mezikvartilové odchylky řada poměrů (logaritmů) mezi testovanou a referenční řadou referenčnířada vytvořená jako průměr 5 nejvíce korelovaných stanic, max. vzdálenost 35 km hranice: koeficient (násobek) = Porovnání hodnot s hodnotami sousedních stanic porovnání s nejbližšími stanicemi řady standardizovaných poměrů (logaritmy poměrů) počet případů překračujících 95% meze spolehlivosti výpočet očekávané hodnoty ze standardizovaných řad

8 Příklad: Porovnání hodnot s hodnotami sousedních stanic ID YEAR MONTHST_BASE REMARK ST_1 ST_2 ST_3 ST_4 ST_5 Rat1_STND Rat2_STND Rat3_STND Rat4_STND Rat5_STND CDF_MAX No_sign. B1BLAT Altitudes,limits B1HLUK01 st_1, distance:6.8 B1VELV01 st_2, distance: 8.9 B1STRZ01 st_3, distance: 10.4 B1BZEN01 st_4, distance: 12.2 B1RADE01 st_5, distance: 13.3 B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT B1BLAT

9 Navázan zaní měření sousedních stanic

10 Navázan zaní měření sousedních stanic (p (příklad) Výběr sousedů do 5 km Mezera mezi dvěma řadami: maximálně 4 roky Výsledná řada: dlouhá minimálně 30 roků Záznam do metadat, zohlednění při homogenizace

11 Homogenizace zacečasovýchřadad Quality control Homogenization Data Analysis

12 Homogenizace změna podmínek na stanici nehomogenity

13 Detekce nehomogenit Testy absolutní homogenity 3,0 2,0 Praha - Klementinum 1,0 0,0-1,0-2,0-3,0-4,

14 Detekce nehomogenit Testy absolutní homogenity Testy relativní homogenity 1,5 1,0 Diference Praha - Klementinum a průměrovaná řada okolí ČR 0,5 0,0-0,5-1,0-1,5-2,

15 Homogenizace postup (testováni relativní homogenity) Tvorba referenčních řad

16 Homogenizace Tvorba referenčních řad Testování homogenity

17 Homogenizace Tvorba referenčních řad Testování homogenity Posouzení nehomogenit v řadách - Metadata - fyzikálně zdůvodnitelné ( nezpochybnitelné ) nehomogenity

18 Homogenizace Tvorba referenčních řad Testování homogenity Posouzení homogenity řad - Metadata - fyzikálně zdůvodnitelné ( nezpochybnitelné ) nehomogenity Opravařad

19 Možné přístupy k homogenizaci nehomogenizovat vůbec použít statistické testy a věřit, že jejich výsledky jsou svaté?

20 Spolehlivost detekce nehomogenit

21 Inhomogeneities Detecting by SNHT (p=0.05, 950 series) generated series of random numbers (properties of air temperature series for year, summer and winter, CZ) introduced steps with various amount of change in level various position of the steps various lengths of the series

22 Schopnost detekce nehomogenit SNHT (p=0.05, 950 series) 120 Detekce / % případů > Chyba detekce /roky 0,1,2,3,4,5,6,7,8,9 1,0 Velikost změny v průměru /C Změna: - velikost nehomogenity - délka řad - poloha v řadě

23 Problémy při p i vyhodnocování nehomogenit většinou jsou metadata nekompletní jsme tedy závislí pouze na výsledcích statistických testů ale správná detekce nehomogenit pomocí testů je často problematická (splnění všech podmínek aplikace testů, problémy v řadách, )

24 Navržen enéřešení Statistické zpracování velkého množství výsledků testování pro každou testovanou řadu (ensemble) pravděpodobnost dané nehomogenity - poměr počtu detekovaných nehomogenit na počtu všech teoreticky možných detekcí (pro každý rok, skupinu roků, celé období)

25 Jak zvýšit spolehlivost testování homogenity (bez metadat ) měsíční, sezónní, roční průměry různé referenční řady různé testy homogenity 40-ti leté úseky několik kroků - iterací

26 Zpracování dat Měsíční, sezonní a roční průměry Kontrola kvality - vychýlené hodnoty Mezikvart. odchylka Porovnání se sousedy Navazání řad sousedních stanic Testování homogenity Alexanderssonův test Bivariační test t-test Mann-Whitney-Pettit pomocí korelací Referenční řady pomocí vzdáleností Několik iterací Vyhodnocení nehomogenit Pravděpodobnost Oprava dat Doplnění chybějících hodnot

27 Výhody statistického zpracování známe závažnost každé nehomogenity (pravděpodobnost) můžeme ohodnotit kvalitu měření dané stanice jako celku (součet všech nehomogenit)

28 Referenčnířady Quality control Homogenization Data Analysis

29 Referenčnířady Regionální průměr

30 Referenčnířady Regionální průměr Průměr stanic s nejvyššími korelacemi

31 Referenčnířady Regionální průměr Průměr stanic s nejvyššími korelacemi Průměr nejbližších stanic

32 Referenčnířady Regionální průměr Průměr stanic s nejvyššími korelacemi Průměr nejbližších stanic + možné nehomogenity jsou nejlépe potlačeny - ref. řada je nejméně korelovaná s test. řadou + vytvořená ref. řada se nejvíce podobá test. řadě -podobné nehomogenity s testovanou řadou (řady prvních diferencí) + zachována geografická blízkost - různé klimatické podmínky pros and cons

33 Referenčnířady se liší diference testované a jejích referenčních řad AVG correlations distance

34 Example: Proposed list of stations used for creating reference series ID_1 ID_2 BEGIN END LENGTH REMARK CORREL DISTANCE ALT_1 ALT_2 B1BLAT st. (l: B1HLUK y. comm.p B1VELV y. comm.p B1STRZ y. comm.p B1UHBR y. comm.p B1RADE y. comm.p Selection according to correlations B1BOJK st. (l: B1STRN y. comm.p B1STHR y. comm.p B1LUHA y. comm.p B1VIZO y. comm.p B1UHBR y. comm.p B1BRBY st. (l: B1BOJK y. comm.p O3ZDEC y. comm.p O3HUSL y. comm.p B1HLHO y. comm.p B1STHR y. comm.p B1BUCH st. (l: B1STME y. comm.p B2KYJO y. comm.p B2KORC y. comm.p B1BZEN y. comm.p B1NAPA y. comm.p

35 Testy homogenity Alexanderssonův test (SNHT) kumulativní odchylky diferencí testované a referenčnířady Alexandersson Standart Normal Homogeneity Test (Single shift test) Reference series: k q i = Y /{[ ρ X Y / X j ]/ ρ } i j= 1 k 2 j ji k j= 1 2 j q i = Yi { ρ j [ X ji X j + Y ]/ ρ j } j= 1 Null and alternative hypothesis: H 0 : z i N(0,1), i {1,..,n}. H 1 : z i N(µ 1,1), i {1,..,a}, z i N(µ 2,1), i {a+1,..,n}, for 1? a < n a µ 1? µ 2. z i = (q i - q )/s q, z i N(0,1) 2 j= 1 Test statistic: 2 2 T 0 = max {Ta } 1 a< n 1 = max { az1 + ( n a) z 2} 1 a< n 1 where z a 1 1 = z i, ( z 1? µ 1), z a í = 1 n 1 2 = ( a) z i n í = a+ 1 2, ( z 2? µ 2). k Quality control Homogenization Data Analysis

36 Testy homogenity Alexandersson SNHT Bivariate Test Bivariate Test Null and alternative hypothesis: H 0 : vectors {x i,y i } bivariate normal distributed N(µ x, µ y, σ 2 x, σ 2 y, ρ) H 1 : pro 0<i 0 <n a d? 0 - N(µ x, µ y, σ 2 x, σ 2 y, ρ) pro i? i 0 N(µ x, µ y+d, σ 2 x, σ 2 y, ρ) pro i > i 0. Test statistic: T 0 = max {T } i<n i i where: X i = 1 / i x j, Y i = 1 / i y j, X = X n, Y = Yn n j= 1 i j= S x = ( x j X ), S y = ( y j Y ), S xy = ( x j X )( y j Y ), j = 1 n j= 1 2 F i = S x ( X i X ) ni /( n i), i<n, S x ( Y Yi ) S xy( X X i ) n / ( n i) Fi, D i = [ ] 2 i 2 xy T i =[ i( n i) D F ]/( S S S ) i x y n j= 1

37 Testy homogenity Alexandersson SNHT Bivariate Test Vincent Technique Easterling and Peterson Test statistic: U = [(RSS 1 -RSS 2 )/3]/[RSS 2 /(n-4)]? F(3,n-4) t-test: differences of levels before and after a discontinuity dvoufázová lineární regrese

38 Testy homogenity Alexandersson SNHT Bivariate Test Vincent Technique 40-ti leté úseky řad (30-40 let na jednu nehomogenitu, Auer et al., 2001)

39 Posouzení nehomogenit (výstupy ze softwarů) Čáslav, 3. část, , n=40 Test Ref I II III IV V VI VII VIII IX X XI XII Win Spr Sum Aut Year A avg A 1930 A corr A A dist A B avg B 1922 B corr B B 1937 B dist B V corr V V 1937 V dist V 1918 Quality control Homogenization Data Analysis

40 Posouzení nehomogenit Begin End Length InHomogen eity Number % detected inhom % possible inhom End Missin g

41 Vyhodnocení nehomogenit Použití několika výstupů (sumace počtu detekcí v daném roce, použití metadat, grafy poměrů, ) ID ELEM YEAR_INHOM BEGINEND YEAR_COUNTY_POSSIBL YEAR_END MISSVALS X_BEGIN_DAX_END_DATEX_BEGIN X_END LATITUDE LONGITUDE ALTITUDE B_FULLNAME REMARKC_OBSERVER C_ID x B1BOJK01 x # # Bojkovice change B1BOJK01 x # # obs Vladimˇr B1BOJK01 Maz lek B1BYSH01 x ? B1BYSH01 x ? B1BYSH01 x ? B1HLHO01 x B1HOLE01 x B1KROM01 x x B1RADE01 x # # Radýjov change B1RADE01 x # # obs Josef B1RADE01 Pˇ a x B1RYCH01 x # # VyÜkov, changerychtß ov, B1RYCH01 x # # obs Marie B1RYCH01 Hor kov xx? B1STRZ01 x B1STRZ01 x B1UHBR01 x # # Uhersk change B1UHBR01 x # # obs Josef B1UHBR01 Kudela x B1UHBR01 x # # Uhersk change B1UHBR01 x # # obs Josef B1UHBR01 Kudela B1VELI01 x ? B1VELI01 x ? B1VKLO01 x x B1VYSK01 x # # VyÜkov, changedukelskß B1VYSK01 x # # obs Vojt B1VYSK B2BOSK01_rx B2BREC01 x B2BRUM01 x # # Brumov change -0.6 B2BRUM01 x # # obs Marta B2BRUM01 Paýˇzkov

42 Oprava nehomogenit z diferencí (poměrů) mezi opravovanou a referenčnířadou pomocí referenčnířady vypočtené jako průměr z nejlépe korelovaných stanic k dané stanici shlazení měsíčních hodnot oprav (1-2-1) (eliminace náhodných chyb) I II III IV V VI VII VIII IX X XI XII

43 Příklad: Oprava nehomogenit - vyhodnocení

44 Doplnění chybějících hodnot Před homogenicí: vliv na správnou detekci nehomogenit Po homogenizaci: přesnější - neovlivněné případnými posuny v řadách Závislost testované na referenčnířadě

45 Doplnění chybějících hodnot - pomocí lineární regrese - referenčnířada jako průměr nejlépe korelovaných stanic - výpočet očekávané hodnoty při porovnání se sousedy

46 Homogenizace časových řad v České republice

47 Homogenizace teplotních řad měsíční průměry teploty vzduchu téměř 200 stanic měřící v různém období v průběhu přístrojových měření testování změny v úrovní (průměru) Počet klimatických stanic v ČR od roku Jahrbücher der k. k. Zentral-Anstalt für Meteorologie und Erdmagnetismus Wien. Bericht der meteorologischen Commission des naturforschenden Vereines in Brünn Brünn Ročenka povětrnostních pozorování meteorologických stanic Praha

48 Prostorové rozložen ení stanic ČR Konec End of měření: measurement měření / roky Počet Prům. min. vzdálenost /km počet počet prům. min. vzdál.

49 Homogenizace - přehled Přehled počtu zpracovávaných řad při homogenizaci (ČR) Charakteristika Data původní opravená Počet stanic Počet 40-ti letých úseku řad Počet oprav 231 Počet testovaných řad celkem Počet významných nehomogenit (p=0.05) Podíl význ. nehomogenit na počtu řad 79,7% 38,4% Počet testovaných řad původní data Test Měsíce Sezóny Typy ref. 40-ti leté Počet řad a rok řad úseky řad pro test A B V Celkem 40716

50 Velké množstv ství nehomogenit po opravě? 40% nehomogenních řad po homogenizaci (80% před) Šumová složka řad: nehomogenity pro skok menší než 0.5 C jsou správně detekovány v méně než 50% případů Cases/ % Fault /year s > Amount of change /C

51 Počet významných nehomogenit detekovaných před p a po homogenizaci (p=0.05) Before After I II III IV V VI VII VIII IX X XI XII Before After 0 Win Spr Sum Aut Year

52 Velikost opravy homogenizovaných řad (absolutní hodnoty) - median C I II III IV V VI VII VIII IX X XI XII Korelační koeficienty mezi testovanými a referenčními řadami před a po homogenizaci (median) Before After I II III IV V VI VII VIII IX X XI XII

53 Nehomogenity v létěl versus v zimě Změna měřících podmínek na stanici (přemístění atd.) se projevuje především v létě v zimě: menší role aktivního povrchu, převládají cirkulační faktory, v létě: větší role aktivního povrchu, převládají radiační faktory

54 Přechod na automatická měření - konsekvence Zatím je příliš brzy na opravu řad - je k disposici málo hodnot (ale nehomogenity způsobené přechodem na AMS jsou již detekovatelné) Nemohou se připojit nová měření

55 Homogenizace srážkových řad měsíční sumy (+sezónní a roční sumy), sezónní a roční počty srážkových dnů (s denními úhrny srážek 0,1, 1,0, 5,0 a 20,0 mm) období stanic 566 řad s měřeními delšími více než 30 let (přerušení měření nesmělo být delsí než 4 roky) 23 řad vytvořené kombinací sousedních stanic 457 stanic má měření delší více než 40 let průměrná minimální vzdálenost: 7.5 km

56 Prostorové uspořádání použitých srážkom koměrných stanic ČR měřících ch v období

57 Počet použitých stanic (s minimáln lní délkou pozorování 30 let) a průměrn rná minimáln lní vzdálenost těchto t stanic v jednotlivých letech v období Počet stanic Počet stanic Minimální vzdálenost Vzdálenost / km 7.4 Průměrná minimální vzdálenost použitých stanic: 7.5 km

58 Tvorba referenčníchřad: Statistika pro výběry nejlépe korelovaných stanic (pro všechny testovanéřady) Correlation coefficient Boxplots: - Median - Upper and lower quartiles (for 589 testes series) Vzdálenosti: - coincidence with selection by means of distances - but still a little bit different all Order of selected stations Distances / km all Order of selected stations Altitude difference / m Rozdíl v nadm. výšce (absolutní hodnoty) Stations selection

59 Korelační koeficienty mezi testovanými a referenčními řadami (referenčnířada počítána podle korelací) Correlation coefficient Boxplots: - Median - Upper and lower quartiles (for 589 testes series) I II III IV V VI VII VIII IX X XI XII Month

60 Výsledky testování homogenity Počet detekovaných nehomogenit (stat. významných) 6000 Number of detections I II III IV V VI VII VIII IX X XI XII Month

61 Velikost opravy (poměry - standardizace na >1.0 ) (referenčnířada počítána podle korelací) Amount of change (standardized) I II III IV V VI VII VIII IX X XI XII Boxplots: - Median - Upper and lower quartiles (for 589 testes series) Vzrůst korelačních koeficientů Correlation increase I II III IV V VI VII VIII IX X XI XII

62 Nehomogenity v létěl versus v zimě Změna měřících podmínek na stanici (přemístění atd.) se projevuje především v zimě v zimě: větší chyby při měření (tuhé srážky vítr, )

63 Závěr, poznp oznámky kontrola kvality dat před samotnou homogenizací je velmi důležitá použití stanic z okolíčr (měřící především v záčátcích přístrojových pozorování) testování v několika iteracích několik iterací testování homogenity a opravy řad (3 iterace byly v tomto případě dostačující) problém homogenity referenčních řad je tímto vyřešen: jednak jsou možné nehomogenity eliminovány použitím průměrů několika sousedních stanic pokud toto není splněno: pří dalším kroku (iteraci) by sousedé měly být již homogenní doporučeno testovat jednotlivé klimatické termíny problémy spojené s automatizací měření v posledních letech

64 Závěr roční chod počtu statisticky významných detekcí nehomogenit a velikostí oprav nehomogenit ensembly: pomocí pravděpodobnosti dané nehomogenity (závažnosti) kvalitnější vyhodnocení, ohodnocení měření dané stanice jako celku (případně různých období měření)

65 Software použitý pro zpracování dat LoadData - aplikace pro staženi dat z centrální databáze (např. Oraclu) ProClimDB software pro zpracování celé databáze (nalezení vychýlených hodnot, navázání sousedních řad, tvorba referečníchřad, příprava dat pro testování homogenity, ) AnClim software pro testování homogenity

66 AnClim software AnClim software

67 ProClimDB software ProcData software

68