Hodnocení výsledků účastníků v EHK. Marek Budina SEKK Pardubice

Transkript

1 Hodnocení výsledků účastníků v EHK Marek Budina SEKK Pardubice Poslední aktualizace:

2 Roční cyklus účasti Přihlášení do systému KALENDÁŘNÍ ROK Cyklus EHK 1 Výsledky Cyklus EHK n Výsledky Souhrnný roční přehled

3 Přihlášení do systému I přihlášení do systému je třeba (někdy) doložit Doklady: obchodní smlouva + objednávka Slouží k prokázání zapojení do systému ještě před tím, než proběhne samotný cyklus EHK

4 Hodnocení v rámci cyklu EHK Osvědčení o účasti Certifikát (jen pro explicitně dané zkoušky) Výsledkový list Hodnocení aktuálních výsledků Úspěšnost za 2 roky pro každou zkoušku Úspěšnost za 2 roky pro daný program (soubor zkoušek) Komplexní statistika Zobrazení kvantitativních výsledků Historie P-skóre Histogramy

5 Zkouška Tímto obecným pojmem označujeme jednotlivý, samostatně hodnocený prvek v rámci cyklu jedná se tedy o výsledek (kvantitativní nebo kvalitativní) pro daný analyt, parametr, složku, znak apod. Celkovým hodnocením zkoušky se rozumí hodnocení stanovení/určení analytu/vlastnosti/znaku ve všech vzorcích. Celkové hodnocení zkoušky: +... úspěšná zkouška -... neúspěšná zkouška ±... nehodnoceno

6 Hodnotitelnost zkoušky Standardní stav: Všechny zkoušky v cyklu EHK jsou hodnoceny a započítávány do dlouhodobého hodnocení (DH). Někdy: Některé zkoušky jsou v rámci cyklu hodnoceny, ale nejsou započítávány do DH mají edukační charakter (např. zkoušky zařazené jako pilotní studie). Někdy: Některé zkoušky nejsou v rámci cyklu hodnoceny a nejsou započítávány do DH (např. výsledky málo četných skupin při hodnocení v rámci stejnorodých skupin). Pokud se způsob hodnocení některé zkoušky vymyká obvyklým pravidlům, je tato skutečnost uvedena v závěrečné zprávě k cyklu.

7 Počet platných číslic Účastníci by měli své výsledky uvádět na 3 platné číslice a nejistoty na 2 platné číslice. Vztažné hodnoty (AV) uvádíme na 3 platné číslice pokud byly získány statisticky. Pokud byly převzaty z nějakého dokumentu (např. CRV), mohou být uvedeny až na 4 platné číslice. Přijatelné rozdíly v procentech (D max ) uvádíme zpravidla na 2 platné číslice. Dolní (LL) a horní (UL) hranice intervalu výsledků, které jsou hodnoceny jako správné (vypočtou se z AV a D max ), zaokrouhlujeme na 3 (do roku 2015 na 4) platné číslice dolů a nahoru. Díky tomuto postupu odpovídá uvedený interval deklarovanému D max buď přesně, nebo je nepatrně širší. Příklad: AV = 39,6 a D max = 15 %; odtud je LL = 33,66 a UL = 45,54 po zaokrouhlení LL a UL na 3 platné číslice: LL = 33,6 a UL = 45,6 a opravdu použitý D max (podle kterého jsou výsledky účastníků skutečně hodnoceny) tak je: -15,15 % až +15,15 %.

8 Osvědčení o účasti Pro získání Osvědčení o účasti je nutno odeslat výsledky nejpozději v den stop termínu!

9 Certifikát Podmínky získání jako u Osvědčení o účasti a navíc: Zkouška musí být uvedena v dokumentu Certifikace xxxx (xxxx je rok) a musí být provedena s celkovým hodnocením úspěšná zkouška.

10 Výsledkový list (kvantitativní výsledky) s hodnocením srovnatelnosti Skupina, v jejímž rámci byly výsledky účastníka hodnoceny Celkové hodnocení zkoušky v aktuálním cyklu Je-li ve výjimečných případech prováděn přepočet výsledků účastníků, obsahuje výsledkový list i původní, nepřepočtené výsledky. Úspěšnost zkoušky za 2 roky Úspěšnost v cyklech stejného programu za 2 roky Aktuální cyklus EHK Úspěšnost v daném programu za 2 roky

11 Výsledkový list (kvantitativní výsledky) s hodnocením srovnatelnosti i návaznosti Hodnocení srovnatelnosti... Hodnocení návaznosti Existují varianty, kdy je pro jednu zkoušku hodnocena pouze srovnatelnost, nebo pouze návaznost, nebo obojí. Podrobnosti týkající se vyhodnocení jsou uvedeny v závěrečné zprávě k vyhodnocení cyklu.

12 Komplexní statistika (lze konstruovat pro: kvantitativní výsledky, 2 vzorky, nenulové hodnoty)

13 Histogramy (používáme pro kvantitativní výsledky kde je 1 vzorek, nulové hodnoty apod.)

14 Hodnocení zkoušek ovlivňující aspekty Typ hodnocení: Krátkodobé (jeden cyklus EHK) Dlouhodobé (standardně za 2 roky) Souhrnné roční přehledy Výsledky: Kvantitativní Kvalitativní Kvantitativní + kvalitativní

15 Kvantitativní nebo kvalitativní výsledky (nejběžnější případ, většina programů EHK) Vzorek A Vzorek B Zkouška (celkové hodnocení) Zkouška je hodnocena jako úspěšná, pokud jsou správné výsledky pro vzorek A i B.

16 Kvantitativní výsledky: příklad Obsahuje-li cyklus jen jednu zkoušku, může být celková individuální úspěšnost účastníka v cyklu pouze 100 % nebo 0 %!

17 Kvalitativní výsledky: příklad (princip celkového hodnocení zkoušek je shodný s kvantitativními výsledky) Neúspěch v 1 zkoušce ze 3

18 Kvantitativní výsledky Nehodnocená zkouška Nehodnocená zkouška neovlivňuje celkovou úspěšnost!

19 Kvalitativní výsledky Nehodnocená zkouška Stejně jako u kvantitativních výsledků se nehodnocená zkouška nezapočítává do dlouhodobého hodnocení.

20 Speciální případ: Močový sediment V dokumentu Certifikace xxxx (xxxx je rok) je uvedeno: Účastníci hodnotí v každém cyklu 4 fotografie močového sedimentu. Certifikát úspěšnosti bude vydáván pro ty účastníky, kteří uvedou alespoň 3 správné (nebo alespoň akceptovatelné) výsledky ze 4. Praktický dopad ukazuje následující snímek.

21 Speciální případ: Močový sediment Foto 1 Foto 2 Foto 3 Foto 4 Celkem zkouška atd. (toleruje se 1 chyba) + atd. (2 chyby a více)

22 Speciální případ: Močový sediment Hodnotí se zkouška Močový sediment jako celek.

23 Speciální případ: Močový sediment Hodnotí se zkouška Močový sediment jako celek.

24 Kvantitativní a kvalitativní výsledky (hodnotí se většinou oba typy výsledků, pro celkové hodnocení zkoušky jsou však rozhodující pouze kvalitativní výsledky) Kvalita Kvantita Zkouška Vzorek A Vzorek B Vzorek A i B (tj. celkové hodnocení) libovolný výsledek + libovolný výsledek - libovolný výsledek - libovolný výsledek - Z výše uvedených důvodů je uvádění kvalitativních výsledků v příslušných programech EHK povinné.

25 Kvantita + kvalita: příklad (kvantitativní výsledky) Proč je úspěšnost 100 % když ve sloupci C je -? Vysvětlení je na následujícím obrázku...

26 ... protože kvalitativní výsledky tohoto účastníka jsou v pořádku.

27 Kvantitativní výsledky: současně hodnocena srovnatelnost i návaznost (postup standardně používaný v programu Endokrinologie 1) Zkouška je hodnocena jako úspěšná, je-li splněno alespoň jedno kritérium (srovnatelnost nebo návaznost) viz následující tabulka.

28 Kvantitativní výsledky: současně hodnocena srovnatelnost i návaznost Návaznost A libovolné hodnocení libovolné hodnocení Návaznost B libovolné hodnocení Srovnatelnost A libovolné hodnocení Srovnatelnost B libovolné hodnocení Celkem zkouška + Je nutné uspět v návaznosti nebo srovnatelnosti. libovolné hodnocení libovolné hodnocení Chyba v návaznosti i srovnatelnosti. libovolné hodnocení + - -

29 Příklad Endokrinologie 1 Neúspěch u 1 zkoušky (T4 celkový) z 6!

30 Příklad Endokrinologie 1 Vycentrovaný obdélník: kritérium návaznosti P-skóre vždy zobrazuje hodnocení výsledků v rámci srovnatelnosti! Nevycentrovaný obdélník: kritérium srovnatelnosti Účastník na tomto obrázku uspěl jak při hodnocení srovnatelnosti, tak návaznosti.

31 Příklad Endokrinologie 1 Účastník na tomto obrázku uspěl při hodnocení srovnatelnosti, ale ne u návaznosti (celkově uspěl).

32 Příklad Endokrinologie 1 Účastník na tomto obrázku neuspěl při hodnocení srovnatelnosti, ale uspěl u návaznosti (celkově uspěl).

33 Příklad Endokrinologie 1 Účastník na tomto obrázku neuspěl ani při hodnocení srovnatelnosti, ani u návaznosti (celkově neuspěl).

34 Bodové hodnocení výsledků V některých programech EHK jsou hodnoceny nejenom jednotlivé odpovědi účastníka (ve smyslu správná nebo chybná odpověď), ale navíc jsou tyto odpovědi i bodovány. Smyslem bodového hodnocení je poskytnout celkovou přehlednou (kumulativní) informaci o určité skupině dílčích otázek/zkoušek, které jsou na základě bodového zisku účastníka ohodnoceny jako celek. V současné době je bodové hodnocení používáno v následujících programech: Hodnocení nátěru periferní krve (DIF) - samostatně jsou na základě bodového zisku hodnoceny jednotlivé vzorky (A a B). V závěru výsledkového listu jsou tedy souhrnně bodově hodnoceny 2 kumulativní zkoušky. Nátěr periferní krve - fotografie (NF) - samostatně jsou na základě bodového zisku hodnoceny jednotlivé fotografie (1, 2, 3 a 4). V závěru výsledkového listu jsou tedy souhrnně bodově hodnoceny 4 kumulativní zkoušky. Nátěr kostní dřeně - fotografie (NKDF) - samostatně jsou na základě bodového zisku pro každého pacienta hodnoceny jednotlivé fotografie (1 a 2) a celkový popis nátěru. Protože pacienti jsou dva, je v závěru výsledkového listu souhrnně bodově hodnoceno 6 kumulativních zkoušek.

35 Bodové hodnocení Příklad: hodnocení nátěru periferní krve (DIF) Souhrnné bodové hodnocení je provedeno pro 2 kumulativní zkoušky. První zkouškou je souhrnné hodnocení odpovědí účastníka týkajících se vzorku (nátěru) A, druhou je pak hodnocení odpovědí týkajících se vzorku B. Algoritmus bodování je popsán na oddíl Infoservis, sekce DIF.

36 Souhrnné roční přehledy Rozesílají se obvykle v lednu (za minulý rok). Poskytují souhrnný přehled individuálních a celkových výsledků. Nedostávají je pracoviště, která se účastní pouze programů EHK pro systémy POCT.

37 Souhrnný přehled za rok - zkoušky Pokud účastník využil službu vyhodnocení navíc, jsou v přehledu zahrnuty i výsledky odvozených kódů.

38 Souhrnný přehled za rok - certifikáty

39 Nejistoty výsledků Nejistoty výsledků a přehledy těchto nejistot nejsou zahrnuty do systému hodnocení výsledků EHK a neovlivňují úspěšnost účastníků. Představují edukační součást systému. Takhle veliká nejistota je podezřelá je-li pravdivá, pak je úspěch v EHK z velké části dílem náhody. Takhle malá nejistota je také podezřelá je mnohem menší než ostatní nejistoty a dokonce menší než nejistota AV. Asi byla chybně určena/vypočtena.

40 Některé speciality 1 Značení vzorků: Pokud je v daném cyklu použito více sad vzorků (např. 4 sady po jednom vzorku) pak jsou jednotlivé vzorky (lahvičky) označeny písmenem a číslem sady (např. A1, A2, A3 a A4). V rámci vyhodnocení (závěrečné zprávy) byly vzorky někdy zjednodušeně označovány již jen jako A. Od roku 2015 označujeme vzorky ve zprávách komplexně, tedy včetně označení sady vzorků. Nejistoty vztažných hodnot (AV): Pokud jsou v rámci závěrečné zprávy uvedeny rovněž rozšířené nejistoty AV a je uvedeno, že k = 2, pak tento zápis znamená, že uvedená nejistota pokrývá interval, kde se daná hodnota nachází s pravděpodobností 95 % (pro ne-normální rozdělení nemusí být 95% interval pokryt faktorem k = 2 uvedený přístup tedy představuje určité zjednodušení zápisu podrobnosti viz JCGM 100: GUM 1995 with minor corrections). Zkouška s kvantitativními i kvalitativními výsledky: Není-li v daném cyklu uvedeno, že kvalitativní výsledky musí účastníci uvést povinně, pak je jako úspěšná hodnocena i zkouška, kde účastník uvede správné kvantitativní výsledky a kvalitativní výsledky neuvede.

41 Některé speciality 2 Chybějící číslo stránky na poslední straně: Protože používáme jednoprůchodový generátor sestav, může se výjimečně stát (když zápatí přeteče na poslední stranu), že na poslední straně není vytištěno číslo strany (je zde však uveden kód účastníka a kód cyklu EHK). Nejde o chybu, ale vlastnost systému. Program GLC - dlouhodobé sledování úspěšnosti jednotlivých glukometrů: Každý účastník si v rámci tohoto programu může otestovat až 10 glukometrů. Pokud tuto možnost využije, je vhodné, aby jeden konkrétní glukometr uváděl vždy (ve všech cyklech) na stejném místě (tj. pod stejným pořadovým číslem) pak bude dlouhodobá úspěšnost uváděná ve výsledkovém listu popisovat právě tento konkrétní glukometr. Uvádí-li účastník glukometry v různém pořadí nebo je střídá, pak si dlouhodobou úspěšnost jednotlivých přístrojů musí sledovat ve své vlastní evidenci.

42 Některé speciality 3 Rozpory v celkových úspěšnostech (pouze do roku 2014): Při detailním pohledu na celkové statistiky kvantitativních výsledků určitého cyklu (které jsou k dispozici na webu) lze u zkoušek, které jsou hodnoceny v rámci stejnorodých skupin (tedy není ustanovena jedna AV pro celou zkoušku) pozorovat rozdíly v celkové úspěšnosti účastníků ve statistikách, kde jsou skupiny uspořádány podle různého klíče. Příklad: Uvedený jev lze pozorovat např. u cyklů Cystatin C, kde jsou zvlášť hodnoceny výsledky s a bez návaznosti na ERM (technicky provedeno dělením podle principu měření - kódu M). Ve statistice výsledků uspořádaných podle principů měření (M) je obvykle uvedena jiná celková úspěšnost než ve statistice uspořádané podle principů měření a výrobců (např. reagencií). Vysvětlení jevu: Příčinou výše uvedeného chování je směs výsledků ve skupině Ostatní. Pokud jsou výsledky primárně děleny a hodnoceny ve skupinách uspořádaných podle M, pak má každá skupina jasně definovanou vztažnou hodnotu (AV). Jestliže ale výsledky následně přerovnáme do jiných skupin podle klíče M+výrobce, pak mají AV jednoznačně určenu všechny skupiny s výjimkou skupiny Ostatní. Ve skupině Ostatní se totiž sejdou výsledky získané za použití IVD prostředků výrobců, jejichž počet nedosáhl minimální požadované četnosti (typicky 5), které ale mohly být získány různými postupy (kódy M). Pro skupinu Ostatní tak neexistuje jedna AV a pokud by statistika měla být exaktní, musela by skupina Ostatní být rozdělena na tolik podskupin, kolik je v daném cyklu principů měření takový přístup by ale statistiku nafoukl o spoustu řádků, jejichž obsah by účastníkům nepřinesl žádné užitečné informace. Proto je volen jednodušší/přehlednější obsah za cenu určitých nepřesností, které mohou nastat v některých speciálních případech. Počínaje rokem 2015 byl přepracován způsob, jakým se v rámci vyhodnocení výsledků pracuje se skupinou Ostatní, čímž byl výše popsaný rozpor eliminován.

43 Některé speciality 4 Chybějící údaje z minulých cyklů o P-skóre v grafu (od roku 2015): V některých případech se může stát, že účastník nenajde v grafu P-skóre (který je součástí komplexní statistiky) údaje ze všech cyklů, kterých se účastnil. Příklad: V cyklech TDM účastník vždy uváděl výsledky amikacinu, avšak v grafu P-skóre nejsou uvedena P-skóre pro výsledky z roku 2014 a starší. Vysvětlení jevu: Příčinou výše uvedeného chování je to, že od roku 2015 bylo do systému hodnocení výsledků EHK zavedeno důsledné sledování sady vzorků, ve které byla provedena zkouška. V minulých letech jsme v rámci hodnocení sady nerozlišovali. Při tvorbě grafu, který zobrazuje P-skóre, se zobrazují pouze výsledky, které účastník pro danou zkoušku získal v cyklech stejného programu a ve stejné sadě vzorků. V minulých letech však technicky v rámci hodnocení existovala pouze sada 1. Proto se P-skóre u zkoušek, které se provádějí v sadách označených číslem 2 a výše, nezobrazí. Podobné chování nastane i v případě randomizace vzorků, která je vždy řešena jako doplnění sady/sad (s dalšími vzorky) do cyklu. Nejedná se o chybu, ale o vlastnost systému. Jsme si vědomi, že uvedené chování může účastníkům přinést určité nepohodlí, a proto se budeme snažit v rámci příštích aktualizací (cca polovina roku 2015) upravit systém tak, aby do grafu P-skóre zahrnul všechny výsledky bez ohledu na sadu. Výše popsaný jev byl odstraněn aktualizací software, která proběhla v květnu 2015.

44 Některé speciality 5 Počet platných číslic: Výstupy (zprávy) pro účastníky se vždy snažíme konstruovat tak, aby přinášely požadované informace a přitom byly přehledné. S tím úzce souvisí i počty platných číslic, které používáme pro různé údaje: parametry polohy (vztažné hodnoty, robustní průměry) obvykle uvádíme na 3 platné číslice; parametry rozptylu (SD, CV) a relativní úspěšnosti zpravidla na 2 platné číslice. Odtud mohou vyplynout některá překvapení, například: Je zobrazena 100% úspěšnost přesto, že ze 200 účastníků 1 neuspěl. Skutečná úspěšnost je 99,5 %, protože ale úspěšnosti zobrazujeme na 2 platné číslice, je ve statistice uvedeno číslo takto zaokrouhlené, tedy 100 %. Nejedná se o chybu, ale záměrné zjednodušení jehož cílem je maximalizace přehlednosti.