Hodnocení výsledků účastníků v EHK Marek Budina SEKK Pardubice www.sekk.cz Poslední aktualizace: 6.5.2015 Roční cyklus účasti Přihlášení do systému KALENDÁŘNÍ ROK Cyklus EHK 1 Výsledky Cyklus EHK n Výsledky Souhrnný roční přehled 1
Přihlášení do systému I přihlášení do systému je třeba (někdy) doložit Doklady: obchodní smlouva + objednávka Slouží k prokázání zapojení do systému ještě před tím, než proběhne samotný cyklus EHK Hodnocení v rámci cyklu EHK Osvědčení o účasti Certifikát (jen pro explicitně dané zkoušky) Výsledkový list Hodnocení aktuálních výsledků Úspěšnost za 2 roky pro každou zkoušku Úspěšnost za 2 roky pro daný program (soubor zkoušek) Komplexní statistika Zobrazení kvantitativních výsledků Historie P-skóre Histogramy 2
Zkouška Tímto obecným pojmem označujeme jednotlivý, samostatně hodnocený prvek v rámci cyklu jedná se tedy o výsledek (kvantitativní nebo kvalitativní) pro daný analyt, parametr, složku, znak apod. Celkovým hodnocením zkoušky se rozumí hodnocení stanovení/určení analytu/vlastnosti/znaku ve všech vzorcích. Celkové hodnocení zkoušky: +... úspěšná zkouška -... neúspěšná zkouška ±... nehodnoceno Hodnotitelnost zkoušky Standardní stav: Všechny zkoušky v cyklu EHK jsou hodnoceny a započítávány do dlouhodobého hodnocení (DH). Někdy: Některé zkoušky jsou v rámci cyklu hodnoceny, ale nejsou započítávány do DH mají edukační charakter. Někdy: Některé zkoušky nejsou v rámci cyklu hodnoceny a nejsou započítávány do DH (často např. výsledky málo četných skupin při hodnocení v rámci stejnorodých skupin). 3
Osvědčení o účasti Pro získání Osvědčení o účasti je nutno odeslat výsledky nejpozději v den stop termínu! Certifikát Podmínky získání jako u osvědčení o účasti a navíc: Zkouška musí být uvedena v dokumentu Certifikace xxxx (xxxx je rok) a musí být provedena s celkovým hodnocením úspěšná zkouška. 4
Výsledkový list (kvantitativní výsledky) s hodnocením srovnatelnosti Skupina, v jejímž rámci byly výsledky účastníka hodnoceny Celkové hodnocení zkoušek v aktuálním cyklu Úspěšnost v cyklech stejného programu za 2 roky Aktuální cyklus EHK Úspěšnost zkoušky za 2 roky Je-li ve výjimečných případech prováděn přepočet výsledků účastníků, obsahuje výsledkový list i původní, nepřepočtené výsledky. Výsledkový list (kvantitativní výsledky) s hodnocením srovnatelnosti i návaznosti Hodnocení srovnatelnosti... Hodnocení návaznosti Existují varianty, kdy je pro jednu zkoušku hodnocena pouze srovnatelnost, nebo pouze návaznost, nebo obojí. Podrobnosti týka jící se vyhodnocení jsou uvedeny v závěrečné zprávě k vyhodnocení cyklu. 5
Komplexní statistika (Lze konstruovat pro: kvantitativní výsledky, 2 vzorky, nenulové hodnoty) Histogramy (Pro kvantitativní výsledky kde je 1 vzorek, nulové hodnoty apod.) 6
Hodnocení zkoušek ovlivňující aspekty Typ hodnocení: Krátkodobé (jeden cyklus EHK) Dlouhodobé (standardně za 2 roky) Souhrnné roční přehledy Výsledky: Kvantitativní Kvalitativní Kvantitativní + kvalitativní Kvantitativní nebo kvalitativní výsledky (nejběžnější případ, většina programů EHK) Vzorek A Vzorek B Zkouška (celkové hodnocení) + - - - Zkouška je hodnocena jako úspěšná, pokud jsou správně výsledky pro vzorek A i B. 7
Kvantitativní výsledky: příklad Obsahuje-li cyklus jen jednu zkoušku, může být celková individuální úspěšnost v cyklu pouze 100 % nebo 0 %! Kvalitativní výsledky: příklad (princip celkového hodnocení zkoušek je shodný s kvantitativními výsledky) Neúspěch v 1 zkoušce ze 3 8
Kvantitativní výsledky Nehodnocená zkouška Nehodnocená zkouška neovlivňuje celkovou úspěšnost! Kvalitativní výsledky Nehodnocená zkouška Stejně jako u kvantitativních výsledků se nehodnocená zkouška nezapočítává do dlouhodobého hodnocení. 9
Speciální případ: Močový sediment V dokumentu Certifikace xxxx (xxxx je rok) je uvedeno: Účastníci hodnotí v každém cyklu 4 fotografie močového sedimentu. Certifikát úspěšnosti bude vydáván pro ty účastníky, kteří uvedou alespoň 3 správné (nebo alespoň akceptovatelné) výsledky ze 4. Praktický dopad ukazuje následující snímek. Speciální případ: Močový sediment Obr 1 Obr 2 Obr 3 Obr 4 Celkem zkouška + + + atd. (toleruje se 1 chyba) + - - atd. (2 chyby a více) - - 10
Speciální případ: Močový sediment Hodnotí se zkouška Močový sediment jako celek. Speciální případ: Močový sediment Hodnotí se zkouška Močový sediment jako celek. 11
Kvantitativní a kvalitativní výsledky (hodnotí se většinou oba typy výsledků, pro celkové hodnocení zkoušky se však berou v potaz pouze kvalitativní výsledky) Kvalita Kvantita Zkouška (tj. celkové hodnocení) Vzorek A Vzorek B Vzorek A i B libovolný výsledek + libovolný výsledek - libovolný výsledek - libovolný výsledek - Z výše uvedených důvodů je uvádění kvalitativních výsledků v příslušných programech EHK povinné. Kvantita + kvalita: příklad (kvantitativní výsledky) Proč je úspěšnost 100 % když ve sloupci C je -? Vysvětlení je na následujícím obrázku... 12
... kvalitativní výsledky tohoto účastníka jsou v pořádku. Kvantitativní výsledky: hodnocena současně návaznost i srovnatelnost (speciální případ - týká se jen programu Endokrinologie 1) Zkouška je hodnocena jako úspěšná, je-li splněno alespoň jedno kritérium (srovnatelnost nebo návaznost) viz následující tabulka. 13
Kvantitativní výsledky: hodnocena návaznost i srovnatelnost (speciální případ - týká se jen programu Endokrinologie 1) Návaznost A Návaznost B Srovnatelnost A libovolný výsledek libovolný výsledek libovolný výsledek libovolný výsledek Srovnatelnost B libovolný výsledek Celkem zkouška + Je nutné uspět v návaznosti nebo srovnatelnosti. libovolný výsledek libovolný výsledek Chyba v návaznosti i srovnatelnosti. libovolný výsledek + - - Příklad Endokrinologie 1 Neúspěch v 1 zkoušce z 6! 14
Příklad Endokrinologie 1 Vycentrovaný obdélník: kritérium návaznosti P-skóre vždy zobrazuje hodnocení výsledků v rámci srovnatelnosti! Nevycentrovaný obdélník: kritérium srovnatelnosti Účastník na tomto obrázku uspěl jak při hodnocení srovnatelnosti, tak návaznosti. Příklad Endokrinologie 1 Účastník na tomto obrázku uspěl při hodnocení srovnatelnosti, ale ne u návaznosti (celkově uspěl). 15
Příklad Endokrinologie 1 Účastník na tomto obrázku neuspěl při hodnocení srovnatelnosti, ale uspěl u návaznosti (celkově uspěl). Příklad Endokrinologie 1 Účastník na tomto obrázku neuspěl při hodnocení srovnatelnosti ani u návaznosti (celkově neuspěl). 16
Bodové hodnocení výsledků V některých programech EHK jsou hodnoceny nejenom jednotlivé odpovědi účastníka (ve smyslu správná nebo chybná odpověď), ale navíc jsou tyto odpovědi i bodovány. Smyslem bodového hodnocení je poskytnout celkovou přehlednou informaci o určité skupině dílčích otázek/zkoušek, které jsou na základě bodového zisku účastníka ohodnoceny jako celek. V současné době je bodové hodnocení používáno v následujících programech: Hodnocení nátěru periferní krve (DIF) - samostatně jsou na základě bodového zisku hodnoceny jednotlivé vzorky (A a B). V závěru výsledkového listu jsou tedy souhrnně bodově hodnoceny 2 zkoušky. Nátěr periferní krve - fotografie (NF) - samostatně jsou na základě bodového zisku hodnoceny jednotlivé fotografie (1, 2, 3 a 4). V závěru výsledkového listu jsou tedy souhrnně bodově hodnoceny 4 zkoušky. Nátěr kostní dřeně - fotografie (NKDF) - samostatně jsou na základě bodového zisku pro každého pacienta hodnoceny jednotlivé fotografie (foto 1 a 2) a celkový popis nátěru. Protože pacienti jsou dva, je v závěru výsledkového listu souhrnně bodově hodnoceno 6 zkoušek. Bodové hodnocení Příklad: hodnocení nátěru periferní krve (DIF) Souhrnné bodové hodnocení je provedeno pro 2 kumulativní zkoušky. První zkouškou je souhrnné hodnocení odpovědí účastníka týkajících se vzorku (nátěru) A, druhou je pak hodnocení odpovědí týkajících se vzorku B. Algoritmus bodování je popsán na www.sekk.cz, oddíl Infoservis, odstavec DIF. 17
Souhrnné roční přehledy Rozesílají se obvykle v lednu (za minulý rok). Poskytují souhrnný přehled individuálních a celkových výsledků. Nedostávají je pracoviště, která se účastní pouze programů EHK pro systémy POCT. Souhrnný přehled za rok - certifikáty 18
Souhrnný přehled za rok - zkoušky Nejistoty výsledků Nejistoty výsledků a přehledy těchto nejistot nejsou zahrnuty do systému hodnocení výsledků EHK a neovlivňují úspěšnost účastníků. Představují edukační součást systému. Takhle veliká nejistota je podezřelá je-li pravdivá, pak je úspěch v EHK z velké části dílem náhody. Takhle malá nejistota je také podezřelá je mnohem menší než ostatní nejistoty a dokonce menší než nejistota AV. Asi byla chybně určena/vypočtena. 19
Některé speciality 1 Značení vzorků: Pokud je v daném cyklu použito více sad vzorků (např. 4 sady po jednom vzorku) pak jsou jednotlivé vzorky (lahvičky) označeny písmenem a číslem sady (např. A1, A2, A3 a A4). V rámci vyhodnocení (závěrečné zprávy) jsou vzorky někdy zjednodušeně označovány již jen jako A. Nejistoty vztažných hodnot (AV): Pokud jsou v rámci závěrečné zprávy uvedeny rovněž rozšířené nejistoty AV a je uvedeno, že k = 2, pak tento zápis znamená, že uvedená nejistota pokrývá interval, kde se daná hodnota nachází s pravděpodobností 95 % (pro ne-normální rozdělení nemusí být 95% interval pokryt faktorem k = 2 uvedený přístup tedy představuje určité zjednodušení zápisu podrobnosti viz JCGM 100:2008 - GUM 1995 with minor corrections). Zkouška s kvantitativními i kvalitativními výsledky: Není-li v daném cyklu uvedeno, že kvalitativní výsledky musí účastníci uvést povinně, pak je jako úspěšná hodnocena i zkouška, kde účastník uvede správné kvantitativní výsledky a kvalitativní výsledky neuvede. Chybějící číslo stránky na poslední straně: Protože používáme jednoprůchodový generátor sestav, může se výjimečně stát (když zápatí přeteče na poslední stranu), že na poslední straně není vytištěno číslo strany (je zde však uveden kód účastníka a kód cyklu EHK). Některé speciality 2 Rozpory v celkových úspěšnostech (pouze do roku 2014): Při detailním pohledu na celkové statistiky kvantitativních výsledků určitého cyklu (které jsou k dispozici na webu) lze u zkoušek, které jsou hodnoceny v rámci stejnorodých skupin (tedy není ustanovena jedna AV pro celou zkoušku) pozorovat rozdíly v celkové úspěšnosti účastníků ve statistikách, kde jsou skupiny uspořádány podle různého klíče. Příklad: Uvedený jev lze pozorovat např. u cyklů Cystatin C, kde jsou zvlášť hodnoceny výsledky s a bez návaznosti na ERM (technicky provedeno dělením podle principu měření - kódu M). Ve statistice výsledků uspořádaných podle principů měření (M) je obvykle uvedena jiná celková úspěšnost než ve statistice uspořádané podle principů měření a výrobců (čehokoli). Vysvětlení jevu: Příčinou výše uvedeného chování je směs výsledků ve skupině Ostatní. Pokud jsou výsledky primárně děleny a hodnoceny ve skupinách uspořádaných podle M, pak má každá skupina jasně definovanou vztažnou hodnotu (AV). Jestliže ale výsledky následně přerovnáme do jiných skupin podle klíče M+výrobce, pak mají AV jednoznačně určenu všechny skupiny s výjimkou skupiny Ostatní. Ve skupině Ostatní se totiž sejdou výsledky získané za použití IVD prostředků výrobců, jejichž počet nedosáhl minimální požadované četnosti (typicky 5), které ale mohly být získány různými postupy (kódy M). Pro skupinu Ostatní tak neexistuje jedna AV a pokud by statistika měla být exaktní, musela by skupina Ostatní být rozdělena na tolik podskupin, kolik je v daném cyklu principů měření takový přístup by ale statistiku nafoukl o spoustu řádků, jejichž obsah by účastníkům nepřinesl žádné užitečné informace. Proto je volen jednodušší/přehlednější obsah za cenu určitých nepřesností, které mohou nastat v některých speciálních případech. Počínaje rokem 2015 byl přepracován způsob, jakým se v rámci vyhodnocení výsledků pracuje se skupinou Ostatní, čímž byl výše popsaný rozpor eliminován. 20
Některé speciality 3 Chybějící údaje z minulých cyklů o P-skóre v grafu (od roku 2015): V některých případech se může stát, že účastník nenajde v grafu P-skóre (který je součástí komplexní statistiky) údaje ze všech cyklů, kterých se účastnil. Příklad: V cyklech TDM účastník vždy uváděl výsledky amikacinu, avšak v grafu P-skóre nejsou uvedena P-skóre pro výsledky z roku 2014 a starší. Vysvětlení jevu: Příčinou výše uvedeného chování je to, že od roku 2015 bylo do systému hodnocení výsledků EHK zavedeno důsledné sledování sady vzorků, ve které byla provedena zkouška. V minulých letech jsme v rámci hodnocení sady nerozlišovali. Při tvorbě grafu, který zobrazuje P-skóre, se zobrazují pouze výsledky, které účastník pro danou zkoušku získal v cyklech stejného programu a ve stejné sadě vzorků. V minulých letech však technicky v rámci hodnocení existovala pouze sada 1. Proto se P-skóre u zkoušek, které se provádějí v sadách označených číslem 2 a výše, nezobrazí. Podobné chování nastane i v případě randomizace vzorků, která je vždy řešena jako doplnění sady/sad (s dalšími vzorky) do cyklu. Nejedná se o chybu, ale o vlastnost systému. Jsme si vědomi, že uvedené chování může účastníkům přinést určité nepohodlí, a proto se budeme snažit v rámci příštích aktualizací (cca polovina roku 2015) upravit systém tak, aby do grafu P-skóre zahrnul všechny výsledky bez ohledu na sadu. Výše popsaný problém byl eliminován aktualizací software, která proběhla v květnu 2015. 21