VSTUPNÍ ANALÝZA EXISTUJÍCÍCH SYSTÉMŮ

Transkript

1 VSTUPNÍ ANALÝZA EXISTUJÍCÍCH SYSTÉMŮ PRO SLEDOVÁNÍ VÝKONŮ A EFEKTIVITY SLUŽEB (ZÁVĚREČNÁ ZPRÁVA Z PROJEKTU CZ.1.4/3.1./4.5)

2 VSTUPNÍ ANALÝZA EXISTUJÍCÍCH SYSTÉMŮ PRO SLEDOVÁNÍ VÝKONŮ A EFEKTIVITY SLUŽEB ZÁVĚREČNÁ ZPRÁVA ZADAVATEL: Ministerstvo práce a sociálních věcí ČR Na Poříčním právu 1/376, Praha 2 ZPRACOVATEL: Institut evaluací a sociálních analýz Heřmanova 22, 17 PRAHA 7 Tel.: +4/ Fax: +4/ info@inesan.eu

3 OBSAH PŘEHLED NEJDŮLEŽITĚJŠÍCH ZÁVĚRŮ... 2 DOPORUČENÍ ÚVOD PLNĚNÍ PŘEDMĚTU ZAKÁZKY METODIKA VÝZKUMNÉHO ŠETŘENÍ VYSVĚTLIVKY K VÝSLEDKŮM VÝZKUMNÉHO ŠETŘENÍ PERCEPCE VÝKONNOSTI MOTIVACE SLEDOVÁNÍ VÝKONNOSTI OBLASTI SLEDOVÁNÍ VÝKONU INDIKÁTORY VÝKONNOSTI IDENTIFIKACE RELEVANTNÍCH UKAZATELŮ VÝKONNOSTI POUŽÍVÁNÍ KLÍČOVÝCH UKAZATELŮ VÝKONNOSTI (KPI) NAVRHOVANÉ ZMĚNY VE STÁVAJÍCÍM SYSTÉMU VÝKAZNICTVÍ MODELY PRO SLEDOVÁNÍ VÝKONU MĚŘENÍ EKONOMICKÉHO VÝKONU MODELY PRO KOMPLEXNÍ MĚŘENÍ VÝKONU ALTERNATIVNÍ PŘÍSTUPY K MĚŘENÍ VÝKONU PROBLÉMY PŘI MĚŘENÍ VÝKONU ZPŮSOBY VYUŽITÍ POZNATKŮ O VÝKONU PŘÍLOHY Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 1

4 PŘEHLED NEJDŮLEŽITĚJŠÍCH ZÁVĚRŮ Vstupní analýza existujících systémů pro sledování výkonnosti poskytovatelů sociálních služeb se zaměřila na pět problémových okruhů, jejich nejdůležitější závěry jsou prezentovány v tomto přehledu. a) Percepce výkonnosti Na základě výzkumného šetření provedeného mezi vybraným vzorkem poskytovatelů sociální péče platí, že výkonnost jako taková je pro jednotlivé subjekty důležitou součástí jejich činnosti; celkem 96 % zástupců vybraných organizací považuje problematiku výkonnosti za zásadní či velmi důležitou. V tomto ohledu nebyly shledány statisticky významné diference založené na velikosti jednotlivých poskytovatelů či na typu poskytované služby. Výkonnost je poskytovateli sociálních služeb chápána typicky na úrovni pracovního výkonu jednotlivých zaměstnanců, nikoliv však ve strategické rovině. Výkonnost je v rámci zkoumaných organizací sledována nejčastěji záznamem jednotlivých výkonů (úkonů) a jejich následnou sumarizací za dané časové období. b) Motivace sledování výkonnosti Nejčastěji bylo jako důvod sledování výkonnosti uváděno poskytování kvalitních sociálních služeb; sledování finanční efektivity, hodnocení zaměstnanců a spravedlivé odměňování zaměstnanců, sledování spokojenosti klientů a sledování výkonnosti kvůli dotacím/ kvůli závazkům od donátorů. Sledované organizace tedy sledují svou výkonnost buď proto, že jejím prostřednictvím získávají zpětnou vazbu o své dosavadní činnosti (pohled do minula), nebo na základě ukazatelů výkonnosti plánují zlepšování poskytovaných služeb a jejich rozvoj (pohled do budoucna). Rovněž se ukazuje, že poskytovatelé používají data o své výkonnosti pro řízení své vlastní činnosti jen okrajově; obvyklé je, že data o výkonnosti jsou vykazována, ale v rámci organizace se téměř nepoužívají. Z výzkumu je v neposlední řadě patrné, že poskytovatelům chybí motivace ke sledování výkonnosti a zejména pak k jejímu řízení. Poukazují přitom na skutečnost, že výše dotací nekoresponduje s dosavadním výkonem; snahy zlepšit výkonnost tak nemají odraz v úspěšnosti při získávání dotací a nemají potřebný motivační charakter. Naopak důkladná analýza výkonnosti a náročný proces získávání podkladových údajů odčerpává omezené kapacity, jež by mohly být využity při hlavní činnosti poskytovatelů. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 2

5 c) Oblasti sledování výkonu Ze sledovaných oblastí je systematické porovnávání dosažených výsledků vůči stanoveným cílům prováděno nejčastěji v oblasti poskytování služeb klientům (92 %). Přibližně osm z deseti poskytovatelů sociálních služeb provádí systematické porovnávání v oblasti financí, a také na úrovni celkové strategie organizace. Sedm z deseti poskytovatelů provádí systematické porovnávání dosažených výsledků se stanovenými cíli v oblasti řízení lidských zdrojů. Téměř dvě třetiny zkoumaných organizací používají pro systematické sledování výkonnosti nějaký konkrétní systém či postup. Z odpovědí dotázaných zástupců vyplývá, že jako nástroj ke sledování výkonnosti používají nejčastěji benchmarking, vnitropodnikovou aplikaci/program, standardy kvality. Řada poskytovatelů sociálních služeb měří svou výkonnost na základě průběžného hodnocení své činnosti, ke sledování výkonnosti využívají blíže nespecifikované metodiky. Naprostá většina poskytovatelů neomezuje sledování výkonnosti na jednu konkrétní oblast v rámci činnosti daného subjektu, nýbrž uplatňuje relevantní postupy v rámci svého finančního řízení (83 %), řízení lidských zdrojů (69), resp. při poskytování služeb klientům (92 %). Přibližně čtyři z pěti poskytovatelů uvádějí, že sledují takové ukazatele, které umožňují sledovat výkonnost organizace v oblasti celkové strategie. Přesto však v případě naprosté většiny poskytovatelů nelze hovořit o Modelech sledování výkonnosti, neboť jde spíše o izolované ukazatele. Z výzkumu vyplývá, že řada poskytovatelů sleduje značný počet ukazatelů (v řádu stovek), nicméně tato data nejsou dostatečným způsobem vytěžována a míra jejich utilizace je nízká (většinou jsou používány jen pro účely výkaznictví). d) Indikátory výkonnosti Z odpovědí týkajících se využívání konkrétních ukazatelů výkonnosti vyplývá, že zkoumané organizace v současné době sledují počet kontaktů, docházku zaměstnanců a celkový počet intervencí (tyto ukazatele sleduje přibližně 9 z 1 organizací). Velmi často jsou sledovány také náklady klíčové aktivity organizace, které sleduje 8 z 1 organizací. Více než % dotázaných organizací dále sleduje náklady na jednoho klienta, počet klientohodin a podíl stížností na celkovém počtu klientů. Polovina dotázaných organizací sleduje fluktuaci zaměstnanců, počet lůžkodnů, cash-flow a počet klientodnů. Z odpovědí dotazovaných zástupců jednotlivých poskytovatelů je dále patrná vysoká míra pozornosti věnovaná spokojenosti klientů, kdy necelá pětina subjektů spontánně uvedla, že sleduje svou výkonnost na základě počtu klientů. Mezi další obvyklé ukazatele výkonnosti patří využívání pracovní doby, dodržování standardů kvality a obsazenost zařízení. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 3

6 Obecně lze konstatovat, že nejčastěji jsou sledovány ukazatele týkající se výkonnosti v oblasti práce s klienty, ukazatele výkonnosti zaměstnanců a ukazatele nákladovosti poskytovaných služeb. Ekonomické ukazatele výkonnosti, jako jsou dlouhodobý zisk z jednoho klienta, ROI (návratnost investic), náklady na získání jednoho klienta a EBIT (zisk před úroky a zdaněním), sleduje přibližně jedna osmina dotázaných organizací. e) problémy při měření výkonnosti Na základě zjištění výzkumného šetření lze konstatovat, že poskytovatelé sociálních služeb nemají zásadní problém se získáváním dat o své vlastní výkonnosti. V současné době disponují dostatečnými kompetencemi, nástroji a technikami, které umožňují zaznamenávat a dále zpracovávat prováděné výkony. V rámci výzkumu byly nejčastěji uváděny problémy týkající se rozpočtového omezení (86 % dotázaných). Nedostatek financí výrazně převyšuje svým výskytem ostatní zkoumané problémy spojené s měřením výkonnosti. Druhým nejčastějším problémem je nedostatek času na získávání dat, který uvedla téměř polovina dotázaných organizací (47 %). Přibližně dvě pětiny organizací pak poukázaly na diskutabilní finanční návratnost měření výkonnosti; třetina organizací vnímá jako problém nízké povědomí o metodách měření výkonnosti, a také roztříštěnost a nejednotný formát dat a čtvrtina organizací vnímá jako problém nízkou využitelnost ukazatelů výkonnosti. Pětina subjektů se při měření výkonnosti setkává s nízkými analytickými schopnostmi svých pracovníků a s nedostatkem dat. Dalším zmiňovaným problémem je systém jednoletého financování sociálních služeb. Poskytovatelé poukazují na skutečnost, že jde o příliš krátké období na to, aby jim umožňovalo strategické plánování a rozvoj. Významná je v tomto ohledu také nejistota ohledně budoucí existence konkrétních subjektů a šíře či rozsahu poskytovaných služeb. V kontextu sledování výkonnosti je třeba zmínit, že mnohá opatření se nemohou v rámci jednoho fiskálního roku projevit a mnohá potenciálně efektivní opatření směřující k posílení výkonnosti tak nemohou být de facto implementována a provedena. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 4

7 DOPORUČENÍ 1. Definovat základní pojmy, ustálit terminologii Nejasný a nejednotný význam jednotlivých pojmů, s nimiž se v rámci stávajícího systému pracuje, je zásadní bariérou rozvoje výkonově orientovaného stylu řízení v oblasti sociálních služeb. Poskytovatelé v tomto ohledu poukazují na absenci elementárních definic, které by stanovily obsah používaných pojmů. Naléhavost zmíněného problému je dána tím, že poskytovatelé vynakládají značné úsilí na získání požadovaných informací, a dále také nepřesností vykazovaných dat, jež omezuje jejich využití např. v rámci benchmarkingu a vede ke snížené kredibilitě celého systému. Z hloubkových rozhovorů vyplývá potřeba ukotvit definice jednotlivých indikátorů, např. formou jednotného výkladového slovníku pro všechny zainteresované strany v oblasti sociálních služeb. 2. Sjednotit různé informační systémy (MPSV, kraje, obce) Palčivým problémem je kromě nejednotnosti interpretace jednotlivých pojmů také rozdílnost v jejich obsahu mezi různými donátory. Z pohledu poskytovatelů sociálních služeb je významné rovněž propojení oddělených systémů pro sledování výkonnosti sociálních služeb a následné využívání jednotných údajů nejen pro účely benchmarkingu, ale také pro přidělování dotací. 3. Poskytnout návod, jak data o výkonnosti využívat (připravit implementační manuál) Dalším problémem, který poskytovatelé sociálních služeb spatřují v současném systému výkaznictví, je neexistence jednotné metodiky vykazování. Chybějící metodika úzce souvisí s předchozími problémy, nicméně vzhledem ke své instrumentální povaze ji lze chápat jako specifický typ problému. Ukazuje se, že poskytovatelé v mnoha případech nemají k dispozici konkrétní návod, jak efektivně získat a využít příslušně údaje pro strategické řízení. Dalším opatřením je příprava široce akceptovaných, jednotných a závazných metodik výpočtu jednotlivých indikátorů, jež by byly definovány předem a byla by patrná jejich relevance. 4. Provázat systém dotací s výkony Poskytovatelé volají po změně způsobu přidělování prostředků na sociální služby. V první řadě jde o nesoulad mezi množstvím vynaloženého úsilí na zadávání vyžadovaných údajů do systémů poskytovatelů dotací a rozsahem a hloubkou zpětné vazby, kterou poskytovatelé získávají. Dále poskytovatelé sociálních služeb postrádají provázanost výkaznictví s výší poskytovaných dotací. Současný systém, kdy pravděpodobnost získání dotace a dokonce i její výše nesouvisí s vykázanou výkonností, je shledáván jako demotivující. V neposlední řadě je z pohledu poskytovatelů žádoucí změna v mechanismu přidělování dotací z jednoletého cyklu na víceletý (např. tří až pětiletý). 5. Podpořit automatizovaný sběr dat Posledním problémovým okruhem vycházejícím z hodnocení stávajícího systému je, že poskytovatelé v mnoha případech nevědí dopředu, jaká data od nich budou požadována. V tomto ohledu poukazují na řadu praktických problémů způsobených tím, že část informací musejí zpětně dohledávat (v některých případech marně, neboť potřebné podklady nebyly sledovány). Principiální problém však spočívá v nemožnosti přizpůsobit vlastní činnost a její výkonnost dodatečně formulovaným požadavkům. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 5

8 1. ÚVOD Předmětem plnění veřejné zakázky je průzkum v oblasti modelů způsobů definování a vykazovaní výkonu, dále měření efektivity u všech druhů sociálních služeb v ČR (podle zákona č. 18/6 Sb., o sociálních službách). Veřejná zakázka je součástí aktivity č. 3 - Definice potřeb vyplývající z identifikovaných sociálních jevů a zdroje jejich řešení v rámci individuálního projektu Podpora procesů v sociálních službách, registrační číslo CZ.1.4/3.1./ PLNĚNÍ PŘEDMĚTU ZAKÁZKY Cílem první fáze plnění předmětu zakázky bylo vytvoření výchozího seznamu poskytovatelů sociálních služeb spolu s určením nejméně dvou různých typů služeb. Poskytovatelé byli vybráni podle následujících parametrů: poskytovatel prakticky používá konkrétní systém pro zjišťování efektivity poskytování sociálních služeb poskytovatel tento systém používá nejméně tři roky poskytovatel má k dispozici údaje o vlastní výkonnosti za roky 1 a 11. V rámci plnění tohoto úkolu byl proveden screening poskytovatelů zaměřený na přípravu seznamu poskytovatelů a jimi nabízených sociálních služeb. V rámci tohoto sreeningu byly od kompetentních zástupců jednotlivých organizací zjišťovány klíčové okolnosti související s monitoringem a měřením výkonnosti poskytovaných sociálních služeb. Navazující terénní šetření (field research) jednotlivých Modelů používaných poskytovateli sociálních služeb bylo provedeno pomocí individuálních hloubkových rozhovorů, jež umožnily respondentům vyjádřit vlastní hodnocení a zkušenosti. Cílem druhé fáze plnění předmětu zakázky byla identifikace a popis kritérií charakterizujících jednotlivé Modely sledování výkonů a efektivity poskytovaných sociálních služeb. Kromě relevance, efektivity a užitečnosti byly jednotlivé Modely dále posuzovány z hlediska udržitelnosti a proveditelnosti. Nad rámec tohoto úkolu byly identifikovány klíčové ukazatele výkonnosti (KPI), které jsou používány jednotlivými poskytovateli sociálních služeb. Cílem třetí fáze plnění předmětu zakázky bylo provedení analýzy Modelů s cílem připravit návrh skupin jednotlivých trsů (skupin) služeb podle podobnosti přístupu k měření výkonnosti. V této souvislosti byly jednotlivé Modely podrobeny evaluaci a byla rovněž identifikována pozitiva a bariéry jejich využití v jednotlivých trsech. 1.2 METODIKA VÝZKUMNÉHO ŠETŘENÍ Řešení projektu je založeno na dvou primárních výzkumných šetřeních, kvantitativním výzkumu provedeném pomocí CATI a kvalitativním šetření realizovaném pomocí individuálních hloubkových rozhovorů s poskytovateli sociálních služeb v ČR. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 6

9 Kvantitativní část výzkumu Sběr dat byl realizován v jednotlivých krajích České republiky v průběhu října 12. K výběru organizací bylo využito stratifikovaného náhodného výběru z celkového seznamu všech poskytovatelů sociálních služeb. Jako zdroj dat byl použit Registr poskytovatelů sociálních služeb a subsidiárně také WWW prezentace poskytovatelů. Data byla získávána formou telefonického dotazování (CATI), kdy tazatelé kladli zástupcům poskytovatelů jednotlivé otázky podle předem připraveného dotazníku a zaznamenávali v průběhu interview jejich odpovědi. V rámci provedeného výzkumného šetření bylo s žádostí o rozhovor osloveno celkem 43 zástupců poskytovatelů sociálních služeb; nicméně interview byla provedena s 266 respondenty, neboť ostatní oslovení se odmítli výzkumu zúčastnit. Čtyři dotazníky byly dále vyřazeny ze samotného zpracování pro jejich neúplnost či chybné vyplnění. Zpracování dat a jejich analýza tak byla provedena na 262 případech. Míra návratnosti tedy dosáhla 61 %. Struktura zkoumaného vzorku poskytovatelů sociálních služeb je popsána v následujících grafech: Počet zaměstnanců 14 a více zaměstnanců Typ poskytované sociální služby 14 preventivní služby minoritní skupiny zaměstnanců zaměstnanců 1 24 zaměstnanců méně než 1 zaměstnanců preventivní služby drogově závislí preventivní služby dospělí bez přístřeší preventivní služby děti, mládež, rodina terénní služby pobytové služby Kvalitativní část výzkumu V rámci kvalitativního výzkumu realizovaného na přelomu října a listopadu 12 bylo provedeno 66 individuálních hloubkových rozhovorů, jež umožnily respondentům vyjádřit vlastní hodnocení a zkušenosti týkající se získávání a využívání údajů o vlastní výkonnosti. Na základě domluvy se zástupci poskytovatelů sociálních služeb byl dohodnut termín osobního či telefonického rozhovoru. Průměrná délka rozhovoru činila 58 minut. Obsahem hloubkových rozhovorů byla identifikace využívaných nástrojů pro sledování výkonnosti; hodnocení těchto nástrojů a specifikace míry spokojenosti poskytovatelů s těmito nástroji; popis konkrétních zkušeností se systémem hodnocení výkonosti v rámci dané sociální služby a návrhy na úpravy systému sledování výkonnosti. Následující tabulka uvádí počty realizovaných rozhovorů rozdělené dle trsů sociálních služeb: TRS POČET REALIZOVANÝCH INDIVIDUÁLNÍCH HLOUBKOVÝCH ROZHOVORŮ pobytové péčové 1 terénní péčové 11 preventivní děti, mládež, rodina 12 preventivní dospělí bez přístřeší 11 preventivní drogové 11 preventivní minority 11 CELKEM 66 Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 7

10 1.3 VYSVĚTLIVKY K VÝSLEDKŮM VÝZKUMNÉHO ŠETŘENÍ Pokud se údaje vztahují pouze k nějaké podskupině základního souboru, je v komentáři k příslušnému grafu vždy specifikováno, o jaké podskupině respondentů údaje vypovídají. Př.: Pozn.: údaje se vztahují k respondentům, kteří uvedli konkrétní důvod (54 %) Pořadí sledovaných ukazatelů je uvedeno buď v abecedním pořadí, nebo podle intenzity. Relativní četnosti v přehledu výsledků výzkumného šetření vycházejí z analýzy všech dotazovaných subjektů, pokud není specifikováno jinak. Součet relativních četností (procent) a řádkových procent se může vzhledem k zaokrouhlování pohybovat od 99 do 11. Některé grafy prezentují otázky s možností několikanásobné odpovědi. Čísla v těchto grafech uvádějí podíl kladných odpovědí v procentech a jejich součet pak není roven. Výběrová chyba činí u tohoto typu výzkumu ± 6,2 %. Používané testy statistické závislosti jsou standardně prováděny na 5 % hladině významnosti. Clusterová analýza vymezuje typické skupiny analyzovaných znaků z hlediska jejich podobnosti. Výstupem clusterové analýzy je mimo jiné dendogram, ve kterém vodorovné vzdálenosti mezi jednotlivými znaky představují míru jejich podobnosti. Čím je tato vzdálenost kratší, tím je podobnost vyšší. Odpovědi na otevřené otázky a záznamy z hloubkových rozhovorů byly analyzovány metodami obsahové a výpovědní analýzy. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 8

11 2. PERCEPCE VÝKONNOSTI Dotazovaní zástupci poskytovatelů sociálních služeb si spojují výkonnost jejich organizací nejčastěji s vysokou efektivitou práce, se spokojeností klientů/uspokojením potřeb klientů, s maximálním vytížením zaměstnanců, s vysokou kvalitou plnění pracovních úkolů a s maximálním využitím pracovní doby. Mezi další často uváděné odpovědi patří vysoký počet lidí využívající poskytované služby, včasné plnění pracovních úkolů, správné pracovní nasazení, práce přesčas, kvalitně odvedená služba a vysoká ochota pracovníků. Ostatní odpovědi popisující vnímání výkonnosti organizace byly zmíněny ve třech a méně procentech případů. Schéma 1: Spontánně uvedené definice výkonnosti organizace Pozn.: minimální četnost prezentovaných odpovědí = 2 % Přístupy poskytovatelů sociálních služeb k problematice výkonnosti a způsoby, jakými výkonnost definují, je dále dokumentována vybranými fragmenty z hloubkových interview: R5: Výkonnost, tak jsou to statistický data, kdy sledujeme počty uživatelů a počty kontaktů nebo intervencí. R44: Výkonnost je počet realizovaných výkonů v rámci těch služeb, které poskytujeme. R51: Výkonnost znamená splnění počtu kontaktů, intervencí a předepsaných ukazatelů, které máme, ale taky využívání pracovní doby. R3: Výkonnost znamená, že jsou naši lidi plně vytížení, jako přepočet počtu klientů na úvazek pracovníka, na délku intervence. Je patrné, že zástupci poskytovatelů sociálních služeb spojují otázky výkonnosti s výkonem a pracovním nasazením svých zaměstnanců; zejména pak sociálních pracovníků. Rovněž je patrné spojování výkonnosti s problematikou kvality sociálních služeb. V tomto ohledu je výkonnost považována do značné míry za protiklad vůči kvalitě poskytované služby: R36: Výkonnost znamená výkon nebo výši výkonu za nějakou časovou jednotku. Ta ale musí jít ruku v ruce s kvalitou, protože ne všechno, co je výkonné, je taky kvalitní. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 9

12 R48: V podstatě ta kvantita tam nehraje roli v té výkonnosti v sociálních službách. U nás hraje prim kvalita. Třetí významnou dimenzí v percepci výkonnosti je spokojenost klientů, kdy poskytovatelé definují svou výkonnost na základě míry spokojenosti (či dokonce loajality): R39: Výkonnost pro nás znamená, že služby jsou poskytovaný tak, aby byly užitečný obyvatelům, aby je posouvaly dál, a aby to bylo v souladu s ekonomickou stránkou věci. R33: Výkonnost je v podstatě o tom, jestli jsou klienti, jestli přicházejí, jestli se třeba vracejí z důvodu toho, že třeba byli se službou spokojeni. Více než třetina zkoumaných poskytovatelů sociálních služeb uvedla, že sledování výkonnosti poskytovaných sociálních služeb je pro ně zásadní. Celkem tři pětiny dotázaných poskytovatelů hodnotí sledování výkonnosti jako velmi důležité, zatímco jako nepříliš důležité (či dokonce bezvýznamné) ho hodnotí jen 4 % poskytovatelů sociálních služeb. Sledování výkonnosti poskytovaných sociálních služeb tedy považují za významné téměř všechny dotázané organizace. Graf 1: Důležitost sledování výkonnosti poskytovaných sociálních služeb 4 bezvýznamné 59 nepříliš důležité 36 velmi důležité zásadní, naše organizace je na tom přímo závislá Velmi důležité nebo přímo zásadní je ve většině případů sledování výkonnosti poskytovaných služeb z hlediska rozvoje organizace u všech typů poskytovatelů. Jednotlivé typy poskytovatelů se však liší z hlediska podílu těch, kteří považují sledování výkonnosti za zásadní. Nejčastěji jsou na sledování výkonnosti závislé organizace poskytující pobytové služby (46 %), nejméně často pak organizace poskytující preventivní služby pro dospělé bez domova a preventivní služby pro děti, mládež a rodinu (28 % resp. 25 %). Graf 2: Důležitost sledování výkonnosti poskytovaných sociálních služeb (podle typu poskytovatele) pobytové péčové preventivní drogové preventivní minority terénní péčové preventivní dospělí preventivní děti, bezvýznamné bez přístřeší mládež, rodina nepříliš důležité velmi důležité zásadní, naše organizace je na tom přímo závislá Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 1

13 Míra důležitosti sledování výkonnosti v souvislosti s rozvojem organizace je významně diferencována také z hlediska velikosti organizace (z hlediska počtu zaměstnanců). Z podrobnější analýzy vyplývá, že čím vyšší je počet zaměstnanců, tím vyšší je podíl organizací, pro které je sledování výkonnosti přímo zásadní. V případě organizací s méně než 1 zaměstnanci činí jejich podíl 24 %, mezi organizace se a více zaměstnanci je jich 56 %. Graf 3: Důležitost sledování výkonnosti poskytovaných sociálních služeb (podle počtu zaměstnanců) méně než 1 zaměstnanců 1 24 zaměstnanců zaměstnanců 5 99 zaměstnanců a více zaměstnanců bezvýznamné nepříliš důležité velmi důležité zásadní, naše organizace je na tom přímo závislá Ukazuje se, že vysoký význam sledování vlastní výkonnosti není primárně motivován snahou o řízení výkonnosti a její zvyšování, nýbrž je výrazem nutnosti vykazovat externím subjektům (donátorům) uskutečněné činnosti: R6: Sledování výkonnosti je pro nás životně důležité z pohledu toho, abychom byli schopni předložit státní správě, samosprávě, těm, kteří nám přispívají, těm kteří nám platí tuto službu, abychom byli schopni předložit, jakým způsobem naplňujeme jejich zakázku. Sledování výkonnosti, při kterém je sledována míra naplnění stanovených cílů a dosažení vytyčeného plánu, se ve zkoumaných organizacích provádí nejčastěji v rámci interních porad/porad vedení organizace. Mezi další často využívané způsoby patří průběžné vyhodnocování plánů, hodnocení činnosti/supervize a zpětná vazba od klientů. V méně než deseti procentech případů se provádí také kontrolní činnost, sledují se dosažené ekonomické výsledky, vyhodnocují se data získaná z anonymních dotazníků, prověřují se interní statistiky a využívány jsou také pololetní zprávy. Schéma 2: Spontánně uvedené způsoby sledování míry plnění cílů a dosahování vytyčených plánů na úrovni celé organizace interní porady/porady vedení (53 %) vyhodnocení anonymních dotazníků (4 %) průběžné vyhodnocování plánů (21 %) interní statistiky (4 %) hodnocení činnosti/supervize (14 %) zpětná vazba/schůzky s klienty (9 %) kontrolní činnost (7 %) ZPŮSOBY SLEDOVÁNÍ PLNĚNÍ CÍLŮ pololetní zprávy (4 %) hodnocení pracovníků (3 %) vzájemná komunikace mezi zaměstnanci (3 %) sledování ekonomických výsledků (6 %) průběžná kontrola poskytovaných služeb (3 %) Pozn.: minimální četnost prezentovaných odpovědí = 3 % Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 11

14 Provedené hloubkové rozhovory dokládají, že poskytovatelé sociálních služeb aktuálně věnují svou pozornost otázkám své výkonnosti. K tomuto účelu využívají dostupná data a informace z informačních systémů a sdílejí je v rámci organizace s pracovníky, kterých se tyto údaje přímo týkají. R33: Používáme evidenci klientů, měsíčně z toho jsou dělaný reporty, kolik těch klientů bylo, kolik bylo kontaktů, kolik bylo intervencí a na základě toho na konci roku se řekne, ano tak klienti se vraceli nebo ten nárůst je větší. R41: Spíš to děláme podle metody SMART, když už víme, že do toho dáme spoustu energie, tak aby se nám to vrátilo. R44: Děláme dvakrát za rok takové celodenní porady hodnotící, reflektující, které jsou zaměřené na naplňování konkrétních stanovených cílů. Výkonnost je v rámci poskytovatelů sociálních služeb chápána typicky na úrovni pracovního výkonu jednotlivých zaměstnanců, nikoliv však ve strategické rovině. Problematika sledování výkonnosti je v rámci zkoumaných organizací realizována formou záznamu jednotlivých výkonů (úkonů) a jejich souhrnu (sumarizace) v daném časovém období. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 12

15 3. MOTIVACE SLEDOVÁNÍ VÝKONNOSTI Důvodů pro sledování výkonnosti v organizacích je celá řada (spontánně jich bylo uvedeno více než 5). Nejčastěji bylo jako důvod sledování výkonnosti uváděno poskytování kvalitních sociálních služeb; takto se vyjádřila více než třetina dotázaných zástupců poskytovatelů sociálních služeb. Mezi další časté důvody patří sledování finanční efektivity, hodnocení zaměstnanců/spravedlivé odměňování zaměstnanců, sledování spokojenosti klientů a sledování výkonnosti kvůli dotacím/ kvůli závazkům od donátorů. Mezi důvody, které byly zmíněny v méně než deseti procentech případů, patří například plánování rozvoje/další činnosti organizace, hodnocení vytíženosti zaměstnanců, sledování souladu mezi náplní práce a výkonem atd. Seznam dalších důvodů je uveden v následujícím schématu. Schéma 3: Spontánně uvedené hlavní důvody sledování výkonnosti v organizaci Pozn.: minimální četnost prezentovaných odpovědí = 2 % Ukazuje se tedy, že sledované organizace sledují svou výkonnost buď proto, že jejím prostřednictvím získávají zpětnou vazbu o své dosavadní činnosti (pohled do minula), nebo na základě ukazatelů výkonnosti plánují zlepšování poskytovaných služeb a jejich rozvoj (pohled do budoucna): R8: Sledování výkonnosti je velmi důležité a odvíjí se od toho hodnocení zaměstnanců. R36: Sledování a hodnocení výkonnosti je pro nás důležité, protože vlastně tím monitorujeme, jaká ta služba ve skutečnosti je, co přinášíme klientům. R33: Je důležité určitě, když vidíme, že těch klientů je dostatek nebo že o službě se ví, je navštěvovaná. Lidé se sem vracejí s pozitivní zpětnou vazbou, tak samozřejmě je to i známka pro nás, že jí nějakým způsobem děláme dobře a ty služby jsou poskytovány tak, jak by být poskytovány měly. R45: Výkonnost je důležitá, protože na základě výkonnosti lze zlepšovat služby, využívat lépe pracovní dobu a všechny ty náležitosti. Ať už jsou pohnutky jednotlivých poskytovatelů jakékoliv, dotazované subjekty rozlišují dva typy bariér, které snižují míru dosahovaných cílů. První skupinu takovýchto bariér lze identifikovat ve vnějším prostředí dané organizace. Mezi vnější příčiny patří zejména nedostatek financí (uvedeno v 62 % případů), se kterým souvisí snižování dotací/neposkytnutí dotace. Nedostatek finančních prostředků bývá označován jako dominantní příčina nedosahování stanovených cílů. Ostatní vnější příčiny byly zmíněny v pěti a méně procentech případů; jedná se například o nedostatek kvalifikované pracovní síly na trhu práce, nevhodnou legislativu, problematickou klientelu, špatnou spolupráci s úřady atd. V následujícím schématu jsou uvedeny vnější příčiny nedosahování plánované výkonnosti s minimální četností 1 %. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 13

16 Schéma 4: Spontánně uvedené vnější příčiny nedosahování stanovené míry výkonnosti v organizaci Pozn.: údaje se vztahují k těm organizacím, které uvedly konkrétní vnější příčinu (82 %); minimální četnost prezentovaných odpovědí = 1 % Hloubkové rozhovory dokumentují konkrétní dopady nedostatku finančních prostředků v nemožnosti provázat systém sledování výkonnosti se systémem odměňování: R51: Nemáme prostředky na to, jak ocenit to, že někdo opravdu dělá dobře, je výkonný a kvalitní sám od sebe a někdo do toho se musí nutit a kdyby nad sebou neměl meč, že nesplní číslo, tak by se na to vykašlal. Jo takže nemám možnost jak je ocenit ty lidi. Druhou skupinu takovýchto bariér lze identifikovat ve vnitřních procesech dané organizace; v tomto ohledu platí, že vnitřní příčiny nedosahování stanovené výkonnosti spočívají zejména v lidském faktoru. Nedostatek vlastních pracovníků uvedla jako příčinu nedosahování stanovené výkonnosti čtvrtina dotázaných, vysokou fluktuaci pracovníků/propouštění pracovníků uvedlo 15 % dotázaných, nedostatečnou pracovitost zaměstnanců uvedlo 9 % dotázaných. Schéma 5: Spontánně uvedené vnitřní příčiny nedosahování stanovené míry výkonnosti v organizaci Pozn.: údaje se vztahují k těm organizacím, které uvedly konkrétní vnitřní příčinu (44 %); minimální četnost prezentovaných odpovědí =3 % Z hloubkových rozhovorů je v tomto případě patrný vysoký význam finančních prostředků coby činitele, který umožňuje jednotlivým poskytovatelům plánovat vlastní činnost v dlouhodobějším časovém horizontu. R8: Je to o tom, že hlavně postrádáme čas na zavedení některých věcí. Některé věci chceme mít jinak, některé metody chceme vylepšit, ale nemáme na to moc prostoru a chybí také ty finance, takže není možnosti tolik plánovat. Poskytovatelé, kteří sledují výkonnost z důvodu optimalizace svého dalšího rozvoje, zdůvodňují svoji sub-optimální výkonnost poukazem na vnější příčiny (dostupnost finančních zdrojů, charakteristiky cílové skupiny atd.); na druhé straně subjekty, které používají údaje o své výkonnosti k pohledu do minula, identifikují jako důvod svého nižšího výkonu především vnitřní příčiny (např. nedostatečná kvalifikace, nemocnost). Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 14

17 4. OBLASTI SLEDOVÁNÍ VÝKONU Ze sledovaných oblastí je systematické porovnávání dosažených výsledků vůči stanoveným cílům prováděno nejčastěji v oblasti poskytování služeb klientům (92 %). Přibližně osm z deseti poskytovatelů sociálních služeb provádí systematické porovnávání v oblasti financí, a také na úrovni celkové strategie organizace. Sedm z deseti poskytovatelů provádí systematické porovnávání dosažených výsledků se stanovenými cíli v oblasti řízení lidských zdrojů. Obecně lze tedy konstatovat, že systematicky sleduje výkonnost v daných oblastech většina poskytovatelů. Graf 4: Oblasti systematického sledování výkonnosti poskytování služeb klientům 92 finance 83 celková strategie organizace 79 řízení lidských zdrojů 69 jiné 4 Z podrobnější analýzy vyplývá, že s výjimkou oblasti poskytování služeb klientům, se provádí ve všech ostatních zkoumaných oblastech (finance, celková firemní strategie a řízení lidských zdrojů) systematické porovnávání výsledků s cíli nejčastěji v organizacích poskytující pobytové a terénní služby. Tabulka 1: Oblasti systematického sledování výkonnosti (podle typu poskytovatele) pobytové péčové terénní péčové preventivní děti, mládež, rodina preventivní dospělí bez přístřeší preventivní drogové preventivní minority poskytování služeb klientům 93% 91% 95% 95% 87% 92% finance 91% 91% 89% 69% 76% 73% celková strategie organizace 95% 82% 76% 74% 71% 7% řízení lidských zdrojů 77% 75% 68% 64% 58% 68% Z hlediska velikosti organizace dochází ve zkoumaných oblastech (s výjimkou oblasti poskytování služeb klientům) k systematickému porovnávání výsledků s cíli častěji ve větších organizacích (nejčastěji pak v organizacích s 5 a více zaměstnanci). Tabulka 2: Oblasti systematického sledování výkonnosti (podle počtu zaměstnanců) méně než 1 zaměstnanců 1 24 zaměstnanců zaměstnanců 5 99 zaměstnanců a více zaměstnanců poskytování služeb klientům 92% 88% 92% 95% 97% finance 74% 77% 87% 92% 94% celková strategie organizace 76% 72% 81% 9% 89% řízení lidských zdrojů % 64% 71% 76% 86% Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 15

18 Z odpovědí dotazovaných zástupců poskytovatelů dále vyplývá, že efektivita sociálních služeb je sledována zejména v případě pečovatelské služby (ve 26 %), odborného sociálního poradenství (ve 21 %) a obecně u terénních služeb (ve %). Relativně často se sleduje také efektivita v domovech pro seniory, v organizacích poskytujících nízkoprahové služby, v azylových domech a v případě aktivizačních služeb (ve %). Seznam dalších sociálních služeb, u kterých se sleduje jejich efektivita, je zobrazen ve schématu 6. Schéma 6: Spontánně uvedené služby, u nichž poskytovatelé sledují výkonnost Pozn.: minimální četnost prezentovaných odpovědí = 3 % Z výsledků je patrné, že naprostá většina poskytovatelů neomezuje sledování výkonnosti na jednu konkrétní oblast v rámci činnosti daného subjektu, nýbrž uplatňuje relevantní postupy v rámci svého finančního řízení (83 %), řízení lidských zdrojů (69), resp. při poskytování služeb klientům (92 %). Přibližně čtyři z pěti poskytovatelů uvádějí, že sledují takové ukazatele, které umožňují sledovat výkonnost organizace v oblasti celkové strategie. Pokud je sledována výkonnost konkrétních služeb, pak je takovýmto způsobem sledována zejména pečovatelská služba a odborné sociální poradenství. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 16

19 5. INDIKÁTORY VÝKONNOSTI 5.1 IDENTIFIKACE RELEVANTNÍCH UKAZATELŮ VÝKONNOSTI Ze spontánních odpovědí organizací, které mají definovány klíčové ukazatele výkonnosti (KPI) vyplývá, že nejčastěji je sledován celkový počet intervencí resp. počet intervencí na jednoho pracovníka (28 %). Přibližně čtvrtina těchto organizací dále sleduje počet kontaktů a míru spokojenosti klientů, necelá pětina těchto organizací sleduje svou výkonnost na základě počtu klientů. Mezi další ukazatele výkonnosti patří využití pracovní doby, dodržování standardů kvality, počet klientohodin a obsazenost zařízení. Mezi méně časté ukazatele dále patří například počet lůžkodnů, počet hodin přímé péče, počet služeb, počet klientů na jednoho pracovníka, počet klientů na den, práce s individuálním plánem, náklady na poskytovanou službu a náklady na jednoho klienta. Schéma 7: Spontánně uvedené sledované ukazatele výkonnosti (KPI) Pozn.: minimální četnost prezentovaných odpovědí = 2 % Z hloubkových rozhovorů provedených s poskytovateli sociálních služeb vyplynulo, že jednotlivé ukazatele výkonnosti jsou sledovány průběžně a systematicky. Významnou charakteristikou je v tomto ohledu také charakter stanovených ukazatelů, který umožňuje dosažené výkony kvantifikovat, sledovat v čase, popř. porovnávat s jinými poskytovateli. R4: Máme daný v podstatě to, že v rámci Ok systému dáváme takový ty data, který si ta věc sbírá sama, to znamená počet uživatelů, počet kontaktů, počet intervencí, počet odmítnutých klientů a tak. R1: U těch služeb pro rodiny s dětmi mají zaměstnankyně teda diář, kde píšou vlastně každý kontakt s klientem. Píšou tam, i co dělali, co řešili za problematiku, jakou službu poskytovali. R: Zaznamenáváme data o tom, jak a v jaké míře pracujeme s klienty. Tzn., kolik klientů teď aktuálně podporujeme, kolik jsme podpořili celkem v roce, kolik klientů oslovíme, kolik jich podpoříme, kolik jich odejde, což je ta kvantitativní stránka a ta kvalitativní, jak dlouho vztahy fungují, tzn., jak dlouho se dobrovolník s klientem schází, jak vztah funguje. R42: Sledujeme, kolik pracovníků mělo kolik klientů, kolik třeba terénní pracovníci strávili času na cestách, kolik strávili času přímo s klientama. Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 17

20 Hodnocení používaných ukazatelů výkonnosti (KPI) z hlediska relevance, efektivity, efektivnosti, užitečnosti, udržitelnosti a proveditelnosti je uvedeno v příloze (Seznam ukazatelů používaných poskytovateli sociálních služeb). Hodnocení jednotlivých ukazatelů výkonnosti vychází převážně z poznatků z hloubkových rozhovorů. Tato tabulka současně obsahuje výchozí výčet trsů, kde je daný ukazatel používán a potencionální výčet trsů, kde je potenciálně možné ukazatele používat pro hodnocení a sledování výkonnosti (návrh ukazatelů výkonnosti pro jednotlivé trsy služeb podle podobnosti přístupu k měření výkonnosti). Výčet výchozích i potenciálních trsů je založen na názorech zástupců poskytovatelů sociálních služeb a na evaluaci provedené členy řešitelského týmu. 5.2 POUŽÍVÁNÍ KLÍČOVÝCH UKAZATELŮ VÝKONNOSTI (KPI) Přibližně polovina (48 %) dotázaných zástupců poskytovatelů sociálních služeb uvedla, že má jejich organizace definované klíčové ukazatele výkonnosti (KPI). Graf 5: Definované klíčové ukazatele výkonnosti (KPI) 52 KPI nemají definované 48 KPI mají definované Z bližšího pohledu na jednotlivé poskytovatele z hlediska trsu služeb vyplývá, že klíčové ukazatele výkonnosti mají v největší míře definovány organizace poskytující preventivní služby pro děti, mládež a rodinu (63 %) a organizace poskytující preventivní služby pro dospělé bez přístřeší (55 %). Ostatní typy poskytovatelů mají klíčové ukazatele výkonnosti definovány v méně než polovině případů, přičemž nejméně často jsou tyto ukazatele definovány v organizacích poskytujících preventivní drogové ( %) a preventivní minoritní služby (39 %). Graf 6: Definované klíčové ukazatele výkonnosti (KPI) (podle trsu služeb) preventivní děti, mládež, rodina KPI nemají definované KPI mají definované preventivní dospělí bez přístřeší terénní služby pobytové služby preventivní drogové preventivní minoritní Tento projekt je financován z prostředků ESF prostřednictvím Operačního programu Lidské zdroje a zaměstnanost a státního rozpočtu ČR. 18