VYSVĚTLIVKY K EXPERTNÍ ANALÝZE METODOU UMRA

1 / 12 Milík Tichý VYSVĚTLIVKY K EXPERTNÍ ANALÝZE METODOU UMRA 1. verze 06-04-01, 2. verze 08-02-25, 3. verze 10-04-02, 4. verze 11-03-09, 5. verze 14-01-28 1. Vysvětlivky navazují na knihu "Ovládání rizika. Analýza a management" (C. H. Beck, Praha, 2006 dále jen "Ovládání"). Cílem výkladu je zobecnit možnosti použití metody. 2. Metoda byla původně zpracována v r. 2000 pro rizikovou analýzu zanořených tunelů metra v Praze. V souvislosti s dizertační prací Dr. Mily Valjentové bylo zaměření metody UMRA rozšířeno na obecný případ ratingů různého druhu. Zobecnění spočívá především v tom, že lze metodu použít k vyšetřování nejen čistých rizik, ale také spekulativních rizik. Metoda nyní pracuje s pojmem "impakt", jehož realizace může mít škodlivý i prospěšný účinek na projekt. Může tedy být nebezpečím i šancí. Vysvětlivky však nepřinášejí žádné změny podstaty metody. 3. Značky, symboly a pojmy uvedené v "Ovládání" byly v těchto Vysvětlivkách upraveny, popř. zobecněny. 4. Slovo "rating" se chápe jako numerický odhad významnosti impaktu pro vyšetřovaný projekt, nikoliv jako vstupní nebo výstupní hodnota matematické veličiny. Rating může mít různý význam: závažnost nebezpečí, benefit šance, pravděpodobná možnost výskytu nějakého zkoumaného jevu (nikoliv pravděpodobnost) apod. 5. Metoda se nezabývá náhodností odhadů a nepracuje ani se žádnými pravděpodobnostmi. Náhodnost expertních odhadů se bere na vědomí, ale není metodou analyzována. Odkazujeme na dizertační práci Valjentová M. "Vlastnosti expertů v expertních analýzách", ČVUT Stavební fakulta, 2011; viz www.volny.cz / milik.tichy /. 6. Obecným cílem metody UMRA je identifikovat a kvalifikovat významnost nebezpečí, popřípadě šancí, spojených s realizací projektu. Specifickým cílem je homogenizovat ratingy v týmu expertů rating impaktů v soubězích zdrojů se segmenty ranking impaktů, segmentů projektu vystavených impaktům a souběhů zdrojů se segmenty Jako vše v rizikologii je i metoda UMRA sama o sobě odhadem. 7. Předpokladem smysluplnosti jakékoliv rizikové analýzy, a tedy i analýzy metodou UMRA, je vyvážený expertní tým vytvořený z expertů s přibližně stejnou zkušeností bez jakékoliv podjatosti vůči projektu nebo vůči jeho účastníkům. 8. Od r. 2000 se metoda UMRA použila u několika projektů, přičemž se postupně získala řada zkušeností. Nejvýznamnější bylo její použití pro Úvodní analýzu rizika železničního tunelu Praha-Beroun. Stručný popis analýzy je uveden v článku:

Vysvětlivky k metodě UMRA (13-12-29) 2 / 12 Tichý, M.: Riziková analýza projektu "Praha-Beroun, nové železničné spojenie", Stavebnícka ročenka 2007, Jaga, Bratislava, 2006, s. 65-67 Použití metody UMRA pro tento významný výstavbový projekt ukázalo její schůdnost a použitelnost v širší praxi. Při řešení se získaly významné poznatky o provedení expertních analýz, které byly zobecněny v monografii: Tichý M, Valjentová M.: Experti a expertizy. Linde, Praha, 2011, 281 s. Dotazy a připomínky k těmto Vysvětlivkám zasílejte prosím na adresu NĚKTERÉ NÁZVY A POJMY milik.tichy@volny.cz 9. Základní názvy použité v textu jsou vzaty z publikace "Experti a expertizy" (str. 33 až 36), s těmito doplňky a zpřesněními: Projekt sled hmotných a nehmotných procesů; projekt má specifický účel a cíl, který má být jeho realizací dosažen, má časově definovaný začátek a konec a je prostorově vymezen; projektem může být pevný nebo pohyblivý objekt Projektem rozumíme z hlediska expertizy i časovou nebo prostorovou část jiného projektu (prostorové pole, časový úsek). Segment projektu ucelená, definovatelná časová nebo prostorová část projektu Zdroj impaktu antropogenní nebo přírodní činitel, který může vyvodit impakt na průběh nebo existenci projektu Impakt souhrn možných skutečností, které mohou, ale nemusí ovlivnit chování projektu v čase a prostoru Významnost impaktu relativní číslo zvolené ze stupnice významnosti nebo zjištěné operací na souboru expertních matic (např. závažnost nebezpečí, nadějnost šance) Nebezpečí impakt, jehož realizace může mít škodlivý vliv na projekt Šance impakt, jehož realizace může mít prospěšný vliv na projekt Pro aplikaci metody v mnoha různých úlohách, které nesouvisejí s analýzou rizika, jsme dospěli k nahrazení původního sousloví "závažnost nebezpečí, Sv" obecným názvem "rating". Rating má pro šanci význam "benefit, Bn". Rating numerický nebo numericky popsatelný odhad významu hmotných nebo nehmotných skutečností vyvolaných realizací impaktu pro vyšetřovaný projekt Ranking číslo udávající pořadí sledované hmotné nebo nehmotné skutečností v souboru uspořádaném podle ratingu (např. podle expertního ratingu nebo podle agregovaného ratingu) Expertní matice formulář vyplněný expertem Stohová matice matice vzniklá zpracováním souboru expertních matic Průnik buňka matice v místě překryvu sloupce a řádku

Vysvětlivky k metodě UMRA (13-12-29) 3 / 12 Aktivní buňka průnik, v němž je uvedena numerická hodnota Souběh segmentu a zdroje průnik na aktivní buňce matice Stoh skupina n e buněk z matic 1 až n e ; skupinu tvoří stejné průniky segmentu a zdroje Aktivní stoh stoh, v němž je aktivní alespoň jedna buňka ZNAČKY A ZKRATKY 10. Použití značek Rt, RtS, RtE, Pc aj. je poněkud neobvyklé. Tyto značky jsou však odlišeny od psaní běžných matematických symbolů proto, aby se zdůraznila odlišná povaha označovaných veličin jde o veličiny související s managementem rizika, jež vyjadřují odhady. Popisy a i segment projektu (řádek) n a, n b počet segmentů projektu, popř. zdrojů impaktu b j zdroj impaktu (sloupec) a N k počet aktivních buněk v expertní matici k c abk buňka v expertním formuláři experta k a N ab počet aktivních buněk ve stohu C ab C ab stoh buněk c abk, k = 1 až n e a N t počet aktivních buněk ve všech expertních maticích n e počet expertů a N cmp počet všech aktivních buněk v souboru expertních matic Rating a ranking RtE abk strt abk mdrt abk Pc k ratingu (RtS max = 3) expertní rating, zvolený hodnotou stupnicového ratingu RtS, zapsanou do buňky c abk expertem k standardizovaný expertní rating modifikovaný expertní rating individuální součinitel vnímání (perception) impaktu expertem k qrt ab cmprt Součinitele Pc t ψ Rt rating grrt ab hrubý stohový rating bez přihlédnutí k vlastnostem expertů (gross) RtS stupnicová hodnota ratingu agrt ab agregovaný stohový rating (scale value) RtS max nejvyšší stupnicová hodnota dsrt ab destandardizovaný stohový rating kvalifikovaný stohový rating souhrnný rating (comprehensive) týmový součinitel vnímání impaktu vyrovnávací součinitel při dsrt > RtS max

Vysvětlivky k metodě UMRA (13-12-29) 4 / 12 Σ a, Σ b Σ k součet pro aktivní buňky v řádku a, sloupci b součet pro všechny aktivní buňky ve všech maticích Součty Σ ab Σ abk součet pro všechny aktivní stohy C ab součet pro všechny aktivní buňky c abk v matici k

Vysvětlivky k metodě UMRA (13-12-29) 5 / 12 NÁSTROJE METODY UMRA (viz Experti a expertizy, str. 200-201) Formulář UMRA Segmenty projektu a 1 a 2 a na Zdroje impaktu b 1 b 2 b nb 11. V mnoha případech je z povahy případu zřetelné, že souběh segmentu a zdroje v některém průniku není možný. Rizikový analytik dá expertům vyplnit formuláře, kde budou příslušné buňky začerněny nebo jinak označeny tak, aby se nedaly vyplnit. Expertní matice k Segmenty Zdroje impaktu projektu b 1 b 2 b nb a 1 c 11k c 12k c 1,nb,k a 2 c 21k c 2,nb,k buňky c abk a na c na,1k c na,2k c na,nb,k Matice stohů C ab Segmenty Zdroje impaktu projektu b 1 b 2 b nb a 1 C 11 C 12 C 1,nb a 2 C 21 C stohy C 2,nb ab a na C na,1 C na,nb

Vysvětlivky k metodě UMRA (13-12-29) 6 / 12 Tabulka UMRA 12. Do buněk formulářů UMRA zapisují experti svoje odhady významnosti impaktu (ratingy) v průniku zdroje impaktu a segmentu, a to hodnotami RtS volenými podle Tabulky UMRA. 13. Tabulka UMRA je součástí metody. Její uspořádání bylo odladěno na řadě případů a po mnoha diskuzích s uživateli metody. Liší se jen formálně od Tabulky UMRA použité v první uskutečněné analýze UMRA v r. 2000. V tabulce se doplní deskriptory efektů realizace impaktu (zarámovaná část tabulky), jiné úpravy mohou vést ke znehodnocení očekávaného výstupu analýzy. 14. Výklad k hodnoticím stupnicím v metodách expertní analýzy je v monografii "Experti a expertizy" na str. 172-176, a také v "Ovládání" na str. 160-161, 183 a 384, kde je popsána původní verze. Expert v průniku zdroje a segmentu Impakt je podle názoru experta... Logická část nedokáže rating odhadnout ponechá buňku logicky nemožný prázdnou... považuje souběh zapíše zdroje a segmentu do buňky za logicky možný zvolenou hodnotu RtS Ratingová část Efekty realizace impaktu v souběhu nepatrný deskriptor 0 0 malý deskriptor 1 1 střední deskriptor 2 2 velký deskriptor 3 3 RtS (a) Deskriptory efektů (pro každý stupnicovou hodnotu RtS jednotlivě) se liší podle toho, zda impaktem je nebezpečí anebo šance, dále podle toho, o jaký projekt jde, a konečně podle specifik efektů eventuálního neúspěchu nebo úspěchu (časové posuny, finanční ztráty / zisky apod.) viz např. "Ovládání", str. 348. Deskriptory musí být jednoznačné a nesmějí se překrývat. (b) Expert smí svůj odhad vyjádřit buď "nulou" nebo celým číslem. Deskriptory musí být proto jednoznačně definovány a musí být vyloučena možnost jejich překryvů.

Vysvětlivky k metodě UMRA (13-12-29) 7 / 12 Expertův rating a ranking Expertní rating 15. Do formuláře, který obdržel k vyplnění, zapíše expert k do buněk c abk svoje ratingy RtE abk hodnotami RtS podle Tabulky UMRA (eventuálně ponechá některé buňky prázdné). 16. Prázdné buňky se kvůli přehlednosti vyznačí např. symbolem <null> (tzv. supernula) nebo jinak. Nevstupují do žádných matematických úkonů (do součtů se tedy nezapočítávají). Aktivní buňky a stohy 17. Buňka c abk je aktivní, jestliže v ní je uveden expertní rating RtE abk (tj. hodnota 0 až 3). 18. Stoh buněk C ab je aktivní, jestliže obsahuje alespoň jednu aktivní buňku. 19. Pro další řešení se zjistí počty aktivních buněk: v expertních maticích k a N k v jednotlivých stozích C ab a N ab v celém souboru expertních matic a N t Ranking 20. V expertní matici k se stanoví pořadí zdrojů, segmentů a souběhů z ratingů zapsaných expertem. 21. V matici k se v každém řádku a určí hodnoty Σ a RtE abk a v každém sloupci b hodnoty Σ b RtE abk. 22. Řádky a sloupce se seřadí sestupně podle velikosti součtů ratingů. K řádkům i ke sloupcům se přiřadí jejich ranking Rn. Přitom Rn = 1 má řádek, popř. sloupec s nejvyšší hodnotou příslušného součtu ratingů. Prázdné řádky a sloupce se v pořadích neuplatní. 23. Dále se seřadí souběhy segmentů a zdrojů sestupně podle hodnot RtE abk zapsaných v buňkách c abk (pro každého experta k samostatně). K souběhům se přiřadí jejich rankingy Rn. Ranking Rn = 1 má souběh s nejvyšším ratingem. Prázdné buňky se v pořadí neuplatní. 24. Pokud se při řazení vyskytnou stejné součty ratingů (u řádků a sloupců), popř. stejné ratingy (u souběhů), zapíše se u nich stejný ranking. 25. Pořadí segmentů, zdrojů a souběhů u jednotlivých expertů je důležité při eventuálním rozboru jejich názorů v případě, kdy se ratingy, popř. rankingy některého experta výrazně liší od ratingů, popř. rankingů jiných členů týmu. PŘÍPRAVA EXPERTNÍCH MATIC 26. Expertní matice nejsou v obecném případě identické. Liší se od experta k expertu, a to ve třech parametrech:

Vysvětlivky k metodě UMRA (13-12-29) 8 / 12 v počtu a umístění aktivních buněk (tj. v počtu a umístění souběhů segmentů a zdrojů) v hodnotách ratingu v rankingu segmentů, zdrojů a souběhů 27. Aby se dospělo k homogenizaci expertního hodnocení, musí se jednotlivé matice upravit tak, aby se expertní hodnocení "převedla na společného jmenovatele". Expertní ratingy se standardizují a modifikují. Úpravy v maticích k, popsané dále v čl. 28 až 37 nemají vliv na pořadí zdrojů, segmentů a souběhů, která plynou z expertní matice hodnot RtE abk. Standardizovaný expertní rating 28. Expertní ratingy impaktu nejsou v expertním týmu většinou vyvážené. Prvním krokem k odstranění nevyváženosti expertních ratingů je standardizace expertních matic. 29. Expertní matice k (k = 1 až n e ) se standardizuje součtem všech ratingů zapsaných do formuláře expertem k, tj. součtem Σ ab RtE abk (v součtu se opět uplatní jen aktivní buňky). Standardizovaný rating v aktivní buňce c abk expertní matice k je tedy: strt abk = RtE abk / Σ ab RtE abk (U1) 30. Buňky, kde je RtE abk <null> (prázdné buňky) mají po standardizaci matice k opět strt abk <null>. 31. Buňky s ratingem RtE abk = 0 mají standardizovaný rating strt abk = 0. 32. Mohou se vyskytnout dva extrémní případy: expert uvedl ve všech soubězích rating RtS = 0 v těchto aktivních buňkách se definuje strt abk = 0 expert považoval souběh segmentu projektu se zdrojem impaktu za nelogický na všech průnicích, a ponechal všechny buňky svého formuláře prázdné expertní matici vyřadíme z dalšího řešení a počet expertů n e zmenšíme o jedničku Modifikovaný expertní rating 33. Ratingy RtE abk (a tedy i jejich standardizované hodnoty strt abk ) se liší od experta k expertu. Objektivní příčinou této běžné skutečnosti je rozdílné vnímání impaktu mezi jednotlivými experty. Úroveň vnímání impaktu expertem k se vystihne individuálním součinitelem vnímání impaktu Pc k postupně pro jednotlivá k = 1 až n e : Pc k = (Σ abk RtE abk )/ (RtS max a N k ) (U2) 34. Jmenovatel zlomku v rov. (U2) je číslo, ke kterému by dospěl dokonale pesimistický expert (je-li impaktem nebezpečí), popř. dokonale optimistický expert

Vysvětlivky k metodě UMRA (13-12-29) 9 / 12 (je-li impaktem šance), jenž by přisoudil ratingům ve všech buňkách, kde považuje souběh segmentu a zdroje za logicky možný, horní mez stupnice ratingu RtS max. 35. Stanoví se týmový součinitel vnímání impaktu: Pc t = (Σ abk RtE abk ) / (RtS max a N t) (U3) kde a N t je počet všech souběhů (tj. aktivních buněk) ve všech stozích C ab (tj. v celém souboru expertních matic): a N t = Σ k a N k (U4) 36. V soubězích c abk se vypočtou modifikované expertní ratingy postupně pro k = 1 až n e : mdrt abk = strt abk (Pc t / Pc k ) (U5) 37. Je-li vnímání impaktu expertem k méně intenzivní, než je průměrné vnímání týmu expertů, tj. je-li Pc k < Pc t, bude u takového experta mdrt abk > strt abk a naopak. Při aplikacích metody UMRA byl smysl tohoto vyrovnání někdy obtížně chápán. Zapamatujeme si ho snadno biblickým "Kdo se ponižuje, bude povýšen, a kdo se povyšuje, bude ponížen". Modifikování ratingů nemusí ale být v mnohých případech spravedlivé! Expert může být tak erudovaným specialistou, že jeho zdánlivě nižší nebo vyšší ratingy jsou ve srovnání s ostatními experty fundované a oprávněné. Odchylky v ratingu nemusí být způsobeny pouze rozdílným vnímáním impaktu, nýbrž mohou vyplývat z empirických nebo teoretických znalostí experta. Odchylné expertní ratingy se nesmějí nikdy podcenit, a rizikový analytik se musí pokusit je objasnit. Analytik musí ovšem také rozhodnout, co se má považovat za odchylné. ZPRACOVÁNÍ SOUBORU EXPERTNÍCH MATIC Hrubý stohový rating 38. Pokud bychom nepřihlíželi k rozdílům mezi experty co do jejich úrovně znalosti projektu a co do jejich vnímání impaktu, vzali bychom jejich vyplněné formuláře tak jak jsou, a určili bychom pro každý aktivní stoh C ab hrubý rating grrt ab = (Σ abk RtE abk ) / a N ab (U6) V buňkách, kde je a N ab = 0, je grrt ab <null>. 39. Rating grrt ab se může v rizikové analýze použít jen tehdy, jestliže je expertní tým vyvážený. To se však většinou nestává. Můžeme ho ovšem použít u zcela jednoduchých projektů, ale ani u takových se na vyváženost týmu spoléhat nedá. Rating se však uplatní v dalším řešení (viz čl. 45).

Vysvětlivky k metodě UMRA (13-12-29) 10 / 12 40. Z matice hrubých ratingů lze stanovit hrubý ranking segmentů, zdrojů a souběhů (postupem podle čl. 20 až 23). Agregovaný stohový rating 41. Modifikované ratingy v buňkách c abk tvoří aktivní stoh C ab ratingů mdrt abk. 42. Průměr modifikovaných ratingů mdrt abk v aktivním stohu C ab označujeme jako agregovaný rating agrt ab = (1 / a N ab ) Σ abk (mdrt abk ), k = 1 až n e (U7) Pokud je a N ab = 0 (všechny buňky c abk ve stohu C ab jsou prázdné), klade se agrt ab <null>. Ranking 43. Z matice ratingů agrt ab se stanoví ranking segmentů vystavených impaktům zdrojů impaktu souběhů zdrojů a segmentů Ranking segmentů, zdrojů nebo souběhů zjištěný z agregovaných ratingů agrt ab se v obecném případě liší od hrubého rankingu zjištěného z hrubého stohového ratingu grrt ab (čl. 40) Destandardizace stohových ratingů agrt ab 44. V tomto stádiu analýzy lze již dát Rozhodovateli informaci o rankinzích segmentů, zdrojů a souběhů z hlediska impaktů. Ratingy agrt ab neposkytují explicitně "absolutní" informaci o ratingu v jednotlivých buňkách. Rozhodovatel však obvykle požaduje informaci, která upozorní na možné následky realizace impaktu srozumitelným způsobem. 45. Matice ratingů se destandardizuje násobením hodnot agrt ab hodnotou Σ ab grrt ab (viz čl. 38). V každé aktivní buňce stohové matice se tedy vypočte destandardizovaný stohový rating: dsrt ab = agrt ab Σ ab grrt ab (U8) 46. Po dosazení a úpravách: jestliže a N ab = 0: dsrt ab <null> (U9) jestliže a N ab > 0: dsrt ab = (1 / a N ab ) (Σ abk (RtE abk / Σ abk RtE abk ) (Pc t / Pc k )) Σ ab (Σ abk (RtE abk ) / a N ab ) (U10)

Vysvětlivky k metodě UMRA (13-12-29) 11 / 12 V tomto vztahu se tedy jako vstupní veličiny uplatní pouze expertní ratingy RtE abk. Úprava destandardizovaných stohových ratingů dsrt ab 47. Pokud v jedné nebo více buňkách překročí destandardizovaný rating dsrt ab horní mez stupnice RtS v Tabulce UMRA RtS max, hodnocení s použitím stupnice není možné. Ratingy dsrt ab se proto všechny upraví vyrovnávacím součinitelem: ψ = RtS max / max ab (dsrt ab ), přičemž ψ 1 (U11) 48. Ratingy dsrt ab = 0 se úpravou nemění a prázdné buňky zůstávají prázdnými. Redukce nemá vliv na pořadí segmentů, zdrojů a souběhů nalezené na základě ratingů agrt ab. 49. Kvalifikované stohové ratingy zjištěné ve stozích C ab metodou UMRA jsou tedy: při max ab (dsrt ab ) 3 : qrt ab = dsrt ab při max ab (dsrt ab ) > 3 : (U12) qrt ab = ψ dsrt ab Souhrnný rating projektu 50. Souhrnný rating projektu (comprehensive project rating) se definuje vzorcem cmprt = Σ ab qrt ab / a N ab (U13) Je zřejmé, že jde o aritmetický průměr ratingů qrt ab podle rov. (U12) v aktivních buňkách agregované matice. 51. Veličina cmprt je orientační odhad nebezpečí, popř. šance! Pokud není doplněn ekonomickým nebo jiným porovnáním se pro porovnávání dvou nebo více projektů co do rizikovosti nehodí. Dá se ovšem použít pro sledování následků změn projektu, ke kterým došlo úpravou projektu na základě analýzy nebezpečí nebo šance. ČASTÉ CHYBY PŘI UŽITÍ METODY UMRA Do skupiny zdrojů se zařazuje nebezpečí nebo scénář nebezpečí. Například: Za zdroj nebezpečí se považuje požár budovy. Ten je však důsledkem chování zdrojů: nájemců, vlastníků, správců.

Vysvětlivky k metodě UMRA (13-12-29) 12 / 12 Zdroje neodpovídají dvěma základním kategoriím: antropogenní a přírodní. Například: Za zdroj nebezpečí se nemůže považovat mechanizmus, který ohrožuje stabilitu budovy. Ve skutečnosti je zdrojem nebezpečí osoba, která umístění mechanizmu navrhla, která ho osadila, používá, bude používat apod. Někdy je osob více (projektant, konstruktér, montér, kontrolor apod.); v analýze se jako antropogenní zdroj uvažuje ta osoba, která nese přímou odpovědnost za předcházející rozhodovatele. Mechanizmus je ovšem zdrojem dynamického opakovaného zatížení, které může poškodit nosné i nenosné konstrukce budovy. Součinitel vnímání impaktu se považuje za indikátor rizika. Například se tak zachází s individuálním součinitelem vnímání nebezpečí Pc k (jde-li o analýzu nebezpečí). Stanovením hodnoty tohoto součinitele analýza končívá a součinitel se vydává za jakousi míru rizika. Patrně kvůli neporozumění metodě nebo jen z pohodlnosti. Analýza je pochopitelně chybná. Segmenty projektu se překrývají. Například se za segment považuje "vlaková souprava na mostě" a za další segment "vagon na mostě", jenž je součástí té soupravy. Zdroj a segment jsou jen jeden celek. Například se za zdroj nebezpečí považuje "vozidlo na dálnici" a současně se "vozidlo na dálnici" považují za segment. Zdrojem nebezpečí jsou např. "řidiči", "údržba", "náledí" apod. Segmentem jsou "vozidla", "vozovka", "mýtné brány" apod. Segmenty jsou vzájemně závislé. Například segment S2 je podmíněn existencí segmentu S1. Segmentem projektu je tedy jen segment S1. Pokud neexistuje, nemůže být vystaven impaktu. Následek: Zkreslení výsledků analýzy. Deskriptory v tabulce UMRA se překrývají. Následek: Expert není schopen zvolit "přesně" rating RtS. Konec Vysvětlivek k metodě UMRA