Informačné systémy o vede

Rozměr: px
Začít zobrazení ze stránky:

Download "Informačné systémy o vede"

Transkript

1 Národný informačný systém podpory výskumu a vývoja v SR prístup k elektronickým informačným zdrojom N IS P E Z Informačné systémy o vede Integrácia pre otvorený prístup k vedeckým výstupom Zborník z medzinárodnej konferencie CVTI SR, Bratislava 2. apríla 2014 CVTI SR, Bratislava 2014 Podporujeme výskumné aktivity na Slovensku / Projekt je financovaný zo zdrojov EÚ

2 Informačné systémy o vede: integrácia pre otvorený prístup k vedeckým výstupom Zborník z medzinárodnej konferencie, konanej dňa v Centre vedecko-technických informácií SR. Zborník vyšiel v rámci realizácie národných projektov NISPEZ a NITT. Zostavila: Danica Zendulková Recenzovali: Jan Dvořák, Miriam Ondrišová Zodpovedný redaktor, grafická úprava: Lukáš Zendulka Vydalo Centrum vedecko-technických informácií SR, Bratislava 2014 Vydanie prvé Počet strán: 129 Formát: pdf Sprístupnené od mája 2014 na stránke Za obsah a jazykovú úpravu príspevkov zodpovedajú autori. ISBN EAN Centrum vedecko-technických informácií SR

3 Obsah Program konferencie...4 Ján Turňa Uvítací príhovor generálneho riaditeľa CVTI SR na konferencii...5 Roderik Klinda Uvítací príhovor zástupcu MŠVVaŠ SR na konferencii...6 Ed Simons EuroCRIS and CERIF. The importance of an international standard metadata model for research information...7 Martin Matějka Metodika hodnocení výsledků výzkumných organizací v České republice od roku Barbara Ebert Using a CRIS to reduce workload and increase quality for research reporting and university marketing...31 Brigitte Jörg Standardising research contexts towards system interoperability and more...49 Anna Asserson Repositories, CRIS and CRIStin: the story so far...63 Viera Hudečková IS VaVaI zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích...78 IPn Metodika efektivní systém hodnocení a financování výzkumu, vývoje a inovací...96 Danica Zendulková SK CRIS ako nástroj integrácie dát o vede na národnej úrovni Adriana Shearman SK CRIS as an information resource for technology transfer...117

4 Program konferencie Miesto konania: CVTI SR, Bratislava, Lamačská 8/A 9:00-9:30 Otvorenie konferencie 9:30-10:00 EuroCRIS and CERIF: the Importance of an International Standard Metadata Model for Research Information. Ed Simons (prezident eurocris, Radboud University Nijmegen Holandsko) 10:00-10:30 Metodika hodnocení výsledků výzkumných organizací v České republice od roku Martin Matějka (Úrad Vlády Českej Republiky) 10:30-11:00 Prestávka 11:00-11:30 Using a CRIS to reduce workload and increase quality for research reporting and university marketing. Barbara Ebert (Leuphana University Lüneburg, Nemecko) 11:30-12:00 Standardising Research Contexts towards System Interoperability - and more. Brigitte Jörg (CASRAI, JeiBee Limited, Londýn, Veľká Británia) 12:00-13:00 Obed 13:00-13:30 Repositories, CRIS and CRIStin: the Story so Far. Anna Asserson (University of Bergen, Nórsko) 13:30-14:15 IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích. IPn Metodika-Efektivní systém hodnocení a financování výzkumu, vývoje a inovací. Viera Hudečková (Úrad Vlády Českej Republiky) 14:15-14:30 Prestávka 14:30-15:00 SK CRIS ako nástroj integrácie dát o vede na národnej úrovni. Danica Zendulková (CVTI SR) 15:00-15:30 SK CRIS ako informačný zdroj pre transfer technológií. Adriana Shearman (CVTI SR) 15:30-16:00 Diskusia, záver 4

5 Uvítací príhovor generálneho riaditeľa CVTI SR na konferencii Ján Turňa CVTI SR - Slovak Centre of Scientific and Technical and Information generálny riaditeľ jan.turna@cvtisr.sk Dobrý deň, vážené dámy, páni a hostia, kolegovia, priatelia, stretnutie s našimi zahraničnými hosťami nám pripomína, že minimálne tretíkrát má toto podujatie medzinárodný charakter, aj keď jeho názov sa mierne v čase vyvíja. Ako zrejme všetci viete, naša organizácia je poverená zberom, spracovaním, udržaním a šírením informácií o slovenskej vede, výskume, inováciách a to nielen pre podmienky Slovenska, ale pre EÚ a dokonca aj ďalej v rámci sveta. Základným predpokladom dosiahnutia týchto cieľov je nájsť spoločnú platformu, spoločný formát a sme veľmi radi, že v tomto môžeme spolupracovať v konzorciu spoločne s ďalšími pracoviskami predovšetkým v Európe. Pracujeme na formáte CRIS a spustenie portálu SK CRIS a príslušnej databázy by jednoducho nebolo vzniklo bez tejto spolupráce. Preto sme si vedomí významu takýchto podujatí, výmeny skúseností a ich šírenia aj v širšej odbornej verejnosti. Želám všetkým účastníkom tvorivé stretnutie, príjemný pobyt v Bratislave a úspešný dnešný deň. Ďakujem ešte raz. 5

6 Uvítací príhovor zástupcu MŠVVaŠ SR na konferencii Roderik Klinda Ministerstvo školstva, vedy, výskumu a športu SR Sekcia vedy a techniky Odbor implementácie štátnej politiky, európskych a mezinárodných iniciatív výskumu a vývoja riaditeľ odboru roderik.klinda@minedu.sk Milé dámy, vážení páni, ctení hostia, je mi cťou a potešením vás privítať v mene ministerstva na tejto konferencii. Myslíme si, že táto konferencia je veľkou príležitosťou predstaviť slovenskej vedeckovýskumnej a akademickej obci medzinárodné štandardy, metodiky a skúsenosti pri zbere, spracovaní, sprístupňovaní a používaní vedeckých informácií, ako aj výsledky, ktoré sme v tejto oblasti na Slovensku dosiahli. Informačný systém o výskume, vývoji a inováciách, v skratke SK CRIS, bol odovzdaný do prevádzky v roku 2013 v rámci národného projektu financovaného z fondov EÚ, ktorý je realizovaný prevádzkovateľom tohto systému, Centrom vedecko-technických informácii, ktoré je naším dnešným hostiteľom. Tento systém SK CRIS bol vybudovaný v súlade so štandardmi EÚ a jeho hlavným cieľom je zabezpečovanie zberu, spracovania, sprístupňovania a využívania údajov o výskume, vývoji inováciách tých, ktoré sú podporované z verejných zdrojov. My ako ministerstvo školstva, ako správca tohto systému, využívame údaje o aktivitách, subjektoch a výsledkoch výskumu a vývoja, ktoré sú v rámci SK CRIS zozbierané, hlavne na tvorbu a parametrizáciu štátnej vednej politiky. Z tohto dôvodu samozrejme vítame všetky aktivity, ktoré smerujú k skvalitneniu dostupných dát o slovenskom výskume, k zlepšeniu komplexnosti a k nastaveniu ich medzinárodnej porovnateľnosti. Toľko z mojej strany, želám príjemnú konferenciu. 6

7 EuroCRIS and CERIF. The importance of an international standard metadata model for research information Ed Simons Radboud University Nijmegen, Holandsko prezident EuroCRIS pracuje ako manažér medzinárodných projektov v oblasti informačných technológií na Radboudovej Univerzite v Nijmegene, Holandsko. V roku 2013 sa po viacročnej práci v Rade stal prezidentom európskej organizácie pre medzinárodné informácie o výskume EuroCRIS. eurocris and CERIF: The Importance of an International Standard Research Information Metadata Model Ed Simons, Radboud University, Netherlands President of eurocris BRATISLAVA, APRIL

8 Speaker Ph.D. in Social Sciences International IT-Project Manager at Radboud University, Netherlands. Information Manager of IFCU: International Federation of Catholic Universities ( Leader of the OPUS-College Project: an open source Student Information System for universities and HEI s in developing countries (Mozambique, Zambia) ( Initiator and Project leader of METIS: CRIS of Dutch universities and Royal Academy of Sciences President of eurocris since Structure of this Presentation The eurocris Organisation The CERIF Model The Research Information Ecosystem An integrated Framework for Research Information Management and Policy Making eurocris An international not-for-profit organisation of experts in research information and research information systems. MISSION: To advance Interoperability in the Research Community through CERIF Main activity: development of the CERIF metadatamodel and its application (Common Euopean Research Information Format): a standard model for storage and interoperability of research information (metadata: data/information about research). Other function: international platform for exchange of research information knowledge and expertise. Bi-annual (academic) Conferences, annual Seminars and Membership Meetings (twice a year) Next activity: Register at: 8

9 Membership: the eurocris Community Australia Canada China Iran Israel Malaysia Nigeria Pakistan South Korea - USA Current membership is 194: 128 institutional, 42 personal and 24 affiliate (Coming from 43 countries, mainly Europe) Strategic Partners of eurocris. In preparation: Web site: 9

10 The CERIF Model Standard model for storage and interoperability of research information (metadata on research), and as such the base for the development of Research Information Systems (CRIS). Official EU Recommendation to Member States. Strong points of CERIF: Broad Coverage: includes all aspects of RI (projects, persons, organisations, funding, publications, datasets, other results, impact, equipment, etc ) Fine-grained data-structure: allowing import and export (aggregation) of almost any metadata format used in other applications (e.g. DC, Mods/DIDL, Marc21, etc..) Optimal (relational) architecture: able to express any kind of relation between entities (by means of link entities). with every relation time stamped and semantically defined Separate semantic layer : allowing the use of multiple controlled vocabularies (classifications, typologies) as well as their crosswalks. Systems (CRIS) based on CERIF: Converis (Thomson-Reuters), PURE (Elsevier) and various locally developed systems. The CERIF Model Key feature of CERIF: Link Entities The characteristics (attributes) of an entity (object) are not stored with the entity (in the entity table) but expressed through link entities, allowing multiple roles/characteristics to be expressed for the same aspect. Person_ResultPublication role=author role=author1 role=reviewer role=...? Person Person_Project role=coordinator role=manager ResultPublication Project_ResultPublication Person_OrganisationUnit role=deliverable1.2 role=journal article role=public report role=ceo role=researcher role=project-manager Project OrganisationUnit_ResultPublication role=author1-institute role=editor role=...? OrganisationUnit Project_OrganisationUnit role=funder role=investigator role=member 10

11 Key feature of CERIF: Semantic Layer Classifications of objects/entities ( controlled vocabularies : keyword lists, typologies, etc..) are dealt with by the Semantic Layer. Controlled vocabularies can be both formal (e.g. typology of publications) or content-oriented (e.g. MESH: Medical Subject Header classification). The principle of link entities also applies to the semantic layer. This allows for: Applying multiple classification scheme s to the same object, e.g.: a publication in Biochemistry could be classified both according to a classification scheme used in Medical Sciences and another one used in Chemistry. Mapping (translating) different classification schemes to one another. Key feature of CERIF: Semantic Layer Example: applying multiple content classifications to a publication (A separate record for each classification term applied, containing:) In principle an infinite number of classification scheme s can be applied to the same object (entity) this way. (Biological Science) (Medical Sciences) Key feature of CERIF: Semantic Layer Example: mapping different classification scheme s to one another Result: a search on a keyword from one classification will also find information classified by means of the other classification. 11

12 CERIF: example of a Use Case We could of course extend this use case with things like: etc 3 main Components: The Research Information Ecosystem Research Management and Description Information (contextual and descriptive metadata): stored and managed in CRIS, used for: Evaluation, assessment, benchmarking of research Policy making and steering of research General description of research, the actors, organisations and tools involved, time and money spent for the research and the results (publications, patents, datasets) and impact obtained. Electronic Publications: stored and managed in (OA) Publication Repositories Communication of the actual content or findings of the research Exposure of metadata for discovery and description of the publications. Datasets: stored and managed in Data Repositories. For control of the scientific integrity of the research Re-use (re-analysis) of the data to find/generate additional knowledge. Exposure of metadata for discovery, description and conditions of (re)use of the dataset. Substantial overlap in metadata between the 3 components and in the systems used for these components. This calls for an integrated approach in order to avoid the Nightmare Scenario. The Nightmare Scenario The Nighmare Scenario is caused by a Silo-ed existence of the 3 components and can occur at 3 levels: Researcher level, i.e. the Producer of RI: having to store substantially the same information in different systems. At 9:00 a.m. storing information (metadata) in the CRIS At 10:00 a.m. having to go to another system to store partly the same metadat in a publication repository At 11:00 a.m. when depositing the dataset of her/his research, again having to use a different system. Consumer or user level: having to search or combine 3 different systems, with the risk of excluding one or two and so missing vital pieces of information. (meta) Data Management level: risk of (de-)synchronisation of information, both in time and concerning uniformity of information. 12

13 Adding Complexity: External Systems Information on publications often already available in international (commercial) systems, e.g. Web of Science, Scopus. Information on persons, projects, etc often already available in systems outside the research information domain, i.e. HRM-systems, Project management systems. This can add to the Nightmare Scenario if not properly taken into account. Summarizing the problem So we have 3 components of Research Information, managed by different systems but to a large extent using the same metadata. Adding to this: a part of the metadata needed is already present in external systems. In order to avoid extra (double) work for researchers and data managers as well as risks concerning synchronisation, uniformity and completeness of information we need an integrated approach or framework for RI metadata handling. The CERIF Model and CRIS based upon this model, constitute the core element, or central piece, of such a framework. Exchange of information to and from the central system automated and based on CERIF-XML 13

14 Why can CERIF perform this pivotal function? Broad Coverage: includes all aspects of RI (projects, persons, organisations, funding, publications, datasets, other results, impact, equipment, etc ) Fine-grained data-structure: allowing import and export (aggregation) of almost any metadata format used in other applications (e.g. DC, Mods/DIDL, Marc21, etc..) Optimal (relational) architecture: able to express any kind of relation between entities with every relation time stamped and semantically defined (the core concept of link entities) Separate semantic layer : allowing the use of multiple controlled vocabularies (classifications, typologies) as well as their crosswalks. More in detail: the model applied to Datasets ( Keith G. Jeffery) Concrete application of the 3-layer Model Suppose: Marine Biology research into the water quality in a certain region of the Indian Ocean and its effects on life/quality of the Coral Reefs in that region. Water samples are taken regularly in various parts of this region. In layer 2, the central contextual/descriptive layer, metadata are stored such as: unique identifier of the dataset, Name/title of the dataset, Language Dataset locator (URI), Conditions for access and re-use Possible restrictions for public access Institution which conducted the research (names, titles, roles, etc of) Researchers involved Responsible person and contact person for the dataset Project as part of which the research was carried out Publications based upon/linked to the dataset Geographical coordinates of the of the Indian Ocean region the research applied to Pointer (URI) to the data-specific metadata in layer 3, etc From layer 2 the discovery metadata (e.g. DC) for layer 1 are automatically generated and exposed on the Internet. In layer 3 the discipline- or data-specific metadata are stored, e.g. the geographical coordinates of the specific parts of the region, specific classification schemes of the coral flora and fauna, chemical procedures applied for analysis etc For each layer specific services may be implemented, e.g.: harvesting services on layer 1, dataset profile creation or linked data services on layer 2, integrity control services on layer 3, etc 14

15 Other Key Elements of the Framework Unique and persistent, standardized identifiers (DOI, ORCID, ISNI, ): eurocris cooperates with ORCID Standardized business vocabularies: for this eurocris cooperates with CASRAI Both aspects, together with the CERIF model, are indispensable in order to guarantee interoperability in research information. Conclusions: Summarizing the Framework The work of eurocris, in connection with its Strategic Partners, supplies the building blocks for an optimal, integrated Framework for Research Information management and interoperability on an institutional, national or international level. The framework consists of the following key elements: The CERIF standard metadata model as the central core or layer of the framework. Standardized unique identifiers. Standardized business vocabularies. Conclusions: Summarizing the Framework The framework forms the base for: Formulation of an integrated Research Information Policy and Strategy (policy level) Realisation of optimal technical solutions for storage, interoperability and exposure of RI (system level) Implementation of appropriate organisational structures for RI management, both functional and technical (organisation level) Creation of optimal services for the various target groups (consumers/users) of research information. (service level) 15

16 Conclusions: Summarizing the Framework To summarize the goal of the Framework in one sentence: Minimizing the overhead and workload needed for input and maintenance of Research Information while at the same time maximizing services and functionality for the users of Research Information. Conclusions: the role of eurocris eurocris, together with its strategical partners, e.g. CASRAI, ORCID, can lend advice and support on how to optimally implement the integrated framework for research information on an institutional (universities, institutes), national (governmental organizations, e.g. SCSTI) and international (e.g. EU) level, or even provide turn key solutions in the future. Thank you very much for your attention and I hope to see you next month at the international eurocris Conference in Rome! You can still register at: 16

17 Metodika hodnocení výsledků výzkumných organizací v České republice od roku 2013 Martin Matějka Úřad vlády České republiky matejka.martin@vlada.cz pracuje na Úrade Vlády ČR ako referent výskumu. Je jedným z tvorcov informačného systému výskumu, vývoja a inovácii v Českej republike a má na starosti metodiky hodnotenia vedy a výskumu, Vo svojom príspevku bude hovoriť o najnovšej metodike hodnotenia výsledkov organizácií výskumu v Českej republike z roku Základní dokument, o který se opírá celý proces hodnocení vědy a výzkumu v České republice je vládou ČR schválena Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů, která je platná pro léta 2013 až 2015 (dále jen Metodika 2013 ). 1 Tato Metodika 2013 si klade za cíl zachovat kontinuitu v hodnocení výsledků výzkumných organizací (dále jen VO) do doby než bude vytvořen a zaveden nový systém hodnocení a financování výzkumu, vývoje a inovací. Při zachování této kontinuity si však klade za cíl odstranit některé kritizované nedostatky dosavadního systému hodnocení výsledků, které mohly způsobovat neefektivitu ve financování výzkumu. Na rozdíl od minulých metodik však současná Metodika2013 neobsahuje explicitní předpis pro stanovení výše institucionální podpory u jednotlivých VO. Stávající právní rámec a strategické dokumenty platné v ČR Zákon č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů, (dále jen zákon ) definuje institucionální podporu na dlouhodobý koncepční rozvoj VO na základě zhodnocení jí dosažených výsledků ( 3 odst. 3 písm. a) a 4 odst. 2 písm. a). Zákon rovněž stanoví, jak má být tato institucionální podpora na základě zhodnocení výsledků navrhována Radou pro výzkum, vývoj a inovace (dále jen RVVI ) pro vyjednávání s jednotlivými 1 Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2015), schválená usnesením vlády ze dne 19. června 2013 č

18 poskytovateli v dohadovacím řízení ( 5a odst. 2 písm. b) a jak ji mají poskytovatelé na základě zhodnocení výsledků poskytnout jednotlivým příjemcům ( 7 odst. 7). Podle 35 odst. 2 písm. c) pak RVVI zabezpečuje přípravu Metodiky hodnocení výsledků výzkumných organizací a výsledků ukončených programů a její předložení vládě a podle 35 odst. 2 písm. d) RVVI zabezpečuje hodnocení výsledků výzkumných organizací a výsledků ukončených programů podle Metodiky hodnocení výsledků výzkumných organizací a výsledků ukončených programů schvalované vládou. Národní politika výzkumu, vývoje a inovací České republiky na léta v jednom z hlavních principů (II.3) zmiňuje Posílení závislosti výše podpory na dosahovaných výsledcích. Tento požadavek je dále konkretizován v cíli A 3-1: Institucionální podporu VaV rozdělovat podle hodnocení výsledků VaV výzkumných organizací a v cíli A 9-2: Dopracovat metodiku hodnocení výsledků výzkumu a vývoje a zavést systém periodického a objektivního hodnocení systému podpory VaVaI na všech úrovních. 2 Přestože hodnocení výsledků a na něm založené financování bylo postupně zavedeno, stalo se předmětem kritiky jak ze strany domácích pracovníků, tak i ze strany Mezinárodního auditu výzkumu. Potřeba řešit tento problém se tak stala akutní. V dlouhodobém horizontu se předpokládá, že systém institucionálního hodnocení a financování výzkumu se bude opírat o doporučení projektu Mezinárodního auditu výzkumu vývoje a inovací v ČR a o případné výsledky projektu Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (tzv. IPn Metodika). Pro upřesnění postupu v následujících letech RVVI schválila dokument Dlouhodobé principy hodnocení výsledků výzkumných organizací (263. zasedání RVVI dne ), v němž se počítá s mezidobím do vzniku tzv. velkého hodnocení : Do doby, než vznikne, bude pilotně ověřeno a schváleno velké hodnocení, bude fungovat malé hodnocení, probíhající každoročně na základě sběru dat v IS VaVaI. 3 Stávající Metodika 2013 tak slouží jako konkrétní realizace tohoto malého hodnocení s rozšířením o peer-review vybraných výsledků. Dosavadní úprava a použití metodik Použití první metodiky pro hodnocení výsledků vědy a výzkumu se vztahuje k roku Tato metodika byla postupně upravována a dále rozvíjena. Např. pro hodnocení v roce 2012 byla vládou schválena metodika hodnocení jako prodloužení metodiky platné pro léta 2 3 Národní politika výzkumu, vývoje a inovací ČR na léta 2009 až 2015 byla nahrazena Aktualizací Národní politiky výzkumu, vývoje a inovací České republiky na léta 2009 až 2015 s výhledem do roku 2020, schválené usnesením vlády ze dne 24. dubna 2013 č Blíže o projektu na webových stránkách Ministerstva školství, mládeže a tělovýchovy ČR: 18

19 2010 a Tato předchozí metodika schválená původně na dva roky (usnesením z roku 2010) byla s poměrně výraznými úpravami změněna pro rok Stávající aktuální znění Metodiky 2013 navazuje na metodiky z předchozích let (2004 až 2009) v tom, že jednotlivé VO vkládají údaje o svých výsledcích do informačního systému a podle předem daného algoritmu je těmto výsledkům přiřazena určitá bodová hodnota. Součet bodových hodnot za jednotlivé výsledky byl potom přímo úměrný výši institucionální podpory na úrovni poskytovatelů i jednotlivých VO (pokud tyto nebyly poskytovatelem podrobněji zhodnoceny mezinárodně uznávanými metodikami - 7 odst. 7 zákona). Úpravy metodiky z let 2010 a 2011 směřovaly především k tomu, aby zůstala zachována mezioborová alokace této podpory a zamezilo se neopodstatněnému nárůstu celkové bodové hodnoty za výsledky, u nichž lze obtížně ověřovat správnost zadávaných údajů. Výsledky hodnocení podle vládou schválené Metodiky 2013 slouží nejen pro stanovení výše institucionální podpory na dlouhodobý koncepční rozvoj (celkem cca 8 mld. Kč), ale též jako jedno z kritérií při posuzování výzkumných organizací ze strany RVVI. Dále toto hodnocení slouží jako jeden z parametrů pro alokaci účelové podpory na specifický vysokoškolský výzkum ze strany MŠMT (cca 1,1 mld. Kč), rovněž jako jeden z parametrů pro určení příspěvku na vzdělávací činnost veřejným vysokým školám (součást tzv. parametru K, cca 3 mld. Kč) a dále pro stanovení limitů na financované studenty v jednotlivých stupních studia. Problémy, které řeší Metodika 2013 Třebaže se metodikou z roku 2011 podařilo odstranit některé křiklavé nedostatky předchozích hodnocení, řada problémů zůstala. Ačkoliv je Metodika 2013 nemůže vyřešit úplně, předpokládá se výrazný posun žádoucím směrem. Dosavadní problémy lze shrnout do tří okruhů: Minulá hodnocení nereflektovala mezioborové odlišnosti a rozdílné standardy ve způsobu publikování či jiného uplatňování výsledků. To pak v některých oborech mohlo vést k pokřiveným vzorcům chování. Řada výsledků byla hodnocena paušálně, pouze na základě jejich existence jim byla přiřazena fixní bodová hodnota bez ohledu na jejich kvalitu. Téměř polovina bodů přidělených za výsledky uplatněné v roce 2011 byla přidělena paušálně. Tyto výsledky často vůbec neprocházely expertním posouzením (peer review) a v některých případech dokonce nebylo ani prověřováno splnění elementárních požadavků kvality a relevance kladených na tyto výsledky. To se týkalo všech typů výsledků kromě článků v impaktovaných časopisech. Minulé hodnocení neumožňovalo identifikovat vysoce kvalitní výsledky a v řadě případů stimulovalo spíše k masové produkci průměrných a podprůměrných výsledků, než aby podporovalo kvalitu či excelenci. Třebaže v případě publikací v impaktovaných časopisech mají renomovanější a recenzně náročnější časopisy 19

20 zpravidla vyšší bodovou hodnotu (u časopisů s vysokým impaktním faktorem i velmi výrazně), minulá metodika neumožňovala odlišit kvalitní výsledky všech ostatních druhů výsledků a neumožňovala ani odlišit kvalitu jednotlivých článků v tomtéž impaktovaném časopise. Kromě těchto problémů však přetrvávají i problémy další a některé z nich nelze vyřešit bez změny zákona. Předpokládá se, že příslušné legislativní změny budou navrženy, jakmile bude nalezena shoda nad novým modelem hodnocení a financování. Týká se to zejména otázek souvislosti mezi hodnocením a financováním, sledování i jiných aspektů VO než pouze jejich výsledků, formativní stránky hodnocení, atd. Způsob řešení Metodika 2013 je strukturována do tří propojených pilířů, které ve vzájemné součinnosti vedou k eliminaci výše uvedených problémů: Pilíř I: Hodnocení publikačních výsledků. Oproti minulým úpravám nyní pro každou oborovou skupinu Metodika 2013 určí relevantní typy výsledků a jejich případné maximální podíly na bodových hodnotách. Některé výsledky v některých oborových skupinách tak nebudou hodnoceny vůbec, v jiných oborových skupinách mají stanoven procentní limit na bodovém množství této oborové skupiny. Knihy, kapitoly v knihách a v určitých oborech články v neimpaktovaných recenzovaných časopisech projdou verifikací a rozřazením do několika kvalitativních skupin. Pilíř II: Hodnocení kvality vybraných výsledků. Každá instituce předloží omezený počet vybraných výsledků k expertnímu posouzení. Hodnotící komise, v kterých by měli mít výrazné zastoupení zahraniční experti, pak v rámci každé oborové skupiny vyberou maximálně 20 % nejlepších výsledků, které si zaslouží zvláštní bonifikaci. Kromě toho bude zvláštní bonifikace za excelenci náležet institucím, jejichž 20

21 pracovníci uspěli v získávání projektů ERC (European Research Council). Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Na rozdíl od dosavadní praxe paušálního bodování všech výsledků nepublikačního charakteru zůstalo paušální ohodnocení pouze patentům, plemenům a odrůdám. Za ostatní výsledky se bude bodové skóre odvíjet podle finanční podpory jednak z projektů aplikovaného výzkumu a jednak z objemu vykázaného smluvního výzkumu. Popis a zdůvodnění hlavních opatření Metodiky 2013 Jsou definovány skupiny oborů a u každé z nich relevantní druhy výsledků, které se v dané skupině hodnotí, jiné druhy výsledků, např. knihy ve fyzice, chemii, biologii a lékařských vědách, se hodnotit nebudou. To odráží oborové odlišnosti, kdy např. v exaktních vědách jsou nejdůležitějším výstupem v oblasti základního výzkumu články v impaktovaných časopisech, zatímco v humanitních disciplínách to jsou spíše knihy. Kvóty stanovené na maximální relativní bodová skóre některých druhů výsledků v jednotlivých disciplínách zabrání nadměrnému nárůstu váhy těchto výsledků. Opatření omezí motivaci k nadměrné produkci snazších výsledků jen pro bodový zisk. V naprosté většině oborů budou hodnoceny články v časopisech, jen pokud je příslušný časopis indexován v databázi Web of Science nebo (v některých oborech) i ve Scopus a ERIH, a jejich bodování bude podmíněno strojovou verifikací. Pouze 21

22 pro určitou skupinu společenských a humanitních věd bude nadále existovat seznam českých recenzovaných časopisů, jejichž články budou v hodnocení přinášet body. Všechny články však budou podléhat fyzické verifikaci. Opatření směřuje ke zvýšení tlaku na kvalitu publikačních výsledků. Knihy a kapitoly v knihách budou za pomoci expertních panelů podrobeny fyzické verifikaci a rozřazení do několika kvalitativních skupin. Opatření eliminuje problém neadekvátního paušálního hodnocení těchto výsledků, které jsou dominantní v některých oborových skupinách, a zvyšuje tlak na kvalitu předkládaných výsledků. Jednotlivé VO budou předkládat určitý počet svých vybraných nejvýznamnějších výsledků k expertnímu posouzení. Počet předkládaných výsledků se bude odvíjet od poskytnuté institucionální podpory. Každá VO zdůvodní, proč tyto výsledky považuje za zvláště významné. V každé skupině oborů pak expertní komise s výrazným zastoupením zahraničních odborníků vybere maximálně pětinu nejlepších výsledků k bonifikaci. Ve výsledku dojde k přesunu části bodového skóre od těch institucí, které vzhledem ke svému rozpočtu produkují podprůměrný počet vysoce kvalitních výsledků k těm institucím, které vysoce kvalitních výsledků produkují vzhledem ke svému rozpočtu relativně více. Opatření umožňuje vyniknout kvalitním týmům a motivovat je ke špičkovým výkonům, aniž by byly tlačeny k nadměrné produkci podřadných výsledků. Bodový bonus bude přidělen VO, jejíž pracovníci získali ERC grant. Protože podle pravidel ERC je jediným kritériem excelence, není preferován žádný konkrétní obor ani typ výzkumu (základní či aplikovaný) a projekty ERC procházejí velice náročným mezinárodním zhodnocením, není nutno získávat další hodnotitele, konstruovat nová pravidla a detailněji řešit otázku jak definovat mezinárodní standardy excelence v jednotlivých oborech. Zhodnocení dosavadních výsledků je tedy nepřímo delegováno na mezinárodní subjekt s vynikající reputací. Přitom je nutno konstatovat, že ČR má nízkou úspěšnost v získávání těchto projektů. Opatření má za cíl bonifikovat pracoviště s nezpochybnitelnou mezinárodní úrovní a motivovat k vyšší snaze českých výzkumníků uspět v soutěži o tyto projekty. Nepublikační výsledky výzkumu s výjimkou patentů (jako např. funkční vzorky, prototypy, poloprovozy, software, atd.) nebudou hodnoceny paušálně, ale jejich bodová hodnota se bude odvíjet od získané finanční podpory buď v projektech aplikovaného výzkumu, nebo ze smluvního výzkumu. U indikátoru podpory z projektů aplikovaného výzkumu bude nutnou podmínkou k započtení přidělené finanční podpory pro bodovou alokaci souhlas poskytovatele vyjadřující, že projekt vede odpovídajícím způsobem ke vzniku předpokládaných výsledků. Opatření se po mnoha pokusech o jiná řešení jeví jako nejschůdnější způsob jak do systému hodnocení adekvátním způsobem začlenit výsledky aplikovaného výzkumu. Opatření zohledňuje též jedno z doporučení Mezinárodního auditu výzkumu, podle něhož by část institucionálního rozpočtu VO měla být konstruována podle předpisu s tím, že jako jeden z indikátorů by měla sloužit externí podpora jednak z kompetitivních projektů a jednak z výzkumných smluv. 22

23 Kromě těchto opatření, která výrazně odlišují platnou Metodiku 2013 od metodik předchozích, je sledováno zachování kontinuity s dosavadním hodnocením s případnými upřesněními: V pilířích I a III jsou zachovány procentní bodové alokace na jednotlivé oborové skupiny i na skupiny druhů výsledků stanovené v předchozích metodikách. Pouze v rámci pilíře II (který na počátku představuje 10 % celkového bodového skóre), je institucím dána možnost preferovat výběr svých výsledků zcela nezávisle a tím umožnit případné drobnější přesuny bodového skóre mezi obory i druhy výsledků. V Pilíři II. je dána možnost spolupracujícím organizacím dohodnout si stanovení podílů na společném výsledku. Pokud však k dohodě nedojde, použije se pravidlo z předchozích metodik. Nová Metodika 2013 se používá pouze na nově uplatněné výsledky, výsledkům obodovaným v předchozích hodnoceních zůstane (s určitými výjimkami) původní bodová hodnota. Výjimky se týkají oprav při případně zjištěných chybných údajích. Metodika 2013 je formulována tak, aby mohla fungovat několik let do vytvoření, schválení a zavedení nového systému hodnocení a financování výzkumu. Obsahuje několik parametrů, které mohou být po pečlivém uvážení podle potřeby měněny rozhodnutím RVVI, aniž by bylo nutné měnit metodiku hodnocení schválenou usnesením vlády. Konkrétní pravidla a popis logistiky peer-review verifikací a hodnocení v I. a v II. pilíři navrhuje a schvaluje RVVI jako separátní prováděcí dokumenty. Výstupy z těchto postupů budou poprvé použity v roce 2014 jako součást Hodnocení Hodnocení 2013 tedy proběhlo ještě bez peer-review hodnocení vybraných výsledků. Jak je uvedeno v úvodu, na rozdíl od minulých metodik platná Metodika 2013 neobsahuje explicitní předpis pro stanovení institucionální podpory. Celá problematika přípravy návrhu státního rozpočtu na oblast VaVaI je proto přesunuta do kompetence RVVI. Od roku 2016 by dle předpokladů měl být v České republice použit nový předpis pro hodnocení výsledků vědy a výzkumu opírající se o výsledky projektu realizovaného Ministerstvem školství, mládeže a tělovýchovy. Zdroje: 1. Zákon č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů

24 Metodika hodnocení výsledků výzkumných organizací v České republice od roku 2013 prezentácia z konferencie Methodology & Czech Republic (1) Methodology 2013 Martin Matějka Office of the Government of the Czech Republic SLOVAK CENTRE OF SCIENTIFIC AND TECHNICAL INFORMATION, Bratislava, Everything starts with money. Act 130/2002 Sb. requires the Council to prepare a draft state budget for R & D. The Council is an advisory body to the Government of Czech republic, which has 15 members. The head of the Council's member governments. Methodology & Czech Republic (2) State budget for the R&D&I area Total volume cca 1,0 bilion EUR In 2014 is the state budget on R&D 1 billion EUR This budget is divided into a part of targeted and institutional year 49% 51% Institutional support Targeted support Methodology & Czech Republic (2) The targeted part is distributed in the form of grants. State budget for the R&D&I area Targeted support cca 0,51 billion EUR MO Technology Agency 2% 4% MV Institutional part is distributed according to a draft prepared by Council. 7% 21% Grant Agency 24% GA ČR MPO MZe MŠMT 3% MK 8% MZ Ministry of Education Youth and Sports 28% 3% TA ČR 24

25 State budget for the R&D&I area Institutional support cca 0,49 billion EUR Academy of Sciences, Grant Agency 13% 14% 2014 year % Development of research organizations Others Costs of activities according to the Methodology Methodology & Czech Republic (3) Proposal for the distribution of Development of research organizations (part of institutional state budged R&D) is created by: international audit concept for further development R&D results achieved by research organizations Methodology & Czech Republic (4) The evaluation methodology just described how to measure these results. The official name: The Methodology of Evaluation of the Results of Research Organizations and Results of Finished Programmes, valid for the years 2013, 2014 and 2015 (hereinafter the Methodology ). Methodology & History (1) Methodology first began in Only counted achieved "publishing" the results for the last 5 years. Gradually expanded spectrum evaluated results (2006). Different kinds of results was allocated a different number of points (2008). In publishing the results of evaluation were introduced by Impact Factor (2010). Methodology & History (2) All Methodology (from 2004 to 2010) but were still based only on the SW algorithms. Advantages and disadvantages: + independence of the personal point of view + fast and cheap - would not affect the delicate specifics - difficult to measure of the quality Methodology & History (3) Problems still persist (2012), especially in: evaluation of books; evaluation of national (Czech) non-impact journals; evaluation of the results of applied research; absence of quality measurement; specifics of individual disciplines (science versus humanities). 25

26 New Methodology 2013 (1) It was established in It contains completely new features: evaluation of peer review; quality assessment of selected results; new evaluation of applied R&D. New Methodology 2013 (2) What was to be improved? Limit the purposeful creation results in the social sciences and humanities. Introduce elements of "peer-review". Strengthen the importance on quality. New Methodology 2013 (3) What was to be improved? Take into account the success in applied research projects and the contractual research. Suppress purposeful creation of low-quality results non-publishing result. Principles Methodology 2013 The methodology is based on three approaches (pillars), a combination of assessment by peer review and SW algorithms: Pillar I. Pillar II. Pillar III. SubPillar I. Methodology 2013 Pillar I., years (1) Filed evaluation of publication results. Types of results (sort by RIV): article Jimp, impact by WoS article Jsc, impact by SCOPUS Pillar I. article JErih, impact by ERIH proceedings D, impact by SCOPUS and WoS 26

27 Methodology & History (2) Annex 1. Scoring of PUBLICATION results. Result type Social & Humanitis Jimp Article in an impacted periodical 2) ) Jsc Article in the Scopus database 4) ) Jneimp Article in the ERIH database INT 1 INT 2 NAT Jrec Article in a periodical included in the list of reviewed periodicals 5) 4 7) 0 B Specialist book Global language Other languages English, Chinese, French, German, Russian and Spanish 40 Other fields Pillar I., years (2) Basis of Evaluation are the procedures based by SW algorithms. source - bibliographic database WoS, Scopus and Erih; non-linear scoring - promoting quality relates to the results for the types articles Jimp, Jsc and proceedings D. Pillar I., years (3) Distribution points by type of result in 2013 In publishing the results of evaluation were introduced by Impact Factor. Calculation according to function, which prefers the quality of the result: Evaluation Jimp = Factor, where: Factor = (1 - N) / (1 + (N / 0,057)), where N is the normalized ranking of the periodical, N = (P - 1) / (Pmax - 1) P = the periodical s ranking according to the Journal Citation Report in a series sorted in the descending order by IF. 14% National journals, Books 18% Others 1% 1% 2% 3% 4% 4% 3% 9% points 5% 61% 7% 68% WoS, SCOPUS, ERIH Journals (WoS) Journals (SCOPUS, ERIH) National journals 82% Books Proceedings Patents Utility models Prototypes 18% Certified methods Softw are Others Distribution points by field groups Technical Sci. & IT 17% Agricultural Sci. 5% Social Sci. & Humanities 15% Earth Sci. 5% Mathematics 5% Medical & Health Sci. 11% Physics 15% Biological Sci. 12% Chemical Sci. 15% The order research organization of the number of points ( ) 1 Faculty Math.& Phys., Charles Univ. 2 Institute of Physics, Acad. Sci. 3 Faculty of Science, Charles Univ. 4 Faculty of Science, Masaryk Univ. 5 Faculty of Science, Palacky Univ. 6 Faculty of Electrical Eng., Czech Tech. Univ. 7 1 st Faculty of Medicine, Charles Univ. 8 Inst. Organic Chemistry & Biochem., Acad. Sci. 9 Faculty of Civil Eng., Czech Tech. Univ. 10 Faculty of Mechanical Eng., Brno Univ. Technol. 11 Faculty of Mechanical Eng., Czech Tech. Univ. 12 Faculty of Electrical Eng. & Com., Brno Univ. Technol. 13 Czech Geological Surwey 14 J. Heyrovsky Inst. Phys. Chem., Acad Sci. 27

28 Počet výsledků Pillar I., years (4) Methodology 2013 TOP 10 - Pořadí výzkumných organizací v hodnocení 2009 až 2013 Rok hodnocení UK - Matematicko-fyzikální fakulta 2 Fyzikální ústav AV ČR, v. v. i. UK - Přírodovědecká fakulta 4 MU - Přírodovědecká fakulta 6 UPOL - Přírodovědecká fakulta Pořadí 8 ČVUT - Fakulta elektrotechnická UK - 1. lékařská fakulta Ústav organické chemie a biochemie AV ČR, v. v. i. ČVUT - Fakulta stavební VUT - Fakulta strojního inženýrství SubPillar I. SubPillar I., years (1) Peer review evaluation of published results of direct verification. Types of results (sort by RIV): books, and B chapters in books C, SubPillar I., years (2) Evaluation conducting evaluation panels. the name is Field Verification and Evaluation Panel (OVHP in czech) 7 field group each panel have experts articles in non-impact national periodicals Jrec, Count of results - OVHP Methodology knihy J rec os1 os2 os3 os4 os5 os6 os7 Pillar II. 28

29 Pillar II., years (1) Peer review evaluation of the quality of selected results. Each institution shall submit a limited number of selected results for expert evaluation. For each 10 million CZK (or part) Reseach Organization allocates one result, which it will submit for expert evaluation within Pillar II. Pillar II., years (2) The Experts Panels with a significant share of foreign experts will choose a maximum of 20% of the best results within each field group, which deserve a special reward. Apart from that special reward for excellence will be awarded to research organizations, whose employees succeeded in receiving ERC (European research Council) projects. Pillar II., years (3) Pillar II. - Count of results Evaluation conducting evaluation panels. Total: results the name is Experts Panels 11 field group each panel have experts os1 os2 os3 os4 os5 os os7 os8 os9 od10 os11 Methodology 2013 Pillar III. Pillar III., years (1) SW evaluation. Evaluation of patents and non-publication results of the applied research. Contrary to the current practice of flat rate scoring of all non-publication results the flat rate remains only for the patent, breed and variety type results. 29

30 Pillar III., years (2) Directly scoring results Result type Specification Points Patent EPO, USPTO, JPN 100 Czech (valid licence) 50 other national patent 10 Breed Pillar III., years (3) For other results the score will be based on the financial support from the applied research projects and the contractual research. The formula is: Total = α Research projects + β Contractual research where (α = 0.9; β = 0.1) Variety After 2015? After 2015 a new system of R&D&I evaluation should be implemented. IPn project of Ministry of Education Youth and Sports. Thank you Pillar I. Pillar II. Pillar III. SubPillar I. 30

31 Using a CRIS to reduce workload and increase quality for research reporting and university marketing Barbara Ebert Leuphana Universität Lüneburg, Germany barbara.ebert@uni.leuphana.de pracuje ako vedúca Strediska výskumných služieb (Research Service) na Univerzite Leuphana v meste Lüneburg, Nemecko a má na starosti hodnotenie výskumu. Od roku 2011 je členkou Rady eurocris. Summary Leuphana University is one of the pioneer institutions in Germany for the adaptation of a current research information system (CRIS). The CRIS has proven to be a good investment in terms of time and resources: Information registered in CRIS is used consistently. Over 30 report processes served in the first three years of operation illustrate the need for accessible research information within the institution. In our hands, acceptance of the CRIS has been achieved mainly through a considerate development of services and acceptance of the use cases for CRIS data. The CRIS support team aims to unburden researchers from additional data maintenance and put the data corpus to the best possible use. Institutional CRIS hold high potential for research-related services and marketing. However, technical barriers currently prevent systems and portals from exchanging data more efficiently. Leuphana has therefore joined national and international initiatives in order to foster standardization promote better dissemination of research information. Introduction Leuphana University is one of the pioneer institutions in Germany for the adaptation of a current research information system (CRIS) for systematic use in research reporting and marketing. Research information system are IT solutions which provide access to and disseminate information about research entities such as persons (experts), projects, organizations (teams) and results (f.e. in form of publications, patents and products). The term current serves to indicate their dynamics and timeliness of these systems (Jeffery & Asserson, 2006). The purpose of an institutional CRIS, such as the one used by Leuphana, is to maintain a cohesive research portfolio both at organizational level and the level of the individual researcher, and to use the recorded information for reporting, assessments and marketing. At Leuphana, relational database technology is used in combination with web and information retrieval applications. Other CRISs may exist to manage projects, to advertise expert profiles or to record research output publications (see Jefferson 2010). Like Leuphana, universities in Germany and other European countries have begun to use CRIS in line with 31

32 campus and student lifecycle management tools to support core processes and serve the manifold reporting requirements both internally and externally. Research information management: Drivers in Germany German higher education institutions have experienced more than one decade of practice in output-oriented management, introduced in the course of the new public management concept. This has lead to an increase in (IT-supported) documentation efforts, both in the student-related processes and in research. In the Federal State of Lower Saxony, where Leuphana is located, the Ministry of Science and Culture has established a performance-based funding scheme as well as subject-based research evaluations. These tools are also used for governance within the University. Other drivers for advances in research information management are technical developments: Better tools for research recording and analysis are available than they were 10 years ago. However, the adaptation of these tools is still in progress. The German Council of Science and Humanities (Wissenschaftsrat) has recently recommended common standards of data acquisition and harmonisation of reporting systems to improve research documentation (Wissenschaftsrat 2011). A national project has been launched to specify a core data set of research information, which in future will enable public research institutions to produce common reports and indicators (Wissenschaftsrat 2013). The case of Leuphana University Leuphana is a mid-size university in the metropolitan area of Hamburg, with 80% Social Sciences & Humanities and 20 % Natural & Technical Sciences, 140 professors and students. The current structure is the result of a merger between the University of Luneburg, and the University of Applied Sciences Nordostniedersachsen. Since the merge in 2005, Leuphana has established a reputation as model university in terms of study concepts, following the Anglo-american model of College and Graduate School, with General studies and consecutive Master / Dissertation programs. Yet it is at present still a developing university in terms of academic reputation, with a growing, but still medium research intensity 4. Leuphana s development strategy aims to strengthen and increase recognition in the national and international research community, in line with raising key indicators like third party funding and publications. The development steps of the university are therefore closely monitored. 4 Assessed using the QS (Quacquarelli Symonds) classification, a combination of size, subject-focus and research output (papers in Scopus) to rate a University s research intensity. 32

33 Implementation of a CRIS at Leuphana In 2008, the University decided to introduce a new research information system. An older inhouse application had been in operation until the merge of the two universities in 2005, but not been updated since. In 2007, an institutional bibliography had been established by the Library, using a by-product of their main tool, a Union Catalogue (GVK) based on the Dutch PICA system. Roughly 6,000 outputs of university members had been recorded by that time, mainly from the period The new system was supposed to integrate the bibliography as well as data on thirdparty funded projects from the university s finance system SAP. The IT solution was obtained by a commercial provider, the Danish company Atira (now Elsevier). An 18 month implementation project was launched (Ebert et al. 2011), which resulted in an operational database with the following properties: Project directory (description, staff/partners, finance synchronized from SAP, outcome like publications, activities) Expert directory: Person profiles with CV, plus records of posts and offices, awards etc. Publication repository with integrated full text management Directory of Funders and external cooperation partners (registered as contextual information on projects and publication records) Tool for bibliometric analyses (Citations, journal ratings) Reporting and exhibition tool for generation of lists, statistics, analyses Webservices and xml exports for public exhibition of data on websites. CRIS policy and day-to-day operation The CRIS project aggregates previously distributed information in a central data pool and facilitates reporting by re-using and completing the available records. The strategy used is decentralized data curation: Individual users and trained content editors register output and projects in institutions and teams. This process is aided by imports from external publication databases and internal finance and staff information systems. The outcome is a constantly growing corpus of institutional information that can be used for reporting and marketing. Database registration is voluntary for researchers and relies on the general acceptance of the associated reporting requirements and services. Key users are Faculty and Institute managers as well as Research Department, Marketing and Press Office. An interdivisional CRIS support team ensures day-to-day operations, with staff contributions from Research Department (database management, validation of funding information), Library (validation of bibliographic data) and University Marketing (webservices, Typo3 plugins). 33

34 The Pure support team complements data on projects and publications through a twostep validation workflow. Data is registered as needed, f.e. for annual reports or for display on the web. After three years of live operation, 6 major business processes have been adapted, 700 active database users acquired, 100 content editors in university institutions trained and 30 use cases established. The size of the university bibliography was more than redoubled, from 6,000 to currently 15,000 records. Use cases The consequent utilization of the recorded information helps to keep the information up to date and fosters acceptance of the effort for day-to-day operation. The transition from distributed to centralized data management is however a major and still ongoing challenge within the University. Much of the internal communication is directed at university managers and support staff, convincing them to abandon their occasional collection of research information via and in text files in favor of using the data corpus already collected in the CRIS. The main pro arguments are sustainability (data can be re-used), data quality (structured data recording forms) and services (the support team provides templates and training). As a result of these efforts, 30 report processes were served in the first three years of operation ( ). Some representative use cases are described in the following sections of this paper. Academic reporting Academic reporting serves to monitor the Leuphana development strategy. A set of input- and output oriented actions has been implemented to develop the research performance: Scientists can apply for internal funding to explore new topics or prepare large grants, conference participation and organization as well as publications. Annual budgets, sabbaticals and bonuses are awarded based on performance bonds and measurable outcomes. Each year, academic achievements are highlighted by research awards. The CRIS delivers data for the output-oriented actions and the assessment of strengths and weaknesses in individual subject areas. Performance-based budgeting (faculty level) Each of the four Leuphana faculties has developed individual schemes for performance-based funding. Typical indicators are: Publications, weighted by type (sometimes by length, bonus for top journals) Grant income 34

35 Offices & Posts in internal committees Doctoral, Master and Bachelor theses Teaching workload All four Dean s offices have formally established the CRIS as the authoritative source for publications and grant income within their respective academic communities. One has also implemented recording for internal posts and offices in the CRIS. Feedbacks by the Deans offices are positive: The CRIS has successfully reduced the workload for data collection and analyses and increased the reliability especially of publication data. Researchers perceive the process as more transparent, as they can review the underlying data in the CRIS. Leuphana Research Awards Nominations for the Leuphana Research Awards are combined with an annual assessment exercise on key indicators fundraising, publications and citations. The initial assessments are performed by the Research Department. Outstanding performers and the author of the best monograph receive bonuses for their annual budgets and are highlighted at the annual academic ceremony. For the Best Fundraiser award, the income on third-party funded projects of the previous year is assessed per Principal Investigator (PI) and normalized to national benchmark in the subject area (average funding in Germany for Humanities, Social sciences, Natural Sciences, as recorded by the Federal Statistics Office). The assessment identifies the top performers in all four faculties and gives information on the overall fundraising activity within the University: How many Principal Investigators reach or surpass national benchmark in their field? How many professors generate income from funding at all? While SAP is the main data source, the CRIS delivers contextual information on funders, funding programs and partners (international projects). Nominations for the Research award are based on a) fundraising, b) citations in Scopus and c) weighted publication output of the previous year. Deans are provided with the Top Performer lists in these categories and select candidates for nomination. Additional scientists may be nominated with outstanding achievements not covered by the indicator assessment. For the citation analyses, author information in Scopus is controlled and corrected. The CRIS delivers data on currently employed scientists. We aim to reduce the workload further by synchronizing Scopus citations into the CRIS. However the synchronization still holds some challenges regarding coverage of all Scopus-listed publications in the CRIS and correlation of Scopus publication ID s, which may prove a pitfall in comparison to using original data. For the publication outcome, a group of 50 scientists and about 500 publication records are analyzed each year. The CRIS delivers structured publication lists for the rating by category and impact. 35

36 The CRIS reduced the workload for the assessments to about 2/3 of the original effort. We estimate the current total workload to be ~ 1 person month and consider this a fair effort for the insights gained from the exercise. Subject surveys and reports At Leuphana, the CRIS has proven to be especially useful for subject-based surveys across organizational units, and we observe a growing interest for such exercises among internal managers. Previously, researchers known to be active in a field would have been asked to provide files with their research activities, which then had to be assembled manually into a report. Such surveys are now simplified by using the built-in subject classification functionality of the CRIS, which allows to tag CRIS records and to build database reports by subject area. The procedure for such surveys has been standardized and includes the following steps: 1. Production of a guideline: Legitimate purpose, time period to be covered and relevant indicators, description of analysis and recipients of the collected data 2. Setup of a report template: Relevant database content filtered by research area and period, sorted by organizational unit. Reports are set up as scheduled report (weekly) to monitor data collection. Corresponding webservice applications can be developed, f.e. to provide reviewers with actual data online in addition to the printed report. 3. Launch of data collection: Communication of guidelines to scientists and content editor network, request to register and tag relevant work and complete their bibliographies (time limit usually four weeks). 4. Final retrieval of data as text files, proofreading, production. The team takes care that errors are corrected in the report as well as in the original database records. The surveys deliver good information for reports and contribute to the continuous improvement of the data corpus. In the course of six major reports produced so far, more than 3,000 records were quality-checked, enhanced or corrected. The CRIS uses a specific catalogue with currently about 60 subject areas. They can be searched in the Leuphana research portal ( Web integration and University Marketing Leuphana s marketing team is a key user and strong partner in the CRIS support team. The built-in webservices of the CRIS were used to develop a Plugin and a public portal to display CRIS records on the website. The webservices retrieve CRIS content with the visibility status public. CRIS users can control their data in the backend by assigning individual visibility statuses to records 36

37 (Public, Intranet or Database). The Plugin is a standard feature on all new websites, but has to be activated and configured by the responsible CMS editor. The Plugin reduces effort for website editing, as updates of publications or projects in the CRIS will also appear on a website, when the Plugin is activated. The development and rollout of the Plugin on existing websites was a subproject over an 18 month period. The rollout strategy addressed different needs on different levels of the organization: Researchers prefer a high degree of individuality. This was addressed by making the plugins configurable (selection of content type, citation format, sorting options). Scientists preferring manual editing of their websites have the opportunity to do so. Institutes and teams needed to negotiate a common standard for citation formats and other configurations of the Plugin for use on the institutional portal. A Marketing Officer moderated round-table discussions where appropriate. Faculties needed to ensure broad acceptance and use of the CRIS, and thus good coverage of their bibliography, before activating the plugin. Configurations were decided in the Dean s offices. The Plugin has effected visible improvements where websites were neglected, but publication records were available in the CRIS for performance-based funding. The service has also motivated institutes to organize continual update of the CRIS in order to re-use data on the website. Further potential for Offsite Marketing While the main efforts were initially directed towards onsite marketing, i.e. Leuphana domain, there is a growing interest to disseminate research information offsite, i.e. to regional or subject-related portals and web catalogues. Expected benefits are a) wider representation of the institution, b) increased click rates on the institutional webpage through backlinks to projects or publications. A pilot project was executed with a regional marketing platform for research in the Federal State of Lower Saxony 5. The platform runs on a central database and usually requires team leaders and institutions to register their research profiles and projects through an individual user account. At the start of the project, most of the about 100 team profiles were outdated and the motivation to maintain the data was low. The project aimed to unburden institutions from the effort of maintaining an extra user-account and to achieve higher compliance by aligning with the local CRIS maintenance. For the integration, a small change was made in the data model of the CRIS to align with the regional portal s format. Research profiles were recorded in the CRIS and a daily xml file transfer implemented to the regional

38 platform. As a result 60 up to date institute profiles are currently transmitted, including direct weblinks to projects. Rollout of another 150 profiles from the next organizational level is already scheduled. The CRIS support team currently investigates further opportunities to integrate data offsite. The well-established OAI-PMH protocol currently holds the highest potential for offsite marketing and can be used for dissemination and creation of backlinks to local publication records. There is an interest to increase representation in the two national research portals SOFIS (social sciences) and FIS Bildung (education and pedagogics), where Leuphana research activities are currently underrepresented. Scientists also request to re-use data from or in social networks, such as Research Gate, Academia.edu or Mendeley. We find however, that pathways for bulk transfer from local CRIS systems are usually lacking. Instead, individuals are required to register their own records, with some type of publication import usually being offered. CRIS data is still re-used, but by rather impractical copy-paste or textfile transfer. Lessons learned Acceptance of the CRIS has been achieved mainly through a considerate development of services and acceptance of the use cases (reports, webservices). Acquiring report cases for the CRIS is an effective way to acquire new database users. High service level in the support team enhances compliance. Initial report cases have to be closely monitored to establish best practice and especially to ensure continuous improvement of the underlying data corpus. Challenges and supporting factors The aggregation of distributed information in a central data pool requires good technical integration and communication with the data owners on the other end. Usually information from internal administrative systems had to be enriched for use in research reporting. Information from external sources was sometimes difficult to relate to internal records. Scientists may be reserved because they expect additional workload from CRIS maintenance. Living up to the promise of more efficient research documentation requires a network of many processes and players. It can prove difficult to convince internal managers to join in using the CRIS data corpus instead of launching own surveys via and text files. Some managers foster disproportional expectations regarding the timeliness and accessibility of the data. Supporting factors in our hands are: The CRIS tool is intuitive and easy to use Information already present at the University is made available for the scientists The CRIS offers standardized ways to access and reuse the data for different user groups 38

39 The data quality is monitored Data in the CRIS is used consistently Beyond the institutional level, challenges are face concerning the exchange of data with other systems: Researcher profiles cannot be transferred between institutions or into social networks. Project databases of funders are usually not accessible for institutions to retrieve data and subject-oriented information systems are not prepared to receive data from other CRIS systems. The need for standardization CRIS hold high potential for research-related services and marketing which can only unfold if systems and portals are able to exchange data more efficiently. National and international initiatives have already formed to standardize research information, enable interoperability and harmonize reporting. eurocris, a non-profit organization, develops the Common European Research Information Format (CERIF) and fosters the uptake of CERIF both as data model and exchange format (CERIF xml) in several international projects and strategic partnerships. Leuphana has joined eurocris and encourages others to engage beyond their local projects and lobby for better pathways between research information systems, portals and social networks. References 1. Ebert, Barbara, Kujath, Alexander, Holtorf, Joachim, Holmberg, Karsten & Rupp, Thomas (2012): Erfahrungen aus der Einführung des Forschungsinformationssystems Pure an der Leuphana Universität Lüneburg. In: Bittner, Sven & Hornbostel, Stefan (Hrsg.) Forschungsinformation in Deutschland: Anforderungen, Stand und Nutzen existierender Forschungsinformationssysteme. Workshop Forschungsinformationssysteme 2011 (ifq-working Paper No. 10). Mai 2012, S Jeffery, K. & Asserson, A. (2006) Supporting the Research Process with a CRIS. In: Asserson A. & Simons, E. (Eds). Enabling Interaction beyond the Hanseatic League. 8th International Conference on Current Research Information Systems, May 2006, Bergen, Norway, Leuven: Leuven University Press, Jeffery (2010): The CERIF Model As the Core of a Research Organization. Data Science Journal, Volume 9, 24 July 2010 (Special Issue). (accessed online : 4. Wissenschaftsrat (2011): Recommendations on the Assessment and Management of Research Performance (Drs ). Halle, (accessed online : 5. Wissenschaftsrat (2013): Empfehlungen zu einem Kerndatensatz Forschung (Drucksache ). Berlin, (online: accessed ) 39

40 Acknowledgements Dörte Krahn from the University Marketing team at Leuphana contributed concepts described in section 3 for a joined presentation at the eurocris 2013 summer meeting in Bonn. 40

41 Using a CRIS to reduce workload and increase quality for research reporting and university marketing prezentácia z konferencie What you will hear about today A project A university A data collection put to use Using a CRIS to reduce workload and increase quality for research reporting and university marketing A case study CENTRUM VEDECKO TECHNICKYCH INFORMACII SLOVENSKEJ REPUBLIKY April 2nd, 2014 Dr. Barbara Ebert, Leuphana University Luneburg, Germany Research information management: Drivers in Germany One decade of practice in output-oriented management Performance-based funding, research evaluations Professionalisation of (IT-supported) management in higher education and research Technical developments and Best Practice Tools for recording and analysis are available German Council of Science and Humanities (Wissenschaftsrat) recommends improvements in research documentation (2011) Common standards of data acquisition Harmonisation of reporting systems Service-orientiented administration Living up to a promise. Implementation of a CRIS leads to more efficiency in research documentation! Register once and reuse Reduce workload for single reporting requirements But in our use cases, quality of information is valued most. Structured, enhanced, accessible, validated Who we do it for: Leuphana University of Luneburg A mid-size university in the metropolitan area of Hamburg 140 professors, students 80% Social Sciences & Humanities 20 % Natural & Technical Sciences A model university in terms of study concepts College and Graduate School Consecutive Master & Dissertation A developing university in terms of academic reputation I III Cultural Studies 26 Professors* Sustainability Research 31 Professors* * Including double affiliations II Management & Entrepreneurship IV 71 Professors* Education Research 43 Professors* Our mission: Developing a young university s reputation Achieve recognition in the national and international research community Raise key indicators Third party funding + publications Membership in the German Research Foundation DFG Close interaction between research & academic curriculum: research-based teaching

42 Implementation of a CRIS at Leuphana Where we are 3 years of live operation 700 active database users 100 content editors in university institutions 30 use cases (research reporting) 6 major business processes adapted (ongoing) Owners: Finance, Library, Marketing, Faculties Doubling of bibliography (publication count) Effort 18 months preparation 30 person months full-time project manager XX person months inhouse staff (part-time) tickets in issue management system Collect distributed data & facilitate reporting Data sources Publications Libray, external databases Journal ratings, citations Scopus, WoS, rating projects Persons, Organisations SAP HR, phone directory Projects SAP, websites, project files Awards & other activities websites CRIS Enriched datasets Filter options Standard reports reduce workload for reporting Method: Decentralized data curation Aggregating information from several sources Faculty and Institutes Data entered by individual researchers, teams and support staff 100 trained CRIS editors Support team and Library Additional parameters relevant for research management. Validation of projects, publications, quality management Databases Data from local and external sources of information. Either synchronised or imported (via API or by copy-paste). Outcome A corpus of research information for reporting and marketing Project directory Third-party funding, internal projects Description, staff/partners, finance, outcome (publications, activities) Expert directory Person profiles with CV, plus recording of posts and offices, awards etc. Publication repository with integrated full text management Document management for Open Access (visibility, embargo dates) Integration of Sherpa Romeo Information (Open Access Policies) Directory of Funders and external cooperation partners Registered with projects and publications Tool for bibliometric analyses Citations, journal ratings Reporting & exhibition tool Flexible generation of lists, statistics, analyses Webservices and xml exports Transition: Abandon occasional collection of and text files Dear colleagues, please send Introduce consequent use of the CRIS data corpus Dear colleagues, please update. CRIS Register once and reuse!

43 CRIS Policy at Leuphana 1. Information already available is integrated and reused as much as possible Finance information, person-organisation relations, publications 2. Individual researchers register and manage their research information or delegate it to an authorized editor in the institute 3. Information is registered when needed Website, Leuphana Bibliography, institutional reports 4. Registered information can be used for all legitimate reports Best practice has to be followed: information on purpose and indicators, opportunity to revise content for the purpose 5. Obligations for reporting are created on a case-by-case basis When acquiring internal funding (project, scholarship) When closing a performance agreement with president 6. Registered information is shared in the community (of database users) Reading rights for content, find related research, reviewers etc. Supporting factors The CRIS tool is intuitive and easy to use Information already present at the University is made available for the scientists The CRIS offers all user groups multiple ways to access and reuse the data (easy generation of simple lists, plus analytical tools, webservice) The data quality is good Data in the CRIS is used consistently and registered as needed Use Cases in Research Reporting Performance monitoring & acquisition of additional report processes Two dozen processes regularly require research information five examples we started with Organisation profiles State Research Portal Publication report Performance-based funding Knowledge Transfer Office Faculty Business Publication report Performance-based funding Gender & Equality Office Faculty Culture Evaluation Report Gender Research Report International Activities Performance-based budgeting designed and performed in the Dean s offices Leuphana Research Awards Highlighting academic achievements & research active staff Typical indicators: Publications, weighted by type (sometimes by length, bonus for top journals) Grant income Offices & Posts in internal committees Doctoral, Master and Bachelor theses Teaching workload Database CRIS system ( opt-in strategy, used by all four faculties) Feedback Reporting module has reduced effort for data collection & analyses Citations and impact factors / journal ratings are uploaded Use of CRIS has increased transparency for researchers Research Award Young Researcher Award Monograph Award Fundraiser Award Most Cited Researcher Ceremony at annual Dies academicus Awardees receive bonuses between and for their annual budgets Total budget: p.a. Process optimization: Workload for assessments dropped from 1.5 person months (2010) to <1 person month (2013)

44 Subject survey and reports Pilot: Evaluation of Gender research in Lower Saxony Research areas Institutional catalogue Data collection for the subject field Gender & Diversity More than 350 publications tagged in the CRIS and 40 experts identified Efficient production of standardized reports Publications Activities and awards External Funding Standard procedure for subject surveys & reports Additional offer: Display current data on the website for reviewers Requirements Legitimate purpose Relevant indicators Third-party funding Awards Transfer activities Networks Period to be covered Production of a guideline for content editors Design of report template Relevant content filtered by research area and period Sorted by organisational unit Setup as scheduled report (weekly) to monitor data collection Data collection Info to scientists & editor network Register projects & activities Check bibliography Tag relevant work with research area 4 weeks for data updates Internal surveys since 2011 Gender & Diversity Studies State Commission Report Cultural Studies State Commission Report Theology State Commission Report Research activities in Teacher Education Accreditation report 170 faculty members, 15 research areas Entrepreneurship Internal Assessment Sustainability Research Biennial Report Additional 70 publications, 120 press clippings 20 experts identified/registered Use cases in Marketing A corpus of authorized research information CRIS Now available for dissemination

45 NEEDS ASPECTS LEVEL Webintegration of CRIS data Leuphana Research portal Search by research area Free search Typo3-Plugins for personal websites and institutions CV Publication lists Activities Projects Observations Intervals of updates differ between individuals Some scientists prefer manual editing of their website CRIS web integration: Different needs on different levels Researcher Identify individual preferences with pilot users Define needs & optimize webservice Rollout on every personal Homepage Instruction of CMS and CRIS editors Tolerating Individuality Institute Round-table discussions Developing common understanding of standards Rollout of Pure Data when enough data is registered and visible Developing Common Standards Faculty Faculty is involved via members and through research evaluations Research output for each initiative: Culture Business & Economics Education Sustainability Broad Use & Acceptance University Inhouse webservice development: 1. Research Portal 2. Typo3 Plugins for individuals, institutes, faculties => Perspective: Plugins plus Portal Combining CRIS & CD Publication plugin on institute level Publication plugin on individual homepage Offpage use: Feeding CRIS data into regional and local databases for better representation & recognition Offpage use in discovery systems: Summon Three German examples of research portals Forschung in Niedersachsen : Regional transfer database Previously:~ 100 outdated profiles Current: 210 Team profiles plus weblinks to related projects Mapping with local subject catalogue?!? Highlight local experts here? SOFIS: social sciences research (D-A-CH) Current LEU data: unknown Potential: 600 currentresearch projects plus related publications plus current organisation structure FIS Bildung: educational research (Germany) Current LEU data: 90 Publications Potential: 400 publications ( ) Highlight current publications from CRIS system??

46 Individual researcher portfolios: What about academic social networks? Thanks for your attention Academia.edu ResearchGate ORCID database LinkedIn Mendeley Contact Dr. Barbara Ebert Research Service Leuphana University Luneburg Germany Organizational aspects Editor network Best practice for data curation 100 persons Secretaries + Scientists w/management tasks Weekly open lab 60 min for individual troubleshoooting 4-8 attendants Individual coaching at workplace Reporter Working Group Establish best practice with Dean s offices & other groups Present reporting cases and new templates Share experiences and processes Get information about developments in indicator usage and report requirements generate input for further development of Research Database Research Support Services at Leuphana University Fundraising and project consulting (3 consultants ) Find potential funding sources Check project proposals before submission to funder Research Transfer Office: contracts and projects with the private sector Internal research funding Seed money for ambitious or new research projects, preparatory phase for external funding Research culture Workshops, seminars and round tables: Fundraising, journal publishing, methods, good scientific practice Mentoring programme for young scientists Research Reporting (1 research officer, 0.5 library staff ) Key figures for management Leuphana Research Report, Support of Evaluations & Rankings

47 Lessons learned High service level for users enhances compliance Secretaries, editors often highly motivated, proud to be entrusted with task Ad hoc individual coaching needed to quickly enable a units participation in a reporting project Personal users Use PURE intuitively or delegate completely Registration service Data analyst offers coaching and monitors data quality Initial report cases have to be chaperoned (Pure Team) User competencies + data reliability often overestimated Editors need help for recording of history Development of report templates, understanding content and data quality Full text archiving needs qualified support Scientists are guarded Change in culture has to be addressed Scientists uneasy about transparency/reading rights Consequent use of Leuphana Bibliography has increased registration of publications Coherent communication of Pure as central data source during rollout in 2011 Reporting functions convince Deans and administration Service, accessibility and increased transparency convince users / deans Journal ratings uploaded as additional parameters f.e. surveys of the German Economics Professors Association Research and research assessments in Germany Upload in Research Database 421 Higher Eduction Institutions (HEI) 140 universities and HEI with equal status (allowed to award doctorates) State Research Institutions Max Planck Society Leibniz Association Fraunhofer Helmholtz Association Subject-based evaluations Wissenschaftsrat (voluntary) Federal State initiatives Performance-based funding Third-party funding Awarded university degrees Student numbers Institutional evaluations Annual federal performance report 86 indicators Awards, bibliometrics, cooperations, external funding Fostering of research at Leuphana Young Scientists Conference participation, Symposia, Publications (100 T ) Structured PhD Programme PhD Scholarship programme Centre for Scientific Methods Research-based teaching/learning Activating research potential Input-oriented Output-oriented Starting grants for grant applications Co-funding for Conferences Research Service with four consultants Guest Scientist Programme ALMA: HR Development Programme Workshops, Seminars, Round tables for researchers Performance-based funding of annual budgets, sabbaticals and bonuses Annual research awards to highlight academic achievements Fundraiser Award Indicator Data Income on third-party funded projects of the past year, normalized to national benchmark in the field SAP/CRIS Data analysis Top 10 Fundraisers Monitor fundraising activity How many PI s reach or surpass national benchmark in their field? How many Professors generate income from funding at all?

48 Best Researcher Award Publications: Weighting by discipline Indicators Fundraising Citations Weighted publication output Nomination Deans get Top Performer lists and nominate candidates to committee Data SAP/CRIS, Scopus 500 publications analyzed Correct author relations in Scopus

49 Standardising research contexts towards system interoperability and more Brigitte Jörg CASRAI, JeiBee Limited, Londýn, Veľká Británia spojila svoju pracovnú kariéru s informačnými systémami o výskume a v súčasnosti pracuje ako riaditeľka firmy JeiBee Limited so sídlom v Londýne. Práci v EuroCRIS a dátovému formátu CERIF venovala takmer desaťročie a má významný podiel na jeho vývoji a šírení. Je členkou Rady eurocris a do minulého roka pôsobila ako vedúca pracovnej skupiny CERIF. Standardizing Research Contexts Towards System Interoperability and More Research information systems: integration for Open Access to scientific outputs CVTISR, Bratislava April 2nd, 2014 Dr Brigitte Joerg, eurocris, EU JeiBee Ltd. London, UK

50 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Outline Setting the Scene Where sits CERIF? What are recent / ongoing related activities? Where do we go? 2 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Setting the Scene Science as a global Ecosystem Increasingly Data Intensive Increasingly Open Access Technology / IT A Multitude of Standards Not many Standards in Use Requirements?? 3 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Where do we start? Standardising Context W3C ORCID CAURA EARMA MARC CERIF CASRAI PREMIS PROV ISO CODATA RDA DataCite DCAT OMG OAIS ARMA Interoperability COAR Jisc Research Lifecycle OAI-PMH OpenAIRE UK REF etc

51 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Where do we start? Standardising ORCID Integration for Open Access to PREMIS PROV Scientific Outputs Context Interoperability W3C CERIF MARC CODATA DataCite DCAT CAURA Publication OAIS EARMA Data ARMA COAR OAI-PMH OpenAIRE CASRAI RDA ISO OMG Jisc Research Lifecycle UK REF etc. 5 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Where do we start? What are needs / requirements? What has been done? What is the context? What are the boundaries? Which standard is appropriate for my need? How to reuse / collaborate / apply correctly? 6 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More CERIF Data Model

52 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More CERIF OpenAIRE Profile 8 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More CERIF-related Activities Profiling / Aggregation / Setting Boundaries REF CASRAI VIVO EuroRIs-Net+ UKRISS OpenAIRE ENGAGE Snowball Metrics RMAS etc Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More REF Reporting Profile

53 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More CASRAI Activity Profile 11 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Data in CERIF 12 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Snowball Metrics (e.g. Publication/Output) cf OrgUnit Institution Sector Stakeholder ROS/RF Mapping cf Class Journal Article UKRISS:Output Description Measurement period cf Measurement Description Number of outputs (cf Count) Reference to ongoing Mapping/Work in Snowball Metrics: Anna Clements, St. Andrews Lisa Colledge, Elsevier Brigitte Jörg, eurocris Service ROS / RF Date of data currency Date measurement was created

54 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More UKRISS Publication Counts in ROS 14 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Publication Counts in ROS Extract: Institute reports Publication. Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Publication Counts in ROS Extract: Publication reported to ROS. 54

55 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Staff Development in ROS/RF Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More UKRISS Harmonisation Profile 18 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More FundRef CERIF-XML REF Reporting Profile DESCRIBE Snowball CERIF in UK G4HE Uniquip REDIC GTR CERIF ROS ResearchFish CiA IRIOS-2 C4D R4R MICE CRISPool CERIFy RMAS-EE RMAS CSP UKRISS V4OA RIOXX Research in View Scival Pure Converis Cottagelabs Symplectic Elements EPrints 55

56 Publication Datase t Intellectual Property E v e n t Exploitation Product / Intervention Spino ut Collaboration / Partnership Fur the r Fun din g Im pac t Key Finding s Award Recognition Staff Development Vocabu- laries Research Information Standards Machine Anatomy in UK and Germany Annual CASRAI International Conference Ottawa, October 16-18, 2013 Mathias Riechert, Institute for Research Information and Quality Assurance (IFQ), Berlin, GER Brigitte Jörg, eurocris, EU / CASRAI, INT Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More UKRISS Objects Publication Intellectual Property Product/Intervention Spin-Out Dis se min atio n / Co mm uni cati on Collaboration/Partnership Objects Further Funding ROS Staff Development Dissemination/Communication Exploitation Award / Recognition Key Findings Impact Dataset Event Underlying Vocabularies are not considered here ResearchFish = UK GER Overlap Current Harmonisation Potential Harmonisation Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Science is a global Activity U K R I S S U K P ro jec t s GtR ResearchFish ROS CERIF Science is a dynamic Ecosystem

57 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More CASRAI Dictionary Image Source: PhD Thesis, Brigitte Jörg, July Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Jisc Research Lifecycle 24 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Jisc Research Lifecycle Project Organisation Service Publication Data

58 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More DCC The Curation Lifecycle Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More DCC The Curation Lifecycle Dataset Collection Service Publication Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More DDI Lifecycle

59 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More DDI Lifecycle Dataset Collection Service Publication 29 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Emerging e-infrastructure Discovery Contextual (CERIF) Scheme Jeffery et. al Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Application of Metadata Standards

60 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More RDA Data in Context IG Brigitte Jörg; Keith Jeffery Co-Chairs Deliverables: M6: Overview of contextually-aware standardization work M12: Priority List of Requirements Become a Member: CASRAI Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More We are the Machine 33 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More

61 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More What do we need? Stakeholders Needs / Requirements Networking / Collaboration / Partnerships Communication Reuse / Extension of Existing Work Appropriate Standards Selection / Application Contextual assignment to e.g. the Research Lifecycle Formalisation of reusable Profiles (Syntax + Semantics) Best Practises 35 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More What do we gain? Understanding the Context (Boundaries) Meaningful System Interoperation Improved Data / Information Quality -> Informed Decisions Scalable Systems Sustainable Systems An Integrated / Dynamic Research Ecosystem 36 EuroCRIS Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Strategic Partnerships EUNIS in preparation

62 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More What we do not want? 38 Research Information Systems: Integration for Open Access to Scientific Outputs Standardizing Research Contexts Towards System Interoperability and More Upcoming Events eurocris Members Meeting Amsterdam, the Netherlands November

63 Repositories, CRIS and CRIStin: the story so far Anne Asserson University of Bergen, Nórsko pracuje v univerzitnej knižnici Univerzity v Bergene, Nórsko. Má na starosti správu digitálnych systémov a služieb s dôrazom na výsledky výskumu. Abstract The management and utilisation of Research information has been evolving over many years. The paper traces the major threads of activity in repositories and CRISs, characterise them and discuss their usage. Further the paper considers the evolution of the technology to match the changing requirements of users for research information and indicate future directions. Repositories Repositories are ICT systems to store objects. Usually repositories refer to stored scholarly publication objects, although increasingly other objects such as datasets are stored in repositories. Purpose There are two basic stored objects in repositories: metadata and data. Typically the latter is the full text (or increasingly hyperlinked multimedia) of the scholarly article. The former has been subject to different influences namely (a) the librarian, cataloguing, community where the standard used internationally is MARC and (b) the web page community where the standard used internationally is DC (Dublin Core). The advantage of MARC is its relative richness compared with DC, its compatibility with library catalogues of non-electronic objects and its ability to hold all the attributes required for a full bibliographic reference. The advantage of DC is its simplicity and ease of use. 63

64 Experience of Utilisation Systems for cataloguing scholarly articles have been in existence for many years; commonly researchers (or the library on their behalf) had handwritten and then punched cards with the bibliographic information of their publications later becoming electronic records in files. However, it was not until the advent of WWW that repositories with metadata and the full article appeared in any significant numbers. Typically an institutional repository today will hold ~15% of the scholarly output of the institution as full text of the articles and a higher percentage as metadata recording the existence of the article. Some repositories hold only published (i.e. peer-reviewed) scholarly articles whereas others include all research output suitably distinguished. The repositories are green OA that is the articles are either the version as published by the publisher (some publishers insist on this, others prohibit it) or the final article as submitted for publication after peer review and editorial corrections. The business model remains the traditional one of library subscriptions for publication channels (journals, conference proceedings etc.) Overwhelmingly the repositories use DC as the metadata standard although many repository systems have extended DC in divergent and incompatible ways thus making interoperation difficult. Retrieval is usually by text string search over all the metadata although systems where the search is restricted to particular elements (attributes) exist. The result is (compared with classical library catalogue systems) rather poor relevance and recall (precision). The low degree of fill of repositories can be ascribed to several factors: (a) the threshold barrier to input the metadata and load the article; (b) pressure and restrictions from commercial publishers through copyright and other legalistic mechanisms; (c) lack of perceived benefit. It has been demonstrated that articles in an open access institutional repository attract more citations than those not in the repository (Harnad, Swan 2009). This provides a refutation of (c). The factor (b) is significant; publishers have threatened authors legally if they deposit in an institutional repository and researchers clearly wish to have their work published in high-impact publication channels where their peers can see their work. Mandates by research funders and research institutions have provided researchers with protection and increased significantly the deposition of articles in green repositories (Harnad, Swan 2009). although continued legalistic threats and legalistic uncertainties by publishers hinder progress. Recent systems to assist a researcher in managing their bibliography (Mendeley, ResearchGate, LinkedIn) have complicated the issue since they tend to store only the bibliographic metadata and provide a pointer (URL) to the scholarly article. Recent developments have provided a way forward namely gold OA where the publishers extract payment from the author / author institution for publication and then make the article available open access on the publisher website. Depending on the licence, it may be possible for a researcher (or an institutional library) to download a copy of the article for their own institutional repository. Initial estimates indicate that for a high-output research institution gold OA costs three times as much as green. However, the publishers are pushing this model singly and recently the UK government accepted this as the preferred model (Finch 64

65 2012) The (a) factor is also significant; the solution is to collect the metadata as available within the workflow of all the users (researcher, librarian, publisher) progressively and to input only once without any re-keying. OAI-PMH is used as the interoperation protocol allowing harvesting of metadata from any compliant repository. The syntax of DC elements from different repositories can be combined together as long as the simple element structure is followed; the use of repeating groups or extended namespaces frustrates interoperation. Multilinguality and differing semantics (meaning of the lexical string) makes interoperation without much human intervention impossible. The result is that using a repository and through it a window to other repositories - requires much user interaction to filter the results manually to the required subset to meet the retrieval request intended rather than that expressed by the limited syntax and semantics. The lack of fill of repositories means that the end-user retrieval result is incomplete. Management Information A library online catalog system, especially when cross-linked to others provides a basis for management of research information concerning scholarly output in the form of publications. Publishers also can utilise their catalogs for a similar purpose. The publication indexing services from Thomson-Reuters and Elsevier provide a reasonably comprehensive cover of scholarly publishing (there is a bias towards STM (Science, Technology, Medicine) and English-language) including citations. However, in these systems the recording of author names is variable (partly depending on the editorial style of the publication channel) and the recording of author institution inconsistent. This means that assignment of publications to persons and organisations is less accurate than is desirable. Attempts by Thomson-Reuters and others to assign author IDs and organisational IDs have been partly successful (although some ambiguities still exist particularly in evolving author names or evolving institutional structures and names). The recent ORCID initiative started with IDs for researchers (one step away from the role of authors) but realised quickly that much more metadata was required to allow disambiguation and so now is recording much of the information required by the CERIF model. Increasingly there is a requirement especially from research funders but also from research institutions managing their research portfolio) to relate scholarly articles to research funding (grant or grants) as well as to person(s) and organisation(s). Furthermore, there is a requirement also when appropriate - to relate the publication to particular research facilities and/or equipment. These metrics are used for benchmarking institutional performance and for research funders to assess the research performance against funding for researchers and institutional organisations. It is clear that repositories using DC for metadata are incapable of meeting these new requirements for management information on research. (Jeffery, Asserson 2006) In the last few years there has been a demand from governments to justify the research expenditure on the basis of impact of the research on society (wealth creation, improvement in 65

66 the quality of life) rather than the outputs. This new requirement is way beyond the capability of repositories. CRIS Purpose The purpose of a CRIS is to record research information for the purposes of management and utilisation by a funder, research institution or researcher and for utilisation by innovators, entrepreneurs, the media and the public. The development of the CERIF model by an expert group of national representatives convened by the EC was a major step forward for harmonisation and interoperability. CERIF91 was a flat metadata scheme not unlike the (much later) DC; the difficulties were soon realised and the expert group reconvened to define CERIF2000 which with subsequent evolution provides a formal syntax and declared semantics for CRIS today. CERIF is used in 43 countries and is the national standard for research information in 10. Experience of Utilisation The period before 1980 is characterised by individual batch processing systems of the funding organisations. These systems recorded awarded (sometimes proposed) research project grants usually with identifier, title, PI (principal investigator) and institution of the PI together with the amount awarded. Sub-records recorded the financial transactions. Subsequently the funding systems became more sophisticated including abstract of the research grant and keywords. This led to the requirement for a standard for interoperation and CERIF91 was developed. Subsequently the requirement was extended to cover research outputs and for flexible relationships between multiple funders, research organisations, persons and research grants / projects. This led to the development of CERIF2000. The relationship between research grant and associated postgraduate awards was recorded and the relationship to research facilities and equipment; among other requirements these have driven the evolution of CERIF to the current version. CRIS are in widespread use and providing day-to-day management information for research funders and research institutions. Increasingly CRIS are becoming CERIFcompatible (a) to permit interoperation but more importantly (b) because the model reflects accurately the real world of research information. Several commercial companies offer CERIF-compatible CRIS and both Thomson-Reuters and Elsevier offer CERIF-compatible products. Management Information Since CRIS were designed from the outset for managing research information naturally this is their strongest aspect. CERIF-CRIS have evolved (maintaining backward- 66

67 compatibility) with the increasingly complex demands of governments, funders, research institutions researchers and others for management information. Development We have two major streams of development in recording and managing research information: repositories and CRIS. The former concentrate on research publications (with some limited associated information on persons, organisations) and the latter initially on research projects (with limited associated information on other entities) but in the last decade allowing the point of access to the information to be any research entity (person, organisation, project, funding, publication.). To meet the evolving requirements of the end-users developments have been attempted, are ongoing and planned. Repositories extended Against the background of the REF (Research Excellence Framework, replacing the earlier RAE (Research Assessment Exercise) in UK a JISC (Joint Information Systems Committee of HEFCE (Higher Education Funding Council England) funded a project Readiness4REF (R4R) - to extend repository systems to encompass the requirements of REF. The repository system used was eprints based at University of Southampton. While the project demonstrated technical feasibility (in IT one can do almost anything given sufficient resources) the effort required, the difficulty of use and the limitations of the data model adopted led to the conclusion that it is better to use a CERIF-CRIS. CRIS evolving As indicated above CRIS generally are evolving to adopt CERIF and the move from CERIF91 to CERIF2000 and beyond has enhanced greatly the applicability of CRIS to the evolving requirements. It is widely accepted that the evolving CERIF standard provides the basis for CRIS meeting the new requirements emerging and expected. Integration Repositories exist, are maintained and used, and have to varying degrees captured research output in the form of publications. Similarly CRIS exist and are used, capture all aspects of research information with a formal datamodel (CERIF), and are evolving with changing requirements. CERIF-CRIS are capable of representing everything that is stored in repositories whereas repositories are not capable of representing everything stored in CRIS. This begs the question why have repositories? Indeed, some research institutions have abandoned their repositories and are using a CERIF-CRIS alone for all functions including those previously done by repositories. However, most research institutions are attempting to integrate their repositories and CRIS. In so doing the major question is what 67

68 metadata standard is used and where is the metadata stored. Repositories with DC and CRIS with CERIF. Then the options are: The starting position is 1. Input DC to repository and CERIF to CRIS; 2. Input DC to repository and copy/convert to CERIF for CRIS; 3. Input CERIF to CRIS and copy/convert to DC for repository; Clearly (1) is wasteful of resources and error-prone (there are likely to be inconsistencies in metadata in each system) yet in fact is the currently most-practised method, mainly due to organisational rigidity and the ownership of the repository being with the library and the CRIS with the research administration. (2) is impractical since CERIF is a much richer datamodel than DC and so would be essentially empty with only a few attributes (elements in DC) filled. This option is not used. (3) is widely used and especially when the organisational problems between the library and the research administration have been resolved. CERIF to DC (in various instantiations) convertors exist so that if required the DC-compatible metadata elements in CERIF can be provided to the repository for local catalog purposes. An example of (3) is found in Norway. The national CRIS is CRIStin and is (largely) CERIF-compatible. Different research institutions have different repository systems. CRIStin stores metadata for research publications (through a process involving download from Thomson-Reuters Web of Science, clean-up and validation of claiming of publications by researchers) and current work is linking these metadata records in CRIStin to the full text / multimedia articles in the institutional repositories via pointers (URLs). Thus the user has the advantage of the full context of the research (via CRIStin) and also access to the stored scholarly output in the repository. Conclusion We expect over the next years further developments. In general, repositories will store the scholarly output full text/multimedia and CERIF-CRIS will store the data/metadata providing the full context of the research. Interoperation will be via CERIF even for access to publications in other repositories. This is because increasingly the end-user wants not just the research publication but also its context the project, persons, institutions, funding, facilities/equipment and (very importantly) associated datasets and software. With time the full text/hyperlinked multimedia of scholarly publications will reside either in a simple file store (for fast access, pointed to from the CERIF-CRIS) or within the CERIF-CRIS itself. Then, the CERIF-CRIS can be used to manage the full research lifecycle of all kinds of users from managers to researchers. For the former research management is evidencebased and justifiable; for the latter the e-research environment will have arrived (Jeffery 2012). 68

69 References 1. CERIF 2. CRIStin 3. DC 4. (Finch 2012) Finch report 5. (Harnad, Swan 2009) Stevan Harnad, Les Carr, Alma Swan, Arthur Sale and Hélène Bosc: Open Access Repositories.Maximizing and Measuring Research Impact through University and Research-Funder Open-Access Self-Archiving Mandates Forschungsinformation VII, (Jeffery 2012) Keith Jeffery : CRIS in 2020 Invited Keynote in Proceedings 11th International Conference on Current Research Information Systems (CRIS2012), Prague June 2012; ISBN (Jeffey 2006) Keith G Jeffery and Anne Asserson: Supporting the Research process with a CRIS In: Enabling Interaction and Quality: Beyond the Hanseatic League. Proceedings 8th International Conference on Current Research Information Systems (CRIS2006), Bergen 2012; ISBN MARC 9. OAI-PMH ORCID Readiness4REF (R4R) 69

70 Repositories, CRIS and CRIStin: the story so far prezentácia z konferencie Repositories, CRIS and CRIStin: the Story so Far Anne Asserson Digital Systems and Services University Library Repositories Structured systems and Managment information CRIStin Open Access Integration Bratislava, 2 April major streams of Development in recording and managing scholar information Repositories CRIS (Current Research Information System) Repositories store objects (full text, multimedia, and datasets) Keep ca 15% of the institutions full text Metadata recording the existence of articles, books and chapter i books will of course be higher. Different attitude to what is stored Only Peer reviewed All research output Bratislava, 2 April Bratislava, 2 April The low degree of fill of repositories can be ascribed to several factors: (a) the threshold barrier to input the metadata and load the article; (b) pressure and restrictions from commercial publishers through copyright and other legalistic mechanisms; (c) lack of perceived benefit. OAI-PMH is used as the interoperation protocol allowing harvesting of metadata from any compliant repository. The syntax of DC elements from different repositories can be combined together as long as the simple element structure is followed; the use of repeating groups or extended namespaces frustrates interoperation. Multilinguality and differing semantics (meaning of the lexical string) makes interoperation without much human intervention impossible. Bratislava, 2 April Bratislava, 2 April

71 Repositories Structured systems and Managment information CRIStin Open Access Integration Increasingly there is a requirement from research funders and research institutions to relate scholarly articles to research funding (grant or grants) as well as to person(s) and organisation(s). and when appropriate - to relate the publication to particular research facilities and/or equipment. Bratislava, 2 April Bratislava, 2 April typical Research Objects in a CRIS Institution The purpose of a CRIS (Current Research Management System) is to record research information for the purposes of management and utilisation by a funder research institution or researcher and for utilisation by innovators, entrepreneurs, the media and the public. Person / CV Equipment Publisher Journal/article Research Group Patent Project Books Event Bratislava, 2 April CRIS Requirement at Institution level a tool for policy making evaluation of research based on outputs document the research activities document research output a formal log of research in progress to assist project planning..for Reseachers /end users avoid duplication of research activity to evaluate opportunities for research funding analyse research trends, locally, regionally and internationally references/links to full text locate new contacts/networks identify new markets for products of research

72 CERIF short history European experts to define a Common European Research Information Format CERIF 1991 a single record format and a research classification scheme (not updated from 1988) Research documentation and CRIS more important 1997 ERGO European Research Gateways Online) pilot a single catalogue of projects from national databases, 20 countries records 2000 CERIF model It is clear that repositories using DC (Dublin Core) for metadata are incapable of meeting these new requirements for management information on research. Such as benchmarking institutional performance and for research funders to assess the research performance against funding for researchers and institutional organisations 13 Bratislava, 2 April CERIF Common European Research Information Format CERIF (Current Research Information Format) Model PERSON PROJECT ORGUNIT Person A Project leader member member OrgUnit M employee OrgUnit N Part of Part of OrgUnit O Books Result_Publication Thesis Patent Equipment Project P author owns IPR Publication X articles G Jeffery Bratislava, 2 April CERIF Model HR System Person A Project leader Project P webpages member member OrgUnit M employee OrgUnit N webpages author Part of Part of owns IPR OrgUnit O ID Person ID Publication Role Start time End time <author> <editor> <co-author> <illustrator> <proof reader> <copy editor> <reviewer> < > Person! ID URI Gender First Names Other Names Family Names Name Variants Research Interest Keywords Publication! ID URI Title Subtitle Abstract Bibl. Note Publication Date Total Pages Start Page End Page Keywords ID Person ID Publication Role Start time End time ID Publication ID OrgUnit Role Start time End time Organisation Unit! ID URI Acronym Name Head Count Currency Code Turnover Research Activity Keywords Finance Project Management Publication X repository Bratislava, 2 April januar 2012 Anne Asserson G Jeffery 72

73 Funding Facility Repository Project Structured systems and Managment information Person CRIStin Organisation Open Access Publications Integration Event Equipment CRIS12 Praha Anne Asserson University Library 19 Bratislava, 2 April Increasingly CRIS are becoming CERIF-compatible (a) to permit interoperation but more importantly (b) because the model reflects accurately the real world of research information. Several commercial companies offer CERIF-compatible CRIS and both Thomson-Reuters and Elsevier offer CERIF-compatible products. UiB output Journal Article Conference Book Report/dr.Thesis Part of Book Media Produkt CRIStin national CRIS in Norway 0 Bratislava, 2 April Bratislava, 2 April Researchers profile Fulltext via DOI Bratislava, 2 April Bratislava, 2 April

74 Level 1 (80 % of publication channels) Level 2( 20 % of publication channels) Norway populate with ISI Thompson Reuters data No assessing or evaluation related to citations or impact factor Who are publishing? Norges teknisk-naturvitenskapelige universitet 4000 Universitetet i Tromsø Universitetet for miljø- og biovitenskap 1000 Universitetet i Stavanger 0 Universitetet i Agder Serie1 Serie2 Universitetet i Oslo Universitetet i Bergen Bratislava, 2 April Bratislava, 2 April CRIStin metadata to fulltext Repository Structured systems and Managment information CRIStin Open Access at UiB Integration CRIStin holds the contextual metadata to the Institutional Repositories of the research performing institutions BORA Bergen Open Research Archive DUO MUNIN Hera. CRIStin Bratislava, 2 April Bratislava, 2 April Dr. Thesis Dr.thesis CRIStin BORA Bratislava, 2 April Bratislava, 2 April

75 2013 The University Board at UIB agreed to establish fund and run a pilot for 3 years to support Open Access Publishing 1,5 mill NOK ( euro)was allocated for publishing Gold Open Access 2014 the fund has increased to 1,8 millioner NOK Researchers at UiB can apply to cover expenses for GOLD pubishing Bratislava, 2 April Bratislava, 2 April Faculties are allocated a given sum The publications has to be deposited in the local repository, BORA Today this has lead to 80 articles, but expect more OA in Hybrid journals, not necessarily OA First year is now under evaluation Repositories Structured systems and Managment information CRIStin Open Access at UiB Integration Bratislava, 2 April CRIStin as metadata to fulltext 2 ways to reach the full text Copy of fulltext in the Institutional Repository DOI (Digital Object Identifier) links to the article, but dependent on subscription. Closed archive Bratislava, 2 April Bratislava, 2 April

76 Fulltext via repository Repositories exist, are maintained and used, and have captured research output in the form of publications. Similarly CRIS exist and are used, capture all aspects of research information with a formal datamodel (CERIF), and are evolving with changing requirements. CERIF-CRIS are capable of representing everything that is stored in repositories whereas repositories are not capable of representing everything stored in CRIS. Bratislava, 2 April Bratislava, 2 April Why have repositories? Some research institutions have abandoned their repositories and are using a CERIF-CRIS alone for all functions including those previously done by repositories. Most research institutions are attempting to integrate their repositories and CRIS. In so doing the major question is what metadata standard is used and where is the metadata stored. The options are: Input DC to repository and CERIF to CRIS This is the currently most-practised method, mainly due to organisational rigidity and the ownership of the repository being with the library and the CRIS with the research administration. Bratislava, 2 April Bratislava, 2 April Input DC to repository and copy/convert to CERIF for CRIS; This impractical since CERIF is a much richer data model than DC and so would be essentially empty with only a few attributes (elements in DC) filled. Input CERIF to CRIS and copy/convert to DC for repository This is widely used and especially when the organisational problems between the library and the research administration have been resolved. CERIF to DC (in various instantiations) convertors exist so that if required the DC-compatible metadata elements in CERIF can be provided to the repository for local catalog purposes. 76

77 We expect over the next years further developments. In general, repositories will store the scholarly output full text/multimedia and CERIF-CRIS will store the data/metadata providing the full context of the research. Interoperation will be via CERIF even for access to publications in other repositories. Increasingly the end-user wants not just the research publication but also its context the project, persons, institutions, funding, facilities/equipment and (very importantly) associated datasets and software. CERIF-CRIS and the Repository are an essential part of a e-infrastruture CERIF End-User CRIS Research Context [projects, persons, organisational units funding, products, patents, publications facilities, equipment, events] CERIF OAI-PMH Various protocols OA Repository (hypermedia) Documents e-research repository Datasets and Software Bratislava, 2 April Institution A Institution B Institution C End-User End-User End-User CRIS 2020 Then, the CERIF-CRIS can be used to manage the full research lifecycle of all kinds of users from managers to researchers. CRIS CRIS CRIS For theresearch management is evidence-based and justifiable; for the researcher the e-research environment will have arrived. OA repository e-research repository OA repository e-research repository OA repository e-research repository CRIS in 2020 Keith Jeffery, Proceedings 11th International Conference on Current Research Information Systems (CRIS2012) 45 Bratislava, 2 April University Library 77

78 IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích Viera Hudečková Úřad vlády České republiky, odbor výzkumu, vývoje a inovací hudeckova.viera@vlada.cz pracuje na Úrade Vlády ČR ako referentka výskumu a má na starosti spracovanie dátového obsahu Informačného systému výskumu, vývoja a inovácii v Českej republike. Systém veřejné podpory výzkumu, vývoje a inovací v České republice Výzkum, experimentální vývoj a inovace (VaVaI) jsou v České republice podporovány z veřejných prostředků podle zákona č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů (dále jen zákon ). Tento zákon upravuje: práva a povinnosti právnických a fyzických osob, zabývajících se VaVaI, podmínky veřejné podpory, poskytování informací o VaVaI prostřednictvím informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI), úkoly orgánů VaVaI. Zdroj dat: Rada pro výzkum, vývoj a inovace (Rada) je odborným a poradním orgánem vlády pro oblast VaVaI a zabezpečuje: přípravu Národní politiky VaVaI, zpracování návrhu celkové výše podpory na VaVaI, přípravu Metodiky hodnocení výsledků výzkumných organizací, zpracování pravidelných ročních analýz VaVaI v ČR a jejich srovnání se zahraničím a úlohu 78

79 Finsko Švédsko Dánsko Lucembursko Rakousko Německo Belgie Francie Nizozemsko Irsko Slovinsko UK EU28 Estonsko Španělsko ČR Itálie Portugalsko Maďarsko Řecko Kypr Malta Slovensko Litva Chorvatsko Polsko Lotyšsko Rumunsko Bulharsko Švýcarsko US Korea Japonsko Rusko Čína správce a provozovatele IS VaVaI. Rada má 17 členů a organizačně je začleněná pod Úřad vlády ČR. Předsedou Rady je místopředseda vlády pro vědu, výzkum a inovace ČR MVDr. Pavel Bělobrádek, Ph.D., MPA,. Členové Rady zastupují oblast průmyslu, vysokých škol a ústavů Akademie věd ČR a na pravidelných jednáních každý měsíc řeší nejdůležitější otázky českého výzkumu. Veřejná podpora VaV je rozdělená na účelové financování grantových projektů základního výzkumu a aplikovaného výzkumu a institucionální financování na dlouhodobý koncepční rozvoj výzkumných organizací. Reforma výzkumu proběhla v roce 2008 ve znamení hesla Věda dělá z peněz znalosti, inovace dělají ze znalostí peníze. Jejím cílem bylo odstranit nízké přínosy výzkumu, vývoje a inovací pro ekonomiku a společnost ČR, zjednodušit podporu VaV, podporovat instituce podle výsledků, výrazně snížit počet 22 rozpočtových kapitol (v současnosti 10 poskytovatelů podpory) a podpořit excelenci ve výzkumu. 1,87% Mld. Kč v běžných cenách Podíl na HDP 1,17% 1,16% 1,15% 1,20% 1,20% 1,22% 1,29% 1,37% 1,30% 1,35% 1,40% 1,64% 1,89% 0,91% 15,2 14,0 26,5 28,3 29,6 32,2 35,1 38,1 43,3 50,0 49,9 50,9 53,0 62,8 72, Zdroj dat: ČSÚ V roce 2012 dosáhly celkové výdaje za VaVaI provedený na území ČR 2,7 mld. EUR, což odpovídá 1,89 % podílu na HDP. V porovnání s vybranými zeměmi EU a světa ve vztahu GERD na 1 obyvatele Česká republika dosahuje pouze 2/3 hodnoty průměru EU US$ v PPP Eur Zdroj: OECD MSTI 2013/1, Eurostat září 2013 a vlastní dopočty ČSÚ 79

80 Podpora z veřejných zdrojů dosahuje 1 mld. EUR. VaVaI v České republice provádí 2,5 tisíc subjektů, z nich většina je v podnikatelském sektoru. Desetina uvedených subjektů prováděla tuto činnost jako svou převažující. Jedná se zejména o ústavy Akademie věd ČR, vysoké školy a veřejné výzkumné instituce (bývalé rezortní výzkumné ústavy). Jen 5 % těchto pracovišť má výdaje na VaVaI přesahující 3 milióny EUR. Na této činnosti se podílí 30 tisíc výzkumných pracovníků. Poskytovatelem účelové podpory na projekty základního výzkumu je zejména Grantová agentury ČR s rozpočtem 130 mil. EUR, Technologická agentura na projekty aplikovaného výzkumu a vybraná ministerstva (Ministerstvo školství, mládeže a tělovýchovy, Ministerstvo zdravotnictví, Ministerstvo zemědělství, Ministerstvo průmyslu a obchodu, Ministerstvo kultury, Ministerstvo vnitra a Ministerstvo obrany). Institucionální podpora je poskytována na dlouhodobý koncepční rozvoj výzkumných organizací, mezinárodní spolupráci ČR ve VaV, operační programy dle nařízení Evropské komise, která poskytuje 85% prostředků, 15% ČR (OP VaVpI, VpK, PaI), náklady na systém podpory (soutěže, hodnocení, ocenění). Podpora na dlouhodobý koncepční rozvoj je poskytována výzkumným organizacím na základě jimi dosažených výsledků. Hodnotit výsledky výzkumu a vývoje uložilo Radě usnesení vlády č. 644 ze dne 23. června Cílem hodnocení je posoudit efektivnost institucí ve výzkumu a vývoji a zhodnotit všechny výsledky dané instituce ve vazbě na celkové výdaje ze státního rozpočtu pro danou instituci za sledované období. Hodnocení je pravidelné, kritéria hodnocení jsou předem známá a závazná, měřitelná, zhodnotitelná. V roce 2004 byla zpracována Metodika hodnocení, kterou schválila Rada. Všechny výsledky získaly bodové ohodnocení 1,0 (článek v odborném periodiku, článek ve sborníku, odborné knihy, patenty, technologie, prototyp). Výstupem byla efektivnost subjektů výzkumu = podíl bodového ohodnocení a vynaložených finančních prostředků ze státního rozpočtu. VO byly rozděleny na 4 skupiny instituce, které svými výsledky vysoce (119-zelené), průměrně (417-šedé), podprůměrně (166-žluté), nebo bez výsledků (150-červené) zhodnotily vynaložené prostředky. Byl předložen návrh na zvýšení, zachování nebo snížení státní podpory. V následujících letech se systém hodnocení vyvíjel. Zdroj dat: Hodnocení VO Od roku 2009 Rada předkládá Metodiku ke schválení vládě ČR. Do hodnocení výsledků výzkumných organizací (VO) jsou zařazeny pouze VO, které mohou být příjemci institucionální podpory. Hodnotí se výsledky uplatněné za posledních 5 let, výsledky, které byly již v uplynulých letech hodnoceny, se znovu nehodnotí. Byly stanoveny definice jednotlivých druhů výsledku, kritéria jejich ověřitelnosti a bodová hodnota. Jsou využívané 80

81 národní a mezinárodní referenční databáze Thomson Reuters, Scopus, ERIH, EPO, OHIM, atd. Byl vytvořen Seznam českých recenzovaných časopisů, ve kterých jsou publikovány články důležité pro národní identitu. Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) Zdroj dat: IS VaVaI Zdrojem údajů pro Hodnocení je Informační systém výzkumu, experimentálního vývoje a inovací. Obsahuje 5 navzájem silně propojených oblastí: CEA-výzkumné aktivity (poskytovatelé podpory, programy výzkumu, subjekty výzkumu), CEZ-výzkumné záměry, CEP-výzkumné projekty, VES-veřejné soutěže a RIV-výsledky. IS VaVaI obsahuje přes 100 interních a externích číselníků, oproti kterým jsou předávané údaje kontrolovány. Údaje do IS VaVaI jsou předávány prostřednictvím poskytovatele podpory v dávkovém režimu. Součástí dodávky dat je rovněž Průvodka k dodávce dat, která obsahuje základní informace a je podepsaná odpovědným pracovníkem poskytovatele podpory. 81

82 Zdroj dat: Webová kontrolní služba IS VaVaI Je prováděna kontrola, zda předaný soubor je shodný s Průvodkou a zda je bez chyb datového obsahu, schématu XML, povolených znaků a jsou shodné kryptografické kontrolní součty. V případě nalezení nesrovnalosti je předkladatel požádán o nápravu a dodávka dat není zařazena do IS VaVaI. V této fázi zpracování údajů je nejčastějším pochybením použití znaků, které nejsou v české abecedě. Znaky jsou deformovány, nahrazeny otazníky nebo černými tečkami a snižuje se informační hodnota předaných údajů. 82

83 Zdroj Dat: IS VaVaI Výše uvedený článek ve sborníku byl předán v původním jazyku-ukrajinštině. Vypovídací hodnota o výsledku je omezená, není znám název výsledku ani jeho popis. Některé výsledky proniknou do zpracování, ale většinou jsou poskytovatelé požádání o opravu. Zdroj dat: IS VaVaI-RIV 83

84 Ročně je do IS VaVaI předáváno asi výsledků. IS VaVaI k obsahoval záznamů výsledků a je jednou z největších národních databází v Evropě. Zdroj dat: InCites, Thomson Reuters 2013 Zvyšování publikačních aktivit českých vědců se projevuje i ve světových databázích. Počet kvalitních článku v impaktovaných časopisech evidovaných společnosti Thomson Reuters každoročně stoupá. Zejména po roce 2004, kdy bylo zavedeno hodnocení VO, je jejich nárůst strmější. Relativní citační index překročil v roce 2012 o 7 % světový průměr. Hodnocení výsledků výzkumných organizací V roce 2009 byly stanoveny základní definice jednotlivých druhů výsledků, jejich ověřitelnost a vymezení, co není daným druhem výsledku. Nejčastěji předávaným výsledkem je článek v odborném periodiku: J recenzovaný odborný článek Definice - Recenzovaným odborným článkem je původní, případně přehledový článek zveřejněný v odborném periodiku (časopise) bez ohledu na stát vydavatele, který prezentuje původní výsledky výzkumu a který byl uskutečněn autorem nebo týmem, jehož byl autor členem. Jedná se o ucelené texty prací s členěním podle požadavků vydavatelů periodika na strukturu vědecké práce (nejčastěji souhrn, úvod, literární přehled, materiál a metody, výsledky, diskuse, závěr) s obvyklým způsobem citování zdrojů, eventuálně s poznámkovým aparátem. V odborném periodiku bývají tyto typy článků zařazeny v obsahu do skupiny původních, případně přehledových sdělení. 84

85 Odborným periodikem se rozumí vědecký recenzovaný časopis, s vědeckou redakcí, který vychází, případně vycházel periodicky, má přidělen pouze kód ISSN, případně e-issn a je vydáván v tištěné, v tištěné i elektronické nebo jen v elektronické podobě. Recenzované odborné články v odborném periodiku (časopise) se člení na: Jimp původní / přehledový článek v odborném periodiku, který je obsažen v databázi Web of Science společností Thomson Reuters s příznakem Article, Review, nebo Letter ; Jsc původní/přehledový článek v odborném periodiku, který je obsažen v databázi SCOPUS společnosti Elsevier s příznakem Article, Review, nebo Letter ; Jneimp původní / přehledový článek v odborném periodiku, který je obsažen v databázi ERIH; Jrec původní / přehledový článek v odborném periodiku, které je zařazeno v aktuálním Seznamu neimpaktovaných recenzovaných periodik vydávaných v České republice (zveřejněno na Odborným periodikem (časopisem) nejsou: - periodika, která nemají ISSN, případně ani e-issn; - periodika, nebo mimořádná periodika vydávaná s ISSN a též souběžně i s ISBN v knižní podobě, (tyto případy se často vyskytují u konferenčních příspěvků, které jsou evidovány v databázích WoS a SCOPUS. Výsledky publikované v tomto typu zdroje patří do výsledků druhu D); - periodika, u kterých neprobíhá nebo není zveřejněn způsob recenzentního řízení příspěvků (např. některá periodika vydávaná formou Open Access); - periodika charakteru denního nebo novinového tisku, tj. běžný denní tisk, tematické populárně - odborné přílohy k dennímu tisku, týdeníky, odborně zaměřené noviny (např. Zdravotnické noviny, Hospodářské noviny, Učitelské noviny apod.); - populárně naučná periodika určená pro laickou veřejnost, vydávané komerčními nakladateli, veřejnými a jinými institucemi; - popularizující odborná periodika, určené pro širší odbornou veřejnost, např. vydávané odbornými společnostmi, vědeckými institucemi apod. za účelem propagace a popularizace vědy; - periodika odborů, politických stran, spolků apod.; - filmové a rozhlasová periodika; - podniková a pojišťovací periodika; - tiskopisy a zpravodaje; 85

86 - za periodika nejsou považována zvláštní čísla časopisů, ve kterých jsou uveřejněny texty konferenčních příspěvků. Recenzovaným odborným článkem nejsou: - reprinty, abstrakta, rozšířená abstrakta (např. na konferenci) apod., byť publikovaná v odborném periodiku, články informativního nebo popularizačního charakteru o výsledcích výzkumu; - ediční materiály, opravy, recenze, rešerše nebo souhrny; - článek typu preprint, tj. verze článku uveřejněná před recenzním řízením; - pro Jrec články s nižším rozsahem než jsou 2 strany textu, přičemž platí, že do rozsahu stran se nezapočítávají fotografie, grafy, mapové přílohy, obrázky, tabulky a reklamy V rámci Hodnocení VO jsou všechny vstupující výsledky podrobeny softwarové nebo peer-review kontrole. Nejčastější chybou nalezenou u softwarových kontrol je nesoulad předaných údajů s údaji evidovanými v kontrolních databázích. Jedná se nejčastěji o typ článku (za článek je vydáván abstrakt nebo recenze), nesoulad roku uplatnění, neúplný počet autorů a další. Zdroj dat: Web of Science, Thomson Reuters

87 U peer-review kontroly je posuzováno, zda se jedná o původní výsledek výzkumu, zda struktura článku odpovídá struktuře vědecké práce a další atributy. Často jsou popularizační nebo přehledové články prezentovány autory jako původní práce. Tyto výsledky jsou z hodnocení vyřazeny. Všechny tyto údaje mají vliv na bodovou hodnotu výsledku a tím i na výši institucionální podpory. Tyto výsledky jsou z IS VaVaI i z hodnocení vyřazeny z důvodu nesouladu datových prvků a v některých případech je uplatněn 14 odst. 5 zákona, který opravňuje Radu snížit výši institucionální podpory až do výše 100 % podpory na 5 let. V roce 2011 byla takto uplatněna sankce na výsledků ve výši 6,6 mil. EUR. Článek ve sborníku je druhým nejčastěji předávaným výsledkem. Kontrola probíhá oproti databázím Scopus a Conference Proceedings Citation Index. Jen články zveřejněné v těchto databázích získávají bodové ohodnocení. Pokud je článek zveřejněn ve sborníku, který je evidován v příslušné databází, získává bodové ohodnocení. Až 80 % článku ve sborníku zůstává s nulovou bodovou hodnotou. Důvodem pro vyřazení z Hodnocení je malý rozsah článku (do 2 stran). Odborná úroveň není posuzována. Odborné knihy a kapitoly v knihách jsou podrobeny peer-review kontrole. V některých vědních oborech nevyhovuje definici druhu výsledku % kontrolovaných publikací. Za knihy jsou vydávány sborníky z konferencí, učební texty, překlady, ročenky, výroční zprávy, diplomové práce, habilitační práce, slovníky, rešerše, souhrny abstraktů, metodické příručky, katalogy, normy, cestopisy, beletrie, texty divadelních her, výběrové bibliografie, výroční zprávy, proslovy, reportáže, soubory studentských soutěžních prací, turistické průvodce, komerční překlady z cizích jazyků nebo memoáry, informační materiály, popularizující monografie, biografie, autobiografie, účelově monograficky vydané závěrečné zprávy z grantů. Všechny odborné knihy vydané v České republice musí být rovněž předány do Národní knihovny (NK). První část kontroly zjišťuje, zda je publikace evidována v katalogu NK. Členové odborných a poradních orgánů Rady následně posuzuji, zda kniha splňuje definici druhu výsledku a zda za knihu není vydáván jiný druh výsledku. 87

88 Zdroj dat: Katalog Národní knihovny ČR U výsledků aplikovaného výzkumu jsou podrobně kontrolovány zejména patenty a užitné vzory. V roce 2010 byla provedena kontrola patentů uplatněných za posledních 5 let. Výsledkem bylo odstranění 70 % patentů z důvodu předání nepravdivých údajů. Za patenty byly prohlašovány přihlášky vynálezu, byl nesoulad roku uplatnění, nebyli uvedeni všichni tvůrci a majitelé patentu. Za takto nepravdivě předané údaje byla předkladatelům udělena sankce. V současnosti předkladatelé věnují tomuto druhu výsledku mimořádnou pozornost. V roce 2013 kontrolované patenty vykázaly pochybení jen v 2 % případů. Zdroj dat: databáze Úřadu průmyslového vlastnictví ČR Výše uvedený příklad předání výsledku užitný vzor ukazuje nesoulad datových prvků chybné číslo dokumentu, chybný název neúplný seznam vlastníků (majitelů) oproti záznamům Úřadu průmyslového vlastnictví. Dle 31 odst. 10 zákona č.130/2002 Sb., o podpoře výzkumu a vývoje, se provádí pravidelná meziroční kontrola dat předaných do informačního systému výzkumu a vývoje v předchozím roce. Cílem kontroly je upozornit na nesrovnalosti - zda u výzkumných 88

89 projektů byly předány údaje o jejich ukončení nebo pokračování, zda byly vyhodnoceny všechny vyhlášené veřejné soutěže a zda všechny ukončené projekty mají nějaký výsledek v IS VaVaI. V případech, kdy tomu tak není (asi 3,4 % ukončených projektů), rozhodla Rada o uplatnění sankci pro tyto poskytovatelé ve výši 22 mil. EUR. Zdroje: 1. Zákon č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů 2. Analýza stavu výzkumu, vývoje a inovací v ČR a jejich srovnání se zahraničím v roce Předávání údajů do Informačního systému výzkumu, experimentálního vývoje a inovací RIV Rejstřík informací o výsledcích Web of Science 7. Katalog Národní knihovny ČR 8. Databáze Úřadu průmyslového vlastnictví ČR 89

90 IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích prezentácia z konferencie Obsah 1. Systém veřejné podpory výzkumu, vývoje a inovací v České republice IS VaVaI - zkušenosti při řešení chyb předávaných údajů o výsledcích výzkumu, experimentálního vývoje a inovacích Ing. Viera Hudečková, Úřad vlády ČR, Odbor Rady pro výzkum, vývoj a inovace 2. Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) 3. Hodnocení výsledků výzkumných organizací CVTI SR Bratislava, CVTI SR Bratislava, Systém veřejné podpory výzkumu, vývoje a inovací v České republice Výzkum, experimentální vývoj a inovace (VaVaI) jsou v České republice podporovány z veřejných prostředků podle zákona č.130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací z veřejných prostředků a o změně některých souvisejících zákonů (zákon o podpoře výzkumu, experimentálního vývoje a inovací), ve znění pozdějších předpisů (dále jen zákon ). Tento zákon upravuje: práva a povinnosti právnických a fyzických osob, zabývajících se VaVaI; podmínky veřejné podpory; poskytování informací o VaVaI prostřednictvím informačního systému výzkumu, experimentálního vývoje a inovací (IS VaVaI); úkoly orgánů VaVaI. CVTI SR Bratislava, Systém veřejné podpory výzkumu, vývoje a inovací v České republice Rada pro výzkum, vývoj a inovace (Rada) je odborným a poradním orgánem vlády pro oblast VaVaI a zabezpečuje: přípravu Národní politiky VaVaI; zpracování návrhu celkové výše podpory na VaVaI; přípravu Metodiky hodnocení výsledků výzkumných organizací; zpracování pravidelných ročních analýz VaVaI v ČR a jejich srovnání se zahraničím; úlohu správce a provozovatele IS VaVaI. Reforma výzkumu proběhla v roce 2008 ve znamení hesla Věda dělá z peněz znalosti, inovace dělají ze znalostí peníze. Jejím cílem bylo odstranit nízké přínosy výzkumu, vývoje a inovací pro ekonomiku a společnost ČR, zjednodušit podporu VaV, podporovat instituce podle výsledků, výrazně snížit počet 22 rozpočtových kapitol (v současnosti 10 poskytovatelů podpory) a podpořit excelenci ve výzkumu. CVTI SR Bratislava, Systém veřejné podpory výzkumu, vývoje a inovací v České republice Systém veřejné podpory výzkumu, vývoje a inovací v České republice Rada má 17 členů a organizačně je začleněná pod Úřad vlády ČR. Předsedou Rady je místopředseda vlády pro vědu, výzkum a inovace ČR MVDr. Pavel Bělobrádek, Ph.D., MPA,. Členové Rady zastupují oblast průmyslu, vysokých škol a ústavů Akademie věd ČR a na pravidelných jednáních každý měsíc řeší nejdůležitější otázky českého výzkumu. V roce 2012 dosáhly celkové výdaje za VaVaI provedený na území ČR 2,7 mld. EUR, což odpovídá 1,89 % podílu na HDP. V porovnání s vybranými zeměmi EU a světa ve vztahu GERD na 1 obyvatele Česká republika dosahuje pouze 2/3 hodnoty průměru EU28. CVTI SR Bratislava, CVTI SR Bratislava,

91 Systém veřejné podpory výzkumu, vývoje a inovací v České republice Podpora z veřejných zdrojů dosahuje 1 mld. EUR. VaVaI v České republice provádí 2,5 tisíc subjektů, z nich většina je v podnikatelském sektoru. Desetina uvedených subjektů prováděla tuto činnost jako svou převažující - ústavy Akademie věd ČR, vysoké školy a veřejné výzkumné instituce (bývalé rezortní výzkumné ústavy). Jen 5 % těchto pracovišť má výdaje na VaVaI přesahující 3 milióny EUR. Na výzkumné činnosti se podílí 48 tisíc výzkumných pracovníků. Poskytovatelem účelové podpory na projekty základního výzkumu je zejména Grantová agentury ČR s rozpočtem 130 mil. EUR. Technologická agentura a vybraná ministerstva (Ministerstvo školství, mládeže a tělovýchovy, Ministerstvo zdravotnictví, Ministerstvo zemědělství, Ministerstvo průmyslu a obchodu, Ministerstvo kultury, Ministerstvo vnitra a Ministerstvo obrany) podporují projekty aplikovaného výzkumu. Systém veřejné podpory výzkumu, vývoje a inovací v České republice Institucionální podpora je poskytována na: dlouhodobý koncepční rozvoj výzkumných organizací; mezinárodní spolupráci ČR ve VaV; operační programy dle nařízení Evropské komise, která poskytuje 85% prostředků, 15% ČR (OP VaVpI, VpK, PaI); náklady na systém podpory (soutěže, hodnocení, ocenění-česká hlava); Podpora na dlouhodobý koncepční rozvoj je poskytována výzkumným organizacím na základě jimi dosažených výsledků. Hodnotit výsledky výzkumu a vývoje uložilo Radě usnesení vlády č. 644 ze dne 23. června Cílem hodnocení je posoudit efektivnost institucí ve výzkumu a vývoji a zhodnotit všechny výsledky dané instituce ve vazbě na celkové výdaje ze státního rozpočtu pro danou instituci za sledované období. Hodnocení je pravidelné, kritéria hodnocení jsou předem známá a závazná, měřitelná, zhodnotitelná. CVTI SR Bratislava, CVTI SR Bratislava, Systém veřejné podpory výzkumu, vývoje a inovací v České republice V roce 2004 byla zpracována první Metodika hodnocení, kterou schválila Rada. Všechny výsledky získaly bodové ohodnocení 1,0 (článek v odborném periodiku, článek ve sborníku, odborné knihy, patenty, technologie, prototyp). Výstupem byla efektivnost všech subjektů výzkumu = podíl bodového ohodnocení a vynaložených finančních prostředků ze státního rozpočtu. VO byly rozděleny na 4 skupiny instituce, které svými výsledky vysoce (119- zelené), průměrně (417-šedé), podprůměrně (166-žluté), nebo bez výsledků (150-červené) zhodnotily vynaložené prostředky. Byl předložen návrh na zvýšení, zachování nebo snížení státní podpory. V následujících letech se systém hodnocení vyvíjel. CVTI SR Bratislava, Systém veřejné podpory výzkumu, vývoje a inovací v České republice Od roku 2009 Rada předkládá Metodiku ke schválení vládě ČR. Do hodnocení výsledků výzkumných organizací (VO) jsou zařazeny pouze VO, které mohou být příjemci institucionální podpory. Hodnotí se výsledky uplatněné za posledních 5 let, výsledky, které byly již v uplynulých letech hodnoceny, se znovu nehodnotí. Byly stanoveny definice jednotlivých druhů výsledku, kritéria jejich ověřitelnosti a bodová hodnota. Jsou využívané národní a mezinárodní referenční databáze Thomson Reuters, Scopus, ERIH, EPO, OHIM, atd. Byl vytvořen Seznam českých recenzovaných časopisů, ve kterých jsou publikovány články důležité pro národní identitu. CVTI SR Bratislava, Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) Zdrojem údajů pro Hodnocení je Informační systém výzkumu, experimentálního vývoje a inovací. Obsahuje 5 navzájem silně propojených oblastí: CEA-výzkumné aktivity (poskytovatelé podpory, programy výzkumu, subjekty výzkumu), CEZvýzkumné záměry, CEP-výzkumné projekty, VES-veřejné soutěže a RIVvýsledky. IS VaVaI obsahuje přes 100 interních a externích číselníků, oproti kterým jsou předávané údaje kontrolovány. Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) Údaje do IS VaVaI jsou předávány prostřednictvím poskytovatele podpory v dávkovém režimu. Součástí dodávky dat je rovněž Průvodka k dodávce dat, která obsahuje základní informace a je podepsaná odpovědným pracovníkem poskytovatele podpory. CVTI SR Bratislava, CVTI SR Bratislava,

92 Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) Je prováděna kontrola, zda předaný soubor je shodný s Průvodkou a zda je bez chyb datového obsahu, schématu XML, povolených znaků a jsou shodné kryptografické kontrolní součty. V případě nalezení nesrovnalosti je předkladatel požádán o nápravu a dodávka dat není zařazena do IS VaVaI. V této fázi zpracování údajů je nejčastějším pochybením použití znaků, které nejsou v české abecedě. Znaky jsou nahrazeny otazníky. Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) Ročně je do IS VaVaI předáváno asi výsledků. IS VaVaI k obsahoval záznamů výsledků a je jednou z největších národních databází o výsledcích v Evropě. CVTI SR Bratislava, CVTI SR Bratislava, Informační systém výzkumu, experimentálního vývoje a inovací (IS VaVaI) Zvyšování publikačních aktivit českých vědců v souvislosti s hodnocením se projevuje i ve světových databázích. Počet kvalitních článku v impaktovaných časopisech evidovaných společnosti Thomson Reuters každoročně stoupá. Zejména po roce 2004, kdy bylo zavedeno hodnocení VO, je jejich nárůst strmější. Relativní citační index překročil v roce 2012 světový průměr o 7 %. Hodnocení výsledků výzkumných organizací V roce 2009 byly stanoveny základní definice jednotlivých druhů výsledků, jejich ověřitelnost a vymezení, co není daným druhem výsledku. Nejčastěji předávaným výsledkem je recenzovaný článek v odborném periodiku: Definice - Recenzovaným odborným článkem je původní, případně přehledový článek zveřejněný v odborném periodiku (časopise) bez ohledu na stát vydavatele, který prezentuje původní výsledky výzkumu a který byl uskutečněn autorem nebo týmem, jehož byl autor členem. Jedná se o ucelené texty prací s členěním podle požadavků vydavatelů periodika na strukturu vědecké práce (nejčastěji souhrn, úvod, literární přehled, materiál a metody, výsledky, diskuse, závěr) s obvyklým způsobem citování zdrojů, eventuálně s poznámkovým aparátem. V odborném periodiku bývají tyto typy článků zařazeny v obsahu do skupiny původních, případně přehledových sdělení CVTI SR Bratislava, CVTI SR Bratislava, Hodnocení výsledků výzkumných organizací Hodnocení výsledků výzkumných organizací Recenzované odborné články v odborném periodiku (časopise) se člení na: Jimp původní/přehledový článek v odborném periodiku, který je obsažen v databázi Web of Science společností Thomson Reuters s příznakem Article, Review, nebo Letter ; Jsc původní/přehledový článek v odborném periodiku, který je obsažen v databázi SCOPUS společnosti Elsevier s příznakem Article, Review, nebo Letter ; Jneimp původní/přehledový článek v odborném periodiku, který je obsažen v databázi ERIH; Jrec původní/přehledový článek v odborném periodiku, které je zařazeno v aktuálním Seznamu neimpaktovaných recenzovaných periodik vydávaných v České republice (zveřejněno na CVTI SR Bratislava, Odborným periodikem (časopisem) nejsou: periodika, která nemají ISSN, případně ani e-issn; periodika, u kterých neprobíhá nebo není zveřejněn způsob recenzentního řízení příspěvků (např. některá periodika vydávaná formou Open Access); periodika charakteru denního nebo novinového tisku. Recenzovaným odborným článkem nejsou: reprinty, abstrakta, rozšířená abstrakta (např. na konferenci) apod., byť publikovaná v odborném periodiku, články informativního nebo popularizačního charakteru o výsledcích výzkumu; ediční materiály, opravy, recenze, rešerše nebo souhrny; článek typu preprint, tj. verze článku uveřejněná před recenzním řízením; pro Jrec články s nižším rozsahem než jsou 2 strany textu, přičemž platí, že do rozsahu stran se nezapočítávají fotografie, grafy, mapové přílohy, obrázky, tabulky a reklamy CVTI SR Bratislava,

93 Hodnocení výsledků výzkumných organizací Kontroly - Publikační výsledky Web of Science Journal Citation Report Impact Factor časopisů Web Services přímý přístup k záznamům, kontrola-typ dokumentu (Letter, Article, Review, Proceedings Paper), rok publikování, název časopisu, název článku, jazyk publikování, počet autorů, atd. Scopus Odborné periodika uvedené v seznamu title_list.xls (21 754), včetně indexu SJR, který je poprvé využit pro bodové ohodnocení. Dataset výsledků zveřejněných v databázi SCOPUS v letech 2008 až ERIH časopisy společenských a humanitních věd. Seznam recenzovaných neimpaktovaných periodik vydávaných v České republice (po aktualizaci roku 2010). CVTI SR Bratislava, Hodnocení výsledků výzkumných organizací Nejčastější chybou nalezenou u softwarových kontrol je nesoulad předaných údajů s údaji evidovanými v kontrolních databázích. Jedná se nejčastěji o typ článku (za článek je vydáván abstrakt nebo recenze), nesoulad roku uplatnění, neúplný počet autorů a další. CVTI SR Bratislava, Hodnocení výsledků výzkumných organizací U peer-review kontroly je posuzováno, zda se jedná o původní výsledek výzkumu, zda struktura článku odpovídá struktuře vědecké práce a další atributy. Posuzovány jen české články. Často jsou popularizační nebo přehledové články prezentovány autory jako původní práce. Tyto výsledky jsou z hodnocení vyřazeny. Všechny tyto údaje mají vliv na bodovou hodnotu výsledku a tím i na výši institucionální podpory. Tyto výsledky jsou z IS VaVaI i z hodnocení vyřazeny z důvodu nesouladu datových prvků a v některých případech je uplatněn 14 odst. 5 zákona Rada může snížit výši institucionální podpory až do výše 100 % podpory na 5 let. V roce 2011 byla takto uplatněna sankce na výsledků ve výši 6,6 mil. EUR. CVTI SR Bratislava, Hodnocení výsledků výzkumných organizací Článek ve sborníku je druhým nejčastěji předávaným výsledkem. Kontrola probíhá oproti databázím Scopus a Conference Proceedings Citation Index společnosti Thomson Reuters. Jen články zveřejněné v časopisech evidovaných v těchto databázích získávají bodové ohodnocení. Až 80 % článku ve sborníku zůstává s nulovou bodovou hodnotou. Odborná úroveň není posuzována. title_list.txt CVTI SR Bratislava, Hodnocení výsledků výzkumných organizací Hodnocení výsledků výzkumných organizací U sborníků je prováděna kontrola, zda Typ dokumentu a Typ zdroje patří do skupiny hodnocených článků. Web of Science SCOPUS CVTI SR Bratislava, Odborné knihy a kapitoly v knihách jsou podrobeny peer-review kontrole. V některých vědních oborech (SHV) nevyhovuje definici druhu výsledku % kontrolovaných publikací. Za knihy jsou vydávány sborníky z konferencí, učební texty, překlady, ročenky, výroční zprávy, diplomové práce, habilitační práce, slovníky, rešerše, souhrny abstraktů, metodické příručky, katalogy, normy, cestopisy, beletrie, texty divadelních her, výběrové bibliografie, výroční zprávy, proslovy, reportáže, soubory studentských soutěžních prací, turistické průvodce, komerční překlady z cizích jazyků nebo memoáry, informační materiály, popularizující monografie, biografie, autobiografie, účelově monograficky vydané závěrečné zprávy z grantů. Členové odborných a poradních orgánů Rady posuzuji, zda kniha splňuje definici druhu výsledku a zda za knihu není vydáván jiný druh výsledku. CVTI SR Bratislava,

94 Hodnocení výsledků výzkumných organizací Hodnocení výsledků výzkumných organizací Příklady posouzení výsledku Všechny odborné knihy vydané v České republice musí být rovněž předány do Národní knihovny. Vědní obor. Fyzické ověření výsledku. Nesprávně zařazeno, tématem je literární věda a kulturní věda. (AC, AI) CVTI SR Bratislava, CVTI SR Bratislava, Hodnocení výsledků výzkumných organizací Hodnocení výsledků výzkumných organizací U výsledků aplikovaného výzkumu jsou podrobně kontrolovány zejména patenty a odrůdy. V roce 2010 byla provedena kontrola patentů uplatněných za posledních 5 let. Výsledkem bylo odstranění 70 % patentů z důvodu předání nepravdivých údajů. Za patenty byly prohlašovány přihlášky vynálezu, byl nesoulad roku uplatnění, nebyli uvedeni všichni tvůrci a majitelé patentu. Za takto nepravdivě předané údaje byla předkladatelům udělena sankce. Výsledek neprezentuje/nerealizuje/nechrání původní výsledky - vydání Patočkových přednášek. CVTI SR Bratislava, V současnosti předkladatelé věnují tomuto druhu výsledku mimořádnou pozornost. V roce 2013 kontrolované patenty vykázaly pochybení jen v 2 % případů. CVTI SR Bratislava, Hodnocení výsledků výzkumných organizací Hodnocení výsledků výzkumných organizací Odrůdy právně chráněné výsledky Výsledek je právně chráněn Kontroly - Výsledky aplikovaného výzkumu Databáze ÚPV, ESPCENET a národní patentové úřady-patenty. ÚSTŘEDNÍ KONTROLNÍ A ZKUŠEBNÍ ÚSTAV ZEMĚDĚLSKÝ odrůdy Výsledek není právně chráněn, registrovaná odrůda je zapsaná do Státní odrůdové knihy a je uváděna do oběhu. Sběr údajů o investičních prostředcích v projektech aplikovaného výzkumu řešených v roce 2012 Sběr údajů o Smluvním výzkumu CVTI SR Bratislava, CVTI SR Bratislava,

95 Hodnocení výsledků výzkumných organizací Snížení chybovosti údajů o patentech V roce 2013 se snížila chybovost údajů o patentech na 2,4 % Z 333 patentů byly 4 přihlášky vynálezů (zahraniční) 2 patenty předaly předkladatelé bez vlastnického práva 2 patenty předány pod jiným názvem (evropský patent předán v češtině, dokument o ochraně vydán v angličtině, němčině a francouzštině) CVTI SR Bratislava, Hodnocení výsledků výzkumných organizací 2013 Počet záznamů výsledků Počet záznamů vyřazených Počet vyjádření poskytovatelů Počet záznamů hodnocených Patenty (chybovost v %) Rekapitulace Hodnocení neakceptováno) neakceptováno) neakceptováno Sankce mil. Kč CVTI SR Bratislava, ?? 2? Hodnocení výsledků výzkumných organizací Dle 31 odst. 10 zákona č.130/2002 Sb., o podpoře výzkumu a vývoje, se provádí pravidelná meziroční kontrola dat předaných do informačního systému výzkumu a vývoje v předchozím roce. Cílem kontroly je upozornit na nesrovnalosti - zda u výzkumných projektů byly předány údaje o jejich ukončení nebo pokračování, zda byly vyhodnoceny všechny vyhlášené veřejné soutěže a zda všechny ukončené projekty mají nějaký výsledek v IS Děkuji za pozornost hudeckova.viera@vlada.cz V případech, kdy tomu tak není (asi 3,4 % ukončených projektů), rozhodla Rada o uplatnění sankcí pro tyto poskytovatelé ve výši 22 mil. EUR. CVTI SR Bratislava, CVTI SR Bratislava,

96 IPn Metodika - efektivní systém hodnocení a financování výzkumu, vývoje a inovací Viera Hudečková Úřad vlády České republiky, odbor výzkumu, vývoje a inovací hudeckova.viera@vlada.cz pracuje na Úrade Vlády ČR ako referentka výskumu a má na starosti spracovanie dátového obsahu Informačného systému výskumu, vývoja a inovácii v Českej republike. Úvod Cílem projektu Efektivní systém hodnocení a financování výzkumu, vývoje a inovací je zatraktivnit prostředí výzkumu, vývoje a inovací (VaVaI) pro vědecké pracovníky, podpořit excelenci ve VaVaI, motivovat mladé lidi pro práci ve VaVaI, zvýšit prestiž vědecké práce a nalézt mechanismy na finanční ohodnocení podle kvality odvedené práce. Prostředkem k dosažení cíle je nová metodika hodnocení výsledků a institucí a nová metodika rozdělování veřejné podpory (dále jen IPn Metodika ). Návrh nového systému hodnocení bude vycházet z doporučení Mezinárodního auditu výzkumu, vývoje a inovací v ČR, který důrazně varoval před mechanistickým pojetím současné Metodiky. Výsledky jeho řešení budou využívány orgány státní správy, poskytovateli podpory a dotknou se všech výzkumných organizací a jejich pracovníků. Řešení IPn Metodika bylo zahájeno Předcházela mu široká diskuse o obsahu jak v realizačním týmu, tak na Radě pro výzkum, vývoj a inovace (dále jen Rada ), kde byla dojednána koordinace řešení IPn Metodika a Metodika hodnocení výsledků VO a výsledků ukončených programů 2013, které představuje základní platformu pro přípravu návrhu a ověření nového systému hodnocení jako klíčového podkladu pro následné doporučení Rady vládě. Hlavní odbornou garantkou projektu je prof. Ing. Jitka Moravcová, CSc. (VŠCHT Praha). Celkový rozpočet projektu je 4,1 mil. EUR a je financován z OP Vzdělávání pro konkurenceschopnost. 96

97 Cíle projektu Projekt vychází z cílů a opatření strategických dokumentů vlády ČR Reforma systému VaVaI, Národní politika VaVaI na léta , Strategie mezinárodní konkurenceschopnosti na období , Národní inovační strategie, doporučení IPn "Mezinárodní audit", z Dlouhodobých principů hodnocení a financování schválených Radou a z dobrých zahraničních praxí. Hlavním cílem projektu je vytvořit návrh nového systému hodnocení a financování VaVaI z veřejných prostředků tak, aby se stal zdrojem informací pro strategické řízení systému VaVaI na úrovni státní správy, poskytovatelů, programů a VO a kladl důraz na excelenci a střednědobé plánování. Tyto cíle budou naplněny prostřednictvím následujících výstupů: Návrh oborové metodiky hodnocení (OMH), který projde veřejnou oponenturou, malým a velkým pilotním otestováním. Návrh hodnocení VO, které bude zohledňovat ukazatele kvantitativní i kvalitativní a bude reflektovat i do budoucnosti orientované ukazatele. Do hodnocení vysokých škol budou zahrnuty i umělecké a tvůrčí výsledky. Odborná příprava lidských zdrojů, specialistů v oblasti bibliometrie a hodnocení institucí VaVaI. Studie proveditelnosti vzniku nezávislé hodnotící instituce. Model nového systému financování systému VaVaI jako celku i institucionálního financování VO a otestování jeho stability. Návrh souboru transformačních kroků a harmonogramu postupných změn tak, aby byla zajištěna stabilita celého systému VaVaI v přechodném období. Návrh souboru legislativních změn, nutných pro implementaci nových systémů. Vytvoření podmínek pro přijetí nových systémů prostřednictvím těsné spolupráce s dotčenými orgány a cílovými skupinami. Tyto cíle jsou sdruženy do logických celků a dále rozpracovány v rámci jednotlivých klíčových aktivit projektu. Klíčové aktivity 01 Informační podpora V této klíčové aktivitě bude realizována analýza zavedené struktury IS VaVaI v ČR (Rejstřík informací o výsledcích - RIV) především z hlediska úplnosti, spolehlivosti, uživatelské přívětivosti a možnostem realizace nadstavbového softwaru ke zpracování 97

98 informací nutných pro navrhované hodnocení. Hodnocení však nelze realizovat bez detailní bibliometrické analýzy, jak ji umožňují světové databáze vědeckých informací Web of Science společnosti Thomson Reuters nebo Scopus společnosti Elsevier, a zajištění dalších informačních služeb identifikovaných v průběhu návrhu OMH. 02 Systém hodnocení Vytvoří oborové metodiky hodnocení (OMH), které budou podrobně popisovat hodnotící kritéria pro hodnocení hodnocených jednotek VO v jednotlivých oborech podle světových oborových standardů a navrhne další vhodné indikátory specifické podle typu VO. Ověří navržené hodnocení na vybraném vzorku všech typů VO, a to včetně informovaného peer-review zahraničními odborníky, jehož výsledky budou mít hodnocené VO k dispozici. Poskytne podklady pro informovaná politická rozhodnutí o rozdělení prostředků mezi obory a iniciaci mezioborových projektů. Předpokládané řešení se bude opírat o ověřené zahraniční praxe a zkušeností. Předmětem hodnocení bude hodnocená jednotka (HJ), která se do hodnocení v příslušném oboru přihlásí. Bude se hodnotit kvalita výsledků dosažených HJ za období posledních cca 5 let, dopad výzkumu HJ a institucionální předpoklad rozvoje HJ (jako např. zhodnocení způsobu řízení HJ včetně řízení lidských zdrojů a materiálního zázemí. Výsledkem zhodnocení každé HJ budou hodnotící zpráva HJ a VO a výkonnostní profil VO s písemným odůvodněním výsledků zhodnocení a doporučení. Hodnocení VO bude realizováno jednou za cca 5 let a bude probíhat v angličtině. 03 Systém financování Návrh modelů institucionálního financování pro jednotlivé poskytovatele transparentním způsobem promítne výkonnostní principy hodnocení do systému financování, které bude výrazně motivační, s důrazem na kvalitu a excelenci. Současně zajistí stabilitu VO potřebnou pro jejich koncepční rozvoj, a tím i stabilitu a efektivnost vkladů do personálních a materiálních kapacit. V souladu se strategickými dokumenty by měl mít nový způsob rozdělování institucionální podpory přímý vztah k výsledkům hodnocení; ovšem v jaké míře, to musí být předmětem definování nových principů a dále podle výsledku modelových a testovacích studií, které budou hodnotit stabilitu a robustnost nového systému. V tomto smyslu má mít institucionální financování VO, na rozdíl od čistě retrospektivní současné Metodiky, také složku prospektivní a obě složky se mají navzájem účelně doplňovat. Těmi složkami jsou rozpočet podle předpisu (formula funding, FF) a výkonnostní kontrakty (performance-based contract, PBC). Tímto způsobem se odstraní kritizované mechanické přepočítávání bodů na financování VO a potlačí se jejich účelové chování. Smlouvy mezi VO a poskytovatelem podpory by mohly být uzavírány na dobu optimálně 5 let a jejich plnění bude průběžně kontrolováno. Součástí smlouvy budou i návrhy represivních prvků, pokud jednotliví aktéři nebudou svoje závazky plnit. Předpokládáme, že nový systému financování VO umožní jejich rozvoj a že bude také kultivovat české vědecké prostředí a zvýší evaluační kulturu. 98

99 04 Velké pilotní ověření Cílem je realizace velkého pilotního ověření (VPO) způsobu hodnocení navrženého v klíčové aktivitě 02 na všech typech VO, v oborech, kam se přihlásí jejich HJ. Do ověření nového způsobu hodnocení budou mít možnost podat přihlášku VO z řad VVŠ, ústavů AV ČR a všech dalších typů VO. V rámci VPO bude mimo jiné vyhodnocena finanční a časová náročnost celého procesu a budou identifikovány nezamýšlené efekty hodnocení. 05 Harmonogram pro přechodné období a podklady pro legislativní změny V této klíčové aktivitě bude řešena otázka, jak postupovat v přechodném období tak, aby uvedení nových systémů vypracovaných v rámci projektu bylo plynulé a bez diskontinuit či velkých skoků, které by způsobily nestabilitu systému. Podle výsledků předchozích klíčových aktivit bude navržen harmonogram jednotlivých kroků a legislativních změn tak, aby návrh nového systému mohl platit v optimální variantě od roku Součástí budou veřejné konzultace s aktéry k navrhovaným změnám, připomínkové řízení a vypořádání připomínek. 06 Institucionální zajištění hodnocení Bude zpracována studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení. Nové institucionální zajištění by mělo garantovat realizaci pravidelných hodnocení VO a dodávat kvalifikované informace pro politická rozhodnutí, a to na úrovni srovnatelné s mezinárodními standardy. Otázkou, kterou bude projekt řešit, je postavení, struktura, pravomoci a zodpovědnost instituce organizující hodnocení. Posuzovat se bude, zda instituce bude koncipována jako samostatná, či bude součástí nějaké instituce jiné, např. ministerstva. Součástí bude výchova odborníků na hodnocení v oblasti metodiky hodnocení obecně, hodnocení institucí konkrétně, financování a řízení v oblasti VaVaI a základů legislativy s těmito procesy spojenými ve snaze připravit odborné pracovníky pro budoucí nezávislou hodnotící instituci. Vybraní experti se společně se členy expertního týmu zúčastní krátkodobých pobytů v zahraničí, kde se podrobně seznámí s praktickými aspekty hodnocení a financování ve vybraných evropských zemích (Velká Británie, Finsko, Německo, Francie, Rakousko, Nizozemsko, Dánsko). 07 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí Cílem této klíčové aktivity je koordinovaný postup výkonné rady a projektového týmu při budování konsensu mezi všemi cílovými a zájmovými skupinami a působení na politickou reprezentaci tak, aby byly vytvořeny co nejpříznivější podmínky pro přijetí navrhovaných změn. Prostředkem ke splnění této klíčové aktivity budou pracovní setkání výkonné rady projektu a týmu projektu s přizvanými odbornými konzultanty a významné zapojení cílové skupiny do řešení projektu, a dále pravidelné schůzky s RVVI a poradci předsedy vlády, na kterých budou ujasňována stanoviska a hledán konsensus v základních principech. Pro politickou reprezentaci budou pořádány semináře v Poslanecké sněmovně i Senátu 99

100 Parlamentu ČR. Pro širší zainteresovanou veřejnost budou organizovány veřejné konzultace s prezentací výsledků. Předpokladem úspěšné realizace projektu je dlouhodobá a intenzivní spolupráce týmu projektu s Radou pro výzkum, vývoj a inovace a její Komisi pro hodnocení výsledků, zástupci jednotlivých poskytovatelů podpory a reprezentacemi profesních skupin (Akademie věd, Rada vysokých škol, Konference rektorů, Asociace výzkumných organizací a další). Zdroje: 1. Projekt Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (blíže o projektu na web stránkách Ministerstva školství, mládeže a tělovýchovy ČR: 100

101 IPn Metodika - efektivní systém hodnocení a financování výzkumu, vývoje a inovací prezentácia z konferencie Obsah IPn Metodika - Efektivní systém hodnocení a financování výzkumu, vývoje a inovací 1. Projekt IPn Metodika 2. Cíle projektu Ing. Viera Hudečková, Ministerstvo školství, mládeže a tělovýchovy České republiky, expert klíčové aktivity Informační podpora 3. Klíčové aktivity CVTI Bratislava, Projekt IPn Metodika Projekt IPn Metodika Cílem projektu je o zatraktivnit prostředí výzkumu, vývoje a inovací (VaVaI) pro vědecké pracovníky; o podpořit excelenci ve VaVaI; o motivovat mladé lidi pro práci ve VaVaI; o zvýšit prestiž vědecké práce nalézt mechanismy na finanční ohodnocení podle kvality odvedené práce. Návrh nového systému hodnocení bude vycházet z doporučení Mezinárodního auditu výzkumu, vývoje a inovací v ČR, který důrazně varoval před mechanistickým pojetím Metodiky Výsledky jeho řešení budou využívány orgány státní správy, poskytovateli podpory a dotknou se všech výzkumných organizací a jejich pracovníků. Řešení IPn Metodika bylo zahájeno Předcházela mu široká diskuse o obsahu jak v realizačním týmu, tak na Radě pro výzkum, vývoj a inovace, kde byla dojednána koordinace řešení IPn Metodika a Metodika 2013 o 2 CVTI Bratislava, CVTI Bratislava, Projekt IPn Metodika Cíle projektu Základní platforma pro přípravu návrhu a ověření nového systému hodnocení jako klíčového podkladu pro následné doporučení Rady vládě ČR. Hlavní odbornou garantkou projektu je prof. Ing. Jitka Moravcová, CSc. (VŠCHT Praha). Celkový rozpočet projektu je 4,1 mil. EUR a je financován z OP Vzdělávání pro konkurenceschopnost. Projekt vychází z cílů a opatření strategických dokumentů vlády ČR: Reforma systému VaVaI; Národní politika VaVaI na léta ; Strategie mezinárodní konkurenceschopnosti na období ; Národní inovační strategie; Doporučení Mezinárodního auditu; Dlouhodobé principů hodnocení a financování Dobré zahraniční praxe. CVTI Bratislava, CVTI Bratislava,

102 Cíle projektu Cíle projektu Hlavním cílem projektu je vytvořit návrh nového systému hodnocení a financování VaVaI z veřejných prostředků tak, aby se stal zdrojem informací pro strategické řízení systému VaVaI na úrovni státní správy, poskytovatelů, programů a VO a kladl důraz na excelenci a střednědobé plánování. Návrh oborové metodiky hodnocení (OMH) projde veřejnou oponenturou, malým a velkým pilotním otestováním. Návrh hodnocení VO bude zohledňovat ukazatele kvantitativní i kvalitativní a bude reflektovat budoucnost VO. Do hodnocení vysokých škol budou zahrnuty i umělecké a tvůrčí výsledky. Odborná příprava lidských zdrojů, specialistů v oblasti bibliometrie a hodnocení institucí VaVaI. Studie proveditelnosti vzniku nezávislé hodnotící instituce. Návrh souboru transformačních kroků a harmonogramu postupných změn tak, aby byla zajištěna stabilita celého systému VaVaI v přechodném období. Návrh souboru legislativních změn, nutných pro implementaci nových systémů. Tyto cíle jsou sdruženy do logických celků a dále rozpracovány v rámci jednotlivých klíčových aktivit projektu. CVTI Bratislava, CVTI Bratislava, Klíčové aktivity Klíčové aktivity 01 Informační podpora 02 Systém hodnocení Analýza zavedené struktury IS VaVaI v ČR (Rejstřík informací o výsledcích - RIV) především z hlediska úplnosti, spolehlivosti, uživatelské přívětivosti a možnostem realizace nadstavbového softwaru ke zpracování informací nutných pro navrhované hodnocení. Hodnocení však nelze realizovat bez detailní bibliometrické analýzy, jak ji umožňují světové databáze vědeckých informací: Web of Science společnosti Thomson Reuters nebo Scopus společnosti Elsevier Zajištění dalších informačních služeb identifikovaných v průběhu návrhu oborové metodiky hodnocení. Vytvoří oborové metodiky hodnocení (OMH), které budou podrobně popisovat hodnotící kritéria pro hodnocení hodnocených jednotek VO v jednotlivých oborech podle světových oborových standardů a navrhne další vhodné indikátory specifické podle typu VO. Ověří navržené hodnocení na vybraném vzorku všech typů VO, a to včetně informovaného peer-review zahraničními odborníky, jehož výsledky budou mít hodnocené VO k dispozici. Předpokládané řešení se bude opírat o ověřené zahraniční praxe a zkušeností. CVTI Bratislava, CVTI Bratislava, Klíčové aktivity Klíčové aktivity 02 Systém hodnocení 03 Systém financování Předmětem hodnocení bude hodnocená jednotka (HJ), která se do hodnocení v příslušném oboru přihlásí. Bude se hodnotit kvalita výsledků dosažených HJ za období posledních cca 5 let, dopad výzkumu HJ a institucionální předpoklad rozvoje HJ (jako např. zhodnocení způsobu řízení HJ včetně řízení lidských zdrojů a materiálního zázemí. Výsledkem zhodnocení každé HJ budou hodnotící zpráva HJ a VO a výkonnostní profil VO s písemným odůvodněním výsledků zhodnocení a doporučení. Hodnocení VO bude realizováno jednou za cca 5 let a bude probíhat v angličtině. CVTI Bratislava, Návrh modelů institucionálního financování promítne výkonnostní principy hodnocení do systému financování. Budou výrazně motivační, s důrazem na kvalitu a excelenci. Současně zajistí stabilitu VO potřebnou pro jejich koncepční rozvoj, a tím i stabilitu a efektivnost vkladů do personálních a materiálních kapacit. Nový způsob rozdělování institucionální podpory by měl přímý vztah k výsledkům hodnocení. CVTI Bratislava,

103 03 Systém financování Klíčové aktivity Institucionální financování VO, na rozdíl od čistě retrospektivní současné Metodiky, by mělo mít také složku prospektivní a obě složky se mají navzájem účelně doplňovat. Smlouvy mezi VO a poskytovatelem podpory by mohly být uzavírány na dobu optimálně 5 let. Součástí smlouvy budou i návrhy represivních prvků, pokud jednotliví aktéři nebudou svoje závazky plnit. Nový systém financování VO by měl umožnit jejich rozvoj a také kultivovat české vědecké prostředí a zvýšit evaluační kulturu. Klíčové aktivity 04 Velké pilotní ověření Cílem je realizace velkého pilotního ověření (VPO) způsobu hodnocení navrženého v klíčové aktivitě 02 na všech typech VO, v oborech, kam se přihlásí jejich HJ. Do ověření nového způsobu hodnocení budou mít možnost podat přihlášku VO z řad VVŠ, ústavů AV ČR a všech dalších typů VO. V rámci VPO bude mimo jiné vyhodnocena finanční a časová náročnost celého procesu a budou identifikovány nezamýšlené efekty hodnocení. CVTI Bratislava, CVTI Bratislava, Klíčové aktivity Klíčové aktivity 05 Harmonogram pro přechodné období a podklady pro legislativní změny Postup v přechodném období , aby uvedení nových systémů vypracovaných v rámci projektu bylo plynulé a bez diskontinuit či velkých skoků, které by způsobily nestabilitu systému. Bude navržen harmonogram jednotlivých kroků a legislativních změn tak, aby návrh nového systému mohl platit v optimální variantě od roku Institucionální zajištění hodnocení Bude zpracována studie proveditelnosti institucionálního zajištění navrhovaného systému hodnocení. Stanovení postavení, struktury, pravomoci a zodpovědnosti instituce organizující hodnocení. Součástí bude výchova odborníků na hodnocení. Vybraní experti se zúčastní krátkodobých pobytů v zahraničí, kde se podrobně seznámí s praktickými aspekty hodnocení a financování ve vybraných evropských zemích (Velká Británie, Finsko, Německo, Francie, Rakousko, Nizozemsko, Dánsko). CVTI Bratislava, CVTI Bratislava, Klíčové aktivity 07 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí Koordinovaný postup při budování konsensu mezi všemi cílovými a zájmovými skupinami a působení na politickou reprezentaci tak, aby byly vytvořeny co nejpříznivější podmínky pro přijetí navrhovaných změn. Pracovní setkání výkonné rady projektu a týmu projektu s přizvanými odbornými konzultanty, s Radou a poradci místopředsedy vlády a hledáni konsensusu v základních principech. Pro širší zainteresovanou veřejnost budou organizovány veřejné konzultace s prezentací výsledků. Aktuální stav Proběhlo výběrové řízení v rámci veřejné zakázky. Vítěz připraví návrh: Struktury hodnocení hodnocených jednotek a struktury oborů; Oborové metodiky hodnocení; Procesní pravidla hodnocení; Informační podpora hodnocení; Podrobná SWOT analýza institucionální základny VaV v ČR a srovnání s dobrou praxí zemí EU; Návrh modelů financování; Modelové ověřování dopadů nového systému institucionálního financování; Příprava a realizace malého pilotní hodnocení. CVTI Bratislava, CVTI Bratislava,

104 Závěr Předpokladem úspěšné realizace projektu je dlouhodobá a intenzivní spolupráce týmu projektu s: Radou pro výzkum, vývoj a inovace a její Komisi pro hodnocení výsledků; Zástupci jednotlivých poskytovatelů podpory a reprezentacemi profesních skupin (Akademie věd, Rada vysokých škol, Konference rektorů, Asociace výzkumných organizací a další). Děkuji za pozornost! CVTI Bratislava,

105 SK CRIS ako nástroj integrácie dát o vede na národnej úrovni Danica Zendulková CVTI SR - Slovak Centre of Scientific and Technical and Information danica.zendulkova@cvtisr.sk pracuje ako vedúca Oddelenia správy a prevádzky CIP VVI v rámci NCP VaT. V kontexte slovenského právneho prostredia môžeme systém CRIS 6 chápať ako informačný systém verejnej správy zabezpečujúci zber, spracovanie, poskytovanie a využitie údajov o výskume, vývoji a inováciách podporovaných z verejných zdrojov. V zmysle zákona č. 275/2006 Z. z. o informačných systémoch verejnej správy a o zmene a doplnení niektorých zákonov 7 informačným systémom rozumieme funkčný celok zabezpečujúci cieľavedomú a systematickú informačnú činnosť (získavanie, poskytovanie a sprístupňovanie údajov, zhromažďovanie, spracúvanie, prenos, ukladanie, archivácia a likvidácia údajov) prostredníctvom technických a programových prostriedkov. Tento systém nadväzuje na Informačný systém výskumno-vývojového potenciálu (prevádzkovaný v období rokov ) a Informačný systém CIP VVI ( ), ktorý definuje zákon č. 172/2005 z 21. marca 2005 o organizácii štátnej podpory výskumu a vývoja a o doplnení zákona č. 575/2001 Z. z. o organizácii činnosti vlády a organizácii ústrednej štátnej správy v znení neskorších predpisov (zákon č. 233/2008 Z. z., zákon č. 40/2011 Z. z. a zákon č. 352/2013 ) a súvisiace výnosy MŠVVaŠ SR. Z hľadiska kompetencií MŠVVaŠ SR je správcom CIP VVI a prevádzkovateľom je CVTI SR [1]. Obsah SK CRIS SK CRIS pracuje s viacerými druhmi dát. Štruktúra údajov obsahovo vychádza zo starších verzií informačného systému, predovšetkým z databázy, sprístupňovanej až do konca roka 2012 cez Centrálny informačný portál pre výskum, vývoj a inovácie. Obsah systému SK CRIS je tvorený: Registrom projektov, financovaných z verejných zdrojov Registrom organizácií VaV 6 Current Research Information System; systém aktuálnych výskumných informácií

106 Registrom výskumníkov Databázou výsledkov VaV Databázou laboratórnej infraštruktúry a služieb SK CRIS obsahuje aj údaje z externých zdrojov. Môžeme povedať, že: SK CRIS umožňuje realizovať všetky zbery dát, kontinuálne realizované v rámci predchádzajúcich verzií informačného systému Nad rámec týchto zberov SK CRIS prepojením s externými systémami integruje množstvo dát, ktoré sú primárne zbierané pre potreby iných systémov. Všetky údaje sú uložené v relačnom dátovom modeli SK CRIS tak, aby bolo možné zaznamenávať väzby medzi vloženými údajmi a súčasne realizovať kontrolu vložených dát z hľadiska obsahu, zameranú predovšetkým na predchádzanie duplicitne vkladaných dát. Dátový model CERIF Štruktúra dát SK CRIS je prispôsobená odporučeniam Európskej komisie pre oblasť automatizácie vedeckovýskumných informácií a zodpovedá dátovému formátu CERIF. CERIF (Common European Research Information Format) je dátový XML formát určený na organizáciu dát o vede a výskume. Je odporučený Európskou komisiou ako štandard určený pre oblasť automatizácie vedeckovýskumných informácií [2]. Jeho vývoj od roku 2000 zabezpečuje asociácia profesionálov v oblasti spracovania vedeckých informácií EuroCRIS. Podstatou formátu CERIF je dátový model, ktorý umožňuje metadátovú reprezentáciu výskumných entít, ich aktivít a vzájomných väzieb, ako aj výsledkov. Prvky CERIF-u majú definovanú základnú štruktúru, sémantiku a väzby a sú delené do štyroch hierarchicky usporiadaných kategórií (obrázok č. 1): 1. základné entity (Core Entities Person, Projects, Organisation) 2. výsledkové entity (Result Entities Publications, Patents, Products) 3. entity 2. úrovne (2 nd Level Entities) 4. prepojovacie entity (Link Entities) 106

107 Obrázok 1 Model CERIF [3] Základné entity sú subsystémami CRIS, výsledkové entity sú jedným subsystémom obsahujúcim tri typy objektov. Entity 2. úrovne sú samostatné objekty, ktoré vyjadrujú súvzťažnosť základných a výsledkových entít. Patria sem napríklad podujatia, ocenenia, životopisy a pod. (obrázok č. 2). Každá z entít je charakterizovaná množstvom atribútov (polí), ktoré ju identifikujú a podrobnejšie definujú. Obrázok 2 Entity 2. stupňa v prepojení na základné a výsledkové entity, ver. 1.4 [3] 107

108 Prepojovacie entity vyjadrujú vzťahy medzi entitami definovanými v bodoch 1 3. Prepojovacia entita spája vždy dve entity medzi sebou: môžu to byť dve základné entity, základná a výsledková entita alebo niektorá z uvedených entít a entita 2. úrovne. Napríklad prepojovacia entita Person_OrganisationUnit spája osobu a organizáciu, Project_ResultPublication spája projekt a výsledkovú entitu publikácia. Spojenie prepojovacími entitami umožní vyhľadávať v personálnej databáze podľa organizácie (vyhľadať expertov zamestnaných v konkrétnej organizácii) alebo publikáciu podľa projektu (vyhľadať publikácie, ktoré vznikli ako výsledok riešenia konkrétneho projektu). V kontexte entít sú definované nasledujúce vlastnosti: 1. Sémantická vrstva obsahuje roly a typy (Semantic Features), ktoré podrobnejšie určujú vzájomné väzby medzi entitami. Ako príklad roly osoby vo vzťahu k organizácii možno uviesť roly vybrané z množiny rolí príslušnej sémantickej funkcie: riaditeľ, zamestnanec, učiteľ, študent a pod. Typy sú v súčasnosti definované vo vzťahu k výsledkovým entitám publikáciám. Ide napríklad o knihu, článok v časopise, článok v konferenčnom zborníku, plagát a pod. 2. Vytváranie jazykových verzií (Multiple Language Features), viacjazyčnosť vybraných atribútov, je druhou a zatiaľ poslednou vlastnosťou, ktorá umožňuje dosiahnuť medzinárodnú zrozumiteľnosť údajov. Aktuálna schéma prepojenia základných a výsledkových entít so sémantikou, vrátane prepojenia na súvisiace externé systémy (HR Ľudské zdroje, internetové stránky, financie, projektový manažment a repozitár) sa nachádza na obrázku č. 3. Obrázok 3 Diagram prvkov formátu CERIF [4] Kompletný dátový model CERIF obsahuje niekoľko subsystémov, sémantiku, XML schémy, SQL skripty a príklady. Vytvorený je výmenný formát pre metadáta CERIF_XML. Význam formátu CERIF spočíva v tom, že umožňuje spracovanie informácií o výskume s adekvátnou kvalitou, ich archiváciu, sprístupňovanie a vzájomnú výmenu. 108

109 Podporuje transfer znalostí všetkým zainteresovaným: rozhodovacej sfére, zvlášť pre oblasť hodnotenia výskumu; manažérom a stratégom výskumu; výskumníkom a v neposlednom rade aj verejnosti. Sémantické vzťahy medzi vloženými údajmi umožňujú širokú flexibilitu pri získavaní informácií zo systému. Dátový model SK CRIS Keď sa chceme detailnejšie venovať dátovému modelu systému SK CRIS, je potrebné začať jeho databázovou architektúrou. Systém obsahuje niekoľko databáz (obrázok č. 4). Databázy sú rozdelené do dvoch skupín: databázy registrov (SK CERIF, Certification, Statistics, Audit) systémové databázy (systémová databáza Liferay portálu, databáza pre systém pre úložisko dokumentov, ESB databáza) Databáza SK CERIF je založená na štandarde aktuálnom v čase ukončenia analytických prác, ktorým bol CERIF 2008 v1.3. Uvedený dátový formát bol implementovaný s určitými rozšíreniami vzhľadom na špecifické požiadavky systému SK CRIS, ktoré boli nad rámec CERIF. Dáta formulára doplnkového štatistického zisťovania výskumno-vývojového potenciálu sú uchovávané v databáze Statistics, spolu so štatistickými dátami pre laboratórnu infraštruktúru výskumu a vývoja. Databáza Certification je plne venovaná dátam žiadosti o vykonanie hodnotenia spôsobilosti vykonávať výskum a vývoj. Obrázok 4 Databázy systému SK CRIS 109

110 Databáza SK CERIF je nezávislá od databáz Certification a Statistics. Akékoľvek prepojenia (formou tzv. cudzích kľúčov databázy SQL) smerujú len z databáz Certification, prípadne Statistics na databázu SK CERIF, nie naopak. Na obrázku č. 5 sa nachádza grafické zobrazenie prepojenia niektorých databázových objektov SK CRIS. Základom je projekt, na ktorý sú naviazané organizácie, osoby, výzvy a financovanie. Obrázok 5 Databázové objekty SK CRIS 110

111 Integrácia dát o vedeckých aktivitách Potreba integrácie dát o vede a výskume vyplýva predovšetkým zo skutočnosti, že existujú rôzne systémy, ktoré evidujú údaje o vedeckých aktivitách, výstupoch a subjektoch na rôznej úrovni, v rôznej štruktúre a hĺbke spracovania. Integrácia sa v čase uvedenia SK CRIS do prevádzky týka predovšetkým dát o projektoch výskumu a vývoja a tiež výsledkov realizácie týchto aktivít. V praxi to znamená, že sa to týka informačných systémov grantových agentúr a systémov registrujúcich publikačnú činnosť. Register projektov vedy a výskumu ktorý sa buduje od roku 2000, má za cieľ zhromaždiť údaje o všetkých projektoch financovaných z verejných zdrojov. Do databázy SK CRIS sa zbierajú tieto druhy projektov : štátne programy výskumu a vývoja, projekty riešené v rámci stimulov na podporu VaV, projekty financované prostredníctvom rezortných dotácií, projekty podporované Agentúrou na podporu vedy a výskumu (APVV), projekty VEGA riešené na vysokých školách a na SAV, projekty KEGA, projekty financované zo štrukturálnych fondov EÚ. V súčasnosti register projektov SK CRIS obsahuje údaje o cca projektoch. Aby riešitelia projektov nemuseli údaje o riešených projektoch vkladať opakovane do rôznych systémov, bolo vytvorené prepojenie s existujúcimi systémami, ktoré zbierajú údaje o jednotlivých kategóriách projektov. Ide najmä o systémy grantových agentúr APVV, VEGA, KEGA a Stimuly na podporu VaV. Potenciálne bude možné čerpať údaje aj z ďalších systémov o projektoch, ktoré budú na integráciu dát pripravené. Za týmto účelom bolo vytvorené univerzálne integračné rozhranie, ktoré import (preberanie) dát z externých systémov do SK CRIS umožňuje. Je založené na protokole SOAP [5] a jazyku WSDL [6]. Integrácia s externými dodávateľmi dát je realizovaná využitím riešenia Open ESB. Open ESB je platforma umožňujúca integráciu s rôznymi systémami a zároveň plne podporujúca servisne orientovanú architektúru. Pre zjednodušenie možnosti evidencie výsledkov výskumu a súčasne pre uľahčenie vytvárania odborného profilu výskumníka bolo implementované komunikačné rozhranie medzi platformami CREPČ a SK CRIS. Komunikačné rozhranie využíva existujúcu webovú službu platformy CREPČ umožňujúcu stiahnuť verejné informácie o publikáciách výskumníkov (obrázok č. 6). 111

112 Obrázok 6 Záznam publikácie v CREPČ Systém SK CRIS potrebné informácie o publikáciách výskumníka stiahne prostredníctvom vytvoreného webového rozhrania. Systém ponúkne výskumníkovi jeho publikácie uložené v systéme CREPČ. Keďže v súčasnosti nie je vytvorený jedinečný identifikátor výskumníka, systém SK CRIS využíva operáciu vyhľadania podľa mena a priezviska autora (obrázok č. 7). Obrázok 7 Zoznam nájdených publikácií konkrétneho výskumníka. CREPČ poskytuje nasledovné informácie o publikácií, ktoré sú zaujímavé pre platformu SK CRIS: názov publikácie a jej preklad, autorské záhlavie publikácie, zaradenie publikácie podľa kategorizácie EPC, miesto vydania, číslo, ročník a edícia, názov zborníka a ISBN (ak ide o článok na konferencii), názov časopisu a ISSN (ak ide o článok do časopisu), kľúčové slová priložené k publikácií, autorov publikácie. Stiahnutý záznam publikácie (obrázok č. 8) je po schválení výskumníkom uložený v jeho osobnom priestore. 112

113 Obrázok 8 Publikácia CREPČ pridaná do SK CRIS Zdroje: 1. Zendulková, D.: Štátne informačné systémy o vede v EÚ. CVTI SR: Bratislava, s. ISBN: [online]. [cit ] Dostupné na internete: 2. CERIF: the Common European Research Information Format. [Online]. [cit ] Dostupné na internete: < 3. Jörg, B.: CERIF: Spoločný formát informácií o výskume. Formálne kontextuálne vzťahy na prechod cez labyrint vedeckých poznatkov. In Informačné systémy o vede v EÚ. Štandardizácia a kompatibilita. Zborník z medzinárodnej konferencie. CVTI SR, Bratislava [Online]. [cit. cit ] Dostupné na internete: < 4. CERIF tutoriál. [Online]. [cit ] Dostupné na internete: %20Jan%20Dvorak.pptx 5. Mitra, N., Lafon, Y.: SOAP Version 1.2 Part 0: Primer (second Edition). [Online]. [cit ] Dostupné na internete: 6. Christensen, E., et al.: Web Services Description Language (WSDL) 1.1 [Online]. [cit ] Dostupné na internete: 113

114 SK CRIS ako nástroj integrácie dát o vede na národnej úrovni prezentácia z konferencie Prečo SK CRIS SK CRIS ako nástroj integrácie dát o vede na národnej úrovni Danica Zendulková, CVTI SR INFORMAČNÉ SYSTÉMY O VEDE: Integrácia pre otvorený prístup k vedeckým výstupom CVTI SR, 2.apríl 2014 CRIS = Current Research Information System, resp. Systém aktuálnych informácií o vede Medzinárodné združenie eurocris, CVTI SR členom od roku 2007 Štandardy EÚ pre IS o vede dátový formát CERIF Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Obsah SK CRIS Výskumníci Projekty Organizácie Výsledky Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Dátový model SK CRIS Implementovaný CERIF 1.3. Základné entity (projekty, organizácie, osoby) Výsledkové entity (publikácie, patenty, produkty, inovácie) Entity 2. úrovne (laboratórna infraštruktúra) Prepojovacie entity Projekt Organizácia Sémantická vrstva Organizácia O je spoluriešiteľom Projektu P Vytváranie jazykových Centrum vedecko-technických verzií informácií SR, danica.zendulkova@cvtisr.sk Dátový model SK CRIS Výskumník Publikácia CERIF sémantika (príklad) výskumník X je autor publikácie P organizácia O je vydavateľ publikácie P publikácia P je financovaná z projekt 1 organizácia O je riešiteľom projekt1 výskumník X je zamestnancom organizácie O výskumník X je zodpovedným riešiteľom projektu1 Štatistické dáta hodnotenia spôsobilosti Certifikácia Organizácia Štatistické dáta organizácie Citácia Produkt (CERIF) poloprevádzka, overená technológia, odroda, plemeno, Patent (CERIF) prototyp, funkčná vzorka, patenty, úžitkové vzory, certifikovaná metodika, softvér, dizajny, ochranné známky, iný výsledok Inovácia dodatkové ochranné osvedčenia,objav,typografie polovodičových výrobkov Podujatie Laboratórium Štatistické dáta infraštruktúry Služba Vybavenie Rozpočet Plánované ukazovatele projektu Ocenenie Projekt Výzva financovan á Publikácia P Projekt 1 je zodpovedným riešiteľom vydala je riešiteľom Organizácia O je autor Výskumník X je zamestnancom Fond Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk 114

115 Výskumníci Experti MŠVVaŠ SR Riešitelia projektov Iné osoby registrované v databáze CIP VVI Register zamestnancov VŠ Register zamestnancov SAV Výskumníci Meno, priezvisko tituly Kľúčové slová, anotácia Odbor vedy a výskumu Kontaktné údaje relačnosť Riešiteľské organizácie Riešené projekty Výsledky Informácie v registri sú získané so súhlasom zaregistrovaných osôb alebo z verejných zdrojov, súlad so zákonom č. 122/2013 Z. z. o ochrane osobných údajov Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Projekty Projekty Projekty riešené od roku 2000, zozbierané v rámci starších verzií systému Údaje importované zo systémov grantových agentúr (APVV, VEGA, KEGA, Stimuly VaV) Údaje vložené riešiteľmi cez online formuláre Informácie v registri sú získané na základe zákona č. 172/2005 Z. z. o organizácii štátnej podpory výskumu a vývoja v znení neskorších predpisov Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Názov Kľúčové slová, opis projektu Odbor vedy a výskumu Obdobie riešenia Kto ho financuje Rozpočet projektu relačnosť Riešiteľské organizácie Riešitelia Výsledky Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Organizácie Organizácie VaV vypĺňajúce výkaz VVP Držitelia certifikátu spôsobilosti vykonávať VaV Riešitelia projektov Organizácie spojené s VaV ináč ako jeho vykonávaním (ÚOŠS, grantové agentúry a pod.) Informácie v registri sú získané na základe zákona č. 172/2005 Z. z. o organizácii štátnej podpory výskumu a vývoja v znení neskorších predpisov Výsledky Publikácie Patenty Produkty Inovácie Vložené výskumníkmi a riešiteľmi projektov alebo prevzaté z Centrálneho registra publikačnej činnosti, resp. inštitucionálneho RPČ. Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk 115

116 Integrácia dát - projekty Integrácia dát - CREPČ Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Externé údaje - prehľad Organizácia SAV APVV MŠVVaŠ SR sekcia VŠ ASFEU MŠVVaŠ Údaje Projekty VEGA, medzinárodná spolupráca Publikačná činnosť Výskumníci zamestnanci SAV Projekty Projekty VEGA Projekty KEGA CREPČ Výskumníci - Zamestnanci VŠ Projekty OP VaV Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Prínos SK CRIS Skvalitnenie a kompletizácia zozbieraných dát o vede a výskume a ich vzájomné prepojenie Integrácia dostupných dát z externých systémov a ich logické previazanie so zozbieranými údajmi Vytvoril sa technický základ na interoperabilitu s podobnými systémami v zahraničí Prezentácia vedy a výmena nových poznatkov Informovanie podnikateľskej sféry o výsledkoch výskumu Získanie všestrannej podpory pre vedu a výskum Plánovanie zdrojov na zabezpečovanie potrieb vedy Zlepšenie vnímania vedy verejnosťou Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk Pozrite si... Ďakujem za pozornosť Centrum vedecko-technických informácií SR, danica.zendulkova@cvtisr.sk 116

Hodnocení výsledků vědy, výzkumu a inovací současnost a perspektivy

Hodnocení výsledků vědy, výzkumu a inovací současnost a perspektivy Hodnocení výsledků vědy, výzkumu a inovací současnost a perspektivy Ing. Martin Matějka, Mgr. Magda Lokayová, Úřad vlády České republiky, rvv@vlada.cz Souhrn Metodika hodnocení výsledků výzkumných organizací

Více

Informačné systémy o vede

Informačné systémy o vede Národný informačný systém podpory výskumu a vývoja v SR prístup k elektronickým informačným zdrojom N IS P E Z Informačné systémy o vede Integrácia pre otvorený prístup k vedeckým výstupom Zborník z medzinárodnej

Více

New concept of the Czech research evaluation (valid for years 2017+)

New concept of the Czech research evaluation (valid for years 2017+) New concept of the Czech research evaluation (valid for years 2017+) Petr Svoboda Institute of Machine and Industrial Design Faculty of Mechanical Engineering Brno University of Technology 04/2017 Content

Více

Informačné systémy o vede

Informačné systémy o vede Národný informačný systém podpory výskumu a vývoja v SR prístup k elektronickým informačným zdrojom N IS P E Z Informačné systémy o vede Integrácia pre otvorený prístup k vedeckým výstupom Zborník z medzinárodnej

Více

Why PRIME? 20 years of Erasmus Programme Over 2 million students in total Annually

Why PRIME? 20 years of Erasmus Programme Over 2 million students in total Annually What is PRIME? Problems of Recognition In Making Erasmus European-wide research project Conducted by ESN with the support of the European Commission Two editions: 1 st in 2009 Follow-up in 2010 Why PRIME?

Více

Ministerstvo školství, mládeže a tělovýchovy Karmelitská 7, 118 12 Praha 1 tel.: +420 234 811 111 msmt@msmt.cz www.msmt.cz

Ministerstvo školství, mládeže a tělovýchovy Karmelitská 7, 118 12 Praha 1 tel.: +420 234 811 111 msmt@msmt.cz www.msmt.cz Akreditační systém vysokoškolského vzdělávání v ČR v připravované novele zákona o vysokých školách Higher Education Accreditation System in the Czech Republic in a proposal of an amendment to the Higher

Více

Bibliometric probes into the world of scientific publishing: Economics first

Bibliometric probes into the world of scientific publishing: Economics first Bibliometric probes into the world of scientific publishing: Economics first Daniel Münich VŠE, Nov 7, 2017 Publication space Field coverage of WoS Source: Henk F. Moed, Citation Analysis in Research Evaluation,

Více

Svalová dystrofie. Prezentace technologických řešení registru Petr Brabec

Svalová dystrofie. Prezentace technologických řešení registru Petr Brabec Svalová dystrofie Prezentace technologických řešení registru Petr Brabec ABOUT IBA MU About IBA Academic institute -> Established in 2001 -> 45 employees -> 65 scientific projects Structure -> Data analysis

Více

Tento materiál byl vytvořen v rámci projektu Operačního programu Vzdělávání pro konkurenceschopnost.

Tento materiál byl vytvořen v rámci projektu Operačního programu Vzdělávání pro konkurenceschopnost. Tento materiál byl vytvořen v rámci projektu Operačního programu Vzdělávání pro konkurenceschopnost. Projekt MŠMT ČR Číslo projektu Název projektu školy Klíčová aktivita III/2 EU PENÍZE ŠKOLÁM CZ.1.07/1.4.00/21.2146

Více

Metodika hodnocení výsledků výzkumných organizací a její aplikování v roce 2013 a 2014

Metodika hodnocení výsledků výzkumných organizací a její aplikování v roce 2013 a 2014 Metodika hodnocení výsledků výzkumných organizací a její aplikování v roce 2013 a 2014 Ing. Martin Matějka sekretariát Rady pro výzkum, vývoj a inovace, Úřad vlády České republiky 1 Metodika 2013 schválena

Více

Tabulka 1 Stav členské základny SK Praga Vysočany k roku 2015 Tabulka 2 Výše členských příspěvků v SK Praga Vysočany Tabulka 3 Přehled finanční

Tabulka 1 Stav členské základny SK Praga Vysočany k roku 2015 Tabulka 2 Výše členských příspěvků v SK Praga Vysočany Tabulka 3 Přehled finanční Příloha I Seznam tabulek Tabulka 1 Stav členské základny SK Praga Vysočany k roku 2015 Tabulka 2 Výše členských příspěvků v SK Praga Vysočany Tabulka 3 Přehled finanční odměny pro rozhodčí platný od roku

Více

Národní informační den společných technologických iniciativ ARTEMIS a ENIAC

Národní informační den společných technologických iniciativ ARTEMIS a ENIAC Národní informační den společných technologických iniciativ ARTEMIS a ENIAC 21. března 2011, Praha Pravidla a podmínky účasti v projektech ARTEMIS a ENIAC v ČR Úvod k finančním pravidlům JTIs (ARTEMIS

Více

VYSOKÁ ŠKOLA HOTELOVÁ V PRAZE 8, SPOL. S R. O.

VYSOKÁ ŠKOLA HOTELOVÁ V PRAZE 8, SPOL. S R. O. VYSOKÁ ŠKOLA HOTELOVÁ V PRAZE 8, SPOL. S R. O. Návrh konceptu konkurenceschopného hotelu v době ekonomické krize Diplomová práce 2013 Návrh konceptu konkurenceschopného hotelu v době ekonomické krize Diplomová

Více

Litosil - application

Litosil - application Litosil - application The series of Litosil is primarily determined for cut polished floors. The cut polished floors are supplied by some specialized firms which are fitted with the appropriate technical

Více

USING VIDEO IN PRE-SET AND IN-SET TEACHER TRAINING

USING VIDEO IN PRE-SET AND IN-SET TEACHER TRAINING USING VIDEO IN PRE-SET AND IN-SET TEACHER TRAINING Eva Minaříková Institute for Research in School Education, Faculty of Education, Masaryk University Structure of the presentation What can we as teachers

Více

Publicita projektů CZ09 Info na webu

Publicita projektů CZ09 Info na webu Publicita projektů CZ09 Info na webu Jan Aschermann, MŠMT 27.8. 2015 Komunikace - co kde najdete na webu Změna struktury Norských fondů na webu MŠMT Změna kontaktních telefonů na MŠMT Základní informace

Více

14,35 - Standardizace portálové platformy MEFANET: den zúčtování s projektem OP VK

14,35 - Standardizace portálové platformy MEFANET: den zúčtování s projektem OP VK Program semináře 14,30 - Úvodní slovo 14,35 - Standardizace portálové platformy MEFANET: den zúčtování s projektem OP VK 15,00 - Modernizace výuky klinického rozhodování: představení vybraných platforem

Více

Project Life-Cycle Data Management

Project Life-Cycle Data Management Project Life-Cycle Data Management 1 Contend UJV Introduction Problem definition Input condition Proposed solution Reference Conclusion 2 UJV introduction Research, design and engineering company 1000

Více

dat 2017 Dostupný z Licence Creative Commons Uveďte autora-zachovejte licenci 4.0 Mezinárodní

dat 2017 Dostupný z  Licence Creative Commons Uveďte autora-zachovejte licenci 4.0 Mezinárodní Interní pravidla pro zacházení s osobními údaji při archivaci a sdílení výzkumných dat Koščík, Michal 2017 Dostupný z http://www.nusl.cz/ntk/nusl-367303 Dílo je chráněno podle autorského zákona č. 121/2000

Více

Jakub Szarzec Lead Researcher, Bibliometrics Working Group National Library of Technology

Jakub Szarzec Lead Researcher, Bibliometrics Working Group National Library of Technology International Comparative Performance of the Czech Republic Research Base 2012 Jakub Szarzec Lead Researcher, Bibliometrics Working Group National Library of Technology International Comparative Performance

Více

Financování a hodnocení výzkumu. Tomáš Opatrný PřF UP Olomouc

Financování a hodnocení výzkumu. Tomáš Opatrný PřF UP Olomouc Financování a hodnocení výzkumu Tomáš Opatrný PřF UP Olomouc Financování a hodnocení výzkumu Financování výzkumu v ČR Jak se připravoval návrh rozpočtu 2013 Metodika hodnocení VaV - jaká bude? IPN Metodika

Více

GUIDELINES FOR CONNECTION TO FTP SERVER TO TRANSFER PRINTING DATA

GUIDELINES FOR CONNECTION TO FTP SERVER TO TRANSFER PRINTING DATA GUIDELINES FOR CONNECTION TO FTP SERVER TO TRANSFER PRINTING DATA What is an FTP client and how to use it? FTP (File transport protocol) - A protocol used to transfer your printing data files to the MAFRAPRINT

Více

VŠEOBECNÁ TÉMATA PRO SOU Mgr. Dita Hejlová

VŠEOBECNÁ TÉMATA PRO SOU Mgr. Dita Hejlová VŠEOBECNÁ TÉMATA PRO SOU Mgr. Dita Hejlová VZDĚLÁVÁNÍ V ČR VY_32_INOVACE_AH_3_03 OPVK 1.5 EU peníze středním školám CZ.1.07/1.500/34.0116 Modernizace výuky na učilišti Název školy Název šablony Předmět

Více

Klepnutím lze upravit styl Click to edit Master title style předlohy nadpisů.

Klepnutím lze upravit styl Click to edit Master title style předlohy nadpisů. nadpisu. Case Study Environmental Controlling level Control Fifth level Implementation Policy and goals Organisation Documentation Information Mass and energy balances Analysis Planning of measures 1 1

Více

Role DSO v implementaci GDPR

Role DSO v implementaci GDPR Role DSO v implementaci GDPR Role of Voluntary Association of Municipalities in the GDPR Implementation Mgr. Michaela Neumahr pověřenec pro ochranu osobních údajů DSO Region Slezská brána (DPO) michaela.neumahr@slezskabrana.cz

Více

Potřebujete mít vaše IS ve shodě s legislativou? Bc. Stanislava Birnerová

Potřebujete mít vaše IS ve shodě s legislativou? Bc. Stanislava Birnerová Potřebujete mít vaše IS ve shodě s legislativou? Bc. Stanislava Birnerová Direct Account Manager sbirnerova@novell.com Komplexnost, Nátlak, Nulová tolerance Nařízení Business Continuity Interní hrozby

Více

TECHNICKÁ NORMALIZACE V OBLASTI PROSTOROVÝCH INFORMACÍ

TECHNICKÁ NORMALIZACE V OBLASTI PROSTOROVÝCH INFORMACÍ TECHNICKÁ NORMALIZACE V OBLASTI PROSTOROVÝCH INFORMACÍ Ing. Jiří Kratochvíl ředitel Odboru technické normalizace Úřad pro technickou normalizaci, metrologii a státní zkušebnictví kratochvil@unmz.cz http://cs-cz.facebook.com/normy.unmz

Více

Energy vstupuje na trh veterinárních produktů Energy enters the market of veterinary products

Energy vstupuje na trh veterinárních produktů Energy enters the market of veterinary products Energy news2 1 Energy vstupuje na trh veterinárních produktů Energy enters the market of veterinary products Doposud jste Energy znali jako výrobce a dodavatele humánních přírodních doplňků stravy a kosmetiky.

Více

EEA and Norway Grants. Norské fondy a fondy EHP

EEA and Norway Grants. Norské fondy a fondy EHP EEA Scholarship Programme & Bilateral Scholarship Programme The programme offers various options for scholarship funding of international institutional cooperation projects and mobilities among the Czech

Více

Metodika hodnocení VaV, OBD - sběr dat RIV 2014

Metodika hodnocení VaV, OBD - sběr dat RIV 2014 www.vscht.cz Metodika hodnocení VaV, OBD - sběr dat RIV 2014 10. 2. 2014 1 Obsah Metodika hodnocení výsledků stručně, význam, cíle, předpisy, postupy v roce 2014, druhy výsledků a jejich hodnocení (I.

Více

Introduction to MS Dynamics NAV

Introduction to MS Dynamics NAV Introduction to MS Dynamics NAV (Item Charges) Ing.J.Skorkovský,CSc. MASARYK UNIVERSITY BRNO, Czech Republic Faculty of economics and business administration Department of corporate economy Item Charges

Více

TELEGYNEKOLOGIE TELEGYNECOLOGY

TELEGYNEKOLOGIE TELEGYNECOLOGY TELEGYNEKOLOGIE TELEGYNECOLOGY Račanská E. 1, Huser M. 1, Schwarz D. 2, Šnábl I. 2, Ventruba P. 1 1) Gynekologicko porodnická klinika LF MU a FN Brno 2) Institut biostatistiky a analýz LF a PřF MU Abstrakt

Více

19. pracovní skupina zástupců univerzit a ústavů AV ČR. Praha, 23. března 2016

19. pracovní skupina zástupců univerzit a ústavů AV ČR. Praha, 23. března 2016 19. pracovní skupina zástupců univerzit a ústavů AV ČR Praha, 23. března 2016 Program Plánované akce finančních a právních NCP v 1. pololetí 2016 + publikace TC AV ČR Novinky: Participant Portal Finanční

Více

Drags imun. Innovations

Drags imun. Innovations Energy news 2 Inovace Innovations 1 Drags imun V příštích plánovaných výrobních šaržích dojde ke změně balení a designu tohoto produktu. Designové změny sledují úspěšný trend započatý novou generací Pentagramu

Více

Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2015)

Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2015) Úřad vlády ČR Č.j.: 1417/2013-RVV Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2015) Schváleno usnesením vlády ČR ze dne 19. 6. 2013

Více

Trendy a vývoj vědeckého publikování

Trendy a vývoj vědeckého publikování Trendy a vývoj vědeckého publikování Konference Inforum 2013: 19. ročník konferenc o informačních zdrojích Praha, Květen 21st 2013 Lucie Vavříková, Country Manger Czech Republic, Elsevier 0 Agenda Integrace

Více

Tento materiál byl vytvořen v rámci projektu Operačního programu Vzdělávání pro konkurenceschopnost.

Tento materiál byl vytvořen v rámci projektu Operačního programu Vzdělávání pro konkurenceschopnost. Tento materiál byl vytvořen v rámci projektu Operačního programu Vzdělávání pro konkurenceschopnost. Projekt MŠMT ČR Číslo projektu Název projektu školy Klíčová aktivita III/2 EU PENÍZE ŠKOLÁM CZ.1.07/1.4.00/21.2146

Více

ERC Starting Grant z pohledu úspěšné i neúspěšné uchazečky. Jana Roithová

ERC Starting Grant z pohledu úspěšné i neúspěšné uchazečky. Jana Roithová ERC Starting Grant z pohledu úspěšné i neúspěšné uchazečky Jana Roithová Grantový návrh ERC StG: Individuální grant Hodnotící kritéria: Řešitel Projekt Instituce Řešitel 1. Nezávislost (publikace bez jiných

Více

Klepnutím lze Introduction upravit styl předlohy. nadpisů.

Klepnutím lze Introduction upravit styl předlohy. nadpisů. 1/18 SPLAB, BUT Klepnutím lze upravit styl předlohy http://splab.cz Faculty of Electrical Engineering and Communication Department of Telecommunications 2/18 2 SPLAB, BUT Klepnutím lze Introduction upravit

Více

Střední průmyslová škola strojnická Olomouc, tř.17. listopadu 49

Střední průmyslová škola strojnická Olomouc, tř.17. listopadu 49 Střední průmyslová škola strojnická Olomouc, tř.17. listopadu 49 Výukový materiál zpracovaný v rámci projektu Výuka moderně Registrační číslo projektu: CZ.1.07/1.5.00/34.0205 Šablona: III/2 Anglický jazyk

Více

Co vím o Ázerbájdžánu?

Co vím o Ázerbájdžánu? Ministerstvo mládeže a sportu Ázerbájdžánské republiky Ministerstvo zahraničních věcí Ázerbájdžánské republiky Velvyslanectví Ázerbájdžánské republiky v Praze ve spolupráci s Centrem ázerbájdžánských a

Více

CZ.1.07/1.5.00/

CZ.1.07/1.5.00/ Projekt: Příjemce: Digitální učební materiály ve škole, registrační číslo projektu CZ.1.07/1.5.00/34.0527 Střední zdravotnická škola a Vyšší odborná škola zdravotnická, Husova 3, 371 60 České Budějovice

Více

HODNOCENÍ INOVAČNÍCH VÝSTUPŮ NA REGIONÁLNÍ ÚROVNI

HODNOCENÍ INOVAČNÍCH VÝSTUPŮ NA REGIONÁLNÍ ÚROVNI HODNOCENÍ INOVAČNÍCH VÝSTUPŮ NA REGIONÁLNÍ ÚROVNI Vladimír ŽÍTEK Katedra regionální ekonomie a správy, Ekonomicko-správní fakulta, Masarykova Univerzita, Lipová 41a, 602 00 Brno zitek@econ.muni.cz Abstrakt

Více

Financování české vědy a Metodika hodnocení výsledků

Financování české vědy a Metodika hodnocení výsledků Financování české vědy a Metodika hodnocení výsledků Jiří Málek RVVI, KHV Česká akademie zemědělských věd, 14.5.2013 Obsah přednášky Struktura státního rozpočtu Financování programů a institucí Aplikovaný

Více

Základní škola Marjánka

Základní škola Marjánka Základní škola Marjánka Historie školy The school history Roku 1910 začíná v budově na Marjánce vyučování v pěti postupných ročnících s pěti paralelními třídami. The Marjanka elementary school was established

Více

SK CRIS ako nástroj integrácie dát o vede na národnej úrovni

SK CRIS ako nástroj integrácie dát o vede na národnej úrovni SK CRIS ako nástroj integrácie dát o vede na národnej úrovni Danica Zendulková, CVTI SR INFORMAČNÉ SYSTÉMY O VEDE: Integrácia pre otvorený prístup k vedeckým výstupom CVTI SR, 2.apríl 2014 Centrum vedecko-technických

Více

Předmluva 13. Definice interního auditu 27. Etický kodex 31 Úvod 31 Uplatnitelnost a vymahatelnost 31 Základní zásady 31 Pravidla jednání 33

Předmluva 13. Definice interního auditu 27. Etický kodex 31 Úvod 31 Uplatnitelnost a vymahatelnost 31 Základní zásady 31 Pravidla jednání 33 OBSAH Předmluva 13 Definice interního auditu 27 Etický kodex 31 Úvod 31 Uplatnitelnost a vymahatelnost 31 Základní zásady 31 Pravidla jednání 33 Mezinárodní standardy pro profesní praxi interního auditu

Více

ITICA. SAP Školení přehled 2012. Seznam kurzů

ITICA. SAP Školení přehled 2012. Seznam kurzů ITICA SAP Školení přehled 2012 Seznam kurzů SAP Školení v roce 2012 Způsob realizace školení Naše školení jsou zaměřena především na cíl předvést obrovský a rozsáhlý systém SAP jako použitelný a srozumitelný

Více

AIC ČESKÁ REPUBLIKA CZECH REPUBLIC

AIC ČESKÁ REPUBLIKA CZECH REPUBLIC ČESKÁ REPUBLIKA CZECH REPUBLIC ŘÍZENÍ LETOVÉHO PROVOZU ČR, s.p. Letecká informační služba AIR NAVIGATION SERVICES OF THE C.R. Aeronautical Information Service Navigační 787 252 61 Jeneč A 1/14 20 FEB +420

Více

PC/104, PC/104-Plus. 196 ept GmbH I Tel. +49 (0) / I Fax +49 (0) / I I

PC/104, PC/104-Plus. 196 ept GmbH I Tel. +49 (0) / I Fax +49 (0) / I  I E L E C T R O N I C C O N N E C T O R S 196 ept GmbH I Tel. +49 (0) 88 61 / 25 01 0 I Fax +49 (0) 88 61 / 55 07 I E-Mail sales@ept.de I www.ept.de Contents Introduction 198 Overview 199 The Standard 200

Více

IPR v H2020. Matěj Myška myska@ctt.muni.cz

IPR v H2020. Matěj Myška myska@ctt.muni.cz IPR v H2020 Matěj Myška myska@ctt.muni.cz Zdroje [1] KRATĚNOVÁ, J. a J. Kotouček. Duševní vlastnictví v projektech H2020. Technologické centrum AV ČR, Edice Vademecum H2020, 2015. Dostupné i online: http://www.tc.cz/cs/publikace/publikace/seznampublikaci/dusevni-vlastnictvi-v-projektech-horizontu-2020

Více

OPEN ACCESS WEEK 2013. k výsledkům vědy a výzkumu probíhá na Mendelově univerzitě v Brně od 21. do 27. října 2013 REDEFINING IMPACT

OPEN ACCESS WEEK 2013. k výsledkům vědy a výzkumu probíhá na Mendelově univerzitě v Brně od 21. do 27. října 2013 REDEFINING IMPACT OPEN ACCESS WEEK 2013 Týden na podporu otevřeného přístupu k výsledkům vědy a výzkumu probíhá na Mendelově univerzitě v Brně od 21. do 27. října 2013 REDEFINING IMPACT VÝHODY OPEN ACCESS Autorům přinese

Více

Web of Science. Bibliotheca Academica

Web of Science. Bibliotheca Academica Web of Science Bibliotheca Academica 2018 31. 10. 2018 2 vyhledávat objevovat Web of Science ResearcherID Publons identifikovat a zviditelnit publikační činnost Research Cycle psát, citovat a publikovat

Více

Case Study Czech Republic Use of context data for different evaluation activities

Case Study Czech Republic Use of context data for different evaluation activities Case Study Czech Republic Use of context data for different evaluation activities Good practice workshop on Choosing and using context indicators in Rural Development, Lisbon, 15 16 November 2012 CONTENT

Více

Metodika hodnocení 2013

Metodika hodnocení 2013 Metodika hodnocení 2013 Ing. Martin Matějka sekretariát Rady pro výzkum, vývoj a inovace. VUT Brno, 20. - 21.11.2013 1 Metodika 2013 schválena dne 19. 6. 2013 usnesením č. 475 platná pro roky 2013 až 2015

Více

[ 1 ] PRAC. Perspective from a Member State. MUDr. Jana Mladá 2015 Státní ústav pro kontrolu léčiv

[ 1 ] PRAC. Perspective from a Member State. MUDr. Jana Mladá 2015 Státní ústav pro kontrolu léčiv [ 1 ] PRAC Perspective from a Member State [ 2 ] Today EU regulatory drug safety network PRAC conclusions and recommendations at national level Modern history of pharmacovigilance in Czech Republic [ 3

Více

Biosensors and Medical Devices Development at VSB Technical University of Ostrava

Biosensors and Medical Devices Development at VSB Technical University of Ostrava VŠB TECHNICAL UNIVERSITY OF OSTRAVA FACULTY OF ELECTRICAL ENGINEERING AND COMPUTER SCIENCE Biosensors and Medical Devices Development at VSB Technical University of Ostrava Ing. Martin Černý Ph.D. and

Více

Caroline Glendinning Jenni Brooks Kate Gridley. Social Policy Research Unit University of York

Caroline Glendinning Jenni Brooks Kate Gridley. Social Policy Research Unit University of York Caroline Glendinning Jenni Brooks Kate Gridley Social Policy Research Unit University of York Growing numbers of people with complex and severe disabilities Henwood and Hudson (2009) for CSCI: are the

Více

Politické vzdělávání a podpora demokracie od roku 1999. Political Education and Democracy Support since 1999

Politické vzdělávání a podpora demokracie od roku 1999. Political Education and Democracy Support since 1999 Politické vzdělávání a podpora demokracie od roku 1999 Political Education and Democracy Support since 1999 PODPORA DEMOKRACIE DEMOCRACY SUPPORT CÍLE CEVRO GOALS OF CEVRO MEZINÁRODNÍ SPOLUPRÁCE INTERNATIONAL

Více

Vánoční sety Christmas sets

Vánoční sety Christmas sets Energy news 7 Inovace Innovations 1 Vánoční sety Christmas sets Na jaře tohoto roku jste byli informováni o připravované akci pro předvánoční období sety Pentagramu koncentrátů a Pentagramu krémů ve speciálních

Více

Otevřený přístup v kontextu 7. RP a dalšího směřování

Otevřený přístup v kontextu 7. RP a dalšího směřování Otevřený přístup v kontextu 7. RP a dalšího směřování Lucie Vavříková 23. března 2011 Základní fakta o otevřeném přístupu Open Access (OA) = otevřený / volný přístup Přístup k výsledkům Přístup k infrastrukturám

Více

Metodika hodnocení Ing. Martin Matějka sekretariát Rady pro výzkum, vývoj a inovace

Metodika hodnocení Ing. Martin Matějka sekretariát Rady pro výzkum, vývoj a inovace Metodika hodnocení 2013 Ing. Martin Matějka sekretariát Rady pro výzkum, vývoj a inovace 1 Proč nová Metodika? (1) Současná Metodika (2010-2012) splnila své poslání. Je oprávněně kritizována pro některé

Více

Immigration Studying. Studying - University. Stating that you want to enroll. Stating that you want to apply for a course.

Immigration Studying. Studying - University. Stating that you want to enroll. Stating that you want to apply for a course. - University I would like to enroll at a university. Stating that you want to enroll I want to apply for course. Stating that you want to apply for a course an undergraduate a postgraduate a PhD a full-time

Více

Immigration Studying. Studying - University. Stating that you want to enroll. Stating that you want to apply for a course.

Immigration Studying. Studying - University. Stating that you want to enroll. Stating that you want to apply for a course. - University Rád/a bych se zapsal/a na vysoké škole. Stating that you want to enroll Rád/a bych se zapsal/a na. Stating that you want to apply for a course bakalářské studium postgraduální studium doktorské

Více

Czech Republic. EDUCAnet. Střední odborná škola Pardubice, s.r.o.

Czech Republic. EDUCAnet. Střední odborná škola Pardubice, s.r.o. Czech Republic EDUCAnet Střední odborná škola Pardubice, s.r.o. ACCESS TO MODERN TECHNOLOGIES Do modern technologies influence our behavior? Of course in positive and negative way as well Modern technologies

Více

Hodnocení VaVaI a role IPN Metodika. Jitka Moravcová Daniel Münich MŠMT. VŠCHT Praha

Hodnocení VaVaI a role IPN Metodika. Jitka Moravcová Daniel Münich MŠMT. VŠCHT Praha Hodnocení VaVaI a role IPN Metodika Jitka Moravcová Daniel Münich MŠMT VŠCHT Praha 14.11.2014 www.metodika.reformy-msmt.cz Osnova presentace 1. Význam hodnocení pro řízení 2. IPN Metodika 3. Mezihry: jak

Více

Biotechnology in the Czech Republic where we are?

Biotechnology in the Czech Republic where we are? Biotechnology in the Czech Republic where we are? Martin Bunček Technology Agency of the Czech Republic České Budějovice 20th September 2016 great past sad present promising future * long tradition in

Více

SGM. Smart Grid Management THE FUTURE FOR ENERGY-EFFICIENT SMART GRIDS

SGM. Smart Grid Management THE FUTURE FOR ENERGY-EFFICIENT SMART GRIDS WHO ARE WE? a company specializing in software applications for smart energy grids management and innovation a multidisciplinary team of experienced professionals from practice and from Czech technical

Více

Číslo projektu: CZ.1.07/1.5.00/34.0036 Název projektu: Inovace a individualizace výuky

Číslo projektu: CZ.1.07/1.5.00/34.0036 Název projektu: Inovace a individualizace výuky Číslo projektu: CZ.1.07/1.5.00/34.0036 Název projektu: Inovace a individualizace výuky Autor: Mgr. Libuše Matulová Název materiálu: Education Označení materiálu: VY_32_INOVACE_MAT27 Datum vytvoření: 10.10.2013

Více

Od Czech POINTu k vnitřní integraci

Od Czech POINTu k vnitřní integraci Od Czech POINTu k vnitřní integraci Radek Novák Direct Account Manager Co mají společné??? - Czech POINT - Datové schránky (ISDS) - Vnitřní integrace úřadu 2 Projekt Czech POINT - 28.3.2007 zahájen pilotní

Více

SEZNAM PŘÍLOH. Příloha 1 Dotazník Tartu, Estonsko (anglická verze) Příloha 2 Dotazník Praha, ČR (česká verze)... 91

SEZNAM PŘÍLOH. Příloha 1 Dotazník Tartu, Estonsko (anglická verze) Příloha 2 Dotazník Praha, ČR (česká verze)... 91 SEZNAM PŘÍLOH Příloha 1 Dotazník Tartu, Estonsko (anglická verze)... 90 Příloha 2 Dotazník Praha, ČR (česká verze)... 91 Příloha 3 Emailové dotazy, vedení fakult TÜ... 92 Příloha 4 Emailové dotazy na vedení

Více

Just write down your most recent and important education. Remember that sometimes less is more some people may be considered overqualified.

Just write down your most recent and important education. Remember that sometimes less is more some people may be considered overqualified. CURRICULUM VITAE - EDUCATION Jindřich Bláha Výukový materiál zpracován v rámci projektu EU peníze školám Autorem materiálu a všech jeho částí, není-li uvedeno jinak, je Bc. Jindřich Bláha. Dostupné z Metodického

Více

Invitation to ON-ARRIVAL TRAINING COURSE for EVS volunteers

Invitation to ON-ARRIVAL TRAINING COURSE for EVS volunteers Invitation to ON-ARRIVAL TRAINING COURSE for EVS volunteers (český text pro hostitelské organizace následuje na str. 3) 6.11. 11.11. 2015 Hotel Kaskáda, Ledeč nad Sázavou Husovo nám. 17, 584 01 Ledeč nad

Více

Shrnutí systémové role IPN Metodika. Jitka Moravcová Daniel Münich MŠMT. ČKR Brno,

Shrnutí systémové role IPN Metodika. Jitka Moravcová Daniel Münich MŠMT. ČKR Brno, Shrnutí systémové role IPN Metodika Jitka Moravcová Daniel Münich MŠMT ČKR Brno, 4.12.2014 www.metodika.reformy-msmt.cz Osnova presentace 1. Rámec Úrovně řízení/účely hodnocení Typy hodnocení Institucionální

Více

VY_32_INOVACE_06_Předpřítomný čas_03. Škola: Základní škola Slušovice, okres Zlín, příspěvková organizace

VY_32_INOVACE_06_Předpřítomný čas_03. Škola: Základní škola Slušovice, okres Zlín, příspěvková organizace VY_32_INOVACE_06_Předpřítomný čas_03 Autor: Růžena Krupičková Škola: Základní škola Slušovice, okres Zlín, příspěvková organizace Název projektu: Zkvalitnění ICT ve slušovské škole Číslo projektu: CZ.1.07/1.4.00/21.2400

Více

ESPD & e-certis support on the way o once-only principle in e-procurement

ESPD & e-certis support on the way o once-only principle in e-procurement ESPD & e-certis support on the way o once-only principle in e-procurement [Podpora na cestě k principu jedenkrát a dost ve VZ] ebf 2016 Ostrava, 9-11 November 2016 Nikita Stampa Innovative and e-procurement

Více

Health Information and Public Health WHO Activities in the Czech Republic

Health Information and Public Health WHO Activities in the Czech Republic Health Information and Public Health WHO Activities in the Czech Republic 29th November 2016, MoH Alena Šteflová WHO Country Office in the Czech Republic BCA 2016-17 Programme area: Health systems, information

Více

Střední průmyslová škola strojnická Olomouc, tř.17. listopadu 49

Střední průmyslová škola strojnická Olomouc, tř.17. listopadu 49 Střední průmyslová škola strojnická Olomouc, tř.17. listopadu 49 Výukový materiál zpracovaný v rámci projektu Výuka moderně Registrační číslo projektu: CZ.1.07/1.5.00/34.0205 Šablona: III/2 Anglický jazyk

Více

Systém pro správu experimentálních dat a metadat. Petr Císař, Antonín Bárta 2014 Ústav komplexních systémů, FROV, JU

Systém pro správu experimentálních dat a metadat. Petr Císař, Antonín Bárta 2014 Ústav komplexních systémů, FROV, JU Systém pro správu experimentálních dat a metadat Petr Císař, Antonín Bárta 2014 Ústav komplexních systémů, FROV, JU BioWes Systém pro správu experimentálních dat a meta Hlavní cíl Vytvoření systému usnadňujícího

Více

Agile leadership in Czech Rep. Agilia Conference 2011 Brno

Agile leadership in Czech Rep. Agilia Conference 2011 Brno Agile leadership in Czech Rep. Agilia Conference 2011 Brno Aguarra, s.r.o., Lisabonská 2394/4, 190 00 Praha 9, www.aguarra.cz 2 Aguarra, s.r.o., Lisabonská 2394/4, 190 00 Praha 9, www.aguarra.cz 3 Aguarra,

Více

Fytomineral. Inovace Innovations. Energy News 04/2008

Fytomineral. Inovace Innovations. Energy News 04/2008 Energy News 4 Inovace Innovations 1 Fytomineral Tímto Vám sdělujeme, že již byly vybrány a objednány nové lahve a uzávěry na produkt Fytomineral, které by měly předejít únikům tekutiny při přepravě. První

Více

ARTEMIS & ENIAC výzvy 2009. kadlec@utia.cas.cz Tel. 2 6605 2216

ARTEMIS & ENIAC výzvy 2009. kadlec@utia.cas.cz Tel. 2 6605 2216 ARTEMIS & ENIAC výzvy 2009 Jiří Kadlec ÚTIA AV ČR kadlec@utia.cas.cz Tel. 2 6605 2216 Co je Artemis a Eniac Joint Undertaking (JU) Dva významné průmyslové programy. Sdružují národní a 7. RP EU financování

Více

Research infrastructure in the rhythm of BLUES. More time and money for entrepreneurs

Research infrastructure in the rhythm of BLUES. More time and money for entrepreneurs Research infrastructure in the rhythm of BLUES More time and money for entrepreneurs 1 I. What is it? II. How does it work? III. References Where to find out more? IV. What is it good for? 2 I. What is

Více

Katalogy gramofonových firem ze začátku 20. století Catalogues of record companies from the early 20th century

Katalogy gramofonových firem ze začátku 20. století Catalogues of record companies from the early 20th century Katalogy gramofonových firem ze začátku 20. století Catalogues of record companies from the early 20th century Gabriel Gössel, Filip Šír Národní muzeum National Museum Prezentace je dostupná pod licencí

Více

Zaměřen na rozvojové země Práce na rozvojových projektech, poznávání kultury, výuka angličtiny,

Zaměřen na rozvojové země Práce na rozvojových projektech, poznávání kultury, výuka angličtiny, NA STÁŽ S AIESEC ROZVOJOVÉ STÁŽE Zaměřen na rozvojové země Práce na rozvojových projektech, poznávání kultury, výuka angličtiny, Podmínky: Znalost angličtiny na komunikativní úrovni Být studentem VŠ nebo

Více

Typy chybně zařazených výsledků do RIV a jejich vyřazení z Hodnocení 2013

Typy chybně zařazených výsledků do RIV a jejich vyřazení z Hodnocení 2013 Typy chybně zařazených výsledků do RIV a jejich vyřazení z Hodnocení 2013 Ing. Viera Hudečková, Úřad vlády, Odbor výzkumu, vývoje a inovací DERS, 26. - 27. 2. 2014 1 Obsah 1. Hodnocení výsledků výzkumných

Více

Contact person: Stanislav Bujnovský,

Contact person: Stanislav Bujnovský, Tender documentation link: https://nen.nipez.cz/seznamzadavacichpostupu/zakladniinformaceozadavacimpostupum- 674611632-20523816/ZakladniInformaceOZadavacimPostupu-674611632-20523816/ Contact person: Stanislav

Více

ISO 8402:1994 zavedena v ČSN ISO 8402 Management jakosti a zabezpečování jakosti - Slovník (01 0300)

ISO 8402:1994 zavedena v ČSN ISO 8402 Management jakosti a zabezpečování jakosti - Slovník (01 0300) ČESKÁ NORMA ICS 03.120.10 Únor 1997 Management jakosti - Směrnice pro plány jakosti ČSN ISO 10005 01 0332 Quality management - Guidelines for quality plans Management de la qualité - Lignes directrices

Více

Risk management in the rhythm of BLUES. Více času a peněz pro podnikatele

Risk management in the rhythm of BLUES. Více času a peněz pro podnikatele Risk management in the rhythm of BLUES Více času a peněz pro podnikatele 1 I. What is it? II. How does it work? III. How to find out more? IV. What is it good for? 2 I. What is it? BLUES Brain Logistics

Více

Australian College of Sport & Fitness

Australian College of Sport & Fitness Odborné a univerzitní kurzy Australian College of Sport & Fitness Melbourne - Austrálie Australian College of Sport & Fitness (ACSF) patří k TOP odboným školám poskytujícím kvalitní vzdělání již více než

Více

Otevřený přístup k výsledkům vědy a výzkumu na univerzitách v ČR. Matěj Myška

Otevřený přístup k výsledkům vědy a výzkumu na univerzitách v ČR. Matěj Myška Otevřený přístup k výsledkům vědy a výzkumu na univerzitách v ČR Matěj Myška 1 Obsah Proč otevřený přístup (OA)? Evropská politika OA Národní politika OA Institucionální politika OA Právní aspekty OA v

Více

Životopis. Osobní údaje. Vzdělání. Zaměstnání. Pedagogická činnost na VŠE v Praze. Vysoká škola ekonomická v Praze

Životopis. Osobní údaje. Vzdělání. Zaměstnání. Pedagogická činnost na VŠE v Praze. Vysoká škola ekonomická v Praze Vysoká škola ekonomická v Praze Osobní údaje Mgr. Ing. Pavel Král, Ph.D., 31. leden 1978 bydliště Přestavlky 5, 25791 Sedlec-Prčice (Přestavlky) Vzdělání 2002 Ing. VŠE, Fakulta managementu Ekonomika a

Více

SenseLab. z / from CeMaS. Otevřené sledování senzorů, ovládání zařízení, nahrávání a přehrávání ve Vaší laboratoři

SenseLab. z / from CeMaS. Otevřené sledování senzorů, ovládání zařízení, nahrávání a přehrávání ve Vaší laboratoři CeMaS, Marek Ištvánek, 22.2.2015 SenseLab z / from CeMaS Otevřené sledování senzorů, ovládání zařízení, nahrávání a přehrávání ve Vaší laboratoři Open Sensor Monitoring, Device Control, Recording and Playback

Více

Finanční aspekty ERC grantů

Finanční aspekty ERC grantů Granty Evropské výzkumné rady (ERC) Advanced grants (AdG) Finanční aspekty ERC grantů Praha, 21. listopadu 2011 Kateřina Rakušanová rakusanova@tc.cz NCP pro finanční a právní záležitosti, TC AV ČR ERC

Více

Obsah&/&Content& Všeobecné)podmínky)(v)češtině)) Terms)and)Conditions)(in)english)) )

Obsah&/&Content& Všeobecné)podmínky)(v)češtině)) Terms)and)Conditions)(in)english)) ) Obsah/Content Všeobecnépodmínky(včeštině TermsandConditions(inenglish Všeobecnépodmínky používáníwebovýchstránekneighboursuniverseasouvisejícíchslužebazásadyochrany osobníchdat A.! PodmínkyužíváníwebovýchstránekNeighboursUniverseasouvisejícíchslužeb

Více

Martin Vrbka 0/14. Institute of Machine and Industrial Design Faculty of Mechanical Engineering Brno University of Technology

Martin Vrbka 0/14. Institute of Machine and Industrial Design Faculty of Mechanical Engineering Brno University of Technology Martin Vrbka Institute of Machine and Industrial Design Faculty of Mechanical Engineering Brno University of Technology 0/14 Outline Aim Courses Employees Budget, cost and profit Classrooms and laboratories

Více

SMES-EU D&H-5P Workshop 1. Prague November 2003 V Praze listopadu 2003

SMES-EU D&H-5P Workshop 1. Prague November 2003 V Praze listopadu 2003 SMES-EU D&H-5P Workshop 1 Prague November 2003 V Praze listopadu 2003 SMES-EU D&H-5P Workshop 1 The presentation includes comments and observations made during the Czech Republic Workshop of November 2003.

Více

1 st International School Ostrava-mezinárodní gymnázium, s.r.o. Gregorova 2582/3, 702 00 Ostrava. IZO: 150 077 009 Forma vzdělávání: denní

1 st International School Ostrava-mezinárodní gymnázium, s.r.o. Gregorova 2582/3, 702 00 Ostrava. IZO: 150 077 009 Forma vzdělávání: denní 1 st International School Ostrava-mezinárodní gymnázium, s.r.o. Gregorova 2582/3, 702 00 Ostrava IZO: 150 077 009 Forma vzdělávání: denní Kritéria pro IV. kolo přijímacího řízení pro školní rok 2015/2016

Více

Social Media a firemní komunikace

Social Media a firemní komunikace Social Media a firemní komunikace TYINTERNETY / FALANXIA YOUR WORLD ENGAGED UČTE SE OD STARTUPŮ ANALYSIS -> PARALYSIS POUŽIJTE TO, CO ZNÁ KAŽDÝ POUŽIJTE TO, CO ZNÁ KAŽDÝ POUŽIJTE TO, CO ZNÁ KAŽDÝ POUŽIJTE

Více

Zkušenosti Knihovny Akademie věd ČR. Mgr. Pavel Mika 10. 10. 2014 KRE 2014

Zkušenosti Knihovny Akademie věd ČR. Mgr. Pavel Mika 10. 10. 2014 KRE 2014 Zkušenosti Knihovny Akademie věd ČR Mgr. Pavel Mika 10. 10. 2014 KRE 2014 Osnova Bibliometrické metody - možnosti a omezení jejich použití Dostupné informační zdroje Možnosti základních analýz Hodnocení

Více