• ARRA a CoARA

• Agreement on Reforming Research Assessment vzešel z jednání bezmála čtyř set organizací z více než čtyřiceti zemí světa, publikován byl v roce 2022

• text vyzval ke transformaci způsobů hodnocení vědy směrem ke kvalitativním měřítkům, odmítl nekritické uplatňování metrik typu H-Index nebo Impakt Faktor

• přihlásily se k němu krom jiného MŠMT, UK nebo AV ČR

• Coalition for Advancing Research Assessment je mezinárodní iniciativa, která sdružuje univerzity, výzkumné instituce nebo poskytovatele grantů

• iniciativa prosazuje reformu hodnocení vědy směrem k zesílení důrazu na praxi peer review při opatrném užití kvantitativních indikátorů

• mezi signatáře iniciativy patří MŠMT, RVVI, UK, MUNI nebo AV ČR

• COOPERATIO

• program základní institucionální podpory vědy a výzkumu na UK

• založen je na oborovém členění: sestává ze 43 vědních oblastí, které se dále člení na více než sto padesát jednotlivých vědních oborů

• každá fakulta se přihlásila k určitému počtu soustavně pěstovaných vědních oborů

• cílem programu je koordinace a spolupráce všech fakult, na nichž je vědní obor rozvíjen, jakož i lepší provázanost vědních oblastí se studijními programy

• strukturu vědních oblastí a oborů schválila Vědecká rada UK (25. 2. 2021), která schválila i přihlášení fakult k vědním oborům (27. 5. 2021)

• program se uskutečňuje v pětiletých cyklech, první probíhá v letech 2022–2026

• Rada pro hodnocení tvůrčí činnosti a Hodnotící panely

• Rada pro hodnocení tvůrčí činnosti je nejvyšší orgán hodnotícího procesu

• členové Rady, vědecké osobnosti působící v zahraničí, které nejsou ve střetu zájmu s hodnocenou jednotkou, dohlíží na průběh hodnocení

• účastní se návštěv na hodnocených jednotkách (Návštěv na místě) a následně zpracovávají Souhrnné hodnoticí zprávy o vědních oblastech

• Hodnotící panely jsou druhým orgánem hodnocení, který posuzuje vědní oblasti

• lékařský (MED), přírodovědný (SCI), společenskovědní (SOC), humanitní (HUM)

• počet členů Panelu je odvozen od počtu vědních oblastí, které spadají do jeho působnosti

Jednou za pět let probíhá na Univerzitě Karlově mezinárodní hodnocení tvůrčí činnosti. Hodnocení se řídí Opatřením rektora č. 17/2024, Strategie hodnocení tvůrčí činnosti na Univerzitě Karlově za roky 2019 až 2023.

• hodnoceným obdobím jsou kalendářní roky 2019–2023 (předchozí cyklus hodnotil období 2014–2018)

• hodnocenou jednotkou jsou vědní oblasti, jak jsou definovány pro Cooperatio, program základní institucionální podpory vědy a výzkumu na Univerzitě

• cílem je prostřednictvím mezinárodního srovnání získat ověřitelné informace o kvalitě tvůrčí činnosti na univerzitě a na jejich základě doporučení pro její další rozvoj

• hodnocení reflektuje vstup do CoARA, čímž se univerzita v roce 2022 zavázala ke splnění těchto podmínek

• Rada pro hodnocení tvůrčí činnosti dohlíží na průběh z hlediska dodržování principů, pravidel a organizace

• členové Hodnotících panelů provádějí posouzení úrovně vědních oblastí na základě jednotlivých hodnotících nástrojů

• Rady vědních oblastí odpovídají za vypracování Sebehodnotících zpráv podle stanoveného formuláře a jejich předložení Vědeckým radám zapojených pracovišť

• Koordinátor Rady vědní oblasti, zastupující jednu součást, která pěstuje danou vědní oblast, zajišťuje spolupráci jejích členů ze všech součástí zapojených do vědní oblasti

Základním podkladem pro hodnocení jsou Sebehodnotící zprávy vědních oblastí, které zpracovávají zástupci součástí univerzity, zapojených do vědní oblasti.

Sebehodnotící zpráva je rozdělena do pěti kapitol a vypracována v anglickém jazyce. Kapitoly obsahují nominace vědeckých výstupů, excelentních osobností, projektů, ukázek společenské relevance či popularizace vědy:

• Basic Information about the Research Area

• Personnel Situation

• Research Outputs

• Research Funding, Scientific Cooperation

• Impact of Research

Hodnotitelé mají dále k dispozici Souhrnné informace a základní data o univerzitě:

• osoby podílející se na tvůrčí činnosti

• výsledky tvůrčí činnosti

• základní finanční ukazatele

• doktorské studijní programy a počty jejich studentů, jakož i absolventů

Písemné posudky vědních oblastí:

• členové Hodnotících panelů zpracovávají přinejmenším dva anglicky psané posudky s uvedením dílčích známek pro jednotlivé části Sebehodnotící zprávy

• dále se uplatňují souhrnné známky a nejméně dvě další hodnocení v podobě udělení dílčích a souhrnných známek bez písemného posudku

• posudky a známky jsou diskutovány v Hodnotícím panelu, poté se navrhuje celková známka pro vědní oblast

• celková známka vychází z aritmetického průměru všech souhrnných známek bez zahrnutí jedné nejhorší navržené známky, s možnou úpravou o jeden mezistupeň na základě rozhodnutí a zdůvodnění Hodnotícího panelu

Souhrnná hodnotící zpráva o každé hodnocené vědní oblasti:

• vychází z písemných posudků a z diskuze během návštěv na místě

• obsahuje finální známku pro vědní oblast

• finální známka může být Radou pro hodnocení tvůrčí činnosti na základě odůvodnění upravena o jeden mezistupeň oproti celkové známce navržené Hodnotícím panelem

Souhrnná závěrečná zpráva o hodnocení tvůrčí činnosti na univerzitě:

• shrnuje hodnotící proces a jeho hlavní výstupy

• Rada pro hodnocení tvůrčí činnosti ji předkládá rektorovi, na jehož návrh je projednána Mezinárodní radou UK, Vědeckou radou UK a Radou pro vnitřní hodnocení UK

• po projednání v univerzitních orgánech je zpřístupněna členům akademické obce

• 6. 3. 2024–30. 11. 2024: příprava Sebehodnotící zprávy vědní oblasti

• do 30. 11. 2024: projednání Sebehodnotící zprávy Vědeckými radami všech součástí zapojených do dané vědní oblasti

• do 30. 11. 2024: děkan součásti schvaluje finální verzi Sebehodnotící zprávy, ta je následně předložena koordinátorem Rady vědní oblasti na OVaV RUK

• 1. 2. 2025–28. 2. 2025: Rady vědní oblasti vypořádávají doplňující dotazy Hodnotícího panelu formou přílohy k Sebehodnotící zprávě

• 1. 5. 2025–30. 6. 2025: Rady vědních oblastí a zástupci součástí se účastní Návštěvy na místě, kterou svolává Rada pro hodnocení tvůrčí činnosti

• IP DKRVO

• Institucionální podpora na dlouhodobý koncepční rozvoj výzkumných organizací

• DKRVO představuje základní strategický dokument, který určuje směřování výzkumné organizace

• poskytnutí institucionální podpory z rozpočtové kapitoly MŠMT se váže na pětileté období

• MEP

• Mezinárodní evaluační panel

• provádí hodnocení na základě na základě Sebeevaluačních zpráv součástí, on-site visit a závěrečných Evaluačních zpráv

• má alespoň sedm členů, z nichž nadpoloviční většinu musí tvořit nepodjatí odborníci ze zahraničí (jeden člen je zástupcem poskytovatele)

• M25+

• Metodika hodnocení výzkumných organizací (Metodika 2025+)

• zásadní nástroj pro získávání informací o systému výzkumu, vývoje a inovací, které jsou využity pro tvorbu strategického rozhodování a nastavení financování

• hodnocení má skrze zpětnou vazbu motivovat a posilovat dobrou praxi na všech úrovních (národní, poskytovatel, výzkumná organizace), které do hodnocení vstupují

• Moduly

• pět základních oblastí, jež mají společně umožnit plnění strategických cílů hodnocení

• moduly hodnocení jsou společné bez výjimek, liší se však jejich významnost a rozsah podle mise a postavení konkrétní vědní oblasti

• M1 (kvalita vybraných výsledků), M2 (komentované statistiky), M3 (společenský význam výzkumné organizace), M4 (řízení výzkumné organizace), M5 (strategie a koncepce)

• RVVI

• Rada pro výzkum, vývoj a inovace

• odborný a poradní orgán vlády, který zabezpečuje přípravu metodiky a její předložení vládě, hodnocení v rozsahu stanovených principů a řešení sporných případů

• dále připravuje a kontroluje realizaci národní politiky VaVaI i předkládá vládě návrh celkových výdajů na tuto rozpočtovou kapitolu

• VaVaI

• výzkum, vývoj a inovace, souhrnné označení pro vědecko-výzkumnou činnost, její financování a státní podporu

• IS VaVaI je informační systém veřejné správy, který shromažďuje, zpracovává, využívá a poskytuje informace o VaVaI podporovaných z veřejných rozpočtů

• k součástem IS VaVaI patří CEP (Centrální evidence projektů) nebo RIV (Rejstřík informací o výsledcích)

Jednou za pět let se provádí hodnocení veřejných výzkumných organizací v segmentu vysokých škol. Hodnocení se řídí Metodikou hodnocení výzkumných organizací v segmentu vysokých škol 2025+, zajišťuje jej Rada pro výzkum, vývoj a inovace (RVVI).

• hodnoceným obdobím jsou kalendářní roky 2019–2023 (M1–M3), respektive 2020–2024 (M4–M5)

• hodnocení probíhá v M1–M5

• cílem je motivovat ke zkvalitnění a vyšší efektivitě výzkumu, kultivovat výzkumné prostředí a posilovat odpovědnost jednotlivých aktérů systému VaVaI

• celková známka se propisuje do způsobu rozdělení financí DKRVO vysoké školy po následujících pět let

• hodnocení reflektuje trendy hodnocení vědy formulované iniciativou Evropské komise ARRA, jakož i koalicí CoARA

• ministerstvo školství, mládeže a tělovýchovy jakožto poskytovatel institucionální podpory zodpovídá za dodržování principů, pravidel a organizace hodnocení

• Komise pro hodnocení výsledků výzkumných organizací a ukončených programů se vyjadřuje k navrhovanému složení MEP

• členové Mezinárodního evaluačního panelu provádí hodnocení na základě Sebeevaluačních zpráv součástí, on-site visit a závěrečných Evaluačních zpráv

• Rada pro výzkum, vývoj a inovace předává výsledky M1 a M2

• Odborný poradní orgán poskytovatele dohlíží na konzistentní aplikaci hodnotících kritérií, garantem dodržování principů hodnocení je i Metodik poskytovatele

• výsledky hodnocení projednává poskytovatel, RVVI a Česká konference rektorů

Hodnocení se realizuje v pěti modulech s odlišně stanovenou váhou: M1 + M2 (50 %), M3 (30 %), M4 (10 %), M5 (10 %).

• Modul 1: Kvalita vybraných výsledků

• Modul 2: Komentované statistiky

• Modul 3: Společenský význam výzkumné organizace

• Modul 4: Řízení výzkumné organizace

• Modul 5: Strategie a koncepce

M1

• výsledky každoročně nominuje fakulta na základě stanovené kvóty

• limit základ se naplňuje primárně bibliometrizovanými výsledky (Jimp, Jsc), limit nebiblio je naplněn výhradně nebibliometrizovanými (B, C, Jost), aby se posílilo hodnocení vědeckých výsledků, o kterých lze rozhodovat pouze metodou peer review

• nominovatelné výsledky musí být v RIVu, nesmějí být vybrány v předcházejících letech, vybírat lze pouze z výstupů vykázaných během posledních pěti let

• výzkumná organizace posuzuje, zda výsledek nominuje dle kritéria přínos k poznání nebo společenská relevance

• nominované výstupy schvaluje poskytovatel, posouzení výsledků provádí Odborný panel skrze externí hodnotitele, kteří udělují zařazení na stupnici 1–5

• podklad tvoří pětiletý přehled nominovaných a ohodnocených výstupů

M2

• podklad pro statistiky tvoří bibliometrická analýza na základě dat z databází Web of Science nebo Scopus a přehled výsledků, jež předkládá výzkumná organizace do RIV

• analýza zahrnuje výsledky typu Jimp, Jsc a D, základní statistickou metrikou je AIS, která slouží ke kvalitativnímu škálování časopisů do takzvaných percentilů

• přehled obsahuje produkci všech druhů výsledků základního i aplikovaného výzkumu za hodnocené pětileté období

M3

• společenský význam je chápán jako míra pozitivního dopadu výzkumných aktivit na společnost, ekonomiku, veřejnou politiku, kulturu a kulturní dědictví, justici, veřejné zdraví, životní prostředí a kultivaci ČR a regionu v širším slova smyslu

• při hodnocení jsou určující reálné dopady krom jiného z hlediska transferu znalostí, mezisektorové spolupráce nebo popularizace výzkumu

• podklad tvoří Sebehodnotící zpráva, kterou zpracovává fakulta v sedmi kapitolách:

• Introductory Information

• Recognition by the Research Community

• Research Projects

• Research Results with Existing or Prospective Impact on Society

• Transfer of Results into Practice

• Popularization of R&D&I

• Implementation of Recommendations

Modul 4

• posuzuje kvalitu nastavení procesů výzkumné organizace, a to zejména v oblastech personální politiky, rozvoje lidských zdrojů a rovnosti příležitostí

• při hodnocení je tedy určující management vědy, včetně správy a organizace infrastruktury či schopnosti zajistit podmínky pro získávání grantů

• širším principem je začlenění informací z národního hodnocení do interních evaluačních procesů výzkumné organizace

• podklad tvoří Sebehodnotící zpráva, kterou zpracovává výzkumná organizace v třinácti kapitolách:

• Organisation and Management of R&D&I

• System of Support for a Quality R&D&I Environment and Incentive Measures for Quality Science

• Quality Control System for R&D&I Environment

• Sustainability and Resilience of R&D&I

• Structure of Human Resources

• Academic and Research Careers

• Gender Equality Measures

• Mobility of Academic and Research Staff

• Research Infrastructure

• Budget and Structure of Financial Resources

• Rules for the Use of Institutional Support for the LCDRO

• Important Collaborations in R&D&I

• Doctoral Studies

• Implementation of Recommendations in Module 4

Modul 5

• formulace strategie výzkumné organizace pro perspektivní vývoj

• při hodnocení se posuzuje mise organizace, koncepce k naplnění této mise a její reálné plnění, včetně vize pro další období

• podklad tvoří Sebehodnotící zpráva, kterou zpracovává výzkumná organizace ve čtyřech kapitolách:

• Mission and Vision of the Evaluated Institution in R&D&I

• Research and Development Objectives

• Institutional Instruments and Measures for the Implementation of the Research and Development Strategy

• Implementation of Recommendations in Module 5

Sebehodnotící zpráva

• výstup na úrovni fakulty, která zpracovává podklad k M3 (centrálně evidované údaje o personálních kapacitách poskytuje výzkumná organizace)

• MEP provádí on-site visit výzkumné organizace, respektive jednotlivých součástí, jakož i provádí bodové a slovní hodnocení každého indikátoru Sebehodnotící zprávy

Evaluační zpráva

• výstup na úrovni poskytovatele, který obsahuje podklady z M3–M5

• MEP provádí on-site visit výzkumné organizace k M4–M5

• výsledky v M1–M2 jsou poskytovatelem vyžádány od RVVI, následně zprostředkovány MEP

• celkový stupeň při hodnocení (A–D) se rovná prostému průměru známek udělených v jednotlivých indikátorech

• do 30. 11. 2024: podání návrhů na hodnocení výzkumné organizace poskytovatelem a na složení MEP

• do 31. 01. 2025: ustanovené MEP a OPO

• do 31. 03. 2025: odevzdání podkladů pro hodnocení poskytovateli

• květen–srpen 2025: hodnocení MEP a on-site visits

• září–říjen 2025: finalizace Evaluační zprávy

• listopad 2025: stanovisko rektora k Evaluační zprávě

• prosinec 2025: závěrečná kontrola hodnocení ze strany OPO

• leden–únor 2026: společné jednání poskytovatele, RVVI a ČKR

• únor–březen 2026: zpracování protokolu a zveřejnění výsledků hodnocení