Ze zákulisí AZV: jak probíhá hodnocení a výběr

Posouzení a hodnocení návrhů projektů zajišťuje devět hodnotících panelů, které vypracovávají interní posudky, zajišťují vypracování posudků návrhů projektů externími oponenty a připravují podklady a doporučení pro jednání vědecké rady. Dále hodnotí dílčí a závěrečné zprávy o řešení projektů a připravují doporučení pro jednání vědecké rady týkající se postupů řešení a výsledků přijatých projektů. Členy panelů jmenuje a odvolává předseda AZV ČR na návrh předsednictva AZV ČR, které vybírá členy panelů z návrhů odborné veřejnosti. Funkční období členů panelů je čtyřleté s možností jmenování nejvýše na dvě období po sobě následující. Seznam panelů, včetně všech členů, najdete zde.

Na otázky o tom, jak hodnocení probíhá, co nejčastěji vede k vyřazení projektu nebo zda je podle jejich názoru současný systém objektivní, odpovídají v následujících rozhovorech čtyři osobnosti naší fakulty – členové čtyř různých panelů:

• doc. MUDr. Zdeněk Šumník, Ph.D., člen panelu P01 Metabolické a endokrinní choroby

• prof. MUDr. Marek Babjuk, CSc., člen panelu P03 Nádorové choroby

• prof. MUDr. Michal Hrdlička, CSc., člen panelu P04 Neurovědy a duševní zdraví

• prof. MUDr. Jan Lebl, CSc., člen panelu P07 Věkově specifické skupiny chorob

---

doc. MUDr. Zdeněk Šumník, Ph.D., člen panelu P01 Metabolické a endokrinní choroby

1. Jak hodnocení probíhá? Dokáže podle vás současný systém zajistit objektivu při posuzování projektů a výběr těch opravdu nejkvalitnějších?

Hodnotící proces je v rukou tzv. panelů, tedy skupin odborníků zaměřených na jednotlivé specializace. Agentura AZV zahrnuje celkem 9 panelů, každý z nich má 8–10 členů. Projekty se hodnotí dvoukolově, v prvním kole každý projekt přečtou čtyři členové panelu, kteří nejsou ve střetu zájmů s navrhovateli, a ohodnotí ho pomocí škály A–C. Pro posuzovatele je poměrně nepříjemné, že relativní rozdělení projektů do kategorií je pro každého člena fixní v poměru 30–40–30 % pro A, B, resp. C, přesné dodržení tohoto pravidla je leckdy nesnadné. Základním úkolem tohoto prvního kola je selekce 30 % projektů ohodnocených jako C, které nejdou k posuzování externím recenzentům. Zbylé projekty (tedy A+B) postupují do druhého kola, kde je každý projekt přiřazen dvěma zpravodajům, kteří mají za úkol zajistit minimálně dva externí oponenty, z toho jednoho zahraničního. Následně se projekty opět posuzují v rámci panelu, tentokrát již se znalostí názoru externích recenzentů. Na základě všech těchto hodnocení se vytvoří pořadí, přičemž další změny zařazení jednotlivých projektů je možné provádět na závěrečné schůzce panelu pouze s písemně formulovaným odůvodněním a na základě hlasování členů. Je zřejmé, že absolutní spravedlnost při posuzování grantů neexistuje, ale fakt, že každý grant čte minimálně šest odborníků, jde vstříc snaze o objektivitu.

2. Co bývá nejčastěji příčinou neúspěchu a jakých chyb by se měli žadatelé vyvarovat?

Formální chyby vyřazují projekty již před hodnocením v panelu, příčinou neúspěchu je spíše lepší kvalita konkurenčních návrhů.

3. Co naopak rozhoduje o úspěchu a přidělení podpory?

Za důležité považuji jasnou formulaci hypotézy a cílů, co nejpřesvědčivější argumentaci při odůvodnění důležitosti projektu, adekvátní metodiku, samozřejmostí je dostatečná vědecká erudice předkladatele a jeho spolupracovníků a požadavek přiměřených finančních prostředků. 

4. Když posuzujete projekt, z jakého důvodu ho doporučíte k vyřazení či přijetí?

Pokud hovoříme o prvním kole, nejčastější příčinou hodnocení C byly zejména zásadní metodické chyby, na druhém místě nedostatečná relevance hypotézy, nesoulad mezi finančními prostředky a plánovanými výstupy (je obtížné akceptovat výdaj v řádu desítek milionů u projektu, který má ambici na jeden článek s IF) a nedostatečná vědecká erudice hlavního předkladatele.

5. Kolik projektů jste v minulém kole posuzoval? Byla jejich kvalita hodně kolísavá, nebo vyrovnaná?

V prvním kole přibližně 30 projektů, jako zpravodaj tuším okolo 20. Kvalita projektů se samozřejmě lišila, v prvním kole byla rozhodnutí o vyřazení, či pokračování poměrně jednoznačná. Rozdíl mezi vyřazenými projekty a těmi nejlepšími byl leckdy propastný, i když samozřejmě byly i situace, kdy měl projekt po prvním kole hodnocení AACC. V takovém případě se diskutovalo v rámci panelu a probírala hodnocení jednotlivých členů.

6. V jednotlivých panelech je zastoupeno mnoho odborníků napříč institucemi, jejichž týmy o podporu žádají. Jakým způsobem je zaručená jejich nestrannost při rozhodování o jednotlivých projektech? Je podle vás možné se i přes snahu o maximální objektivitu zcela oprostit od toho, aby hodnotitel podpořil projekty týmů nebo lidí, které osobně zná?

Podle mě je nestrannost zajištěna maximálním možným způsobem. Nejenže zpravodaj ani oponent nemůže být ze stejné instituce (tedy nikoli pouze pracoviště), ale při diskusi nad projekty členové panelu, kteří jsou ve střetu zájmů, opouštějí jednací místnost. Není tedy prakticky možné zjistit, kdo právě ten „můj“ grant posuzoval. Jak jsem zmínil, absolutní objektivita neexistuje, v rámci svých odborností se poměrně dobře známe, přestože nejsme ze stejného pracoviště. V malém rybníku to ale nejspíš lépe vymyslet nelze, nezbývá než doufat ve slušnost člena panelu. Spoléhat se na zahraniční recenzenty je možné jen částečně, získat relevantní posudek ze zahraničí na stovky grantů ve velmi krátké době je velmi náročné, až nemožné, proto je třeba, aby první předvýběr probíhal interně. Zvyšování počtu zahraničních recenzentů by zvyšovalo finanční náklady, které by chyběly pro financování projektů, a navíc si nejsem zcela jist, že by posuzování bylo skutečně objektivnější. Zahraniční recenzenti nemají porovnání s ostatními projekty v rámci agentury, proto někteří hodnotí velmi „měkce“, jiní jsou nepřiměřeně nároční, jak jsou zvyklí ze svých grantových agentur. Celkově jsem byl ale příjemně překvapen velmi věcnou diskusí nad projekty v rámci našeho panelu a snahou o vybrání těch skutečně nejlepších.

---

prof. MUDr. Marek Babjuk, CSc., člen panelu P03 Nádorové choroby

1. Jak hodnocení probíhá? Dokáže podle vás současný systém zajistit objektivu při posuzování projektů a výběr těch opravdu nejkvalitnějších?

AZV plně využívá systém GAČR, struktura hodnotícího procesu je tedy zcela identická. Hodnocení je několikastupňové. V první fázi jsou ke každému projektu určeni dva hlavní hodnotitelé a dva spoluhodnotitelé ze členů panelu, kteří projekt zhodnotí. Panel na svém jednání poté určí pořadí a vyřadí nejslabší projekty. Zbylé jsou hodnoceny domácími i zahraničními externími recenzenty, a následně opět všemi členy panelu. Jednotlivým hodnocením v průběhu celého procesu je přiřazena určitá váha (předem daná systémem), na jejímž základě je vygenerováno výsledné hodnocení a pořadí projektů. Panel pak na posledním jednání určí definitivní pořadí, přičemž změny oproti dříve vygenerovanému jsou možné pouze na základě jasného zdůvodnění. O tom, kolik projektů dle pořadí bude nakonec schváleno k financování, rozhoduje vedení AZV na základě výsledků ve všech panelech. Metodika je velmi komplikovaná, neumím si představit, že by jednotlivec, byť by byl členem panelu, dokázal výsledek ovlivnit ve prospěch některého projektu. Z mého pohledu tedy systém objektivitu zaručuje.

2. Co bývá nejčastěji příčinou neúspěchu a jakých chyb by se měli žadatelé vyvarovat?

Myslím, že příčinou neúspěchu bývá hlavně příliš povrchně zpracovaná metodika projektu, kde nejsou jasně definovány cíle a způsob, kterým by mělo být cílů dosaženo. Často jsou také projekty příliš široce pojaté a ambiciózní, kdy je zcela evidentní, že nemohou být v daném rozsahu splněny. Méně často je příčinou neúspěchu nedostatečná kvalita týmu a jeho nedostatečná dosavadní publikační aktivita, a celkem výjimečně neúměrné finanční nároky.

3. Co naopak rozhoduje o úspěchu a přidělení podpory?

Kvalitně připravený a reálný projekt, s jasně definovanou metodikou a cíli předložený kvalitním týmem, by dle mého soudu měl uspět.

4. Když posuzujete projekt, z jakého důvodu ho doporučíte k vyřazení či přijetí?

Posuzovaná kritéria jsou dána systémem – tedy kvalita projektu, týmu a realita finančních požadavků. Osobně za velmi důležitou považuji metodiku projektu.

5. Kolik projektů jste v minulém kole posuzoval? Byla jejich kvalita hodně kolísavá, nebo vyrovnaná?

Počet hodnocených projektů závisí na počtu projektů v daném panelu. Vzhledem k extrémně vysokému počtu projektů v onkologickém panelu jsem v prvním kole hodnotil více než 50 projektů. Kvalita byla většinou dobrá, i když zcela špičkových projektů jsem zaznamenal jen několik.

6. V jednotlivých panelech je zastoupeno mnoho odborníků napříč institucemi, jejichž týmy o podporu žádají. Jakým způsobem je zaručená jejich nestrannost při rozhodování o jednotlivých projektech? Je podle vás možné se i přes snahu o maximální objektivitu zcela oprostit od toho, aby hodnotitel podpořil projekty týmů nebo lidí, které osobně zná?

Členové panelu jsou důsledně vyloučeni z rozhodování o projektech, kde by mohli být ve střetu zájmů (v mém případě všechny projekty FN Motol a 2. LF UK). Jsou zcela odblokováni z elektronického přístupu k těmto projektům a v době, kdy o nich panel hovoří a rozhoduje, musí opustit místnost. Vzhledem k velikosti naší země samozřejmě subjektivní hodnocení některého projektu nelze vyloučit, ale jak již jsem zmínil, individuální hodnocení jednoho hodnotitele ovlivní celkový výsledek jen minimálně.

---

prof. MUDr. Michal Hrdlička, CSc., člen panelu P04 Neurovědy a duševní zdraví

1. Jak hodnocení probíhá? Dokáže podle vás současný systém zajistit objektivu při posuzování projektů a výběr těch opravdu nejkvalitnějších?

Systém hodnocení probíhá dvoukolově. V první fázi hodnocení hodnotí projekt nejprve dva zpravodajové a dva posuzovatelé z řad panelu, a na základě jejich sumarizovaného doporučení se rozhodne, které z projektů jsou natolik kvalitní, aby mohly být zaslány do vnější oponentury. Ve vnější oponentuře jsou povinně minimálně jeden český a jeden zahraniční oponent. Ve druhé fázi hodnocení hodnotí projekt, se znalostí oponentních posudků, všichni členové panelu s výjimkou těch, kteří jsou v definovaném konfliktu zájmů. Proces hodnocení probíhá v obou fázích elektronicky ještě před zasedáním panelu a na zasedáních jsou již prezentovány sumární výsledky hodnocení. Členové panelu tedy pracují na sobě nezávisle a elektronický systém jejich hodnocení podle definovaného algoritmu sumarizuje, a dle konečného skóre pak automaticky řadí projekty. Míra subjektivního faktoru je tímto procesem, domnívám se, minimalizována v rámci daných možností.

2. Co bývá nejčastěji příčinou neúspěchu a jakých chyb by se měli žadatelé vyvarovat?

Už při prvním čtení projektu bývá pro zkušeného hodnotitele zřejmé, zda projekt sestavil někdo, kdo má zkušenost s grantovými projekty, či nikoliv. Nezískal jsem zatím dojem, že by AZV vyřazovala projekty kvůli drobným formálním chybám, jako to dělávaly a dělávají některé jiné instituce. Nezkušenost některých žadatelů se však zásadně projevuje v tom, že mají sice dobrý záměr, ale nedokážou ho kvalitně metodologicky zpracovat. Často nejsou dobře formulovány hypotézy tak, aby byly testovatelné. Jinou chybou bývá, že nejsou dobře definovány výzkumný a kontrolní soubor, není zřejmé, jak byla stanovena jejich předpokládaná velikost a zda tato velikost má vypovídací hodnotu pro hypotézy, které mají být testovány. U některých projektů je dobře popsána jen část vyšetřovací procedury, ale stejně důležitá jiná část výzkumu je třeba shrnuta do dvou obecných vět. A mnoho aplikantů nevěnuje vůbec pozornost budoucí statistické analýze – z projektu není jasné, co chtějí porovnávat s čím a jaký typ výsledků vlastně chtějí získat.

3. Co naopak rozhoduje o úspěchu a přidělení podpory?

Domnívám se, že většina hodnotitelů v panelech určitě ocení, pokud se jedná o medicínsky závažné téma a z žádosti je zřejmý přínos úspěšného řešení projektu pro klinickou praxi. Připomeňme si, že AZV se sama definuje jako agentura pro podporu aplikovaného medicínského výzkumu. Pro základní výzkum jsou k dispozici jiné grantové agentury. A pak musí to závažné téma být kvalitně zpracováno, tak, aby hodnotitelé poznali, že navrhovatel přesně ví, jakou cestou se propracuje k žádaným výsledkům. Což obnáší i schopnost si uvědomit a popsat limity navrhovaného výzkumu – někteří navrhovatelé si stanovují nereálné množství výsledků a výstupů z projektu a de facto slibují nesplnitelné. To ale k přijetí projektu nijak nepomůže, panel to poměrně snadno odhalí a projekt to spíše poškodí.

4. Když posuzujete projekt, z jakého důvodu ho doporučíte k vyřazení či přijetí?

Nemyslím si, že by to šlo zobecnit do jedné či dvou vět. Každý projekt je jedinečný. Většina projektů má své jasné silné stránky, ale téměř každý projekt má nějaká slabší místa. A vždycky jde o to vážit opatrně na lékárnických vahách, co u konkrétního návrhu převažuje.

5. Kolik projektů jste v minulém kole posuzoval? Byla jejich kvalita hodně kolísavá, nebo vyrovnaná?

V prvním roce činnosti AZV jsem byl zpravodajem nebo posuzovatelem celkem 28 projektů. A v rámci celého panelu bylo posuzováno 74 aplikací. Shody na tom, které projekty jsou nižší kvality, se v první fázi dosáhlo poměrně snadno. Ale u projektů, jež postoupily do druhé fáze hodnocení, byla již kvalita dost vyrovnaná a rozhodování opravdu náročné.

6. V jednotlivých panelech je zastoupeno mnoho odborníků napříč institucemi, jejichž týmy o podporu žádají. Jakým způsobem je zaručená jejich nestrannost při rozhodování o jednotlivých projektech? Je podle vás možné se i přes snahu o maximální objektivitu zcela oprostit od toho, aby hodnotitel podpořil projekty týmů nebo lidí, které osobně zná?

To bude vždy problém naší malé země. AZV se to snaží systémově řešit několika opatřeními. Je přesně definován konflikt zájmů v panelu, a u projektů, kde jsem v konfliktu zájmů, se nejen nemohu účastnit hodnocení a diskuse o projektu, ale ani se k informacím o něm v elektronickém systému nedostanu. Já sám jako nejsilnější pojistku objektivity ale vidím povinnost, že každý projekt musí mít zahraničního oponenta. Aplikant nemá možnost ho nabízet nebo navrhovat, jako tomu bývalo v minulosti u některých grantových agentur. Stanovisko zahraničního oponenta má v závěrečném hodnocení panelu velmi silné postavení. A konečně třetí pojistkou je elektronické hodnocení projektů online ještě před samotnými zasedáními panelů, jak jsem to popsal v první odpovědi. To velmi zužuje prostor pro jakékoli lobbování za nějaký konkrétní projekt.

---

prof. MUDr. Jan Lebl, CSc., člen panelu P07 Věkově specifické skupiny chorob

1. Jak hodnocení probíhá? Dokáže podle vás současný systém zajistit objektivu při posuzování projektů a výběr těch opravdu nejkvalitnějších?

Ze všech systémů, se kterými jsem se dosud v ČR setkal, je podle mého názoru tento nejvíce objektivní. Žádný systém ale nemůže překonat handicap našeho „malého českého rybníčku“, kde v určitém oboru všichni znají všechny a občas se nevyhnou nutkání trochu pomoci nebo trochu uškodit.

2. Co bývá nejčastěji příčinou neúspěchu a jakých chyb by se měli žadatelé vyvarovat?

Formálních chyb bylo málo. Určitá část projektů byla nedostatečně promyšlená a obtížně realizovatelná. Takové byly právem vyřazeny v první fázi hodnocení. Ale potom ještě zůstalo ve hře dost srovnatelně kvalitních projektů. Mezi nimi už do jisté míry rozhodovala náhoda – např. vcelku náhodné rozhodnutí jednoho z hodnotitelů, zda udělí hodnocení A nebo B.

3. Co naopak rozhoduje o úspěchu a přidělení podpory?

Zejména kvalita týmu a dosavadní badatelská anamnéza. Ta samozřejmě také přispívá k vytvoření koncepčně zralého projektu.

4. Když posuzujete projekt, z jakého důvodu ho doporučíte k vyřazení či přijetí?

Důvodem k vyřazení projektu je malování „vzdušných zámků“, např. typu „vyšetříme 1500 pacientů s určitou diagnózou“, když přitom dané pracoviště v současné době takové pacienty nemá a není reálné, aby je za dobu řešení grantu vůbec mohlo získat.

5. Kolik projektů jste v minulém kole posuzoval? Byla jejich kvalita hodně kolísavá, nebo vyrovnaná?

Kromě projektů z vlastní fakulty se člen panelu v určité fázi podílí na hodnocení většiny projektů ve svém panelu. Jak už jsem uvedl výše, podstatná část projektů byla kvalitní a rozhodování bylo obtížné.

6. V jednotlivých panelech je zastoupeno mnoho odborníků napříč institucemi, jejichž týmy o podporu žádají. Jakým způsobem je zaručená jejich nestrannost při rozhodování o jednotlivých projektech? Je podle vás možné se i přes snahu o maximální objektivitu zcela oprostit od toho, aby hodnotitel podpořil projekty týmů nebo lidí, které osobně zná?

Svůj názor jsem už vyslovil v první odpovědi.