Zásady hodnocení návrhů výzkumných záměrů (VZ)

  1. Předmětem hodnocení je návrh VZ

Předmětem hodnocení není primárně hodnocení instituce, resp. pracoviště či řešitelského týmu a jejich charakteristiky a výsledky – tyto aspekty jsou součástí hodnocení způsobilosti a předpokladů uchazeče k řešení VZ a záruk dosažení deklarovaných cílů a výsledků.

  1. Hodnocení se provádí nezávisle na uchazeči

Není přípustné ze strany uchazeče ovlivňovat proces hodnocení a předkládat, resp. provádět změny v návrhu VZ (dopracování nebo přepracování VZ, slučování VZ apod.) s výjimkou změn uvedených v § 28 odst. 5 zákona č 130/2002 Sb. Meziresortní hodnotící komise v otázkách hodnocení nevstupují do kontaktu se zástupci uchazeče, resp. vykonavatele ani s členy řešitelského týmu.

  1. Pro hodnocení v různých meziresortních hodnotících komisích platí stejná pravidla

Hodnocení ve všech meziresortních hodnotících komisích se provádí podle stejných pravidel a stejného algoritmu na základě stejných kritérií a ukazatelů. Výstupem z hodnocení meziresortní hodnotící komisí je (po formální i věcně obsahové stránce) jednotný protokol, který rezultuje v doporučení pro poskytovatele poskytnout nebo neposkytnout institucionální podporu a v jaké výši.

  1. Podkladem pro hodnocení jsou posudky oponentů

Ke každému návrhu VZ stanoví meziresortní hodnotící komise 3 oponenty, z nichž zpravidla nejméně jeden je zahraniční. Oponentní posudek má formu formuláře, který obsahuje škálu a slovní komentář k jednotlivým kritériím hodnocení. Kritéria hodnocení jsou implicitně obsažena v legislativě a vyhlášení. Na základě dohody jednotlivých poskytovatelů jsou z důvodu přenositelnosti oponentní posudky používané jednotlivými poskytovateli formálně a věcně jednotné.

  1. Metody hodnocení návrhu VZ

Při hodnocení se uplatňují metody škálování, kvantifikace a slovních výpovědí/komentářů s využitím matematických metod pro zpracování a hodnocení dat, které umožní vzájemné srovnání posuzovaných návrhů VZ.

  1. Úkoly meziresortní hodnotící komise při hodnocení návrhu VZ

Meziresortní hodnotící komise

- posuzuje splnění podmínek a charakteristik VZ, které jsou zákonem č. 130/2002 Sb. a vyhlášením stanoveny jako podmínky/charakteristiky nutné pro poskytnutí institucionální podpory,

- vyhodnocuje oponentní posudky,

- komplexně  posuzuje návrh VZ v souvislostech a kontextu  souboru  komisí hodnocených návrhů VZ,

- posuzuje položkovou strukturu a výši uchazečem navržených uznaných nákladů a inst. podpory v relacích s cíli a harmonogramem řešení, personálním zabezpečením a prováděnými činnostmi, a to na principu věcného uznávání navržených nákladů.

  1. Způsob práce meziresortní hodnotící komise

Komise pracují systémem zpravodajů, kteří mají garanci a osobní odpovědnost za

- podrobnou znalost návrhu VZ,

- přípravu podkladů pro jednání meziresortní hodnotící komise,

- přípravu a odůvodnění návrhů a stanovisek pro rozhodování meziresortní hodnotící komise.

Ve věcech hodnocení návrhu VZ rozhoduje komise, a to kolektivně na principu většinového veřejného hlasování v souladu s nařízením vlády č. 462/2002 Sb., statutem a jednacím řádem.

8.      Způsob jednání meziresortní hodnotící komise

Způsob jednání upravuje statut a jednací řád. Jednání meziresortní hodnotící komise jsou neveřejná a uplatňují se při nich principy odbornosti, zachovávání mlčenlivosti, nepodjatosti, nezaujatosti a objektivity. Rozsah a termín poskytnutí informací, které může meziresortní hodnotící komise sdělovat třetím osobám, stanoví zákon č. 130/2002 Sb.

  1. Rozhodnutí o poskytnutí podpory

O poskytnutí institucionální podpory rozhoduje poskytovatel, jemuž byl návrh VZ předložen. Podkladem pro rozhodnutí poskytovatele je hodnocení návrhu VZ v meziresortní hodnotící komisi, poskytovatel může rozhodnout v rozporu s doporučením meziresortní hodnotící komise, pokud rozhodnutí písemně zdůvodní (§ 21 odst. 7 zákona č. 130/2002 Sb.).

  1. Zveřejnění výsledků hodnocení návrhů VZ

Po ukončení hodnocení poskytovatel výsledky hodnocení zveřejní, včetně procedury (zásad a algoritmu) hodnocení.


Způsob a postup hodnocení návrhu VZ

 

Hodnocení návrhů VZ sestává ze 4 částí:

 

 

provádí

max. bodů

Část 1. Splnění podmínek a charakteristik VZ nutných pro poskytnutí institucionální podpory

K

0

Část 2. Oponentní posudky a jejich vyhodnocení

 

 

                Část 2.1  Transformace oponentské škály na číselné hodnoty

S

300

                Část 2.2  Vyhodnocení oponentních posudků

 

100

                               A. Relace r mezi dílčími kritérii (1.i) a souhrnným stanoviskem oponenta

S

(0)

                               B. Míra s shody oponentních posudků v hodnocení podle dílčích kritérií

S

(30)

                               C. Relace v mezi škálou a slovním komentářem oponenta k dílčím kritériím

K

(25)

                               D. Vyváženost i návrhu VZ

S

(45)

Část 3. Posouzení návrhu VZ meziresortní hodnotící komisí

K

100

                               A. Přínos řešení VZ

K

(25)

                               B. Připravenost k řešení VZ

K

(25)

                               C. Šance uspět

K

(25)

                               D. Pravděpodobnost uspokojení potřeb

K

(25)

Část 4. Posouzení navržených uznaných nákladů a institucionální podpory

K

0

Celkem max.

 

500

Legenda:          K         meziresortní hodnotící komise

S          sekretariát meziresortní hodnotící komise

Bodové skóre uvedené v závorce jsou maximální dílčí bodové hodnoty v příslušné části hodnocení.

 

 

Část 1. Splnění podmínek a charakteristik VZ nutných pro poskytnutí institucionální podpory

Vyhodnocení se provádí nezávisle na oponentních posudcích (část 2), na posouzení meziresortní hodnotící komisí (část 3) a na posouzení struktury a výše uznaných nákladů a institucionální podpory (část 4). Vyhodnocení provádí meziresortní hodnotící komise.

Část 1 není kvantifikovaná; sleduje, zda jsou splněny podmínky a charakteristiky VZ (stanovené legislativou a ve vyhlášení) nutné pro poskytnutí podpory na škále ANO,  NE; při užití NE musí protokol obsahovat písemné zdůvodnění.

 

 

Podmínka/Charakteristika

1

Předmětem je základní nebo aplikovaný výzkum (s vyloučením průmyslového) a případná související infrastruktura

2

Předmět VZ je z hlavní výzkumné činnosti uchazeče

3

Doba řešení je v rozmezí 5-7 let

4

VZ má věcně ucelený charakter, není tvořen separátními, disjunktními a vzájemně nesouvisejícími výzkumnými činnostmi

5a

Pracovní kapacita řešitelského týmu (D1+D2) je alespoň 10 přepočtených úvazků

5b

Pracovní kapacita řešitelského týmu (D1+D2) je z intervalu <5, 10) přepočtených pracovních úvazků a existují objektivní důvody, proč není splněna podmínka 5a

6

Pracovní kapacita každého výzk. pracovníka (D1) je alespoň 50 % úvazku

 

 

Poznámky:

1 – ANO se použije v případě, že je zahrnut pouze základní nebo aplikovaný neprůmyslový výzkum a případná související infrastruktura, NE se použije v případě, že je zahrnut i průmyslový výzkum nebo vývoj či jiné činnosti, které nemají charakter výzkumu a vývoje či související infrastruktury

2 – vyhodnocují se části C1. a C3. návrhu VZ ve vztahu k části B1.

5b – v případě ANO se v protokolu specifikují objektivní důvody, proč není splněna podmínka 5a

 

Dílčí závěr části 1:

Vyhodnotí se pravdivostní hodnota logické formule

(p1) A (p2) A (p3) A (p4) A [(p5a) NEBO (p5b)] A (p6) = p.

Pro poskytnutí institucionální podpory musí být získaná hodnota p = PRAVDA.

 

 

Část 2. Oponentní posudky a jejich vyhodnocení

 

Část 2.1  Transformace oponentské škály na číselné hodnoty

Pro hodnocení návrhu VZ oponentem (na škále A až E a slovní komentář) se užívají tato kritéria:

1.1.  Očekávaný přínos výzkumného záměru

1.2a. Vědecký potenciál uchazeče/vykonavatele

1.2b. Mezinárodní spolupráce

1.3a. Strategie a metody řešení výzkumného záměru

1.3b. Řešitelský tým

1.3c. Infrastruktura

1.3d. Časový harmonogram

1.3e. Finanční zabezpečení

2.      Souhrnné stanovisko oponenta

 

Transformaci škálového hodnocení dílčích kritérií (1.i) obsaženého v posudku oponenta na číselné hodnoty provádí sekretariát meziresortní hodnotící komise ryze matematickými metodami podle následující transformační tabulky.

 

Transformační tabulka

 

1.1.

1.2a

1.2b.

1.3a.

1.3b.

1.3c.

1.3d.

1.3e.

Součet

A

18

17

15

9

18

9

6

8

100

A/B

16,2

15,3

13,5

8,1

16,2

8,1

5,4

7,2

90

B

14,4

13,6

12

7,2

14,4

7,2

4,8

6,4

80

B/C

11,7

11,05

9,75

5,85

11,7

5,85

3,9

5,2

65

C

9

8,5

7,5

4,5

9

4,5

3

4

50

C/D

6,3

5,95

5,23

3,15

6,3

3,15

2,1

2,8

35

D

3,6

3,4

3

1,8

3,6

1,8

1,2

1,6

20

D/E

1,8

1,7

1,5

0,9

1,8

0,9

0,6

0,8

10

E

0

0

0

0

0

0

0

0

0

Poznámka:

1.      Číselná hodnota pro A/B se použije v případě, že v posudku oponenta je uvedeno A/B, A – , B +, nebo jsou uvedeny obě hodnoty A i B (analogicky pro ostatní případy B/C, C/D, D/E).

2.      V případě neúplného posudku oponenta se využije postup popsaný v části 2.2.B.

 

 

Dílčí závěr z části 2.1:

Součet číselných hodnot získaných transformací tří oponentních posudků podle výše uvedené tabulky. Maximální možné bodové skóre je 300 bodů.

 

 

 

Část 2.2  Vyhodnocení oponentních posudků

 

A. Relace r mezi dílčími kritérii (1.i) a souhrnným stanoviskem (2) oponenta

Parametr r vyjadřuje relaci mezi dílčími kritérii hodnocení a souhrnným stanoviskem oponenta ve vztahu k váze jednotlivých dílčích kritérií stanovené v transformační tabulce v části 2.1. Vypočítá se jako podíl součtu číselných hodnot získaných transformací oponentního posudku a souhrnného stanoviska vyjádřeného jako ideální součet číselných hodnot dílčích kritérií. Ideální součty pro jednotlivé hladiny souhrnného stanoviska oponenta jsou uvedeny ve sloupci „Součet“ transformační tabulky v části 2.1. Výpočet provádí sekretariát meziresortní hodnotící komise.

 

Příklad:

Oponent 1

1.1.

1.2a

1.2b.

1.3a.

1.3b.

1.3c.

1.3d.

1.3e.

Součet

2.

Škála

B

A

A

B

B

C

A

B

---

B

Body

14,4

17

15

7,2

14,4

4,5

6

6,4

84,9

r=84,9/80

 

Dílčí závěr části 2.2.A:

Parametr r relativizuje souhrnné stanovisko oponenta vzhledem k váze jednotlivých dílčích kritérií (1.i) podle transformační tabulky a nezahrnuje se do bodového skóre.

 

B. Míra s shody oponentních posudků v hodnocení podle dílčích kritérií (1.i)

Parametr s kvantifikuje shodu, resp. rozdíly v hodnocení návrhu VZ podle dílčích kritérií (1.i) jednotlivými oponenty. Vypočítá se podle vzorce

s = (8 – součet rozdílů hladin)/8.

Výpočet provádí sekretariát meziresortní hodnotící komise.

 

Příklad:

 

1.1.

1.2a

1.2b.

1.3a.

1.3b.

1.3c.

1.3d.

1.3e.

Oponent 1

A

B

A

B

C

A

A

A

Oponent 2

A

C

A

A

C

A

B

A

Oponent 3

A

B

A

C

B

A

B

B

s

1

0,75

1

0,5

0,75

1

0,75

0,75

 

Příklad výpočtu parametru s (červeně jsou uvedeny rozdíly hladin)

  pro hledisko 1.2a.                                                    pro hledisko 1.3a.

            B                                                                                B

     1           0                                                                    1           1

C         1          B                                                        A         2          C

s = (8 – 2)/8 = 0,75                                                   s = (8 – 4)/8 = 0,5

 

 

 

 

Dílčí závěr části 2.2.B:

Součet číselných hodnot pro každé jednotlivé dílčí kritérium (1.i) se vynásobí příslušným parametrem s, získané hodnoty se sečtou a vydělí 300. Vypočítané číslo S se vynásobí 30. Maximální možné bodové skóre je 30 bodů.

 

 

C. Relace v mezi škálou a slovním komentářem oponenta k dílčím kritériím (1.i)

Koeficient v kvantifikuje soulad mezi oponentem stanovenou škálou a uvedeným slovním komentářem. Koeficient stanoví meziresortní hodnotící komise pro každý oponentní posudek a každé dílčí hledisko (1.i). Koeficient v nabývá hodnot {0,8; 1,0; 1,2} podle těchto pravidel:

v = 1,0            přiřazená hladina {A, …, E} a slovní komentář si odpovídají

v = 0,8             přiřazená hladina {A, …, D} je nadhodnocená vzhledem ke slovnímu komentáři

v = 1,2             přiřazená hladina {B, …, E} je podhodnocená vzhledem ke slovnímu komentáři

 

Postup v případě neúplného oponentního posudku

1) Není-li v oponentním posudku zaškrtnutá hladina na škále, zrekonstruuje ji zpravodaj na základě oponentem uvedeného slovního komentáře a za údaj uvede písmeno z. Koeficient v je v tomto případě roven 1.

2) Jestliže oponent některé dílčí kritérium neposuzuje a uvede, že se necítí být kompetentní se vyjádřit, doplní se škálová hladina totožná se škálou souhrnného vyjádření a za údaj se uvede písmeno n. Není-li v oponentním posudku uvedena ani souhrnná škálová hladina, doplní se ze škály E  za údaj uvede písmeno n. Koeficient v je v těchto případech roven 1

3) Jestliže oponent některé dílčí kritérium neposuzuje s odůvodněním, že v návrhu VZ není dostatek informací, uvede se údaj E a za údaj uvede písmeno z. Koeficient v je v tomto případě roven 1.

4) Jestliže oponent k některému dílčímu kritériu neuvede slovní komentář, koeficient v je roven 0,8.

 

Dílčí závěr z části 2.2.C:

Číselná hodnota pro každé dílčí kritérium (1.i) se vynásobí příslušným koeficientem v, získané hodnoty se sečtou a vydělí 300. Vypočítané číslo V se vynásobí 25. Maximální možné bodové skóre je 25 bodů.

 

 

D. Vyváženost i návrhu VZ

Parametr i kvantifikuje (na základě hodnocení provedeného oponentem) relaci mezi cíli a předpoklady k řešení na straně jedné a prostředky k jejich dosažení na straně druhé. Vypočítá se jako součin součtu číselných hodnot v dílčích kritériích 1.1, 1.2a., 1.2b. a součtu číselných hodnot v dílčích kritériích 1.3a. až 1.3e. Tento součin se dělí číslem 2500.

 

Dílčí závěr z části 2.2.D:

Parametr i vypočítaný pro každý jednotlivý oponentní posudek se násobí číslem 15 a výsledné hodnoty se sečtou. Maximální možné bodové skóre je 45 bodů.

Maximální možné bodové skóre v části 2.2 je 100 bodů.

 

 

 

 

 

Část 3. Posouzení návrhu VZ meziresortní hodnotící komisí

Podkladem pro posouzení je návrh VZ a zpracované oponentní posudky. Posouzení se zabývá analýzou výchozího stavu poznání, dopadu řešení, předpokladů k řešení a příležitostí k řešení navrhovaného VZ. Pro účely hodnocení se těmito pojmy rozumí:

výchozím stavem poznání (a) – aktuální úroveň poznání (z mezinárodního hlediska) v oblasti, která je předmětem řešení VZ, míra otevřenosti poznatkové základny, dosavadní podíl uchazeče/vykonavatele na rozvoji oboru a rozšiřování poznatkové základny (specifikováno zejména v částech C2., C4., B2., B3., B4 textové části návrhu VZ a v posudku oponenta),

dopadem řešení VZ (b) – potenciální příspěvek k rozvoji v poznání (u aplikovaného výzkumu zejména inovační potenciál a využitelnost výsledků) v souvislosti se způsobem uchopení výzkumného tématu (strategie a metody řešení, komplexnost, originalita řešení) a aktuálností řešení dané problematiky z hlediska časového a teritoriálního (specifikováno zejména v částech C5., C6., C8. textové části návrhu VZ a v posudku oponenta),

předpoklady k řešení VZ (c) – kvalifikační a věková struktura řešitelského týmu, jeho pracovní kapacita, jeho výzkumný potenciál daný počtem relevantních výsledků vztažených k přečteným pracovním úvazkům výzkumných zaměstnanců D1. a vybudovaná infrastruktura (specifikováno zejména v částech D, E textové části návrhu VZ a v posudku oponenta),

příležitostí (d) – obsazenost a otevřenost výzkumného prostoru v oblasti, která je předmětem řešení VZ z hlediska národního a mezinárodního (dáno souborem hodnocených návrhů VZ a sítí pracovišť zabývajících se stejnou/obdobnou tématikou).

 

Vzájemná souvislost vybraných dvojic výše uvedených aspektů návrhu VZ charakterizuje následující parametry návrhu VZ:

 

A.  Přínos řešení VZ

Přínos řešení VZ je výsledkem vyhodnocení dopadu řešení VZ na stav úrovně poznání (u aplikovaného výzkumu zejména inovační potenciál a využitelnost výsledků) vůči výchozímu stavu poznání.

 

B. Připravenost k řešení VZ

Připravenost k řešení VZ poměřuje, zda předpoklady k řešení, které má uchazeč/vykonavatel vytvořeny, odpovídají výchozímu stavu poznání a umožňují ho překonat.

 

C. Šance uspět

Šance uspět vypovídá o pravděpodobnosti dosažení cílů a výsledků v závislosti na předpokladech k řešení a příležitostech (v konkurenci s jinými pracovišti).

 

D. Pravděpodobnost uspokojení potřeb

Dopad řešení VZ v závislosti na příležitostech vypovídá o pravděpodobnost uspokojení potřeb.

 

 

 

 

 

Parametry A. Přínos řešení,  B. Připravenost k řešení, C. Šance uspět a D. Pravděpodobnost uspokojení potřeb jsou vyjádřeny souřadnicemi A (ab), B (ac), C (cd), D (db) a doplněny slovním vyjádřením v souhrnném komentáři k části 3.   

 

 

Dílčí závěr z části 3:

Souřadnice jednotlivých aspektů A. až D se vynásobí a součiny se sečtou. Maximální možné bodové skóre je 100 bodů.

 

 

 

Část 4. Posouzení navržených uznaných nákladů a institucionální podpory

Meziresortní hodnotící komise posoudí položkovou strukturu a výši uchazečem navržených uznaných nákladů a institucionální podpory, a to na principu věcného uznávání navržených nákladů. Uchazečem navržené uznané náklady a institucionální podpora se posuzují z hlediska opodstatněnosti (tj. zda náklady zahrnuté v příslušné položce jsou nutné k řešení VZ, resp. s řešením souvisejí a jsou zdůvodněné, resp. zdůvodnitelné), z hlediska efektivnosti, hospodárnosti a dobrých mravů (tj. zda navrhovaná výše nákladů v příslušné položce je adekvátní účelu nebo výkonům a zda není nadhodnocená, resp. podhodnocená a odpovídá cenové hladině nebo zvyklostem) a z hlediska časového (tj. zda rozložení nákladů v čase odpovídá harmonogramu prováděných činností).

 

Dílčí závěr z části 4:

Doporučená položková struktura a výše uznaných nákladů a institucionální podpory na řešení VZ a jejich zdůvodnění v případě, že se doporučení meziresortní hodnotící komise liší od návrhu předloženého uchazečem. Výsledek posouzení uznaných nákladů se nezahrnuje do bodového skóre.