Komerční prezentace
Registrace uživatele

Přihlašte se k odběru informací, novinek, získejte přístup do diskuzního fóra.

Vesmír č. 10
Vesmír č. 10
Toto číslo vychází
2. 10. 2017
Novinky
Zdarma jedno celé číslo Vesmíru v pdf.
• Říjnové číslo Vesmíru
reklama

Diskuse: Můžeme měřit kvalitu vědecké práce?

Václav Hořejší
Vesmír 79, 83, 2000/2
10. 4. 2009

Můžeme měřit kvalitu vědecké práce

Jaroslav Šesták DrSc.
Nezkrácený a redakčně neupravený diskusní příspěvek Jaroslava Šestáka "Můžeme měřit kvalitu vědecké práce "
(diskuzní příspěvek k publikovanému žebříčku nejcitovanějších chemiků)
Jako vědečtí pracovníci si musíme především uvědomit jestli se chceme chovat spíše objektivně a pokusit se vyhodnocovat své výsledky jistou vědeckou metodou i když né zcela (technicky i profesně) dokonalou (scientometrie), nebo raději zůstávat v zajetí politické evaluace formou tradičních individuálních či kolektivních posudků, jejichž navyklá procedura jistě s sebou nese své určité objektivní zákonitosti. Je zřejmé, že výsledky vědecké práce mají trochu paradoxní charakter, tj., čím více se výsledky dávají v potaz vědecké veřejnosti, tím více si je každý snaží uchovat jako svoje vlastnictví. Pro vědu však nejsou veřejně dostupné informace soukromým vlastnictvím [1]. Asi největší ambicí vědců je předvést na veřejnosti takové výsledky, které jsou široce použitelné a respektované nejrůznějšími spolupracovníky, tj. ostatními odborníky, kteří jsou kvalifikováni je posoudit. Musíme si být vědomi i jinak extrémní situace nastolené v ostatních oborech lidské činnosti, které jsou striktně hájeny autorskými právy či patenty a kde naše hra s citacemi se musí zdát úsměvná.
Je známé, že v rámci asi 60 000 vědeckých časopisů se ročně publikuje cca milion článků z nichž plných 85% nikdo nikdy nečte a že pouhé 1% pak získává skoro polovinu všech citací [2] (velmi nerovnoměrně rozdělených na jednotlivé časopisy). Tento nepoměr je závažná citační informace jistě známá těm, kteří citační analyzu uvedli v život [3] , jistě nepříjemná těm, kteří se v těch 85% nacházejí. Je zřejmé, že jakkoliv navržený způsob citačního vyhodnocování najde své příznivce a odpůrce. Každý totiž přistupuje k posuzování s určitou dávkou subjektivity, která je přirozeně ovlivněnou jeho vlastní úspěšností a schopnosti popularizovat své výsledky, což platí bohužel v nezmenšené míře i pro jinak tak objektivní oblast jako je věda. Navíc se stává, že impact factor (IF) a citační index (SCI) jsou často přizpůsobovány (nechci říci zneužívány) těmi, co mohou rozhodovat o jejich praktickém dopadu v tom smyslu, že mohou upřednostňovat takovou jejich interpretaci, kterou zvýhodňují ten výpočet, který právě zvýhodňuje takového zpracovatele vůči jeho konkurenci.
Citační politika je ovlivněna citacemi vlastních prací (tzv. autocitace) a jen některé indexy se jim vyhýbají (tituly "Cited-only") [4, 5] . Je také známé, že objem autocitací se v průměrném časopisu (a pro původní práce) udává v rozmezíi 13-17 % [6] (a pokud hodnotím sám sebe téměř se stydím říci, že někdy dosahuje až poloviny). Vedle autocitací by citační index měl také zohledňovat věrohodnost citací, kriteria koperativních a individuálních citací [4] , atd., což však nejsou jediné sporné otázky. Objektivní citační analyza by vedle počtu citací měla také zachytit jeiich serioznost a použitelnost [1], oceňujíc tak kvalitu a úroveň citovaných prací stejně jako schopnost autora je příhodně použit.
Nicméně databáze ISI, citační analyza, CI a IF jsou důležitým indikátorem reakce vědecké veřejnosti a jakýmsi pokusem připravit výkladní skříň těch výsledků, které stojí za to analyzovat, protože se někdo někdy s nimi zabýval nebo se ně odvolával. Oborová poplatnost citačního indexu je pochopitelná, nelze ji jen znevažovat tím, že jde o módní záležitost stejně tak bagatelizovat roli spolupracovníků, když mnohé práce v oblasti biologie a fyziky elementárních částic dnes čítají desítky spoluautorů. Toto však nezbytně vede ke zkráceným citacím typu Novak a kol. a tím k situaci, kde autocitovatelnost je nejen nečitelná, ale zřejmě i přebujelá. Nicméně řada pracovišť, knihoven a organizací bere v potaz citační indexy všude tam, kde publikace článků je základním nástrojem práce zprostředkovávaným vědeckými časopisy a jistě neignorují ostatních vyhodnocovací kriteria kvality jako je schopnost přednášet, výuka, vynálezy a patenty, provozování administrativy a managementu nebo získání vědeckých poct, atd.
Jakkoliv okleštěné (parciální) ISI databáze jsou poplatné výběrem daného okruhu (časopisů), stejně jako specializované konkurenční databáze (fyzika elementárních částic) a jejich objektivní využitelnost je právě závislá na úrovni znalosti jejich "okrajových" podmínek vzniku. Selekce okruhu zainteresovanosti je pak nezbytně zatížena jistou subjektivitou toho, kdo výběr provádí, nicméně jeli okruh vymezen, stává se zdrojem užitečných informací aplikovatelných v nejrůznějších směrech, třeba i pro zhodnocení určitého kolektivu (jako je třeba redakční rada určitého časopisu, viz rozbor pro Thermochimica Acta uvedený v cit.[8] ). Následně je pak pochopitelné, že lze vytvořit žebříček nejcitovanějších chemiků [7], jehož význam však závisí na spolehlivém vymezení okruhu "chemie" (který je často anonymně definován jednoduchým kliknutím na příslušném okénku počítače s nápisem chemie) Současně musíme vzít na vědomí, že většina prací je mezioborových a je jejich zahrnutí či nezahrnutí by také mohlo vést na extrémní úroveň "všechno nebo nic".
To však neznamená, že budeme zatracovat citační databáze ISI či zdůrazňovat neužitečnosti scientometrie samé [3]. Ústavy AV ČR procházejí povinným hodnocením [9], kde právě bibliometrické údaje hrají svoji nezaměnitelnou roli a ředitelé ústavů tak musejí vycházet ze scientometrické analyzy vyhotovené co možná nejobjektivnějším způsobem. Jako příklad takového dlouhodobého zpracovávání dat mi dovolte uvést Sekci fyziky pevných látek, FzÚ AV ČR (pracoviště Cukrovarnická), kde se dokumentace [10] provádí už od roku 1970 (nejprve manuálně a od roku 1991 na základě CD databaze SCI) a která se úspěšně vypořádala (ve spolupráci s jednotlivými autory) s problémy odstraňování mechanických chyb (vznikajících na základě zkomolených citací, jmen a jejich duplicity), stejně jako se striktním vyloučením autocitací. Citační žebříček tohoto pracoviště je následující - jméno, celkový počet citací (počet citací za rok 1999): J. Šesták - 1449 (65), P. Středa - 1075 (34), J. Kočka - 923 (40), S. Krupička - 853 (67), V. Petříček - 802 (50), I. Bartoš - 758 (25), atd. (avšak ani jeden z uvedených autorů se neocitli v žádném z chemických ani fyzikálních žebříčků citovanosti). Odvozená ale důležitá informace je také citovanost jednotlivých publikací, např. Surface Sci. (I. Bartoš, 1981) - 398, kniha "Physik der Ferrite" (S. Krupička, 1973) 312, Thermochimica Acta (J. Šesták, 1971) - 294, kniha "Thermophysikal Properties of Solids" (J. Šesták, 1984) - 274, Solar Energy Mat. (M.Vaněček, J. Kočka, Z. Kožíšek atd.) - 221, JMMM (Z. Jirák, S. Krupička, Z. Šimša, 1985) - 182, Fyz. Rev. Lett. (P. Středa, J. Kučera, 1987) - 166, atd., odkud je zřejmé, že starší práce zlepšují citovanost stejně jako práce přehledového charakteru (knihy). Dalším významným kriteriem by byl citační rejstřík publikací jen od roku 1990, důležitým pro rozvoj jak nových odvětví tak mladých autorů, kde např. P. Šmilauer vykazuje pro roce 1999 plných 99 odkazů (ukazující, že právě deset let je optimální hranice pro maximální ohlas). Tento přehled lze jakkoliv rozšířit, např. i pro domovské pracoviště Slovanka FzÚ AV ČR, kde P. Hořava vykazuje jen za rok 1999 plných 282 citací a kde vůbec nejvyšší citovanost ve FzÚ má B. Velický s 1859 odkazy (a to jen do roku 1997). Tak lze postupně pokračovat dále zahrnujíc počet článků a jejich průměrnou citovanost, atd, atd. Je zřejmé, že podobný přehled lze získat ve všech institucích a tak vytvořit objektivnější pohled na ústavy, obory či jednotlivce, zejména když od června 2000 má AV ČR grant přímého (on-line) napojení na SCI (databáze ISI) a možnost jejího různorodého ztvárnění. Bude to jistě výzva připravit nejrůznější žebříčky v nejrůznějších oborech.
Závěrem bych chtěl říci, že scientometrické údaje nejsou škodlivé [1], pokud se využívají střízlivě. Databáze ISI bude jistě užitečná i když může vykazovat až čtvrtinovou chybu, ale každopádně pomůže rozlišit mezi citovaností v desítkách či stovkách odkazů. No druhé straně tato citovanost není v přímé souvislosti s impakt faktorem časopisu ale spíše odráží úvahu autora kde publikovat a tak najít vhodně vybraný okruhu časopisů, nabízejících obdobnou tématiku a možnost seberealizace. Je zřejmé, že citační ohlas je a bude námětem řady kontraverzních článků, ale ve stále pokračujícím exponenciálním nárůstu publikací se scientometrie stane každodenním nástrojem publikační analyzy a tak se budeme s ní muset smířit stejně tak, jako jsme se smířili s počítači, než se staly nástrojem každodenního použití.

Reference:
1. J. Šesták, "Is scientometry harmful? - What we can expect from bibliometric researching" ICTAC News 32/1 (2000) 11 (http://members.home.net/ICTACNews/)
2. J. Fiala, J. Šesták "Data bases in material science: contemporary state and future", J. Therm. Anal. Cal. (v tisku, 55/2, June 2000)
3. Garfield E. "Is the citation analysis a legitimate tool? " Scientometrics 1(1979) 359
4. G. Polly, B. Hajtman, J.I. Nagy, I. Ruff "Methodological problems in ranking scientists by citation analysis" Scientometrics 3 (1981) 135
5. P. Harmanec "O čem svědčí citivanost prací", Vesmir 78 (1999) 365
ž. P. Mestecky "Impact factors - handle with care" Materials Todays 1/1(1998)8
7. V. Hořejší, "Můžeme měřit kvalitu vědecké práce " Vesmír 79 (2000)83
8. J. Šesták, "Information content, scientific profile and the role of individuals in scientific journals" ICTAC News 31/1 (1999) 52 (http://members.home.net/ICTACNews/)
9. R. Koenig "Eastern European Research Gamble", Science 283 (1999) 23
10. RNDr. M. Popová, CSc (vedoucí dokumentace), soukromé sdělení
10. 4. 2009

Reakce na články "Slovo má Pavel Hobza" (Vesmír 79, 125, 2000/3) a V. Hořejší:"Můžeme měřit kvalitu vědecké práce?" (Vesmír 79, 83, 2000/2).

Nejprve bych chtěl zdůraznit, že s autory ZCELA SOUHLASÍM v nutnosti hodnocení vědeckých pracovníků, skupin a ústavů a s výraznou diferenciací jejich financovaní a platů.

Musím se ale ohradit proti dvěma věcem, které v obou článcích zazněly:
1. proti odkazům na tzv. "citační index českých chemiků", který byl publikován s článkem Dr. Hořejšího.
2. proti používání impact faktorů (IF) časopisů jako kriteria kvality jednotlivých prací v nich publikovaných

1. Tabulka citovanosti světových chemiků

Tato tabulka je bohužel velice zkreslující. V definici autora tohoto "díla" se píše, ze do této studie zahrnul pouze odkazy na práce publikované v časopisech spadajících v produktech ISI do škatulky "chemie" - nejsou v ní tedy citace na multidisciplinární časopisy (včetně Science a Nature!!!) a rovněž na "hraniční časopisy", které spadají už do sousední škatulky (např. biochemistry, physics, pharmacology atd.). Tabulka tedy výrazně zvýhodňuje "čisté chemiky", kteří nepracují na rozhraní oboru a naopak poškozuje chemiky, kteří bádají v hraničních oblastech a jejichž výstupy se uplatňují třeba ve fyzice nebo v biologii. V dnešní době, kdy se téměř každý chemik snaží i o aplikace svého výzkumu v sousedních oblastech je toto zkreslení obrovské. Jako ilustrativní příklad neobjektivnosti této tabulky bych si dovolil uvést Dr. Antonína Holého (ÚOCHB AVČR), který měl v oné citované tabulce pouze cca. 1000 citací za období 1980-1997, ovšem z kompletní citační analýzy ÚOCHB provedené v databázi ISI Web of Science vyplývá, že v období 1970-1999 měl zhruba 7700 citací. Tato zásadní diskrepance je způsobena tím, že značná část jeho prací byla publikována v časopisech biologického či lékařského charakteru, které v tabulce zahrnuty nebyly. Podobné zkreslení ovšem bude u celé řady dalších chemiků, a proto jsem přesvědčen o tom, ze by se na tuto tabulku už nikdy nemělo vážně odkazovat a činit z ní jakékoli závěry. Tabulka citovanosti českých chemiků (fyziků, biologů ...) by jistě byla velmi zajímavá a snad i užitečná, ale musela by být správně vytvořena - totiž kompletní citační analýzou vybraných osobností za určité časové období.

2. IF jako indikátor kvality publikace

O vhodnosti (respektive nevhodnosti) používání IF časopisu jako kriteria kvality publikované práce už byly popsány stohy papíru a protiargumenty jsou všeobecně známy. Především IF je určitým (ne zcela ideálním) hodnotícím kriteriem pro časopis, ovšem nemůže být kriteriem pro hodnocení jedné konkrétní práce v tom časopise publikované. Nedávno jsem se dočetl, že 95% vědeckých publikací není nikdy citováno - na IF se tedy průměrně podílí zhruba 5% článků (samozřejmě v citovanějších oborech a v lepších časopisech více). IF rozhodně nevyjadřuje "obtížnost publikování" v daném časopise (jak je uvedeno v citovaném článku Dr. Hobzy), ale vyjadřuje průměrnou míru ohlasu informací publikovaných v tomto časopise v následujících dvou letech (což závisí nejen na kvalitě práce ale i na sledovanosti a dostupnosti časopisu a ve značné míře i na "módnosti" dané tematiky). IF samozřejmě v průměru s kvalitou prací koreluje ale určitě ne přímo úměrně a už vůbec se nedá aplikovat na hodnocení malého vzorku prací (asi by nikoho nenapadlo např. vyvozovat z faktu, že Češi vypijí v průměru na jednoho obyvatele nejvíce piva na světě, závěr, že konkrétní pan Novák musí být nutně ochmelka - ale autoři obou článků prosazují stejně nesmyslný princip, totiž aplikaci průměrných hodnot na konkrétní případ!). Jedna konkrétní práce vJ. Am. Chem. Soc. totiž může být výrazně méně významná i méně citovaná než jiná konkrétní práce např. v Collect. Czech. Chem. Commun. (není výjimkou, že i v tomto časopise jsou práce se stovkami citačních ohlasů), i když v průměru je to samozřejmě naopak. Měřítkem "obtížnosti publikování" v daném časopise by mohl být spíše jeho tzv. "rejection rate", neboli podíl zamítnutých prací. Hodnoty IF také u některých časopisů značně kolísají a mají velké zpoždění (hodnotí kvalitu před 2-3 lety). Nebudu zde vypisovat všechny další zjevné nevýhody IF - raději se zkusím zamyslet nad tím, co by přinesla plošná aplikace IF (např. podle vzorce navrženého Dr. Hobzou v citovaném článku) pro hodnoceni vědeckých pracovníků.
Především by to nutně vedlo k tomu, že by se autoři museli rozhodovat, ve kterém časopise budou publikovat, pouze na základě IF a nikoli na základě vhodnosti tematiky pro daný časopis. Nemohli by si dovolit např. publikovat v nových časopisech (které mají samozřejmě po první 2-3 roky IF = 0), v národních i mezinárodních časopisech vydávaných v ČR (které by zanikly nebo se změnily v "odpadkové koše" na práce, které by se v jiných časopisech neuplatnily) ale často ani ve specializovaných časopisech, které obvykle mají mnohem nižší IF než časopisy obecnější. Vždy počátkem roku by autoři "číhali" na zveřejnění nových hodnot IF a i na základě drobných rozdílů by se rozhodovali, do kterého časopisu článek pošlou. Rovněž by to zřejmě vedlo k fragmentaci výsledků do množství krátkých prací popř. i k duplicitnímu publikování - aby se "kvantitou dohnala kvalita". Je toto opravdu stav, kterého chceme dosáhnout?
Podle mého názoru, jediným relativně kvalifikovaným kriteriem kvality práce vědeckého pracovníka je skutečný citační ohlas na jeho konkrétní publikované práce. I toto má samozřejmě určitá omezení, protože ne vždy musí fakt, že práce zůstala nepovšimnuta nutně znamenat, že byla nekvalitní a naopak někdy i vysloveně špatná práce může vyvolat značný ohlas (viz. např. negativní citace). Rovněž je třeba mít na zřeteli fakt, že někteří američtí a japonští vědci často z principu necitují relevantní práce z Evropy. Přes tato omezení je citační analýza asi "nejmenším zlem" a relativně nejobjektivnějším kriteriem. Za nejlepší, bych považoval prostý součet citací na práce daného pracovníka či týmu za určité časové období. Nemuselo by se v principu vůbec brát v úvahu, kolik publikací autor vyplodil a kde je publikoval, protože samozřejmě více prací v kvalitnějších a sledovanějších časopisech zvyšuje pravděpodobnost citace, ale pouze jejich souhrnný ohlas. Samozřejmě celkově v průměru nekonečně velkého vzorku prací by to zřejmě vyšlo analogicky jako použitím IF, ale pro konkrétní případ jednotlivého vědce, týmu či ústavu by to bylo rozhodně objektivnější (nebo chcete-li méně neobjektivní). Je samozřejmé, že porovnávat citační ohlas jednotlivých pracovníků či skupin by šlo pouze uvnitř (nikoli mezi) jednoho nepříliš širokého oboru, protože citační rozdíly mezi obory jsou často řádové. Rovněž by velmi záleželo na délce sledovaného období, protože delší období by výrazně znevýhodňovalo mladší vědce, kteří publikovali jen na konci tohoto období a tudíž jejich práce ještě nemohly "nasbírat" ohlas srovnatelný s vědci publikujícími po celé toto období (tento vliv by se dal zmírnit např. vztažením počtu citací na délku funkční období daného vědce). Pochopitelně by tato metoda byla pracnější (není nic snadnějšího než sčítat IF!) a musely by se vyloučit autocitace a shoda jmen (ovšem ani IF autocitace nevylučuje!!!), ale výrazně větší vypovídací hodnota takovéhoto hodnocení by rozhodně za tu námahu stála. Negativní vlivy této metody by byly určitě menší, protože by se autorům ponechala větší svoboda v rozhodování, ve kterém časopise chtějí publikovat, což vždy bylo významným rysem vědeckého publikování, a nezlikvidovalo by to časopisy vydávané v ČR, z nichž řada je poměrně kvalitních.
Příspěvky 1 - 2 z celkem 2
« první    < předchozí  ·  další >    poslední »