Komerční prezentace
Registrace uživatele

Přihlašte se k odběru informací, novinek, získejte přístup do diskuzního fóra.

Vesmír č. 10
Vesmír č. 10
Toto číslo vychází
2. 10. 2017
Novinky
Zdarma jedno celé číslo Vesmíru v pdf.
• Říjnové číslo Vesmíru
reklama

Diskuse: Slovo má Pavel Hobza

Pavel Hobza
Vesmír 79, 125, 2000/3
10. 4. 2009

Reakce na články "Slovo má Pavel Hobza" (Vesmír 79, 125, 2000/3) a V. Hořejší:"Můžeme měřit kvalitu vědecké práce?" (Vesmír 79, 83, 2000/2).

Nejprve bych chtěl zdůraznit, že s autory ZCELA SOUHLASÍM v nutnosti hodnocení vědeckých pracovníků, skupin a ústavů a s výraznou diferenciací jejich financovaní a platů.

Musím se ale ohradit proti dvěma věcem, které v obou článcích zazněly:
1. proti odkazům na tzv. "citační index českých chemiků", který byl publikován s článkem Dr. Hořejšího.
2. proti používání impact faktorů (IF) časopisů jako kriteria kvality jednotlivých prací v nich publikovaných

1. Tabulka citovanosti světových chemiků

Tato tabulka je bohužel velice zkreslující. V definici autora tohoto "díla" se píše, ze do této studie zahrnul pouze odkazy na práce publikované v časopisech spadajících v produktech ISI do škatulky "chemie" - nejsou v ní tedy citace na multidisciplinární časopisy (včetně Science a Nature!!!) a rovněž na "hraniční časopisy", které spadají už do sousední škatulky (např. biochemistry, physics, pharmacology atd.). Tabulka tedy výrazně zvýhodňuje "čisté chemiky", kteří nepracují na rozhraní oboru a naopak poškozuje chemiky, kteří bádají v hraničních oblastech a jejichž výstupy se uplatňují třeba ve fyzice nebo v biologii. V dnešní době, kdy se téměř každý chemik snaží i o aplikace svého výzkumu v sousedních oblastech je toto zkreslení obrovské. Jako ilustrativní příklad neobjektivnosti této tabulky bych si dovolil uvést Dr. Antonína Holého (ÚOCHB AVČR), který měl v oné citované tabulce pouze cca. 1000 citací za období 1980-1997, ovšem z kompletní citační analýzy ÚOCHB provedené v databázi ISI Web of Science vyplývá, že v období 1970-1999 měl zhruba 7700 citací. Tato zásadní diskrepance je způsobena tím, že značná část jeho prací byla publikována v časopisech biologického či lékařského charakteru, které v tabulce zahrnuty nebyly. Podobné zkreslení ovšem bude u celé řady dalších chemiků, a proto jsem přesvědčen o tom, ze by se na tuto tabulku už nikdy nemělo vážně odkazovat a činit z ní jakékoli závěry. Tabulka citovanosti českých chemiků (fyziků, biologů ...) by jistě byla velmi zajímavá a snad i užitečná, ale musela by být správně vytvořena - totiž kompletní citační analýzou vybraných osobností za určité časové období.

2. IF jako indikátor kvality publikace

O vhodnosti (respektive nevhodnosti) používání IF časopisu jako kriteria kvality publikované práce už byly popsány stohy papíru a protiargumenty jsou všeobecně známy. Především IF je určitým (ne zcela ideálním) hodnotícím kriteriem pro časopis, ovšem nemůže být kriteriem pro hodnocení jedné konkrétní práce v tom časopise publikované. Nedávno jsem se dočetl, že 95% vědeckých publikací není nikdy citováno - na IF se tedy průměrně podílí zhruba 5% článků (samozřejmě v citovanějších oborech a v lepších časopisech více). IF rozhodně nevyjadřuje "obtížnost publikování" v daném časopise (jak je uvedeno v citovaném článku Dr. Hobzy), ale vyjadřuje průměrnou míru ohlasu informací publikovaných v tomto časopise v následujících dvou letech (což závisí nejen na kvalitě práce ale i na sledovanosti a dostupnosti časopisu a ve značné míře i na "módnosti" dané tematiky). IF samozřejmě v průměru s kvalitou prací koreluje ale určitě ne přímo úměrně a už vůbec se nedá aplikovat na hodnocení malého vzorku prací (asi by nikoho nenapadlo např. vyvozovat z faktu, že Češi vypijí v průměru na jednoho obyvatele nejvíce piva na světě, závěr, že konkrétní pan Novák musí být nutně ochmelka - ale autoři obou článků prosazují stejně nesmyslný princip, totiž aplikaci průměrných hodnot na konkrétní případ!). Jedna konkrétní práce vJ. Am. Chem. Soc. totiž může být výrazně méně významná i méně citovaná než jiná konkrétní práce např. v Collect. Czech. Chem. Commun. (není výjimkou, že i v tomto časopise jsou práce se stovkami citačních ohlasů), i když v průměru je to samozřejmě naopak. Měřítkem "obtížnosti publikování" v daném časopise by mohl být spíše jeho tzv. "rejection rate", neboli podíl zamítnutých prací. Hodnoty IF také u některých časopisů značně kolísají a mají velké zpoždění (hodnotí kvalitu před 2-3 lety). Nebudu zde vypisovat všechny další zjevné nevýhody IF - raději se zkusím zamyslet nad tím, co by přinesla plošná aplikace IF (např. podle vzorce navrženého Dr. Hobzou v citovaném článku) pro hodnoceni vědeckých pracovníků.
Především by to nutně vedlo k tomu, že by se autoři museli rozhodovat, ve kterém časopise budou publikovat, pouze na základě IF a nikoli na základě vhodnosti tematiky pro daný časopis. Nemohli by si dovolit např. publikovat v nových časopisech (které mají samozřejmě po první 2-3 roky IF = 0), v národních i mezinárodních časopisech vydávaných v ČR (které by zanikly nebo se změnily v "odpadkové koše" na práce, které by se v jiných časopisech neuplatnily) ale často ani ve specializovaných časopisech, které obvykle mají mnohem nižší IF než časopisy obecnější. Vždy počátkem roku by autoři "číhali" na zveřejnění nových hodnot IF a i na základě drobných rozdílů by se rozhodovali, do kterého časopisu článek pošlou. Rovněž by to zřejmě vedlo k fragmentaci výsledků do množství krátkých prací popř. i k duplicitnímu publikování - aby se "kvantitou dohnala kvalita". Je toto opravdu stav, kterého chceme dosáhnout?
Podle mého názoru, jediným relativně kvalifikovaným kriteriem kvality práce vědeckého pracovníka je skutečný citační ohlas na jeho konkrétní publikované práce. I toto má samozřejmě určitá omezení, protože ne vždy musí fakt, že práce zůstala nepovšimnuta nutně znamenat, že byla nekvalitní a naopak někdy i vysloveně špatná práce může vyvolat značný ohlas (viz. např. negativní citace). Rovněž je třeba mít na zřeteli fakt, že někteří američtí a japonští vědci často z principu necitují relevantní práce z Evropy. Přes tato omezení je citační analýza asi "nejmenším zlem" a relativně nejobjektivnějším kriteriem. Za nejlepší, bych považoval prostý součet citací na práce daného pracovníka či týmu za určité časové období. Nemuselo by se v principu vůbec brát v úvahu, kolik publikací autor vyplodil a kde je publikoval, protože samozřejmě více prací v kvalitnějších a sledovanějších časopisech zvyšuje pravděpodobnost citace, ale pouze jejich souhrnný ohlas. Samozřejmě celkově v průměru nekonečně velkého vzorku prací by to zřejmě vyšlo analogicky jako použitím IF, ale pro konkrétní případ jednotlivého vědce, týmu či ústavu by to bylo rozhodně objektivnější (nebo chcete-li méně neobjektivní). Je samozřejmé, že porovnávat citační ohlas jednotlivých pracovníků či skupin by šlo pouze uvnitř (nikoli mezi) jednoho nepříliš širokého oboru, protože citační rozdíly mezi obory jsou často řádové. Rovněž by velmi záleželo na délce sledovaného období, protože delší období by výrazně znevýhodňovalo mladší vědce, kteří publikovali jen na konci tohoto období a tudíž jejich práce ještě nemohly "nasbírat" ohlas srovnatelný s vědci publikujícími po celé toto období (tento vliv by se dal zmírnit např. vztažením počtu citací na délku funkční období daného vědce). Pochopitelně by tato metoda byla pracnější (není nic snadnějšího než sčítat IF!) a musely by se vyloučit autocitace a shoda jmen (ovšem ani IF autocitace nevylučuje!!!), ale výrazně větší vypovídací hodnota takovéhoto hodnocení by rozhodně za tu námahu stála. Negativní vlivy této metody by byly určitě menší, protože by se autorům ponechala větší svoboda v rozhodování, ve kterém časopise chtějí publikovat, což vždy bylo významným rysem vědeckého publikování, a nezlikvidovalo by to časopisy vydávané v ČR, z nichž řada je poměrně kvalitních.

Příspěvky 1 - 1 z celkem 1
« první    < předchozí  ·  další >    poslední »