– Jo lågare nivå ein måler på, jo mindre eigna er publiseringsindikatoren, sa professor Øyvind Østerud då han kom til UiB for å snakke om evalueringa av tellekantsystemet. Foto: Ida Bergstrøm og Colourbox
– Jo lågare nivå ein måler på, jo mindre eigna er publiseringsindikatoren, sa professor Øyvind Østerud då han kom til UiB for å snakke om evalueringa av tellekantsystemet. Foto: Ida Bergstrøm og Colourbox

Måling utan meining?

Tellekantsystemet skulle gje meir og betre forsking. Førre veke var UiO-professor Øyvind Østerud i Bergen for å fortelje kva som skjer når vitskapen blir tald og målt.

Universitets- og høgskulerådet ville finne ut meir om korleis tellekantsystemet har verka på norsk forsking. Evalueringa blei lagt ut på anbod, og vunne av det danske Center for forskingsanalyse. I januar kom rapporten med namnet «Evaluering av den norske publiceringsindikator».

Dette er publiseringsindikatoren:

  • Publiseringsindikatoren, eller tellekantsystemet som det også kallast, brukar kvantitative mål på vitskapleg publisering.
  • Systemet ystemet blei innført i universitets-og høgskulesektoren i 2006.
  • Målet med å gjere forskinga målbar var å stimulere til større produksjon.
  • Publiseringspoeng blir løna med økonomiske midlar frå departementet, og er såleis ein del av UH-sektoren sitt finansieringssystem.
  • Skal ein få publiseringspoeng, må forskinga bli publisert som bøker utgitt på godkjente forlag og i tidsskrift.
  • Tjue prosent av tidsskrifta reknast som nivå 2. Dette gir fleire poeng er tidsskrift rangert som nivå 1.
  • Publisering blir registrert og tald opp via Cristin, som er underlagt Kunnskapsdepartementet.

– Alle - forskarkollegaer, politikarar, journalistar og andre, kan ut i frå å kikke på publiseringstala meine noko om den enkelte forskar. Tala frå publiseringsindikatoren ser ut om ei objektiv vurdering av vedkomande sit vitskaplege arbeid. Men tala er i realiteten summen av ei rekke subjektive faktorar, sa Øyvind Østerud.

Ueigna på individnivå, brukast likevel
Denne veka gjesta UiO-professor Øyvind Østerud eit debattmøte arrangert av Forum for vitskap og demokrati. På agendaen sto evalueringa av publiseringsindikatoren.

Publiseringsindikatoren skal ikkje brukast som kvalitetsmål, var mantraet då ordninga vart innført. Kor mange publiseringspoeng ein forskar har skal ikkje brukast når opprykk skal vurderast, driftsmidlar skal fordelast eller løn skal diskuterast.

Slik fungerer det ikkje i dag. Av dei spurde instituttleiarane svarer 43 prosent at indikatoren vert brukt til å vurdere enkeltpersonar. 20 prosent seier at indikatoren også blir brukt når individuelle lønspålegg skal vurderast.

– Publiseringsindikatoren vert brukt i strid med føresetnaden, meiner Østerud.

Siteringskartell
Østerud er uroa over framveksten av siteringskartell, altså lausare eller fastare nettverk av forskarar som siterer kvarandre.

– Eg kjenner forskarar som brukar fellesskap strategisk og bevisst, fordi dei veit at dette aukar siteringsfrekvensen, fortalde Østerud.

Også hos tidsskrift-redaktørane finst det strategiar for å auke prestisjen. Den danske evalueringa avdekka mellom anna at tidsskrifta lett kan trikse med både impact factor og siteringsindeks. Oppsiktsvekkande artiklar kan publiserast tidleg på året, slik at ein har mange siteringar ved teljetid på slutten av året. Ein prominent gjesteredaktør med eit stort nettverk kan føre til at tidsskriftet får høgare kredibilitet, større påverknad og fleire siteringar.

Ein annan konsekvens er at ønske om gjennomslag og synleggjering blir mål i seg sjølv. Ein risikerer dermed at forskarar vel bort tema som ikkje reknast som tidsriktige eller spektakulære.  

– Etterprøvingsartiklar blir for eksempel mindre sitert. Blir det då færre av dei? Betyr denne tendensen at sensasjonelle påstandar som kanskje ikkje er haldbare vert ståande som dei mest siterte? spør Østerud.

Fagfellelesing - den einaste veg
– Når ein skal vurdere vitskapleg kvalitet,  finst det ingen annan måte å gjere dette på enn ved kvalifisert og grunngjeve lesing, sa Østerud. Særleg innanfor humaniora og samfunnsvitskaplege fag vert publiseringsindikatoren bruk i strid med målet, meiner han.
– Det kan tyde på at sjølvtilliten innanfor desse faga er lågare når det gjeld å lese og evaluere kvarandre.

Professor Østerud er klar på at publiseringstala er lite eigna til å måla den vitskaplege produksjonen til eit lite institutt eller ei forskingsgruppe.

– Jo lågare nivå ein måler på, jo mindre eigna er publiseringsindikatoren. På små einingar er publiseringsindikatoren nærmast ubrukeleg.

Fimreite: Christin-poeng betalar seg
Anne Lise Fimreite er professor ved Institutt for administrasjon og organisasjonsvitskap. Ho er også prorektor med særleg ansvar for forsking og intern organisering. I 2015 forsvinn den lokale  påskjøningordninga kalla Fagerbergmidlane ved UiB. Dette er pengar som går direkte til forskarar som gjennomsnittleg har publisert minst eitt poeng i året dei siste åra.

Prorektor Anne Lise Fimreite seier ho meiner tillit verkar betre enn kontroll. Men rektoratet er ikkje ferdig med å måle talet på UiB-tilsette sine publiseringar.

– Som andre offentlege sektorar er vi pålagt ein viss rapportering til departementet, sa Anne Lise Fimreite.

Målstyring, rapportering og styringsparameter vil framleis vere i bruk. Men prorektoren vil arbeide for å fjerne den meiningslause målinga. Det er ikkje gitt at Christin treng å vere blant desse.  

– Konsekvensar som ikkje er intenderte kan faktisk ha positive effektar. Ein slik effekt er at forskarane har blitt flinkare til å rapportere publiseringa si. Det betyr meir pengar i kassa for UiB, sa Anne Lise Fimreite.