När man använder sig av bibliometriska metoder för att analysera och utvärdera forskning är det viktigt att inte bara använda sig av exakta definitioner av vad det är man mäter, utan också att man tydligt klargör och är medveten om metodologins begränsningar – det vill säga vad som faller utanför de givna mätområdena, eller så att säga utgör de ”vita fläckarna” på kartan.

Tolkning krävs

Bibliometriska studier handlar om att ta fram statistiska mätvärden för ett antal indikatorer om publiceringsproduktivitet. En indikator kan till exempel visa på antalet publikationer av en viss typ som registrerats i en databas eller hur många gånger en viss artikel har citerats.

Som det framgår av själva termen indikatorer vill man genom dessa indikera (”peka på”) någonting om helheten. När man på detta sätt med andra ord kvantifierar vissa delaspekter av en given datamängd krävs det dock alltid en tolkning.

För att kunna göra en tillförlitlig tolkning krävs i sin tur såväl en förståelse för metodologins begränsningar som en ingående kännedom om omständigheterna för det faktiska sammanhang som ligger till grund för mätningen. Det är just av denna anledning som som någon form av självvärdering ofta spelar en så betydelsefull roll i processen.

Kartan och landskapet

När vi talar om bibliometri skulle man kunna göra en liknelse med varför och hur man ritar en karta över ett landskap. ”Landskapet” i det här fallet är exempelvis en forskningsmiljös sammanlagda publicering och ”kartan” är då den bibliometriska studien.

Någon form av karta kan mycket väl vara nödvändig för att överhuvudtaget kunna skaffa sig en överblick över ett område och därmed medvetet kunna orientera sig. Kartan kommer dock alltid – och i likhet med varje teoretisk modell eller kunskapsrepresentation –  att på ett eller annat vis vara en dimensionsreducerad förenkling av den mer komplexa helheten. Frågan är bara vilka delar som lyfts fram, eller vilka ”glasögon” kartan så att säga erbjuder en att betrakta landskapet med.

De metoder man väljer att använda sig av i sin bibliometriska ”kartritning” får av naturliga skäl olika konsekvenser för resultatet. Inte minst kan det slå olika beroende på vilket forskningsämne man väljer att titta på. Därför är det begripligt att kritik mot de gängse bibliometriska metoderna snarare kommit att bli mer regel än undantag i många läger. Samtidigt används bibliometriska analyser allt oftare som ett sätt att försöka ta fram objektiva kriterier för kvalitetsutvärderingar, ranking och medelstilldelning.

Vanlig kritik och några sätt att kompensera för och tillmötesgå denna

En högst relevant och också utbredd kritik är exempelvis att Web of Science (WoS) – den databas som än så länge är den enda som medger datauttag när det gäller citeringsanalys – har en bristande täckning, och då framförallt när det gäller humaniora och samhällsvetenskap. Citeringsanalysen utgår enbart från kollegialt granskade artiklar indexerade i just WoS, vilket då utesluter forskningsresultat publicerade inte bara i monografier utan också i konferenstryck.

För att till viss del kompensera för att man inom olika ämnen sinsemellan kan ha mycket olika olika publicerings- och och citeringsmönster har man tagit fram så kallade fältnormerade indikatorer. Dessa utgår från det genomsnittliga värdet inom ett visst ämnesområde, för att man så att säga skall undvika att jämföra äpplen med päron. Men inte heller dessa fältnormerade indikatorer går fria från kritik. Så har till exempel Peter Sjögårde, bibliometrisk analytiker på KTH, nyligen uppmärksammat ett amerikanskt initiativ som kritiserar indikatorn Journal Impact Factor. Liknande kritiska synpunkter finns även redovisade under rubriken ”Citation impact” på den nya webbtjänsten PhD on Track, som vi tidigare tidigare skrivit om.

Ett alternativt och kompletterande sätt att mäta genomslag på – förutom just genom citeringar – är rankning av publiceringskanaler. En poängberäkning sker då utifrån hur pass god vetenskaplig kvalitet en viss tidskrift eller ett förlag av en expertgrupp anses hålla inom ett ämnesfält. Det är denna princip som ligger till grund för den så kallade norska modellen, vilken blivit ett slags standard även här i Sverige.

Några vidare perspektiv

I regeringens senaste Forsknings- och innovationsproposition (2012/13:30) för perioden 2013–2016 föreslås bland annat att den nationella publikationsdatabasen SwePub skall utvecklas så att den skall komma att kunna ersätta den bristfälliga WoS som grund för bibliometriska utvärderingar. Då Högskolan i Halmstad via DiVA redan i dag levererar metadata till SwePub deltog vi i mars i år i en första workshop om framtida samverkan och standardisering kring detta.

Fördelen med att använda data direkt från DiVA är att den enskilde forskaren själv kan påverka vilket material som ligger till grund för analysen. I vår egen pågående forskningsutvärdering ARC13 har vi till exempel, som första lärosäte hittills, kunnat extrahera data från adressfältet i DiVA-posterna för att göra samverkansanalyser.

När det kommer till utvärdering och mätning av vetenskapligt genomslag handlar det hela i slutändan ändå till stor del om vilka intentioner man har med sin forskning, samt vilket typ av genomslag man eftersträvar. I en gedigen handbok utgiven av brittiska LSE Public Policy Group för hur man inom samhällsvetenskap och humaniora kan maximera sitt vetenskapliga genomslag skiljer man på akademiskt genomslag respektive externt genomslag i förhållande till det omgivande samhället. Sådana externa variabler bör man med fördel också försöka att inkludera i sina tolkningar och självvärderingar.

För att sammanfatta och lyfta fram huvudpoängen i dessa stycken: Någon form av bibliometri må vara nödvändig, men det är enbart uttolkningen av denna som kan kompensera för dess inneboende begränsningar och ge den dess fulla betydelse och sammanhang.