Kategoriarkiv: ARC13

Bibliotekets forskningsstöd – Från projekt till etablerad verksamhet

Presentation-140610Den 10:e juni höll jag en presentation om uppbyggnaden av bibliotekets forskningsstöd när vi nu går från projekt till etablerad verksamhet.

Presentationen hölls dels på Biblioteksrådets möte och dels på den nätverksträff för forskarstöd på bibliotek som vi anordnade för kollegor från lärosäten runt om i landet.

Utifrån några reflektioner om forskarkontakter och 12 formulerade temaområden för verksamheten så står vi nu inför ett antal strukturella utmaningar med avseende på forskarkontakter, arbetsbelastning och informationssystem.

Två rapporter

Publiceringsprojektet-rapportBåde rapporten från högskolebibliotekets projekt om vetenskaplig publicering och slutrapporten för forskningsutvärderingen ARC13 – där biblioteket bidrog med den bibliometriska studien – finns nu tillgängliga i fulltext.

Synlig forskning genom bibliometri, open access & strategisk publicering : Rapport om Publiceringsprojektet vid Högskolebiblioteket i HalmstadPDF

ARC13 : Assessment of Research and Coproduction: Reports from the assessment of all research at Halmstad University 2013PDF

Hur bedöma forskningens samhälleliga genomslag och relevans?

ARC13 är den stora granskning av forskningens kvalitet och genomslag som Högskolan i Halmstad under det gångna året genomfört i samarbete med Mittuniversitetet och Högskolan i Skövde. Det är den hittills första utvärderingen vid svenska lärosäten som – genom bland annat bibliometri och fallstudier – explicit inkluderar samproduktion med offentliga och privata aktörer.

VR-OmslagDetta uppmärksammas i Vetenskapsrådets ”Kartläggning av olika nationella system för utvärdering av forskningens kvalitet” – en förstudie inför regeringsuppdraget att ta fram ett förslag till modell för resursfördelning till universitet och högskolor baserat på kollegial bedömning av forskningens kvalitet och relevans.

Frågan om hur man mäter och bedömer just forskningens samhälleliga genomslag och relevans är komplex och långt ifrån oomtvistad, men samtidigt brännande aktuell. Innovationsmyndigheten VINNOVA har fått ett till VR:s regeringsuppdrag närbesläktat dito att utforma metoder och kriterier för just bedömning av prestation och kvalitet i samverkan med det omgivande samhället.

Samtidigt pågår på KTH ett lokalt fördjupningsarbete rörande riktlinjer och mätning av forskningens samhällspåverkan i kölvattnet av forskningsutvärderingen RAE2012 (vilken i sin tur var inspirationskälla till vår ARC13).

Flera parallella och betydelsefulla processer för att ta sig an frågeställningen har med andra ord satts i rullning, såväl lokalt som nationellt. En svensk utvärderingsmodell som inkluderar bedömning av forskningens samhälleliga genomslag och relevans verkar vara på god väg att utkristalliseras. Många frågetecken återstår, men att modellen kommer att kunna få långtgående konsekvenser för vetenskapssamhällets villkor och förutsättningar är nog en inte alltför vågad gissning.

Apropå bibliometriska mått och deras begränsningar

När man använder sig av bibliometriska metoder för att analysera och utvärdera forskning är det viktigt att inte bara använda sig av exakta definitioner av vad det är man mäter, utan också att man tydligt klargör och är medveten om metodologins begränsningar – det vill säga vad som faller utanför de givna mätområdena, eller så att säga utgör de ”vita fläckarna” på kartan.

Tolkning krävs

Bibliometriska studier handlar om att ta fram statistiska mätvärden för ett antal indikatorer om publiceringsproduktivitet. En indikator kan till exempel visa på antalet publikationer av en viss typ som registrerats i en databas eller hur många gånger en viss artikel har citerats.

Som det framgår av själva termen indikatorer vill man genom dessa indikera (”peka på”) någonting om helheten. När man på detta sätt med andra ord kvantifierar vissa delaspekter av en given datamängd krävs det dock alltid en tolkning.

För att kunna göra en tillförlitlig tolkning krävs i sin tur såväl en förståelse för metodologins begränsningar som en ingående kännedom om omständigheterna för det faktiska sammanhang som ligger till grund för mätningen. Det är just av denna anledning som som någon form av självvärdering ofta spelar en så betydelsefull roll i processen.

Kartan och landskapet

När vi talar om bibliometri skulle man kunna göra en liknelse med varför och hur man ritar en karta över ett landskap. ”Landskapet” i det här fallet är exempelvis en forskningsmiljös sammanlagda publicering och ”kartan” är då den bibliometriska studien.

Någon form av karta kan mycket väl vara nödvändig för att överhuvudtaget kunna skaffa sig en överblick över ett område och därmed medvetet kunna orientera sig. Kartan kommer dock alltid – och i likhet med varje teoretisk modell eller kunskapsrepresentation –  att på ett eller annat vis vara en dimensionsreducerad förenkling av den mer komplexa helheten. Frågan är bara vilka delar som lyfts fram, eller vilka ”glasögon” kartan så att säga erbjuder en att betrakta landskapet med.

De metoder man väljer att använda sig av i sin bibliometriska ”kartritning” får av naturliga skäl olika konsekvenser för resultatet. Inte minst kan det slå olika beroende på vilket forskningsämne man väljer att titta på. Därför är det begripligt att kritik mot de gängse bibliometriska metoderna snarare kommit att bli mer regel än undantag i många läger. Samtidigt används bibliometriska analyser allt oftare som ett sätt att försöka ta fram objektiva kriterier för kvalitetsutvärderingar, ranking och medelstilldelning.

Vanlig kritik och några sätt att kompensera för och tillmötesgå denna

En högst relevant och också utbredd kritik är exempelvis att Web of Science (WoS) – den databas som än så länge är den enda som medger datauttag när det gäller citeringsanalys – har en bristande täckning, och då framförallt när det gäller humaniora och samhällsvetenskap. Citeringsanalysen utgår enbart från kollegialt granskade artiklar indexerade i just WoS, vilket då utesluter forskningsresultat publicerade inte bara i monografier utan också i konferenstryck.

För att till viss del kompensera för att man inom olika ämnen sinsemellan kan ha mycket olika olika publicerings- och och citeringsmönster har man tagit fram så kallade fältnormerade indikatorer. Dessa utgår från det genomsnittliga värdet inom ett visst ämnesområde, för att man så att säga skall undvika att jämföra äpplen med päron. Men inte heller dessa fältnormerade indikatorer går fria från kritik. Så har till exempel Peter Sjögårde, bibliometrisk analytiker på KTH, nyligen uppmärksammat ett amerikanskt initiativ som kritiserar indikatorn Journal Impact Factor. Liknande kritiska synpunkter finns även redovisade under rubriken ”Citation impact” på den nya webbtjänsten PhD on Track, som vi tidigare tidigare skrivit om.

Ett alternativt och kompletterande sätt att mäta genomslag på – förutom just genom citeringar – är rankning av publiceringskanaler. En poängberäkning sker då utifrån hur pass god vetenskaplig kvalitet en viss tidskrift eller ett förlag av en expertgrupp anses hålla inom ett ämnesfält. Det är denna princip som ligger till grund för den så kallade norska modellen, vilken blivit ett slags standard även här i Sverige.

Några vidare perspektiv

I regeringens senaste Forsknings- och innovationsproposition (2012/13:30) för perioden 2013–2016 föreslås bland annat att den nationella publikationsdatabasen SwePub skall utvecklas så att den skall komma att kunna ersätta den bristfälliga WoS som grund för bibliometriska utvärderingar. Då Högskolan i Halmstad via DiVA redan i dag levererar metadata till SwePub deltog vi i mars i år i en första workshop om framtida samverkan och standardisering kring detta.

Fördelen med att använda data direkt från DiVA är att den enskilde forskaren själv kan påverka vilket material som ligger till grund för analysen. I vår egen pågående forskningsutvärdering ARC13 har vi till exempel, som första lärosäte hittills, kunnat extrahera data från adressfältet i DiVA-posterna för att göra samverkansanalyser.

När det kommer till utvärdering och mätning av vetenskapligt genomslag handlar det hela i slutändan ändå till stor del om vilka intentioner man har med sin forskning, samt vilket typ av genomslag man eftersträvar. I en gedigen handbok utgiven av brittiska LSE Public Policy Group för hur man inom samhällsvetenskap och humaniora kan maximera sitt vetenskapliga genomslag skiljer man på akademiskt genomslag respektive externt genomslag i förhållande till det omgivande samhället. Sådana externa variabler bör man med fördel också försöka att inkludera i sina tolkningar och självvärderingar.

För att sammanfatta och lyfta fram huvudpoängen i dessa stycken: Någon form av bibliometri må vara nödvändig, men det är enbart uttolkningen av denna som kan kompensera för dess inneboende begränsningar och ge den dess fulla betydelse och sammanhang.

Kvalitetssäkringen av DiVA-poster inför ARC13 avklarad

Vår särskilda insats med att under några månaders tid systematiskt kvalitetsgranska DiVA-poster inför forskningsutvärderingen ARC13 är nu avklarad helt i enlighet med tidsplanen.

diva_logo Förutom konstruktionen av en CV-databas så består Högskolebibliotekets bidrag till forskningsutvärderingen ARC13 av hela den bibliometriska delen. Den ojämförligt största arbetsinsatsen har handlat om just kvalitetsgranskningen av poster i Högskolans publikationsdatabas DiVA. Vi har med en specialtillsatt granskningsgrupp haft en särskilt prioriterad insats för detta ända sedan i september och nyligen alltså rott i land det hela enligt tidsplanen.

Bibliometridelen av ARC13 innebär sammanfattningsvis om att ta fram publicerings- och citeringsstatistik för 283 i dag verksamma forskare uppdelade på de åtta befintliga forskningsmiljöerna. Den samlade datamängden består av bibliografiska grunddata för 2570 av de totalt 3079 registrerade forskningspublikationerna i Högskolans DiVA under den senaste 8-årsperioden 2005–2012.

En mindre andel (412) av dessa i utvärderingen ingående publikationer finns i sin tur indexerade i den internationella databasen Web of Science under perioden 2005–2011. Därmed kan de utgöra underlag för citeringsstatistik. Merparten av posterna i detta citeringsunderlag (närmare bestämt 220 stycken) är för övrigt sådana som lagts in i DiVA den sista månaden efter Fakultetsnämndens uppmaning till forskarna att inför ARC13 även komplettera med publikationer man skrivit vid andra lärosäten.

Vad som gör vår bibliometriska studie unik i förhållande till sådana som ingått i de senaste årens forskningsutvärderingar vid andra lärosäten är att vi inte bara kan redovisa statistik över samförfattande utifrån Web of Science med dess tämligen begränsade täckning, utan också har utvecklat ett system som vattentätt kan extrahera data på såväl institutions- som landsnivå från adressfältet på samtliga författarförekomster i våra publikationer i DiVA. Detta är speciellt viktigt för oss som ett mindre lärosäte, för att få ett mer fullödigt och statistiskt säkerställt resultat för alla forskningsmiljöer. Därför har det även ingått i vår granskning att kontrollera de sammanlagt 7156 adressfälten i undersökningens 2570 poster.

Vad som nu närmast står på agendan är att sammanställa våra resultat i rapporter till var och en av Högskolans forskningsmiljöer, som underlag för dessas självvärderingar. I mitten av april planerar vi att ha dessa färdigställda och därefter (från och med vecka 17) komma ut till respektive forskningsmiljö för att presentera våra resultat och vara behjälpliga med att svara på eventuella frågor.

Noteringar från workshop om registrering i SwePub

bild6I regeringens forskningspolitiska proposition för de närmaste fyra åren föreslås att den svenska databasen SwePub skall vidareutvecklas för att kunna användas till bibliometriska analyser. Som man mycket riktigt konstaterar så är täckningen av exempelvis humaniora och delar av samhällsvetenskapen i den internationella databasen Web of Science – som i dag ofta används som den huvudsakliga bibliometriska källan – nämligen mycket bristfällig.

Ett projekt inom ramen för programmet OpenAccess.se har under 2012 bedrivits vid KTH för att undersöka förutsättningarna för att använda just SwePub som analyssystem för publicering vid svenska lärosäten. Man har besökt ett tiotal lärosätens forskningsbibliotek för att där undersöka hur man jobbar med registrering i de lokala publikationsdatabaserna. Som ett resultat av detta har man identifierat åtta problemområden där man skulle behöva finna ett gemensamt konsensus.

För att få feedback på de preliminära, enhetliggörande rekommendationer som projektgruppen formulerat kring dessa problemområden inbjöd man den 7:e mars till en workshop på KTH:s bibliotek. Två representanter från vart och ett av de SwePub-anslutna lärosätena var inbjudna. Då vi via DiVA också levererar poster till SwePub såg vi det som självklart att delta i de gruppdiskussioner man ordnade för att där vara med och utbyta synpunkter. Inte minst kunde vi dela med oss av de erfarenheter vi samlat på oss i samband med det rigorösa kvalitetsarbete i DiVA som vi genomfört inför forskningsutvärderingen ARC13.

Många viktiga frågeställningar ventilerades under dagen och vi knöt flera nya kontakter med kollegor runt om i landet som också jobbar med sådant som forskarstöd, publiceringsfrågor och bibliografisk granskning i DiVA. Workshopen var ett första led i vad som sannolikt kommer att utvecklas till ett mer permanent referensgruppssystem för standardisering i SwePub och det känns kul att vara med på banan redan i detta tidiga skede.

ARC13 & Publiceringsprojektet – ungefärlig tidslinje

Projektskiss

Som tidigare nämnts här på bloggen så sammanfaller bibliometridelen i vårt publiceringsprojekt i hög grad med den omfattande kvalitetsgranskning av poster i högskolans publikationsdatabas DiVA vi gör i egenskap av arbetsgruppen för bibliometri i forskningsutvärderingen ARC13.

Den systematiska granskningen av över 2000 poster är nödvändig för att tillgängliga publikationsdata skall kunna användas som bibliometriskt underlag. Å ena sidan måste de beläggas bibliografiskt och å andra sidan utformas på ett standardiserat sätt så att automatiska datauttag blir möjliga.

En ungefärlig tidslinje för den bibliometriska delen av projektet ser i nuläget ut som följer:

15 jan – Brytdatum för registrering av DiVA-poster till ARC13. Alla forskare ombads av Fakultetsnämnden att till detta datum även registrera publikationer de skrivit på andra lärosäten under den aktuella perioden (2005–2012).

15 mars – Preliminär deadline för kvalitetsgranskningen av DiVA-poster inför ARC13-granskningen. Arbetet med analysdelen tar här vid.

mitten på april – Den bibliometriska rapporten till respektive forskningsmiljös självvärdering släpps inom ramen för ARC13. Vi kan här vara behjälpliga med stöd.

maj–juni – Självvärderingarna beräknas vara klara.

aug–dec – Med den bibliometriska studien inom ramen för ARC13 i bagaget kommer vi att under höstterminen ha ett välgrundat gemensamt diskussionsunderlag för att ute i forskningsmiljöerna lyssna in oss och föra ett mer brett anlagt samtal om inte bara bibliometri utan även om open access och strategiska publiceringsfrågor i stort.

DiVA-granskning och workshops

121029-ARC13_200-pxVårt publiceringsprojekt på Högskolebiblioteket spänner över tre områden: strategisk publicering, open access och bibliometri. Samtidigt utgör vi parallellt med detta arbetsgruppen för bibliometri inom ramen för forskningsutvärderingen ARC13. Under arbetets gång sedan projektets förstudie som drog igång i slutet av augusti har det successivt kommit att bli allt tydligare att projektets bibliometridel, åtminstone i det här skedet, å ena sidan har tagit den ojämförligt mesta tiden i anspråk och å andra sidan så gott som helt har kommit att sammanfalla med ARC13-arbetet. Hittills har detta till stor del bestått av kvalitetsgranskning av DiVA-poster.

Redan i mitten av september tog vi beslutet att före allt annat prioritera kvalitetskontrollen av poster i högskolans publikationsdatabas DiVA. För att publikationsdata skall kunna användas som bibliometriskt underlag måste den nämligen å ena sidan beläggas bibliografiskt och å andra sidan utformas på ett standardiserat sätt så att automatiska datauttag blir möjliga. Att arbetet med denna kvalitetssäkring eller ”städning” av själva grunddatan vanligen är den största och mest tidskrävande uppgiften i en bibliometrisk studie stod klart när vi tog del av erfarenheter från tidigare utvärderingar på andra lärosäten.

Den bibliografiska granskningen av DiVA-poster har redan tidigare i många år varit ett stort och löpande arbete för biblioteket, men nu behövde vi ta oss an det hela på ett mer övergripande och koordinerat sätt utifrån väl definierade bibliometriska kriterier. Alla 2210 poster under perioden 2005-2012 skulle granskas med avseende på för våra syften speciellt viktiga indikatorer såsom användarnamn, forskningsmiljö, ID i databaserna Scopus och WoS samt tidskrift/ISSN-nummer och förlag ur kontrollerade listor. Utöver dessa 2210 poster tillkommer nya kontinuerligt och forskarna har nu också ombetts att även registrera publikationer de skrivit på andra lärosäten under den aktuella perioden. Brytdatum för denna komplettering är 15 januari och granskningen kommer sedan att pågå ytterligare två månader innan det är dags för själva analysdelen av ARC13-utvärderingen.

För de forskare som vill ha hjälp med DiVA-registreringen erbjuder vi på biblioteket workshops enligt följande:

10/1 kl. 12-14 och 14/1 kl. 12-14

Lokalen för dessa är Biblioteket, lektionssal plan 3.

Välkomna!