Rothsteins inställning till citeringsräkning som kvalitetsmått är dock oklar. Han anger nämligen både att forskning som är ”internationellt erkänd och uppmärksammad” är ett etablerat mått på vetenskaplig kvalitet, och att han ej stöder att man kan kvantifiera kvalitet efter antalet erhållna citeringar.

Om han menar att citeringar är ett mått på kvalitet så har han emellertid fel. En OECD-rapport från 2010 slår tvärtemot fast att citeringar ”do not fully coincide with research quality. Not all disciplines and research areas are equally well covered in citation indexes. In particular, the humanities and parts of the social sciences and engineering are not well covered." (OECD (2010), Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, OECD Publishing).

Det vill säga citeringar är inte i sig självt indikatorer för kvalitet då statistiken bakom citeringsanalys inte är tillräckligt utvecklad, att hanteringen av osäkerheter är bristfällig, samt att det är oklart hur analyser bäst skall tolkas.

För det är i slutändan citeringsräkning som Rothstein använder för att argumentera för den svenska forskningens ”provinsialitet”. Därför förtjänar hans metodologiska ansats en kommentar. Det verktyg som han använder för att räkna citeringar, Google Scholar, saknar den öppna kvalitetskontroll som forskare normalt förväntar sig av ett evalueringsinstrument. Dubbletter och felaktigt identifierade publikationer är andra problem som uppmärksammats. Valet av denna databas kan antagligen motiveras med att det endast är där HS-forskning över huvud taget återfinns i citeringsdatabaser i nämnvärd grad. Den används dock sällan för evaluering av seriösa bibliometriker.

Och kanske är det just frågan om kvantifiering där Rothsteins resonemang har sin största svaghet. I hans resonemang är hög kvalitet något som kan mätas. Han hävdar att mätning av kvalitet är praxis inom naturvetenskaper och medicin, samt i vissa samhällsvetenskaper, men nämner inte att kvalitet inom akademin är något som bedöms, snarare än mäts, såväl i sakkunniggranskningar av enskilda forskares alster som i evalueringar av hela lärosäten. I det senare fallet, vad gäller de nämnda evalueringarna av Lunds, Uppsala och Göteborgs universitet, har de kvantitativa mätningarna genomförts parallellt med de kvalitativa evalueringarna och utförts som separata analyser samt använts med stor försiktighet.

En sådan försiktighet hade möjligen varit passande även här.

Gustaf Nelhans,
Doktorand i vetenskapsteori vid Göteborgs universitet och universitetsadjunkt i biblioteks- och informationsvetenskap vid Högskolan i Borås