En kris är ingen ursäkt för sänkta krav på forskning

När världen behöver vaccin och behandlingar mot covid-19 blir efterfrågan stor på nya, snabbt framtagna resultat. Media rapporterar om forskning som inte är granskad, och ansedda vetenskapliga tidskrifter tar in slarvigt eller dåligt gjorda forskningsstudier.

– Jag var med i en kommitté som granskade de kliniska studier som gjordes under utbrottet av ebola 2014-2015. Jag känner igen många av argumenten, och är rädd att vi ska göra om samma misstag nu som vi gjorde då. Om forskningen inte håller tillräckligt hög kvalitet kommer den inte att ge oss de svar vi behöver, säger Alex John London, som leder centret för etik och politik vid Carnegie Mellon University i Pittsburgh.

Läs mer: Maria Gunther: Så bedömer du vetenskap

I början av april skrev New York Times att malariamedicinen hydroxiklorokin kunde lindra symtomen för covid-19, utifrån en liten studie som ännu inte hade publicerats i någon vetenskaplig tidskrift, och därför inte genomgått granskning av andra forskare, så kallad peer review. Studien fanns på en preprintserver, en databas där forskare kan se varandras resultat innan de är godkända och publicerade.

– Jag är varken för eller emot preprintservers. Men det oroar mig att resultat därifrån används för att fatta verkliga beslut. New York Times är ju en stor tidning, och reportern hade inte gjort sin hemläxa: studien var inte utformad på ett sätt som kunde ge sådana resultat. Sådant hade fångats upp av peer review-granskare som kan hindra att falska fynd sprids inom forskarsamhället och läkarkåren, säger Jonathan Kimmelman, ledare för avdelningen för medicinsk etik vid McGill University i Montreal.

– Forskare lägger ut opublicerade studier och hävdar att de kommit fram till anmärkningsvärda resultat. Sedan gås de igenom av de främsta forskarna i fältet, som hittar fel eller tveksamheter, och kan sätta in resultaten i ett sammanhang. Det är en del av den vetenskapliga processen. Men om media redan har rapporterat om resultaten innan de granskats kan det få allvarliga konsekvenser, säger Alex John London.

Inte heller de vetenskapliga tidskrifterna har haft samma krav på kvalitet som vanligt. New England Journal of Medicine publicerade en studie om att använda ebolamedicinen remdesivir för patienter med covid-19. Det var ingen regelrätt medicinsk studie. Det handlade istället om så kallat compassionate use, där riktigt svårt sjuka eller döende patienter kan få läkemedel som ännu inte är godkända när det saknas andra behandlingar.

– Det här publicerades som en forskningsstudie i världens mest ansedda medicinska tidskrift. Men det var ingen forskningsstudie. Det fanns ingen kontrollgrupp, som inte fick behandlingen, att jämföra med. Det var compassionate use, och det är inte forskning. Att en vetenskaplig tidskrift tar beslutet att publicera en artikel som inte ens är en vetenskaplig studie är för mig ett tydligt exempel på hur kvalitetskraven har sänkts, säger Jonathan Kimmelman.

I veckans nummer av tidskriften Science skriver Alex John London och Jonathan Kimmelman om problemet, och att det nu under covid-19-pandemin är viktigare än någonsin att se till att forskning görs på rätt sätt och håller hög kvalitet.

– Vi befinner oss i en krissituation, och många tycker att det är nödvändigt att släppa på några av kraven på hur vi gör forskning. Det är fullt förståeligt. Det är riktigt, riktigt svårt att forska, och vi behöver lösningar snabbt. Men om vi lättar på vår måttstock för vetenskap och etik, oavsett om det gäller idén till en studie, upplägget eller rapporteringen av studien, kan det leda till rejäl skada som faktiskt leder bort från målet att få fram vetenskapliga lösningar för den pågående krisen, säger Jonathan Kimmelman.

De båda forskarna sätter upp kriterier som forskning alltid bör leva upp till, både under normala förhållanden och i kriser som denna: studier ska handla om viktiga och relevanta frågor, de ska vara upplagda på ett vetenskapligt sätt – till exempel med tillräckligt stora grupper, slumpmässiga urval, kontrollgrupper och tydliga angivelser om vad som ska undersökas – analysen av data ska göras statistiskt riktigt, resultaten ska rapporteras tydligt även om de inte blev som förväntat, och studierna måste gå att genomföra.

I den här extrema situationen måste forskare också samarbeta på nya sätt.

– Just nu, bara i USA, pågår det fler än 15 försök med fler än 75.000 patienter för att testa hydroxiklorokin, alltså bara en enda möjlig behandling för covid-19. Och då räknar vi inte ens med studier som pågår i Asien och Europa. Det är ett enormt slöseri med forskningsresurser, säger Jonathan Kimmelman.

– Forskare måste hitta sätt att samarbeta så att vi får fram svar snabbare och undviker onödigt extraarbete och konkurrens om samma patienter. Annars riskerar en del av studierna att bli så små att de inte kan ge oss några svar alls, säger Alex John London.

Det finns också bara ett begränsat antal experter i världen som har kompetensen att granska alla nya studier om covid-19 som släpps. Så även systemet med peer review är under enorm press.

– Peer review är en process med mängder av brister och problem, även när vi inte befinner oss mitt i en pandemi. Det finns massor av dåliga artiklar som har klarat peer review, och massor av bra artiklar som inte har gjort det. Men det är med peer review som man säger om demokrati: det är den sämsta styrelseformen som finns, förutom alla andra alternativ, säger Jonathan Kimmelman.

Läs mer: Maria Gunther: Så bedömer du vetenskap

Läs mer: Vad varje hobbyepidemiolog bör veta