Vissa studier begravs… Nu ska de fram i ljuset!
Ibland finns det oärliga forskare som faktiskt hittar på resultat. Ett exempel är en forskare i socialpsykologi från Holland som i minst 30 vetenskapliga artiklar hittat på experiment som aldrig genomförts. Sen har han låtit sina studenter analysera de fabricerade resultaten. Detta är dock ett extremt undantag. Samtidigt visar detta tydligt att forskares resultat måste replikeras av oberoende forskargrupper för att på allvar övertyga. Ett problem med detta är att det i allmänhet är svårt att publicera så kallade nollresultat. Det vill säga experiment där resultaten inte stödjer den etablerade forskningen. Det är inte ovanligt att dessa artikelmanus refuseras under granskningsprocessen med argumentet att man måste ha gjort något fel när man försökte upprepa det tidigare lyckade experimentet. Detta fenomen – att det är svårt att publicera misslyckade experiment – kallas på engelska för ”File drawer effect”. Manusen blir helt enkelt inte publicerade, utan läggs i byrålådan. Detta blir förstås problematiskt och kallas på Engelska även för Publication_bias. Särskilt om det är så att nollhypotesen faktiskt är sann. I extremfallet skulle det innebära att 95% av artiklarna (som visar att något inte fungerar) förblir opublicerade, medan de 5% procenten som faktiskt visar på (den felaktiga) motsatsen blir publicerade. Alltså endast de 5% är slumpen spelat oss ett spratt. Ett sätt att försöka göra något åt detta är att med en matematisk formel kompensera för detta. Till exempel genom att räkna fram hur många artiklar som måste ligga i byrålådan för att de artiklar som faktiskt är publicerade inte ska tillmätas något värde (när mer om Fail Safe N här).
När det gäller läkemedelsforskning har man kommit på att man måste registrera studien (t ex här) innan den påbörjas för att man ska kunna räkna den som en merit om den väl visar på positiva resultat. Problemet finns fortfarande kvar att misslyckade studier begravs – men nu kan man alltså titta i databasen över planerade studier. Om man hittar tusentals studier som vill testa substans X och endast ett fåtal är publicerade så kan man anta att dessa opublicerade studier gått i oönskad riktning.
Det finns olika traditioner inom olika delar av psykologin. Vissa registrerar till exempel aldrig sina studier och experiment innan. För dessa delar inom psykologin kan en lösning vara en nystartad webbsida. Nyligen slog man nämligen upp portarna för en databas där man kan publicera sina resultat som går i felaktig riktning: http://www.psychfiledrawer.org/