Systematisk utvärdering

En systematisk utvärdering kännetecknas av noggrann planering, ett metodiskt arbetssätt och en öppen och fullständig redovisning av alla bedömningar som gjorts under arbetets gång. Oftast belyser systematiska utvärderingar ganska begränsade frågeställningar, men eftersom de genomförs på ett mycket grundligt sätt kan de ändå bli omfattande.

De olika stadierna i ett utvärderingsprojekt

Utvärderingen följer en på förhand fastställd plan

Det första åtagandet för den grupp som genomför en systematisk utvärdering blir att avgränsa och finslipa frågeställningen och fastställa en utvärderingsplan, en detaljerad plan för hur arbetet ska bedrivas. På det här stadiet kan också beslutsfattare och andra intressenter bidra med synpunkter.

Utvärderingsgruppen försöker sedan leta rätt på alla forskningsresultat som kan vara av intresse i sammanhanget. Sökningarna görs i första hand bland artiklar i den internationella vetenskapliga litteraturen. Kompletterande efterforskningar kan också göras i myndighetsrapporter och annan ”grå” litteratur, såväl utländsk som svensk. Direktkontakter kan därtill tas med forskare eller institutioner som kanske sitter inne med värdefulla data. Även opublicerade mätresultat kan komma till användning. Det avgörande är hela tiden att materialet är så väl dokumenterat att dess relevans och kvalitet går att bedöma.

Nästa steg är att sålla bland de hundratals eller rentav tusentals artiklar och rapporter som litteratursökningarna har identifierat. I slutänden visar sig kanske bara något eller några tiotal av studierna vara så relevanta och väl utförda att de kan bidra till ett svar på frågan som utvärderingen ska belysa.

En forskargrupp som nyligen genomförde en systematisk utvärdering av hur renbete inverkar på vegetationen fann över 6000 artiklar vid sina litteratursökningar. En stor del av artiklarna kunde dock uteslutas redan med ledning av sin titel. Efter fortsatt sållning återstod till sist bara drygt 40 studier med tillräckligt användbara data. Från Bernes et al. 2015 (EviEM:s utvärdering SR1).

Resultat från olika studier vägs samman

Efter sållningen sammanställs och kvalitetsbedöms de data som går att använda. Är resultaten tillräckligt enhetliga och jämförbara med varandra kan de kanske kombineras till ett eller flera sammanvägda mätetal genom en s.k. metaanalys. I annat fall görs en deskriptiv sammanfattning av resultaten. Det kan också hända att underlaget inte visar sig räcka till för ett tydligt svar på den aktuella frågeställningen. Utvärderingen kan i så fall peka ut kunskapsluckor som behöver fyllas med hjälp av ytterligare forskning.

Innan resultatet av utvärderingen slutgiltigt publiceras ges på nytt en möjlighet för beslutsfattare och andra intressenter att lämna synpunkter, den här gången framför allt på hur resultaten summeras och presenteras.

Så här sammanfattades resultaten i en systematisk utvärdering av hur biomanipulering (borttagning av fisk) inverkar på vattenkvaliteten i övergödda sjöar. För varje enskild sjö anges ingreppets genomsnittliga effekt på siktdjupet (tillsammans med ett mått på osäkerheten). Längst ned har de enskilda resultaten räknats samman till ett viktat medeltal. Sammanvägningen tyder på att siktdjupet i genomsnitt förbättras med 22 cm under biomanipulering. – Från Bernes et al. 2015 (EviEM:s utvärdering SR3).

Ett öppet och väldokumenterat arbetssätt

Systematiska utvärderingar (även kallade systematiska litteraturöversikter) bygger helt på befintliga studier. I det avseendet skiljer de sig inte från vanliga litteraturöversikter över vetenskapliga frågeställningar. Skillnaden ligger i stället i arbetssättet. Utmärkande för en systematisk utvärdering är att varje steg planeras och dokumenteras i detalj. Slutrapporten redovisar exempelvis exakt vilka avgränsningar som gjorts vid ämnesvalet, vilka sökord och databaser som utnyttjats vid artikelsökningen, vilka artiklar som sållats bort samt anledningarna till att dessa inte ansågs användbara.

En öppenhet av det slaget är nödvändig inte minst om utvärderingar av kontroversiella ämnen ska kunna vinna allmän tilltro. När nya forskningsresultat kommer fram blir det dessutom förhållandevis enkelt att komplettera utvärderingarna och vid behov revidera slutsatserna.