Så kan siffror och egna tester vinklas i debatten – även av myndigheter

När en myndighet själv utvärderar om den egna metoden fungerar uppstår ett grundläggande problem. Polisen är ett tydligt exempel: när en ny arbetsmetod, ett nytt tekniskt hjälpmedel eller en särskild insats ska bedömas är det ofta samma organisation som infört satsningen som också presenterar resultaten. Det gör inte att sådana utvärderingar per automatik är felaktiga, men det gör dem värda att granska extra noga. Den här texten handlar om mekanismen i allmänhet och gör inga anklagelser om medvetet fusk i något enskilt fall.

Varför blir egna utvärderingar problematiska?

Grundproblemet handlar om det forskare inom metodologi kallar bekräftelsebias. Om en verksamhet redan investerat tid, pengar och prestige i ett nytt verktyg eller en ny arbetsmetod, finns en risk att utvärderingen omedvetet utformas för att bekräfta att satsningen var rätt, snarare än att verkligen pröva om den fungerar. Det behöver inte handla om medveten manipulation. Ofta räcker det med att man väljer vilka mått som lyfts fram, vilken tidsperiod som studeras eller vilka jämförelser som görs.

Vilka grepp kan färga resultatet utan att det är rent fusk?

Några vanliga sätt som statistik och tester kan bli vilseledande, medvetet eller omedvetet, utan att någon enskild siffra egentligen är felaktig:

• Man mäter under en period som råkar visa särskilt goda resultat
• Man jämför med en dåligt vald referenspunkt som får den egna metoden att se bättre ut
• Man rapporterar det som gått bra men tonar ner eller utelämnar det som gått mindre bra
• Man byter definition av vad som räknas som en “lyckad” insats mitt i mätperioden

Hur brukar frågorna se ut i praktiken?

När polisen och andra myndigheter presenterar utvärderingar av nya arbetsmetoder eller satsningar förekommer det återkommande att forskare eller journalister ifrågasätter just underlaget: vilka siffror har valts ut, vilken period har studerats och finns det oberoende granskning av samma material. Det är sällan möjligt att med säkerhet avgöra om en avvikelse beror på medveten vinkling eller enbart på de mänskliga tendenser som gör alla utvärderingar av eget arbete svåra att göra helt objektiva. Därför är formuleringar som “enligt uppgifter” och “enligt myndighetens egen sammanställning” ofta på sin plats.

Den som bedömer sitt eget arbete har sällan något att vinna på att komma fram till att det inte fungerade.

Hur kan man som utomstående syna sådana siffror?

Det viktigaste verktyget är att fråga efter det underliggande, obearbetade materialet, inte bara den sammanfattning som presenteras i ett pressmeddelande eller en rapport. Oberoende forskare, journalister och granskande instanser spelar här en central roll, eftersom de kan pröva metod och urval utan samma intresse i utfallet som den som genomförde testet.

Betyder det att man aldrig kan lita på egna siffror?

Nej, men det betyder att en sund skepsis är rimlig, särskilt när resultaten presenteras utan tydlig metodbeskrivning eller utan möjlighet för utomstående att granska underlaget. Transparens kring metod, urval och tidsperiod är det som skiljer en trovärdig utvärdering från en som, medvetet eller inte, är konstruerad för att bekräfta det man redan bestämt sig för att tro.

Vilken roll spelar journalistiken?

Granskande journalistik fyller här en funktion som liknar den oberoende forskningens: att ställa frågor om metod som den som utvärderar sitt eget arbete inte alltid har intresse av att ställa. När journalister begär ut det underliggande materialet, snarare än att bara återge en slutsats, blir det ofta tydligt om resultaten håller för en närmare granskning. Sådan granskning tar tid och kräver tillgång till källor, vilket gör att den inte alltid hinns med i den dagliga rapporteringen.

Vad kan man själv ta med sig?

Ett par vanor är värda att bära med sig när man stöter på en utvärdering: fråga efter jämförelseperioden, fråga om det finns oberoende granskning och var extra uppmärksam om resultatet presenteras helt utan nyansering. En utvärdering som enbart pekar på framgångar, utan att nämna några begränsningar, bör i regel väcka mer nyfikenhet än förtroende.

Fler exempel på hur bilder och påståenden kan framställas vilseledande finns i texten om hur felaktiga bilder sprids efter attentat och i kit granskar botox till gravida och ammande.