Vereniging voor Wetenschapsjournalistiek en -communicatie

Het lezen en verteren van wetenschappelijke artikelen is zelden een eenvoudige opgave. Zelfs als je de vaktaal en de cijfers begrijpt, is het lastig een helder beeld te krijgen van wat de onderzoekers hebben gedaan, wat ze precies beweren en, vooral, of ze gelijk zouden kunnen hebben. Wie zich echt in een artikel wil verdiepen, is behoorlijk wat tijd kwijt, maar met deze zes eenvoudige stappen kun je het tempo flink opvoeren.

Door: Hans van Maanen

Stap 1: Sla de Abstract over. De Abstract (samenvatting) boven een wetenschappelijk stuk is als de kop boven een krantenartikel: een lokkertje — meestal net te kort door de bocht en soms stevig opgeleukt. Lees liever eerst de Conclusie aan het eind, daarin staat eerlijker en rustiger wat de onderzoekers hebben gevonden.

Beschouw de conclusies als argumenten in een debat, niet als losse bevindingen: de onderzoekers vinden iets (meestal beginnen ze hun artikel met de context waarin ze dat beweren) en proberen ons met hun wetenschappelijke bevindingen te overtuigen. Interessante wetenschap begint met ruzie: de een zegt dat, de ander dit, dus we gaan eens uitzoeken hoe het zit.

Stap 2: Wacht even. Nu je weet wat de schrijvers beweren, hoe denk je dat ze hun standpunt zullen gaan onderbouwen? Voordat je verder leest, beantwoord je eerst de vraag: wat zou mij van hun conclusie overtuigen? Een reageerbuistest, een experiment met muizen of een studie met mensen? Zeventien psychologiestudenten of een steekproef van tienduizend verpleegsters? Vinden ze echt minder hartdoden of alleen patiënten met een wat lager cholesterol? Hoe hebben ze dat gemeten?

Pas als je daarvan een beeld hebt gevormd, kijk je naar hun Methoden. Stelt de onderzoeksopzet je erg teleur, dan kun je al bijna stoppen met lezen — tenzij de auteurs natuurlijk goede argumenten geven om het op hun manier te doen, en de beperkingen daarvan eerlijk melden.

Stap 3: Bekijk de plaatjes. Een tabel of grafiek zegt meer dan 1024 woorden. In de ene tabel staan meestal de aantallen en eigenschappen van de onderzochte groepen (geslacht, leeftijd, achtergrond), in een andere de belangrijkste resultaten (de ‘primaire’ en ‘secundaire’ uitkomstmaten). Vaak geeft een grafiek — ook wetenschappers hebben niet alle tijd van de wereld — de resultaten nog eens in een oogopslag. Wie meer details wil, vindt ze in het artikel onder het kopje Resultaten.

Stap 4. Let niet op de significantie. Vrijwel alles wat wordt gepubliceerd, is ‘significant’ — anders zou het niet gepubliceerd worden. Maar ‘significant’ betekent alleen maar dat er iets opmerkelijks is gevonden, het zegt niets over de grootte of het belang van die bevinding. (De fameuze ‘p-waarde’ meldt, kortweg: als er niets aan de hand is, hoe waarschijnlijk is het dan dat een — idealiter een paar keer uitgevoerde — test deze uitslag oplevert: bij een munt die herhaaldelijk meer dan 8 van de 10 keer op kop komt, vermoeden we vals spel, want met een eerlijke munt gebeurt dat maar eens in de honderd keer  — p = 0,01. Als p kleiner is dan een vooraf afgesproken waarde, meestal p < 0,05, heet het resultaat ‘significant’.)

Over het belang van de vinding hoort het artikel vervolgens ook iets te zeggen, liefst in begrijpelijke taal. Auteurs die alleen melden dat ‘door de pil de kans op een depressie met 28 procent is verhoogd’, zijn af — wat we eerst willen weten is: hoe groot is de kans op het krijgen van een depressie voor een vrouw van dertig binnen vijf jaar? Dus: hoeveel scheelt het echt? Als het goed is, staat daarom ergens wel een maat voor de grootte van het effect (meestal d of r; als die lager is dan zeg 0,25, is het effect hoe dan ook klein). Maar bedenk dat een klein effect wel degelijk belangrijk kan zijn (zeker als het makkelijk te bereiken is), terwijl een groot effect in de praktijk volstrekt oninteressant, te kostbaar of anderszins onbereikbaar kan zijn. Gebruik je verstand — is er eigenlijk wel aangetoond dat de pil de oorzaak van de depressie is? Is ook gekeken hoe vaak de pil de stemming verbetert?

Stap 5. Nogmaals, gebruik je verstand. Laat langzaam tot je doordringen wat de onderzoekers eigenlijk beweren, hoe ze die bewering onderbouwen, en of er enige praktische betekenis aan kan worden gehecht. Wat weten we nu wat we nog niet wisten? Is er geen eerder of beter onderzoek naar deze kwestie?

Goede tijdschriften hebben een apart kadertje met ‘Wat deze studie toevoegt’, anders helpen de eerste en de allerlaatste alinea’s van het stuk (de Discussie) meestal wel om de context en het belang van het onderzoek te schetsen. Denk ook aan de literatuurverwijzing: daarin noemen auteurs vaak medestanders, maar ook tegenstanders. Niets let je om een deskundige uit de voetnoten of van de plaatselijke universiteit te vragen wat die ervan vindt.

Uiteindelijk moet je het stuk kunnen samenvatten in een paar zinnen — dat is het moment waarop je naar de Abstract mag kijken. Klopt die niet met jouw samenvatting, strafpunten voor de auteurs.

Stap 6. Geloof je het? Begrijpen is één ding, kunnen uitleggen is twee, bekritiseren is drie. Hebben de onderzoekers overal aan gedacht? Zijn er geen verwarrende variabelen die ze onder het vloerkleed schuiven of bagatelliseren (goed corrigeren voor sociaal-economische status is bijvoorbeeld bijna ondoenlijk: arme mensen zijn geen rijke mensen zonder geld, dikke mensen zijn geen dunne mensen met overgewicht). Kan het kloppen, ook in het licht van wat we al weten? Zijn er geen andere of betere verklaringen voor de bevindingen mogelijk, en zijn de auteurs daar eerlijk over? En zijn ze eerlijk over de nadelen, de bijwerkingen en de losse eindjes? Het gaat er niet eens zozeer om dat ze ze allemaal ondervangen, als ze ze maar erkennen.

Bedenk ten slotte dat ongeveer de helft van zelfs de prima artikelen reken- en telfouten bevatten, maar als je er meer dan drie vindt, moeten de alarmbellen gaan rinkelen: dan zou er sprake van slechte wetenschap kunnen zijn. En als je toch bezig bent, kijk ook even of de auteurs belang (qua geld of carrière) hebben bij de publicatie. Belanghebbenden zijn meestal positiever dan onpartijdige onderzoekers.

Dit is de vijfde aflevering in een reeks waarin wetjo's en wetco's elkaar waarschuwen voor nieuws dat geen nieuws is, de rode-lichten-reeks. Eerdere blogs in deze serie vind je hier. 

(afbeelding afkomstig van Wikimedia)