‘Meten geeft vaak een illusie van weten’

Waar komt ons cijferfetisjisme vandaan? In uw boek heeft u het zelfs over een meetexplosie.

Ik denk dat er verschillende oorzaken zijn. De ontwikkeling van de technologie maakt het veel gemakkelijker van alles te meten. Denk aan de stappentellers of aan Strava. Meten kan soms ook heel motiverend werken: als je op Strava ziet dat je steeds wat sneller gaat, geeft dat toch een kick, net als wanneer je goede cijfers op school haalt.

Het verlangen naar grip op de werkelijkheid is volgens mij een belangrijke reden voor het vele meten in organisaties. Als leidinggevende word je geacht te weten wat er speelt en beslissingen te nemen die niet alleen op je onderbuik gebaseerd zijn. Dat is lastig, want je kunt nooit alles bevatten wat zich binnen en buiten je organisatie afspeelt. Je hebt daarom iets nodig om de complexe werkelijkheid ‘behapbaar’ te maken. Dat is wat meetsystemen doen.

Als ik een voorbeeld mag geven: de kwaliteit van het onderwijs is een breed begrip, maar als je die reduceert tot een plek op een ranglijst of gekwantificeerde studentenevaluaties, dan heb je ineens iets dat je gemakkelijk kunt gebruiken om een keuze op te baseren.

Dat is in het boek inderdaad een opmerkelijk voorbeeld, dat de vinger op de zere plek legt: mannelijke docenten krijgen voor hetzelfde werk hogere evaluaties dan vrouwelijke docenten.

Ja, en dat ligt dus niet aan die docenten zelf: er speelt van alles mee bij het meten en er kunnen allerlei vooroordelen in metingen sluipen. Die studentenevaluaties zijn slechts één voorbeeldje. Bestuurders denken in dat geval dat ze de kwaliteit van het onderwijs meten en dan blijkt er nog veel meer mee te spelen. Hebben we het bij dergelijke metingen wel over kwaliteit?

Er blijkt dus vaak iets mis te gaan. Welk probleem wilt u adresseren in uw boek?

Het lichtzinnige gebruik van het gezegde ‘meten is weten’ wil ik aanpakken. Natuurlijk, in sommige contexten is het heel goed om iets te meten. Het is heel prettig als een ingenieursbureau dat bruggen bouwt allerhande metingen uitvoert: de draagkracht van zo’n brug moet goed worden vastgesteld. Maar in veel andere contexten is het spreekwoord ‘meten is weten’ wat mij betreft wel een probleem, vooral als het gaat om het meten van prestaties of kwaliteit. Vaak betreft het slechts een illusie van weten. We doen dan net alsof alles meetbaar is, maar iets als prestaties of kwaliteit laat zich niet in een eendimensionaal cijfer vatten. Daarbij probeer ik te laten zien dat meten ook allerlei bijwerkingen kan hebben.

Een zo’n bijwerking is bijvoorbeeld ‘indicatorisme’: wanneer mensen alleen nog maar gericht zijn op het verbeteren van een streefcijfer, score of indicator, terwijl ze het oorspronkelijke doel uit het oog verliezen.

Kunt u een voorbeeld van indicatorisme geven?

Een voorbeeld dat me opviel tijdens mijn onderzoek is dat medewerkers van een gemeente bij de paspoortuitgifte werden beoordeeld op hun gemiddelde doorlooptijd. Het gevolg was dat sommige medewerkers mensen met een buitenlands klinkende naam die een paspoort aanvroegen, liever niet wilden helpen - dat zou hun gemiddelde doorlooptijd negatief beïnvloeden. In die situatie is een lage ‘doorlooptijd’ een doel op zichzelf geworden: het heeft dan zelfs het oorspronkelijke doel verdrongen, namelijk om burgers goed van dienst te zijn. Typisch indicatorisme.

Maar indicatorisme is overal als je je ogen ervoor opent. Denk bijvoorbeeld aan de student die meer gericht is op hoge cijfers – de indicator – halen dan op het leren van fouten en zich ontwikkelen, het oorspronkelijke doel.

Hoe zouden we het beter kunnen aanpakken, het meten van prestaties en dergelijke?

Ik ben een aanhanger van het idee van gematigdheid, zoals Aristoteles het definieert als hij over de deugden schrijft. Een deugd zit volgens hem in het midden tussen twee ondeugden. Als je bijvoorbeeld een teveel aan open mindedness hebt, ben je naïef, heb je er te weinig van, dan ben je star. Dus het gaat om de balans, want we waarderen open mindedness. Het gaat er dus om te bepalen wat te veel is en wat te weinig.

Voor meten werkt het denk ik net zo: je kunt te veel meten, maar ook te weinig. Het heeft zonder twijfel voordelen om allerlei zaken te meten, om ze in een cijfer te vangen. Dat cijfer kan je helpen om patronen te herkennen of een gesprek te voeren met mensen. Ik kies dus voor ‘meten met mate’: we moeten zorgen dat we ergens in het midden uitkomen. En per situatie verschilt het wellicht waar dit ‘midden’ zich bevindt. Context doet ertoe, het is niet one-size-fits-all. Wat een gezonde meethouding is, is anders op een advocatenkantoor dan in een tapijtfabriek.

U adviseert met mensen op de werkvloer te bepalen wat en hoe je zaken moet meten. Waarom?

Dat idee komt regelmatig terug in wetenschappelijke studies. Er is vrij veel bewijs voor dat dat het beste werkt. Door metingen niet top-down door te voeren, maar juist samen te ontwerpen: met elkaar het gesprek aan te gaan. Zo ondervang je verschillende problemen. Ten eerste voorkom je dat mensen zich niet gehoord voelen en niet begrijpen waarom iets gemeten moet worden. En ten tweede voorkom je dat je volstrekt irrelevante dingen gaat meten, of zaken die nauwelijks verband hebben met dat wat er toe doet. Mensen op de werkvloer begrijpen heel goed welke aspecten goed gemeten kunnen worden en welke niet.

Wat is uw uiteindelijke doel, behalve zoveel mogelijk boeken verkopen?

Misschien niet eens zozeer duidelijk maken dat we minder moeten meten, maar wel dat we een kritische, bevragende houding nodig hebben ten opzichte van wat we aan het doen zijn. Ik vind het altijd boeiend als iemand aankomt met een statistiek. Maar ik ga wel kijken waar die statistiek op gebaseerd is, hoe iemand eraan komt, wat is gemeten. Wat kunnen we wel concluderen en wat niet? En om heel eerlijk te zijn kan het me niet zoveel schelen of ik veel boeken verkoop. Ik vind het ook goed als mensen een podcast over dit onderwerp beluisteren, dit interview lezen of via via iets over dit boek horen. Als het hen aan het denken zet, en hun werk verbetert, en als zij scherp gaan nadenken over dit onderwerp, ben ik al heel tevreden. Maar ja, dat is natuurlijk wel minder goed meetbaar dan de verkoopcijfers van het boek.