Metrics horror stories

Meten is weten, you can’t manage what you can’t measure. Twee bekende uitspraken die het gebruik van metingen in management populair hebben gemaakt.

En er zit ook wel wat in. Als je een brug bouwt wil je graag precies weten hoever beide oevers van elkaar liggen. Metingen zijn noodzakelijk. Toch heb ik een haat-liefde verhouding met metingen. Want ik zie het zo vaak misgaan. In de loop der jaren heb ik nogal wat misbruik van metingen gezien, en een aantal daarvan zet ik in deze blog op een rijtje, ‘ter leringh ende vermaeck’.

De rattenvangers. Om de productiviteit van rattenvangers te verbeteren werd besloten ze een SMART target ze te geven en te belonen voor het aantal gevangen muskusratten. Een nobel streven, die ratten zijn zeer gevaarlijk voor onze dijken. Maar rattenvangers zijn slimmer dan een SMART target. Als ze een zwanger vrouwtje zien lopen laten ze haar gaan. Want nu levert ze maar 1 punt op en straks als ze bevallen is een boel meer!

De target wordt elk jaar gehaald, maar het aantal ratten neemt nog steeds toe.

We willen niet dat patiënten overlijden op de operatietafel. Je gaat ten slotte naar het ziekenhuis om beter te worden. Dus onze beleidsmakers probeerden de artsen te motiveren met een target. Maximaal zoveel promille van de mensen mogen overlijden tijdens de operatie. Weer een mooi metertje op het dashboard voor de ziekenhuis-benchmark.

Helaas is het gevolg niet dat onze gezondheidszorg beter wordt. Om de target te halen worden patiënten die heel erg ziek zijn gewoon niet meer geopereerd. Gaan ze wel dood, maar niet tijdens de operatie…. Mooi gevalletje van operatie geslaagd, patiënt overleden.

In mijn vak, software ontwikkeling, is het CMMI model beroemd en berucht. Op zich is CMMI een nuttig model dat best practices voor software engineering op een rijtje zet zodat je jezelf kritisch kan toetsen tegen deze standaard. Helaas is het CMMI een Maturity Model, zijn de best practices ingedeeld in vijf volwassenheidsniveaus. Het gevolg is dat managers dan erg snel tot simpele doelstellingen komen, Maturity Level 2 in 2012, Level 3 in 2013.

Gevolg, degenen die deze target krijgen opgelegd gaan op zoek naar de gemakkelijkste manier om het level te bereiken. Vaak levert dat allerlei processen op die een bijna letterlijke kopie zijn van de best practices uit het model maar niet of nauwelijks aansluiten bij de organisatie van de software ontwikkelingsafdeling. Combineer dat met een assessmentprocedure waarbij de organisatie die het level wil behalen de assessor betaalt, en je kan erop rekenen dat dit soort verwrongen processen toch nog een beloning oplevert. Het management krijgt z’n bonus, de ontwikkelaars zitten met de gebakken peren.

Software ontwikkelaars moeten hoge kwaliteit software opleveren. Dat spreekt voor zich. Echter, kwaliteit valt niet echt meetbaar te maken. Maar er kunnen wel allerlei benaderingen van kwaliteit gemaakt worden. De meest bekende benadering is foutdichtheid of fault density. Het aantal gevonden fouten per 1000 regels code (of per functiepunt, of iets dergelijks). Op zich weer een prima poging. Fault density dekt zeker niet alles af van kwaliteit (gebruikersvriendelijkheid valt er niet of nauwelijks onder), maar is er wel een belangrijk onderdeel van.

Echter, zodra fault density een target wordt, worden mensen erg creatief. Hoe vaak ik al niet diverse fouten samengepakt heb gezien in één foutrapport kan ik me niet meer herinneren. Erg goed voor de fault density, maar erg slecht voor het systematisch oplossen van fouten en dus erg slecht voor de kwaliteit van het product.

Even een intermezzo om hier wat abstracter naar te kijken.

1. What gets measured gets done is een beroemde management uitspraak. Helaas is what gets measured gets manipulated dichter bij de waarheid.

2. De uitspraak you can’t manage what you can’t measure komt van Tom DeMarco een van de guru’s in software ontwikkeling. Recent schreef hij een kort artikel in IEEE software (July/Augustus 2009) waarin hij deze uitspraak terugnam. Tom kijkt terug op zijn boek Controlling Software Projects: Management, Measurement, and Estimation en vraagt zich dan af “was its advice correct at the time, is it still relevant, and do I still believe that metrics are a must for any successful software development effort?” Zijn antwoorden: no, no and no.

Indrukwekkend dat iemand zo eerlijk durft te zijn. Jammer dat dit artikel veel minder gelezen is dan dat boek uit 1982.

De vertraging van de NS is ook een beroemd voorbeeld. Onze regering wil dat de NS beter op tijd rijdt (en willen wij dat niet allemaal?) en, als je wilt dat iets gebeurt dan verzin je een target en een bonus/malus programma. Zo krijgt de NS minpuntjes voor elke trein die meer dan (ik meen) 5 minuten te laat komt. Gevolg: de NS neemt zo mogelijk treinen uit de dienstregeling die al een behoorlijke vertraging hebben. Tellen alle volgende stations niet meer mee in de statistiek. Goed voor de bonus, jammer voor de reiziger.

De bonnenquota van de politie hoef ik hier verder niet te beschrijven, die kent iedereen al.

Dit is mijn lijstje van horror stories. Wie helpt me de lijst aanvullen?

En, André, ouwe azijnpisser, wat is je alternatief? Oeps, als het moeilijk wordt helpt alleen nog de vertragingstactiek: dat komt in een volgende blog.

Advertisements

About André Heijstek

Rijnlands / Agile verbeteren van software ontwikkeling
This entry was posted in CMMI, Management, Metrics, Verandermanagement. Bookmark the permalink.

2 Responses to Metrics horror stories

  1. Pingback: Metrics Horror Stories – hoe dan wel? | Andre Heijstek's Blog

  2. Pingback: Metrics Horror Stories – hoe dan wel? | Veranderproject

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s