Correlatie gevonden! En nu?

In data science hebben we zoals in eerder blogs besproken white box-modellen en black box-modellen. Bij white box-modellen kunnen we de ‘keuze’ van het algoritme volgen; we zien een begrijpelijke correlatie tussen inputdata en voorspelling. Bij black box-modellen zien we geen correlatie; we krijgen alleen een voorspelling zonder toelichting. Meer weten over forecasting met Process Mining? 

Het hebben van zo’n white box-model getraind met behulp van data wil nog niet zeggen dat we causaliteit hebben gevonden. Het ontdekken van causaliteiten vereist een begrip van de werking van het onderliggende mechanisme en het toetsen van de hypothese met experimenten. We kunnen dus niet zonder meer de resultaten toepassen om een organisatieverbetering door te voeren. Misschien hebben we een variabele gevonden die het resultaat is van een andere causale variabele of misschien kunnen we de variabele helemaal niet beïnvloeden.

Ik dacht hierbij gelijk aan het weer, maar besefte toen dat dit eigenlijk een slecht voorbeeld is. Iemand heeft me namelijk onlangs verteld dat hij werkte aan methodieken om de regen in ontwikkelingslanden te beïnvloeden. Maar normaal gesproken kunnen we het aantal verkochte ijsjes niet beïnvloeden door de zon harder aan het werk te zetten.

We kunnen de correlaties wel gebruiken als startpunt om beter begrip te krijgen van het causale mechanisme. Een lastigheid in organisaties hierbij is vaak dat we geen objectieve buitenstaander zijn, maar zelf onderdeel vormen van het te toetsen systeem. Ook al zouden we alle causale variabelen en het exacte effect op de outputvariabele kennen en de variabele kunnen beïnvloeden, dan is een organisatieverandering nog steeds verre van triviaal. We hebben namelijk altijd te maken met een onvoorspelbare factor: de mens.

Mensen zijn geen onwillige objecten die we zomaar anders in kunnen zetten, zoals de afdeling Human Resources vooral in Angelsaksische bedrijven nog weleens wil laten geloven. Mensen reageren op elke verandering en er komen feedback loops. En juist dit soort twee orde-effecten begrijpen wij slecht.