De blog serie Aan de slag met Process Mining, is een serie van 7 blogs waarin ik mijn ervaringen van de afgelopen jaren op het gebied van Process Mining deel. Iedere twee weken staat er een nieuwe blog voor je klaar! Dit eerste deel zal gaan over: het event log.

Event log in XES formaat

De Process Mining community heeft XES voorgesteld als een standaard voor het opslaan en uitwisselen van event logs. Op dit moment is het een XML-standaard en waarschijnlijk komt er een JSON-versie beschikbaar in de nabije toekomst. Deze poging tot standaardisatie is natuurlijk volkomen logisch en valide. De mogelijkheid om event logs uit te wisselen tussen verschillende tools is natuurlijk fantastisch, afgezet tegen een vooruitzicht van allerlei leveranciers specifieke formaten.  

Ik ben nu echter een aantal jaar bezig met Process Mining en heb veel projecten gedaan voor verschillende klanten, bijvoorbeeld in de gezondheidszorg, gemeenten, waterleveranciers en industrie. Niet één keer heb ik een event log in XES-formaat mogen ontvangen (en ik verwachtte dat ook niet!). Met heel veel geluk krijg ik een event log aangeleverd in CSV-indeling of een relationele databasetabel.  

Process mining

Trainingen Process Mining en Procesanalyse

Tijdens onze Data Science en Process Mining trainingen is er aandacht voor data preparatie en event logs. Je leert wat er nodig is om jouw event log samen te stellen en deze effectief in te zetten.

Indeling van data

Met het CSV-formaat komen vaak enkele fouten mee, zoals een puntkomma-teken dat wordt gebruikt als scheidingsteken maar ook binnen een tekstveld, waardoor het CSV-bestand corrupt wordt. Het is ook mogelijk dat Excel is gebruikt om het CSV-bestand te maken of te bewerken. Dit resulteert vaak in rommelige datumvelden, vanwege verschillen in Nederlandse en Engelse opmaak van data. 

Het is gebruikelijk dat in een event log de data in een rij indeling wordt weergegeven. Elk afzonderlijk event resulteert in één rij. Echter rangschikken veel systemen de gegevens in een op kolommen gebaseerde indeling. Een bestelling kan bijvoorbeeld verschillende kolommen bevatten, zoals  ‘aanmaakdatum’, ‘datum van levering van goederen’ en ‘factuurdatum’. In dat geval moeten de kolommen worden omgezet naar events in rijen. Af en toe is er sprake van een mix van de rijgeoriënteerde en kolomgeoriënteerde indeling. Dan moet de data getransformeerd worden. 

Meestal zijn de kolommen ook niet afkomstig uit één tabel en moeten gegevens uit verschillende tabellen worden samengevoegd. Consistentie van data wordt niet altijd afgedwongen, dus wordt er frequent verwezen naar data die niet langer bestaat. Het is over het algemeen niet het uitgangspunt, maar soms moet je genoegen nemen met de data die eenvoudig en snel voorhanden is. Oudere systemen hebben meestal ook ruimtebeperkingen binnen velden, waardoor er afkortingen worden gebruikt die niet altijd in het systeem zelf worden beschreven. 

R en Phyton

Veel adviesorganisaties zijn geïnteresseerd in Process Mining en daar is ook zeker aanleiding voor. Process Mining kan deze organisaties namelijk de inzichten verschaffen in bedrijfsprocessen, die ze kunnen gebruiken voor bijvoorbeeld het ontdekken van verspilling bij Lean Six Sigma.  

Veel consultants ontberen echter de vaardigheden om zorgvuldig een ​​event log samen te stellen. Dit is op zich niet vreemd, omdat het geen onderdeel uitmaakt van het takenpakket en hun core competence. Niets om zich voor te schamen 😉. De consultants focussen zich tenslotte hoofdzakelijk op het bewerkstelligen van veranderingen binnen organisaties. Vaak wordt er nog wel een poging ondernomen om een event log samen te stellen in Excel, maar dit werkt alleen voor kleine hoeveelheden data en relatief simpele transformaties.  

Het punt dat ik wil maken is dat een event log niet zomaar op een presenteerblaadje wordt aangereikt. Voor het samenstellen van goede event logs heb je in principe een Process Mining ‘CSI-team’ nodig. Dit team moet bestaan uit een mix van experts, die jouw data in de diepte kunnen doorgronden (bij voorkeur mensen die de data maken) en mensen met scripting vaardigheden. De scripting kan worden uitgevoerd met algemene Data Science programmeertalen zoals R of Python, maar op zich zal iedere programmeertaal voldoen. Het beschikken over de benodigde programmeervaardigheden en expertise op het gebied van data is dan ook onontbeerlijk voor het vakkundig samenstellen van een event log! 

Process mining

Event log in de praktijk

Het ontdekken van een event log kan ingewikkeld zijn. Soms is het wel voordehand liggend en is het gebaseerd op iets triviaals als een ticketnummer of een bestelnummer. Maar soms kost het meer inspanning.  

Ik kreeg bijvoorbeeld ooit een event log gebaseerd op Enterprise Ontology, een methodiek van procesmodellering uitgevonden door prof. Jan Dietz (mijn PhD begeleider). Dit is een methodiek voor het ontwerpen en inrichten van organisaties en werkt in dit voorbeeld met zakelijke transacties. De zakelijke transacties bestaan ​​uit coördinatie- en productiehandelingen die in XML-berichten zijn geïmplementeerd. Deze berichten hadden echter alleen een relatie met het voorgaande bericht en niet met een Case-ID waarmee  geïdentificeerd kon worden tot welke case het behoorde. Met een recursief algoritme moesten we vanuit de verwijzingen naar de voorgaande berichten de relatie leggen met het uiteindelijke Case-ID. Toen hebben we zelf alsnog een Case-ID gegenereerd. Dit soort transformatie kan niet worden gedaan met Excel door iemand die niet weet hoe het script moet worden geschreven. 

Het spijt me voor deze conclusie, maar Process Mining is niet alleen maar het importeren van gegevens in een tool en vervolgens op een knop drukken. Er gaat echt wat werk zitten in het samenstellen van je event log. 

Zelf aan de slag met een event log

Om je op weg te helpen met het prepareren van uw event log hebben we onze best practices op het gebied van data preparatie verzameld in een handige gratis download.

Via onderstaande button ontvang je direct een exemplaar!

Zelf aan de slag met Process Mining binnen jouw organisatie?

Schrijf je in voor de gratis Masterclass!

Linda Terlouw

Linda Terlouw

Dr. ir. Linda Terlouw holds both an MSc in Computer Science and an Msc in Business Information from the University of Twente. Her PhD research focused on modularization of organizations and IT systems using Enterprise Ontology and Service-Oriented Architecture. At the moment she is mainly working on data science (e.g. forecasting), data visualization and process mining (www.monkeymining.com). Before she started her own company, Icris, she worked for IBM and Ordina (a large Dutch consulting firm). Clients she has been working for include several Dutch water suppliers, a large municipality, several factories, and the Ministry of Defense. She is lector (professor) at the Avans+ University of Applied Sciences and teaches at Nyenrode Business University.

Ben je overtuigd?

Begin gelijk met de MonkeyMiner!

GRATIS MASTERCLASS