Op verzoek van VVP, het platform voor financieel dienstverleners, legt onze CTO en AI strateeg Dennie van den Biggelaar uit hoe je specifieke AI en machine learning toepast op ‘advies in de praktijk’. In verschillende edities zullen de volgende onderwerpen worden uitgelicht: 

• Starten met specifieke AI en ML

• Operationaliseren in bedrijfsprocessen

• Integreren in bestaand IT landschap

• Meten = leren: KPIs voor ML

• Ethiek, regelgeving en maatschappij

• AI en ML: een kijkje in de nabije toekomst

In deze tweede editie beantwoorden we de vraag: hoe operationaliseer je nu zo’n getraind algoritme?

Uitdagingen bij het operationaliseren van AI in bedrijfsprocessen

Stel je voor: je hebt samen met je data science team een veelbelovend AI algoritme ontworpen om royement te voorspellen met als doel dat adviseurs hiermee proactief aan de slag gaan. Dit proces werd in deel 1 van deze reeks ‘AI in de praktijk’ besproken. Het potentieel is er, maar al snel kom je er achter dat bij het werkelijk in de praktijk brengen een aantal complexe drempels overwonnen moeten worden. Welke drempels zijn dat en hoe kun ze omzeilen?

Meetbaar resultaat blijft uit

Een helder geformuleerd doel identificeert nauwkeurig wat het AI algoritme precies moet bereiken en is afgestemd op bedrijfsdoelstellingen. De scope, daarentegen, geeft richting aan het project door de relevante gegevensbronnen, budget, tijdlijnen en verwachte resultaten te definiëren. Wat zijn de stappen om dit te bereiken?

Een data science project is over het algemeen een investering waarbij:

1. Het niet duidelijk is wat het je kan opleveren

2. Het niet zeker is of je team in staat is om dit te realiseren

Maak daarom het project zo klein en overzichtelijk mogelijk, zonder dat het zijn waarde en impact verliest als het slaagt. En probeer zo snel mogelijk resultaten te boeken die jou het bewijs geven dat je op het juiste spoor zit.

Boek je die resultaten niet, evalueer dan met het team en stuur bij. Boek je die wel? Eerste doel bereikt! Maak er dan een mooi verhaal van en presenteer het aan je business stakeholders en bespreek met hen hoe je dit groter maakt binnen je organisatie.

Vraagtekens bij een constante data kwaliteit

Een veelvoorkomend struikelblok is de kwaliteit en de constante aanlevering van up-to-date gegevens. Inconsistenties en ontbrekende waarden kunnen de nauwkeurigheid van het AI-model in gevaar brengen. De oplossing? Een grondige verkenning van welke data altijd Accuraat, Beschikbaar en Consistent (de data ABC) is.

Voldoet essentiële data om je doel te bereiken hier niet aan? Pas hier dan uitgebreide data cleaning toe, zoals het omgaan met ontbrekende waarden, extreme outliers en fout ingevoerde data. Daarna zul je deze cleaning stappen structureel moeten borgen in een data transformatie pipeline en bijbehorende proces, zodat je deze data kunt toevoegen aan je fundament voor een betrouwbaar operationeel model.

Er is onvoldoende vertrouwen in het AI-model

Onvoldoende begrip en vertrouwen in ML modellen vormt een drempel voor acceptatie bij niet-technische gebruikers. Als je hier niet voldoende aandacht aan besteed, ontstaat er wantrouwen en weerstand.. Een oplossing is het selecteren van transparante modellen met goede uitlegbaarheid en slimme methoden waarbij complexiteit wordt omgezet naar een begrijpelijk concept. Visualisatie en heldere (proces)documentatie vergroten het vertrouwen.  Daardoor verdwijnt het bezwaar van een “black box” naar de achtergrond.

En zoals bij elke verandering is het hier ook belangrijk om je collega’s zorgvuldig mee te nemen in dit proces. Geef ze voldoende tijd om hun vragen te stellen en te laten wennen aan deze nieuwe technologie en haar mogelijkheden. En besef dat hun vragen en feedback voor jou essentiële ideale input is om de door jou beoogde toepassing in de praktijk succesvol te maken.

Bezwaren rondom veiligheid, privacy en ethiek

Het spreekt voor zich dat beveiliging en privacy van (klant)gegevens een eerste voorwaarde zijn om überhaupt te starten. Gelukkig is er de afgelopen 5 jaar veel nieuwe wetgeving doorgevoerd en is passen organisaties deze ook praktisch en structureel toe.

Vertrouwen is niet alleen een issue van wetgeving en technologie. Ook op ethisch vlak mag je bezwaren verwachten vanuit verschillende hoeken:

• Weten we zeker dat het algoritme eerlijk is?

• En wat betekent dat eigenlijk?

• Zijn bepaalde groepen slechter af in een situatie met algoritme?

• Vinden we dat ethisch verantwoord?

• Hoe voorkom ik dat mijn algoritme discrimineert?

Gelukkig heeft het Verbond van Verzekeraars hier een aantal richtlijnen opgesteld die je kunt borgen in je algoritme én aanpak. Wil je zeker weten dat je hierin niets over het hoofd ziet? Stel dan één persoon verantwoordelijk voor

De feedbackcyclus ontbreekt

Luisteren naar gebruikerservaringen en het benutten van deze feedback zorgt voor een dynamische iteratieve cyclus, waarmee het model evolueert in overeenstemming met bedrijfsvereisten. Een gestructureerd feedbackmechanisme is cruciaal voor het zelflerend vermogen van het AI-model. Hoe je dit juist inricht, is per AI toepassing verschillend.

In het specifieke geval van ‘royementen voorkomen’ laat je de adviseurs bijvoorbeeld vastleggen wat ze met de voorspelling hebben gedaan: klant gebeld, bezocht of niets mee gedaan. Zo wordt over tijd meetbaar wat het effect is op het royement.

Er vindt onvoldoende monitoring plaats

Het motto moet zijn: “keep the algorithm on the leash”. Wat je niet wilt zijn ‘hallucinaties’ of onverwachte prestatievermindering, bijvoorbeeld bij een trendbreuk.  Dit betekent dat er een zorgvuldig monitorings- en waarschuwingssysteem moet zijn om de modelprestaties te bewaken.  Een duurzame toepassing vereist voorts gedetailleerde documentatie van parameters en gebruikte data, zodat het model transparant en reproduceer is én blijft.

Het model blijkt niet schaalbaar

Een algoritme dient ‘by design’ onderdeel te zijn van een systeem met schaalbaarheid in gedachten. Hiervoor zijn doorgaans veilige cloudoplossingen en een schaalbare infrastructuur zoals MLOps technologie noodzakelijk (de ML variant van DevOps). Houd rekening met groeiprognoses en waarborg een voldoende flexibel systeem dat zich aanpast aan evoluerende bedrijfsvereisten. Het maken van de juiste keuzes voor integratie met IT landschap is essentieel (e.g. real-time of batch-verwerking). Maar hierover meer in de volgende editie.

Last-but-not-least: onvoldoende betrokkenheid

Volgens hoogleraar innovatie Henk Volberda is het succes van innovatie slechts voor 25% technisch van aard en 75% afhankelijk van de adoptie van de mens.  Een succesvolle adoptie begint met “CEO-sponsorship”, het water stroomt immers van boven naar beneden. De leiding dient er voor te zorgen dat er voldoende training, communicatie en ondersteuning is als een AI-model wordt ingezet. Investeer voldoende tijd en energie om met deze nieuwe technologie onderdeel te maken van je organisatie, van strategie tot operatie. Want daar zit de echte return on investment: de succesvolle samenwerking tussen menselijke expert en AI technologie.

“It’s easy to create a self-learning algorithm. What’s challenging is to create a self-learning organization.” – Satya Nadella, CEO of Microsoft

Kortom: het bedenken, het bouwen en valideren van een robuust algoritme is slechts fase één van het succesvol in de praktijk brengen van AI. In de volgende editie gaan we nader in op hoe je het kunt integreren met bestaande IT systemen en workflows.

Het originele artikel is geplubliceerd in het VVP blad.