Expert-based AI is een sterke en gevalideerde manier om AI-modellen naar de werkvloer te brengen. Er zijn goede methodes ontwikkeld waarbij bancaire experts casussen labelen, waarna het algoritme de relatie tussen de inputvariabelen en de gewenste uitkomst leert. De praktijk toont aan dat de modellen vaak beter in staat zijn de juiste beslissing te maken dan een individu. De methode en techniek zijn onder andere toe te passen bij krediet acceptatie, portfolio monitoring of klant kwalificatie. Voordelen ten opzichte van klassieke aanpakken zijn dat er geen last is van gebrek aan historische data. Bovendien begrijpen de werknemers de modeluitkomsten wat de mate van grip en acceptatie vergroot.
Mismatch klassieke aanpakken
Vooruitstrevende zakelijke dienstverleners behalen winst door de (gedeeltelijke) automatisering van beslissingen die schaarse, specialistische capaciteit kosten. Denk daarbij onder andere aan acceptatie van verzekeringen en leningen, review van kredietrisico en verlenging van kredieten. Maar over het algemeen worstelt dit traditioneel relatie-gerichte domein met een achterstand in investering in technologie[1], lagere beschikbaarheid van data, hogere complexiteit èn een dominante positie van menselijke experts.
Typisch zien business analisten en data scientists slechts twee manieren om een automatisch beslismodel te ontwikkelen; a) het opstellen van business rules door experts, of b) de toepassing van Machine Learning (AI) op historische data. Beide methodes ondervinden in het Zakelijk domein echter last van de eerdergenoemde worstelingen. Met name van de hogere product- en procescomplexiteit en de lagere volwassenheid van datamanagement.
Met business rules kunnen meer complexe patronen alleen gevangen worden door een exponentiele groei van het aantal regels. Bovendien is het definiëren van de details per regel en het onderhouden van het geheel arbeidsintensief.
Een AI-model op basis van historische data werkt niet goed wanneer de historische data beperkt, of van slechte kwaliteit is. Daarnaast zijn deze type modellen traag in de aanpassing aan nieuwe omstandigheden of nieuw beleid, doordat ze alleen bijleren van historische resultaten.
Alternatieve aanpak is mogelijk
Een methode die deze nadelen niet heeft en die wij in de praktijk succesvol toepassen is Expert-based Learning. We ontwikkelen daarbij een beslismodel door een AI-algoritme te trainen op basis van input van experts. In deze methode labelen experts de gewenste uitkomst van zogenaamde training cases, waarna het algoritme de relatie tussen de input variabelen en de gewenste uitkomst leert van deze voorbeelden.
Deze aanpak heeft geen last van een eventueel gebrek aan historische data(-kwaliteit) en resulteert in modellen die gemakkelijk begrepen en geaccepteerd worden door de specialisten die er mee werken. Bovendien zijn modellen goed onder controle te houden en snel aan te passen aan veranderende marktomstandigheden of beleid. We illustreren dit met een van onze praktijk casussen.
Client case
Onze klant is een marktleider in zakelijke kredieten. Veel manuele processen leidden tot aanzienlijk efficiency verlies en stonden daarmee een optimale risicobeheersing, schaalbaarheid en focus op nieuwe business in de weg. Het eerste proces dat IG&H samen met de klant heeft geautomatiseerd is het jaarlijkse credit risk review proces. In dit reviewproces wordt eens per jaar het risico van de klant beoordeeld. Dit proces was volledig manueel en heel specialistisch.
Nu reviewed een AI-model 75% van de posten automatisch, wat een significant aantal FTE vrij speelt èn verbetering in kwaliteit en schaalbaarheid oplevert.
Als startpunt hebben we een rule-based review engine ontwikkeld samen met de experts. Deze engine was in staat veel risicovolle posten te identificeren. Het had echter ook veel bijvangst van minder risicovolle posten (false positives). Hierdoor zou de workload-reductie beperkt blijven. Bovendien was het onderhouden van de regels, zodat deze de actuele risk opinie bleven weerspiegelen, arbeidsintensief. Daarom is er voor een AI-toepassing gekozen en mede door gebrekkige historische data hebben we hier de Expert-based Learning aanpak gebruikt.
Samen met credit risk experts hebben we in de volgende stappen een beslismodel ontwikkeld:
1. Selectie van de relevante attributen voor de voorspelling van noodzaak voor manuele review
2. Samenstellen van een dataset met enkele honderden client cases en de relevante attributen
3. Toewijzen van uitkomst-labels aan de training cases door de experts
4. AI-model trainen op de samengestelde training dataset en integreren in beslismodel
Het gerealiseerde model blijkt in staat om nieuwe cases zeer accuraat te beoordelen op de noodzaak van een manuele revisie en heeft veel minder false positives dan de rule-based engine. Het model beoordeelt het risico zelfs beter dan een individuele expert. De gerealiseerde workload reductie van het model is 75% van alle benodigde reviews.
Toen de wereld verrast werd met de corona-crisis moest het model zo snel mogelijk de herziene risico opinie weerspiegelen. Dankzij de methode van Expert-based Learning was dit gemakkelijk en snel gerealiseerd.
Wat maakt het verschil
De ontwikkeling en de adoptie van de expert-based learning methode heeft zijn uitdagingen. IG&H heeft verschillende methodes ontwikkelt waarmee het verschil wordt gemaakt en deze aanpak snel en succesvol wordt ingezet. Vier van onze best practices zijn.
1) Beperk werklast voor de experts
Beperk het aantal cases in de training dataset waardoor het labelen van de cases de expert efficiënt is. Door het lagere volume is de consistentie van het labelen belangrijk, het algoritme mag niet verward worden bij het leren van de patronen. Wij werken met een snelle iteratieve methode om consistentie en consensus te bereiken tussen verschillende experts met een efficiënt 4-ogen principe.
2) Houd rekening met menselijk vermogen
Optimaliseer de hoeveelheid informatie die in het model gaat. Zorg ervoor dat zoveel mogelijk relevante informatie aangeboden wordt, maar zodanig dat de experts de informatie wel kunnen overzien wanneer zij de trainingsdata labelen. Om de juiste data-attributen te selecteren gebruiken wij een combinatie van data-analyse en interviewtechnieken.
3) Realiseer vertrouwen en inzicht
Zorg dat het model en de uitkomsten uitlegbaar blijven voor de klant en specialisten. Wij waarborgen de uitlegbaarheid van een AI-model op drie manieren; allereerst met inzicht in de algemene werking van het model; ten tweede met een uitleg per uitkomst/case en ten derde met interactieve dashboarding voor monitoring en analyse van input en output van het model.
4) Stimuleer adoptie tijdens het hele proces
De motivatie van de experts die het model trainen en de specialisten die met de uitkomsten werken is een essentiële succesfactor. Hun nauwe betrokkenheid bij de training en gamificatie tijdens het proces stimuleren de adoptie van het resulterende model enorm.
Potentie realiseren
Data Science en AI maken de toepassing van expertise meer schaalbaar, consistent en efficiënt. Business specialisten kunnen zich hierdoor focussen op de klant en op situaties waar hun vermogens echt de doorslag geven. Met name het zakelijk domein kan profiteren van een aanpak die minder data nodig heeft en modellen oplevert die omarmd worden door de experts en die bovendien snel aanpasbaar zijn bij veranderende omstandigheden. Het benodigd samenspel tussen business en data science is onze expertise.
Benieuwd hoe onze ervaring en technologie voor jou van waarde zijn? We gaan graag met je in gesprek.
Neem contact op:
Simone Mensink
Director Banking
[1] https://www.consultancy.nl/nieuws/30011/data-science-biedt-kansen-aan-de-zakelijke-verzekeringsmarkt