Wat is de elevator pitch?
Hoe kan je als retailer met Machine Learning een online ervaring bieden die én makkelijk én snel én tegelijkertijd inspirerend is? Met dit als doel zijn we met Jumbo een project gestart om klanten te inspireren tijdens het online boodschappen doen. 100% persoonlijk, 100% datagedreven, 100% relevant. Door het bouwen van een Recommendation Engine hebben we voor elke klant persoonlijke relevante lijstjes met producten samen weten te stellen. Deze aanbevelingen zijn met behulp van 3 verschillender ecommendation-methodieken onder een ‘Probeer ook eens’-lijst in de Jumbo app getest. Dit heeft geresulteerd in een toename van 270% in conversieratio en een significante verhoging van het orderbedrag. Zo hebben we bewezen dat personalisatie onmisbaar is in het bieden van een relevante ervaring voor de online shoppende consument. Wat heeft geleid tot meer draagvlak binnen Jumbo voor datagedreven werken en personalisatie.

Wat is/zijn de doelstelling(en) van de case?
De doelstellingen van de Recommendation Engine zijn om via relevante suggesties engagement te stimuleren, en het gemiddeld bonbedrag en het aantal conversies te verhogen. Omdat aankoopgedrag in supermarkten voor een groot deel herhaalgedrag betreft, hebben we de focus van de Recommendation Engine gelegd op het suggereren van niet eerder gekochte producten om te zorgen dat de aangekochte producten toevoegingen zijn op de wekelijkse bestelling.

Een secundaire doelstelling was het uitzoeken van de toegevoegde waarde van Machine Learning-toepassingen voor Jumbo online. In aanvulling op het rule-based baseline model zijn twee ML-modellen uitvoerig getest en periodiek geoptimaliseerd om effectiviteit te evalueren. De case onderstreepte en bewees uiteindelijk de grote toegevoegde waarde en toekomstige potentie van ML om:

• Relevantie van lijstjes te verhogen
• Engagement te verhogen
• Verkoop te stimuleren

Wat is de impact van Data op de case?
Data is de drijvende kracht achter de engine en de Machine Learning-toepassing die zorgde dat de performance steeds structureel verbeterde ten opzichte van logic-based-modellen. Bij de implementatie is dan ook stevig gebruikgemaakt van verschillende modules binnen Google Cloud waaronder BigQuery, DataFlow, DataProc en PubSub.

Het online aankoopgedrag en profiel van klanten is gebruikt als input voor de Recommendation Engine. Elke interactie tussen elke klant en alle aangekochte producten van de afgelopen periode (6 maanden) zijn meegenomen in het model om een goed beeld te krijgen van de relatie tussen klant en product (400+ miljoen interacties, gemeten op eigen platformen (web / app) en uit interne systemen!). De output, lijstjes met producten en klantnummers, moesten daarna naar de app en moesten realtime beschikbaar zijn.

Om klanten niet te vervelen met dezelfde producten is er een feedbackloop gebouwd die bijhoudt welke producten de klant al in de lijstjes heeft gezien.

Wat is de impact van decisioning op de case?
Aanbevelingslijstjes werden, en worden nog steeds, gemaakt door marketeers en category-managers bij Jumbo. Deze ongepersonaliseerde lijstjes leveren suggesties op van wat professionals denken dat klanten willen kopen. Business knowledge blijft belangrijk in het doen van goede suggesties, maar op een bepaalde schaal is het niet meer mogelijk om het voor iedereen relevant te houden.

In plaats van invullen wat de klant zou willen of nodig heeft op basis van traditionele business-logica, is er door de Recommendation Engine uitgerekend waar consumenten het meest geïnteresseerd in kunnen zijn aan hand van vergelijkbaar aankoopgedrag van andere klanten. Deze toevoeging aan het aanbevelingsmodel heeft geleid tot een toename van 270% in conversieratio; een sterk argument om verder te gaan met personalisatie.

Wat is de impact van Engagement op de case?
Door meer persoonlijke aanbevelingen te doen, kocht meer dan 30% van de gebruikers die de lijstjes bekeken ook daadwerkelijk een product van het lijstje. Ook is de gemiddelde orderwaarde erdoor toegenomen met een paar euro per order.

• 30% toename in basket adds
• 270% toename in conversie tegenover ongepersonaliseerde lijstjes
• Gemiddeld 1.9 product per persoon extra
• Zowel short- als longterm toename op gemiddeld bonbedrag

Wat is de impact van de case op de organisatie?
Er is in dit project ijzersterk bewijs geleverd voor de kracht van personalisatie. Daarnaast geeft het project inzicht in de kracht van personalisatie binnen de customer journey en de user experience. Deze bewezen toegevoegde waarde gaat belangrijk zijn voor komende projecten omdat personalisatie binnen de online omgeving goed mogelijk is, maar kosten en uitdagingen met zich meebrengt.

Wat is het resultaat van de case: op welke wijze wordt de ROI vastgesteld?
Er zijn verschillende KPI’s geselecteerd om de Recommendation Engine op te evalueren, namelijk:

• Gemiddeld aantal aankopen per bekeken lijstje
• Gemiddeld bonbedrag
• Open-tot-conversie’-ratio
• Uniek bekeken lijstjes per klant
• Omzet per screenview
• Omzet per gegenereerde lijst

Alle KPI’s en lopende modellen werden strak gemonitord en op vaste momenten geëvalueerd gedurende een periode van 2 maanden.

Meest sprekende resultaat wat ons betreft is de toename van 270% in conversieratio vergeleken met niet gepersonaliseerde lijsten. Ook noemenswaardig is dat de Machine Learning-modellen 25% beter presteerden dan het rule-based-model, gekeken naar conversiepercentages.

Wat is de grootste hobbel die er overwonnen is bij deze case?
Een van de grote hobbels bleek de schaal waarop de berekeningen moesten worden uitgevoerd om tot een goede lijst te komen voor elke klant, zonder handmatig ingrijpen. Dit is uiteindelijk gelukt door de beschikbare modules binnen Google Cloud voor computing op de allergrootste schaal te gebruiken en integreren met de Jumbo-platformen. Dit was een voorwaarde voor het realtime kunnen bieden van actuele lijstjes en correct kunnen evalueren van de performance.

• Schaal in relatie tot Machine Learning-performance
• Realtime bieden van actuele lijstjes
• Correct evalueren performance

Waarom is de case innovatief?
De case is innovatief omdat er drie verschillende Recommendation Engines in gecontroleerde productie-omgeving met elkaar zijn vergeleken. Twee Machine Learning-modellen en 1 rule-based-model. Er is geen betere manier om de vergelijking goed te doen dan door live te onderzoeken hoe mensen interacteren met deverschillende lijstjes en modellen.

De lijstjes hadden een focus op inspiratie (producten die een gebruiker niet eerder heeft gekocht), niet op stimuleren van herhaalaankopen van producten. De case laat zien dat inspireren met een sterk gepersonaliseerde aanbod de orderwaarde van klanten steeds verder kan verhogen.

De Google Cloud Architectuur bood Jumbo de mogelijkheid om realtime gepersonaliseerde lijstjes te bieden, in een landschap van vrij statische systemen. Met name voor Jumbo intern was dit een impactvolle innovatie en opent het de weg naar het verder personaliseren in andere aspecten van de customer journey.

• Drie modellen (2 machine learning, 1 rule-based) naast elkaar getest in productie omgeving
• Focus op relevante inspiratie
• Personaliseren op grote schaal met Google Cloud