Voorkom dat A/B-tests verdwijnen in rapporten: maak klantkennis onderdeel van elke beslissing

In dit artikel:

Begin 2025 kampte Online Plastics Group (OPG) — een internationale groep met twaalf webshops in negen landen — met een schijnbaar organisatorisch probleem rond A/B-testen: veel experimenten, maar weinig blijvende impact. Tests werden door freelancers uitgevoerd, resultaten belandden in PDF’s of iemands hoofd en waren niet opvraagbaar op het moment dat teams beslissingen moesten nemen. Daardoor nam men keuzes op basis van aannames en silo-KPI’s (marketing keek naar ROAS, customer service naar klachten, SEO naar rankings, UX naar usability) in plaats van gevalideerde klantkennis. Tijdens een platformmigratie, toen elke beslissing kostbaar werd, werd dit gebrek aan eerlijke, vindbare kennis pijnlijk duidelijk.

De auteur — interne digitale experience specialist bij OPG — identificeerde de kernfout als een Decision Gap: een scheiding tussen de plek waar inzichten ontstaan en de plek waar besluiten vallen. Om dat gat te dichten werd het experimentaire systeem binnen een jaar radicaal herzien met drie onderdelen die elk een duidelijke rol kregen en met AI als verbindende laag.

- Notion werd de centrale knowledge bank voor álle experimenteervormen: A/B-tests, SEO-experimenten, pricing-tests, contentproeven, observaties vanuit customer service enzovoort. Zo liggen alle learnings op één vindbare plek, niet versnipperd per team.
- Airtable bleef de plannings- en pijplijntool voor A/B-tests (status, eigenaar, verwachte impact) en werd gekoppeld aan Notion zodat planning en kennis gesynchroniseerd zijn.
- Claude AI fungeert als interface: gespecialiseerde “skills” classificeren nieuwe experimenten, documenteren ze conversationeel en analyseren uitkomsten inclusief een berekening van verwachte jaarrendement met afnemende effecten in de tijd. Cruciaal: AI levert het aanvankelijke werk, maar menselijke validatie blijft noodzakelijk voordat iets beslissingsbeïnvloedend wordt.

Vier praktische lessen uit de transformatie:
1) Gebruik AI als gesprekspartner en assistent, niet als onfeilbaar orakel — elk AI-resultaat wordt door een mens geverifieerd.
2) Maak documentatie een laagdrempelig bijproduct van dagelijkse gesprekken en workflows; verlaag de frictie, verhoog de kwaliteit van vastgelegde inzichten.
3) Waardeer ook inconclusieve tests: zij kunnen indirecte verklaringen of bij-effecten (zoals pagespeed door zwaardere afbeeldingen) aan het licht brengen die anders gemist worden.
4) Eén uniform systeem voor alle experimenttypes is essentieel; anders blijft de Decision Gap openstaan en blijft klantkennis ontoegankelijk voor grote delen van de organisatie.

Resultaat: binnen een jaar verdubbelde het aantal experimenten en werden meer inzichten gegenereerd die daadwerkelijk de roadmap stuurden; verliezen door verkeerde keuzes werden eerder voorkomen. Belangrijker nog: ongeveer twintig procent van de experimenteer-ideeën komt inmiddels uit afdelingen die vroeger geen hypotheses opstelden (customer service, pricing, SEO, development). Experimenteren is daarmee niet langer een extern project voor freelancers, maar ingebed in de bedrijfsprocessen.

De auteur vat de aanpak samen onder de term AgileCX: klantkennis structureel als input voor iedere beslissing — iets wat je actief opzoekt tijdens het kiezen, niet pas achteraf controleert in een rapport. Deze casus illustreert een veelvoorkomend probleem in e-commerce- en marketingorganisaties en biedt een concreet pad om dat te verhelpen met een combinatie van centrale kennisopslag, gekoppelde planning en menselijke-AI samenwerking.