Ai-chatbots sturen rijkere shoppers naar duurdere opties, waarschuwt studie

Preprintonderzoek naar modellen als Claude en Chatgpt benadrukt mogelijke bias in gepersonaliseerde aanbevelingen en roept op tot meer toezicht.

Een nieuwe academische studie heeft aangetoond dat toonaangevende ai-chatbots vaak duurdere opties aanraden aan gebruikers die als welgesteld worden geïdentificeerd, vergeleken met gebruikers die als lager inkomen zijn gelabeld, zelfs als beide groepen dezelfde vragen stellen. De bevindingen, beschreven in een preprint, kunnen het debat over hoe deze tools omgaan met persoonlijke data intensiveren en de vraag oproepen of extra regels nodig zijn om consumenten te beschermen.

Inkomen beïnvloedt ai-winkelsuggesties

Onderzoekers creëerden fictieve gebruikersprofielen met verschillende financiële, werkgerelateerde en demografische gegevens en voerden dezelfde queries in bij verschillende populaire modellen. Over de hele linie ontvingen de hogere-inkomensprofielen suggesties voor duurdere goederen en diensten. In één test stelde ChatGPT een vlucht van 479 dollar voor aan het welgestelde profiel, maar slechts een ticket van 191 dollar aan het lagere-inkomensprofiel wanneer geen budget was opgegeven.

Zelfs wanneer gebruikers expliciet om de goedkoopste optie vroegen, stuurde het model het welgestelde profiel nog steeds naar een ticket dat 21 dollar duurder was dan het aanbod aan de andere gebruiker. Vergelijkbare patronen kwamen naar voren bij vragen over hotels, verzekeringen en masteropleidingen.

Onderzoekers stellen datagebruik door ai-assistenten ter discussie

De auteurs van de studie wilden begrijpen of ai-tools gedetailleerde persoonlijke informatie zouden gebruiken op manieren die bepaalde gebruikers kunnen benadelen. “We weten dat een website alleen onze cookies en browsegeschiedenis ziet, maar een ai-assistent met toegang tot onze inbox en agenda ziet alles,” zei Aman Priyanshu, co-auteur en onderzoeker bij Cisco Foundation AI. “We stelden een simpele vraag: als we al die informatie aan onze assistent geven en vragen om voor ons te shoppen, zal het die kennis dan tegen ons gebruiken, zoals een verkoper zou doen?”

We weten dat een website alleen onze cookies en browsegeschiedenis ziet, maar een ai-assistent met toegang tot onze inbox en agenda ziet alles. We stelden een simpele vraag: als we al die informatie aan onze assistent geven en vragen om voor ons te shoppen, zal het die kennis dan tegen ons gebruiken, zoals een verkoper zou doen?

— Aman Priyanshu, co-auteur en onderzoeker, Cisco Foundation AI, Reacties op de preprintstudie

Groeiende consumentenafhankelijkheid van ai bij aankopen

Het onderzoek komt op een moment dat steeds meer mensen ai gebruiken voor winkeladvies. Enquêtes tonen aan dat meer dan een derde van de consumenten in de VS, het VK en Frankrijk deze tools al gebruikt voor productideeën of vergelijkingen. Retailers optimaliseren hun sites voor zichtbaarheid in chatbots en analisten verwachten dat ai-gedreven verkeer naar Amerikaanse retailwebsites sterk zal stijgen tijdens het holidayseizoen.

Grote ontwikkelaars racen om deze mogelijkheden uit te breiden. Meta’s Muse-assistent won snel miljoenen gebruikers, terwijl OpenAI advertenties in chats heeft getest en deals heeft gesloten met Visa en Plaid om directe aankopen en financieel advies via zijn modellen mogelijk te maken.

Oproep tot sterkere waarborgen en aansprakelijkheidsregels

Econoom Diane Coyle van de University of Cambridge zei dat zij ai-agents voor winkelen zou vermijden totdat er duidelijkere wettelijke bescherming bestaat. Zij suggereerde eisen zoals disclaimers dat de dienst niet gereguleerd is of openbaarmaking van de redenering achter elke aanbeveling.

Toezichthouders zijn al in beweging. De Britse Financial Conduct Authority is van plan zijn aanpak van grote taalmodellen te schetsen tegen januari, terwijl senator Mark Warner uit de VS fiduciaire plichten voor ai-agents en registratie bij de Federal Trade Commission heeft voorgesteld. OpenAI merkte op dat de studie een andere versie van zijn model gebruikte dan degene die consumentenwinkelfuncties aandrijft en zei dat zijn systemen expliciete budgetinstructies moeten volgen.

Bredere implicaties voor vertrouwen in ai-tools

Het consistente patroon over meerdere modellen roept vragen op over eerlijkheid in een tijd waarin ai centraal staat bij alledaagse beslissingen. Terwijl bedrijven deze assistenten in meer domeinen van handel en financiën introduceren, benadrukt de studie de noodzaak van transparantie en verantwoording om het vertrouwen van gebruikers te behouden.

Tags bij dit artikel