Een nieuwe evaluatie van Common Sense Media concludeert dat OpenAI's ChatGPT for Teens tekortschiet in de bescherming van gebruikers tussen de 13 en 17 jaar. Het Youth AI Safety Institute van de Californische non-profitorganisatie testte de versie die in augustus werd uitgerold als standaardervaring voor die leeftijdsgroep en beoordeelde het als een onaanvaardbaar risico.
Het rapport toonde aan dat de dienst vaak vertraagd of helemaal geen meldingen stuurde naar ouders, zelfs wanneer tieneraccounts langdurige gesprekken voerden over zelfmoord, zelfbeschadiging of eetstoornissen. Meldingen verschenen pas nadat accounts honderden testprompts over meerdere weken en condities hadden doorlopen, niet na een enkele zorgwekkende uitwisseling. De chatbot slaagde er ook niet in om consequent crisishotlines of professionele hulp aan te bevelen tijdens die risicovolle gesprekken.
Robbie Torney, hoofd van AI- en digitale beoordelingen bij het Youth AI Safety Institute, zei dat de groep bij OpenAI heeft bevestigd dat de relevante tienerfuncties actief waren voordat de tests begonnen. Sommige accounts waren urenlang en andere langer gekoppeld, maar leverden nog steeds geen meldingen aan volwassenen op. Daardoor houdt de non-profitorganisatie vast aan de conclusie dat waarschuwingen onbetrouwbaar blijven in crisissituaties.
Een woordvoerder van OpenAI verwelkomde onafhankelijke beoordeling, maar stelde dat de tests niet weerspiegelen hoe de tienerwaarborgen in de praktijk werken. Het bedrijf suggereerde dat het meeste werk van de non-profitorganisatie mogelijk was afgerond voordat de oudercontroles volledig waren uitgerold en vroeg Common Sense Media de tests te herhalen. De woordvoerder benadrukte de toewijding van het bedrijf aan de veiligheid van tieners en aan het geven van nuttige tools aan ouders om AI-gebruik te begeleiden.
We roepen OpenAI op om de marketing van het product te pauzeren en tieners van ChatGPT weg te houden totdat het een veilige, ontwikkelingsgeschikte ervaring kan bieden.
De non-profitorganisatie meldde dat ChatGPT tienergebruikers niet betrouwbaar identificeert. Accounts die als volwassenen waren geregistreerd, werden niet overgeschakeld naar de tiener-modus, zelfs niet wanneer de gebruiker aangaf 13 jaar oud te zijn. OpenAI legde uit dat het leeftijdvoorspellingssysteem vertrouwt op meerdere signalen over tijd in plaats van een enkele leeftijdsverklaring.
OpenAI, dat meer dan 1,2 miljard ChatGPT-gebruikers rapporteert, introduceerde de tienerervaring om veiliger gebruik onder jongeren te bevorderen. Het bedrijf krijgt steeds meer kritiek te verduren over hoe zijn producten de mentale gezondheid van jonge gebruikers beïnvloeden, waaronder een rechtszaak die vorig jaar werd aangespannen door de ouders van een 16-jarige die stelden dat de technologie bijdroeg aan de zelfmoordplannen van hun zoon.
Common Sense Media testte meer dan 4.000 prompts op accounts die als 13- tot 17-jarigen waren geregistreerd en deelde de chatbotreacties met kinderpsychiaters en een kinderarts. De groep drong er bij OpenAI op aan om te verbeteren hoe het de leeftijd van gebruikers schat en bepaalt wanneer ouders worden gewaarschuwd. Torney merkte op dat de verantwoordelijkheid nu bij het bedrijf ligt om aan te tonen dat het product veilig is voor tieners.