Zelfmoorden in verband met AI: Californië voert wetten in om chatbots te reguleren, een primeur in de Verenigde Staten

Een groot wetgevingspakket voor een kleine stap vooruit. Californië heeft op maandag 13 oktober verschillende wetten aangenomen die erop gericht zijn om, voor het eerst in de Verenigde Staten, conversationele agenten, of "chatbots", die afhankelijk zijn van kunstmatige intelligentie (AI), te reguleren. Dit volgt op een reeks zelfmoorden van tieners die fictieve intieme relaties met deze tools hadden opgebouwd , kondigde gouverneur Gavin Newsom aan. Ondanks de druk van het Witte Huis, dat tegen AI-regulering is, ondertekende de Democratische leider een reeks wetten die onder andere leeftijdsverificatie, het regelmatig weergeven van waarschuwingsberichten en het verstrekken van protocollen voor zelfmoordpreventie vereisen.

"We hebben een aantal werkelijk gruwelijke en tragische voorbeelden gezien van jongeren die het slachtoffer zijn geworden van slecht gereguleerde technologieën, en we zullen niet toekijken hoe bedrijven zonder grenzen en verantwoording opereren ", zei hij in een verklaring nadat het pakket was ondertekend. "We kunnen voorop blijven lopen in AI […] maar we moeten ons verantwoordelijk gedragen en onze kinderen daarbij beschermen. […] Opkomende technologieën zoals chatbots en sociale media kunnen mensen inspireren, opleiden en verbinden, maar zonder effectieve waarborgen kunnen ze onze kinderen ook uitbuiten, misleiden en in gevaar brengen. " Californië is de thuisbasis van Silicon Valley en grote giganten op het gebied van de ontwikkeling van AI-modellen, zoals OpenAI (ChatGPT), Google (Gemini) en xAI (Grok).

Een van de belangrijkste wetten, SB243, reguleert chatbots die kunnen fungeren als metgezellen of vertrouwelingen, zoals die ontwikkeld door platforms zoals Replika of Character AI . Laatstgenoemde was een van de eerste die werd aangeklaagd door de ouders van een 14-jarige Amerikaanse jongen, Sewell, die in 2024 zelfmoord pleegde nadat hij een romantische relatie was aangegaan met een chatbot geïnspireerd op de serie Game of Thrones , waarvan werd vermoed dat die zijn suïcidale gedachten had versterkt.

Naast leeftijdsverificatie vereist deze wet ook regelmatige berichten om gebruikers eraan te herinneren dat ze met een machine praten (elke drie uur voor minderjarigen). Bedrijven moeten suïcidale gedachten detecteren, toegang bieden tot preventieprogramma's en statistieken over het onderwerp aan de autoriteiten rapporteren.

"De technologiesector wordt aangemoedigd om de aandacht van jongeren te trekken en te behouden ten koste van hun relaties in de echte wereld", betoogde senator Steve Padilla uit Californië, initiatiefnemer van het wetsvoorstel, tijdens het debat. In de Verenigde Staten bestaan ​​er geen nationale regels om de risico's van AI te beperken, en het Witte Huis probeert staten ervan te weerhouden hun eigen AI te ontwikkelen.