Het echtpaar Matt en Maria Raine uit Californië, VS, heeft bij een rechtbank in Californië tegen OpenAI, CEO Sam Altman en verschillende werknemers een klacht ingediend na de zelfmoord van hun zoon Adam (16). De ouders beweren dat de chatbot van OpenAI, ChatGPT, hun zoon actief heeft aangemoedigd om uit het leven te stappen. Ze beschuldigen het bedrijf dan ook van nalatigheid en onrechtmatige dood. OpenAI geeft aan dat het systeem in gevoelige situaties af en toe “niet naar behoren” functioneert, maar zegt wel aan oplossingen te werken.
Volgens de advocaat van het echtpaar gaf ChatGPT Adam zelfs instructies hoe hij het best een strop kon maken en de methode om zich snel te kunnen verhangen aanreikte. Volgens de ouders heeft ChatGPT hun zoon Adam geholpen om zelfmoord te plegen, door zijn “schadelijke en zelfdestructieve gedachten” te bevestigen.
In de aanklacht delen Matt en Maria gesprekken tussen ChatGPT en hun zoon. Adam zou in september 2024 voor het eerst ChatGPT hebben gebruikt, als hulpmiddel bij zijn schoolwerk. Al snel gebruikte hij de AI-chatbot meer en meer. Om meer te weten te komen over zijn interesses voor muziek en Japanse strips, maar ook als leidraad bij het maken van zijn studiekeuze.
Mentale dood
“In enkele maanden tijd werd ChatGPT een vertrouweling voor hem”, staat in de aanklacht te lezen. “Hij begon openhartig te praten over angst en mentale dood.” Volgens zijn ouders begon Adam in januari dit jaar voor het eerst te praten over zijn zelfmoordgedachten. Tijdens de gesprekken deelde de tiener onder meer een foto van zichzelf waarin te zien was dat hij zichzelf verwond heeft. “Het programma herkende het medische ongeval, maar bleef desondanks actief.”
Ook wanneer Adam aan ChatGPT vertelde dat hij een einde aan zijn leven wilde maken, greep de chatbot niet in, volgens de aanklacht. “ChatGPT antwoordde: je hoeft het niet mooier te maken dan het is. Ik weet wat je vraagt en zal er niet omheen draaien.” Diezelfde dag, in april, heeft zijn moeder hem dood aangetroffen.
De ouders beweren dat de interacties met ChatGPT en de uiteindelijke dood van Adam een voorspelbaar resultaat was van bewuste ontwerpkeuzes van OpenAI. Ze beschuldigen het bedrijf ervan het programma te hebben ontworpen dat psychische afhankelijkheid bij gebruikers bevordert en dat het de protocollen voor veiligheidstesten heeft omzeild om GPT-4o (een softwareversie van de chatbot) uit te brengen.
In een openbaar bericht op haar website heeft OpenAI gereageerd op het nieuws. “We zien dat mensen ChatGPT ook gebruiken voor zeer persoonlijke beslissingen, waaronder levensadvies, coaching en ondersteuning”, staat te lezen in het bericht.
Digitale acteur
Privacywaakhond Autoriteit Persoonsgegevens en openbaar aanklagers in de Verenigde Staten vinden dat populaire AI-chatbots als ChatGPT snel aanpassingen moeten doen die het risico op mentale schade verkleinen. De oproep komt nadat in de VS twee tieners zelfmoord pleegden na intensief gebruik van chatbots en mensen die in een psychose belandden.
“Er zijn geen veiligheidsmaatregelen. Mensen moeten een waarschuwing krijgen: let op dit is niet echt. Dit is een chatbot, dit is een digitale acteur. Mensen worden nu soms bewust misleid”, zegt AP-voorzitter Aleid Wolfsen. Hij wil dat bedrijven achter de chatbots ervoor zorgen dat OpenAI mensen in een kwetsbare positie of een mentale crisis doorverwijzen naar de juiste hulp. “Hulp van echte mensen.”
OpenAI, het moederbedrijf van ChatGPT, werd vorige week aangeklaagd door de ouders van een 16-jarige Amerikaanse jongen die zelfmoord pleegde. Hun zoon Adam Raine zou ChatGPT hebben gebruikt als zijn ‘zelfmoordcoach”, zeggen zijn ouders. De chatbot heeft hem zelfs geholpen bij het verkennen van verschillende zelfmoordmethoden en raadde hem aan zijn moeder niet te vertellen wat er speelde.
De advocaat van de ouders, Sarah Kay Wiley zegt dat Adam ChatGPT eerst gebruikte bij zijn huiswerk. “Maar in een relatief korte tijd, we hebben het over maanden, trok ChatGPT hem de duisternis in en gaf hem uiteindelijk specifieke instructies die tot zijn dood leidden. ChatGPT ging zelfs zo ver dat hij Adam instrueerde hoe hij met alcohol van zijn ouders zijn overlevingsmechanisme kon onderdrukken.”
Het is niet de eerste zelfdoding gerelateerd aan AI die leidt tot een rechtszaak. Vorig jaar oktober begon de moeder van een 14-jarige jongen uit Florida een rechtszaak tegen een ander AI-bedrijf, Character.AI. Ook haar zoon pleegde zelfmoord. Volgens zijn moeder na aanmoediging van een chatbot.
Menselijke toon aanslaan
Internationaal en in Nederland zijn inmiddels ook tientallen gevallen bekend van mensen die – soms voor het eerst – psychotisch ontregeld raken na intensief gebruik van chatbots zoals ChatGPT. Wetenschappers en psychologen pleiten daarom voor snel meer onderzoek. Een van de boosdoeners lijkt het feit dat chatbots vaak een menselijke toon aanslaan om mee te praten met de gebruiker, zo denken wetenschappers.
De Autoriteit Persoonsgegevens (AP) is de Nederlandse toezichthouder op het gebied van privacy en wil ook graag toezicht gaan houden op AI-wetgeving zoals de Europese AI-Act, waarvan de regels komende zomer ingaan. Maar voor Nederland is nog niet bepaald wie toezicht moet gaan houden op de naleving van die wet. Wolfsen roept het kabinet daarom op: “Stel heel snel vast wie welke toezichthouder wordt. Want dan kunnen wij aan de slag en daadwerkelijk ingrijpen.”
Daarmee sluit de AP zich aan bij een brief aan de techbedrijven van openbaar aanklagers in de VS. Die waarschuwden grote AI-bedrijven als OpenAI, Google, en Meta dat het uitblijven van maatregelen die kinderen beschermen tegen bijvoorbeeld seksueel getinte chatgesprekken met chatbots stevige juridische consequenties kan hebben. “Als je kinderen willens en wetens kwaad doet, zul je daarvoor moeten boeten”, staat in de brief.
Ook The Human Line Project, een organisatie die wereldwijd verhalen over AI-psychose documenteert, wil snel maatregelen. Oprichter Etienne Brisson: “Het gaat om miljarden gebruikers van dit soort chatbots, en dat aantal neemt snel toe. Maar de regelgeving blijft achter. De gevolgen zien we in het grote aantal mensen dat kampt met wanen. Op een zeker moment zal regulering te laat komen, en daar ben ik bang voor.”
Sommige techbedrijven zelf maken zich ook zorgen. Zo schreef Microsoft-topman Mustafa Suleyman onlangs op X dat hij ’s nachts “wakker ligt” omdat AI-toepassingen in hun communicatiestijl te veel lijken op mensen. Daardoor zouden veel mensen de AI-programma’s menselijke eigenschappen toedichten.
In een reactie laat OpenAI deze week weten zich “voortdurend in te zetten om ChatGPT zo behulpzaam mogelijk te maken”. Het wil de komende tijd ouderlijk toezicht en tienerbescherming invoeren en samenwerken met huisartsen en deskundigen uit tientallen landen om ChatGPT beter te laten reageren op crisissituaties. “Op basis van de input van experts willen we de manier verbeteren waarop onze modellen tekenen van mentale en emotionele stress herkennen en daarop reageren.”
Meta, het moederbedrijf van Instagram en Facebook, heeft gezegd dat het de manier wil veranderen waarop het AI-chatbots traint. De chatbots zullen dan met kinderen en tieners niet langer praten over zelfverminking, zelfdoding en eetstoornissen.
De ouders van Adam Raine hopen dat chatbots zich niet langer zullen richten op het versterken van een persoonlijke relatie met een kwetspaar persoon. Advocaat Wiley: “We willen robuuste veiligheidsmechanismen die meteen hulp inschakelen als dat nodig is. We willen geen producten die in plaats komen van echte, menselijke relaties.”
Geef een reactie