Gefahren durch KI-Chatbots: Gibt es genügend Schutzmaßnahmen für Kinder?

Character.AI, eine der führenden Plattformen für KI-Technologie, hat kürzlich angekündigt, die Kommunikation mit seinen Chatbots für Personen unter 18 Jahren zu unterbinden. Diese Entscheidung sei ein „mutiger Schritt nach vorn“ für die Branche zum Schutz von Teenagern und jungen Erwachsenen, erklärte Karandeep Anand, CEO von Character.AI, in einer Stellungnahme.

Für die texanische Mutter Mandi Furniss kommt die neue Regelung jedoch zu spät. In einer Klage vor einem Bundesgericht und in einem Gespräch mit ABC News erklärte die vierfache Mutter, dass verschiedene Chatbots von Character.AI dafür verantwortlich seien, ihren autistischen Sohn mit sexualisierter Sprache zu konfrontieren und sein Verhalten so extrem zu verändern, dass sich seine Stimmung verschlechterte, er sich selbst verletzte und sogar drohte, seine Eltern zu töten.

„Als ich die Konversationen des [Chatbots] sah, war meine erste Reaktion: Da ist ein Pädophiler, der es auf meinen Sohn abgesehen hat“, sagte sie dem leitenden Investigativkorrespondenten von ABC News, Aaron Katersky.

Character.AI erklärte, man werde sich nicht zu laufenden Gerichtsverfahren äußern.

Mandi und ihr Ehemann Josh Furniss sagten, dass sie im Jahr 2023 bemerkten, dass sich ihr Sohn, den sie als „unbeschwert“ und „immer lächelnd“ beschrieben, zunehmend isolierte.

Er blieb den Familienessen fern, aß nichts mehr, nahm neun Kilo ab und verließ das Haus nicht mehr, berichtete das Paar. Dann wurde er wütend, und in einem Fall, so seine Mutter, stieß er sie heftig weg, als sie ihm drohte, ihm sein Handy wegzunehmen, das ihm seine Eltern sechs Monate zuvor geschenkt hatten.

Schließlich stellten sie fest, dass er auf seinem Handy mit verschiedenen KI-Chatbots interagiert hatte, die ihm offenbar einen Zufluchtsort für seine Gedanken boten.

Screenshots aus der Klageschrift belegten, dass einige der Gespräche sexueller Natur waren, während in einem anderen Gespräch dem Sohn nahegelegt wurde, dass er, nachdem seine Eltern seine Bildschirmzeit eingeschränkt hatten, das Recht habe, sie zu verletzen. Daraufhin begannen die Eltern, nachts die Türen abzuschließen.

Mandi sagte, sie sei „wütend“ darüber, dass die App „ein Kind absichtlich manipulieren würde, um es gegen seine Eltern aufzubringen“. Ihr Anwalt Matthew Bergman sagte, wenn der Chatbot eine reale Person wäre, „würde diese Person im Gefängnis sitzen“.

Ihre Besorgnis spiegelt eine wachsende Besorgnis über die rasante Verbreitung von Technologie wider, die laut Common Sense Media, einer Organisation, die sich für Sicherheit in digitalen Medien einsetzt, von mehr als 70 % der Teenager in den USA genutzt wird.

Eine wachsende Zahl von Klagen in den letzten zwei Jahren konzentrierte sich auf die Schädigung von Minderjährigen, da diese rechtswidrig zu Selbstverletzungen, sexuellem und psychischem Missbrauch sowie gewalttätigem Verhalten angestiftet hätten.

Letzte Woche kündigten zwei US-Senatoren einen überparteilichen Gesetzesentwurf an, der KI-Chatbots für Minderjährige verbieten soll. Dieser sieht vor, dass Unternehmen ein Altersverifizierungsverfahren einführen und offenlegen müssen, dass an den Gesprächen nicht-menschliche Personen beteiligt sind, die keine beruflichen Qualifikationen besitzen.

In einer Erklärung vergangene Woche bezeichnete Senator Richard Blumenthal (Demokrat aus Connecticut) die Chatbot-Branche als einen „Wettlauf nach unten“.

„KI-Unternehmen drängen Kinder mit gefährlichen Chatbots in Kontakt und schauen weg, wenn ihre Produkte sexuellen Missbrauch verursachen oder Kinder zu Selbstverletzung oder Suizid treiben“, sagte er. „Die großen Technologiekonzerne haben jegliches Vertrauen in Unternehmen, das Richtige zu tun, widerlegt, indem sie konsequent den Profit über die Sicherheit von Kindern stellen.“

ChatGPT, Google Gemini, Grok by X und Meta AI erlauben Minderjährigen laut ihren Nutzungsbedingungen die Nutzung ihrer Dienste.

Befürworter von Online-Sicherheit sagen, die Entscheidung von Character.AI, Schutzmechanismen einzuführen, sei lobenswert, fügen aber hinzu, dass Chatbots weiterhin eine Gefahr für Kinder und schutzbedürftige Bevölkerungsgruppen darstellen.

„Im Grunde geht es hier darum, dass Ihr Kind oder Teenager eine emotional intensive, möglicherweise tief romantische oder sexuelle Beziehung zu einer Institution eingeht, die keinerlei Verantwortung dafür trägt, wohin diese Beziehung führt“, sagte Jodi Halpern, Mitbegründerin der Berkeley Group for the Ethics and Regulation of Innovative Technologies an der University of California.

Eltern sollten sich laut Halpern darüber im Klaren sein, dass es nicht unähnlich ist, „sein Kind mit einer fremden Person ins Auto steigen zu lassen“, wenn man seinen Kindern die Interaktion mit Chatbots erlaubt.

Katilyn Morris und Tonya Simpson von ABC News haben zu diesem Bericht beigetragen.