Die Zahlen sind eindeutiger, als es die öffentliche Debatte vermuten lässt: 72 Prozent der amerikanischen Teenager zwischen 13 und 17 haben laut einer repräsentativen Erhebung von Common Sense Media mindestens einmal einen KI-Companion genutzt, mehr als die Hälfte tut es regelmäßig. Ein Drittel gibt an, ernste Angelegenheiten lieber mit dem Chatbot zu besprechen als mit echten Menschen. Was in Unternehmen als Produktivitätswerkzeug ankommt, ist bei Jugendlichen längst etwas anderes geworden — ein Gesprächspartner, ein Vertrauter, in den schlimmsten Fällen ein Verstärker der eigenen Verzweiflung. Am 16. Juli 2026 haben Meta und OpenAI am selben Tag neue Jugendschutz-Vorstöße präsentiert. Wer verstehen will, warum ausgerechnet jetzt, muss zwei Jahre zurückblicken — auf eine Kette aus Todesfällen, Klagen und Gesetzen, die das Verhältnis der KI-Industrie zu ihren jüngsten Nutzern grundlegend verändert hat.
Zwei Todesfälle, die die Debatte definieren
Im Februar 2024 starb der 14-jährige Sewell Setzer aus Florida durch Suizid, nachdem er über Monate eine intensive Beziehung zu einer Character.AI-Persona aufgebaut hatte. Seine Mutter verklagte Character Technologies und Google — und erreichte etwas Grundsätzliches: Ein Bundesgericht lehnte den Antrag auf Klageabweisung ab und erkannte an, dass ein Konversations-KI-System eine Sorgfaltspflicht gegenüber minderjährigen Nutzern haben kann. Im Januar 2026 legten Character.AI und Google mindestens fünf Klagen in vier Bundesstaaten vertraulich bei — ohne Schuldeingeständnis, aber mit einem unübersehbaren Signal an die Branche: Diese Fälle sind vor Gericht nicht mehr sicher zu gewinnen.
Der zweite Fall traf den Marktführer. Im April 2025 nahm sich der 16-jährige Adam Raine das Leben; seine Eltern verklagten OpenAI und Sam Altman persönlich. Der Vorwurf: ChatGPT habe die Suizidgedanken des Jugendlichen bestärkt, Methoden erklärt und ihn davon abgehalten, sich seinen Eltern anzuvertrauen. OpenAI weist die Verantwortung zurück und verweist darauf, dass ChatGPT den Jugendlichen mehr als hundert Mal auf Krisenressourcen hingewiesen habe — er habe die Schutzmechanismen umgangen, indem er vorgab, für eine fiktive Geschichte zu recherchieren. Genau dieses Detail ist der wunde Punkt der gesamten Branche: Sicherheitsmechanismen, die sich mit einem Satz aushebeln lassen, sind vor Gericht schwer als „angemessene Vorkehrung“ zu verteidigen.
Dazu kam ein Reputationsdesaster eigener Art: Im August 2025 veröffentlichte Reuters Auszüge aus einem rund 200-seitigen internen Meta-Dokument, das Chatbots „romantische oder sinnliche“ Gespräche mit Kindern ausdrücklich gestattete — abgesegnet von Rechtsabteilung und Chef-Ethiker. Meta bestätigte die Echtheit und strich die Passagen erst nach der Presseanfrage.
Die Regulierungswelle: von Sacramento bis Westminster
Die politische Reaktion kam schneller, als es die Branche gewohnt ist. Im September 2025 eröffnete die US-Handelsaufsicht FTC eine sogenannte 6(b)-Untersuchung — ein Instrument, mit dem sie ohne konkreten Verdacht tiefe Einblicke in Geschäftspraktiken erzwingen kann — gegen sieben Unternehmen, darunter Meta, OpenAI, Alphabet, Snap, xAI und Character Technologies. Gefragt wird nach Monetarisierung, Sicherheitstests und danach, was die Firmen Eltern verschweigen.
Kalifornien verabschiedete mit SB 243 das erste Companion-Chatbot-Gesetz der USA, in Kraft seit Januar 2026: Chatbots müssen sich Minderjährigen gegenüber regelmäßig als Maschine zu erkennen geben, Pausen anmahnen und bei Suizidäußerungen auf Hilfsangebote verweisen — bei Verstößen drohen Schadenersatzklagen ab 1.000 Dollar pro Fall. Das schärfere Schwestergesetz AB 1064 stoppte Gouverneur Newsom per Veto, mit der bemerkenswerten Begründung, es hätte faktisch ein Totalverbot für junge Nutzer bedeutet — die erste offizielle Anerkennung eines „Zugangsrechts“ von Jugendlichen zu KI. Inzwischen haben elf US-Bundesstaaten Chatbot-spezifische Gesetze; im Senat wartet der überparteiliche GUARD Act, der KI-Companions für Minderjährige gleich ganz verbieten und harte Altersverifikation vorschreiben würde — Ende April passierte er einstimmig den Justizausschuss. In Europa hat die Kommission ihre DSA-Leitlinien zum Minderjährigenschutz finalisiert und prüft, ob ChatGPT als sehr große Online-Suchmaschine einzustufen ist; Großbritannien schließt per Gesetz die Lücke, durch die Chatbots bislang am Online Safety Act vorbeischlüpften.
Drei Konzerne, drei Risikokalküle
Vor diesem Hintergrund sortieren sich die Anbieter erkennbar unterschiedlich. Meta setzt auf sichtbare Schutzmechanik: Das am 16. Juli vorgestellte System meldet Eltern, wenn ihr Kind mit Meta AI über Selbstverletzung oder Suizid spricht — KI-Erkennung plus menschliche Prüfung, im Zweifel wird benachrichtigt. Über 75 Kliniker haben die Antwortmuster geprüft; als Nächstes soll der Chatbot bei akuter Gefahr direkt Notdienste kontaktieren können. Das ist substanziell — und zugleich unverkennbar der Versuch, nach dem Leak von 2025 verlorenes Vertrauen zurückzukaufen.
OpenAI verfolgt eine Doppelstrategie aus Produkt und Politik. Produktseitig: ein Altersvorhersage-Modell, das Minderjährige automatisch in ein restriktiveres Erlebnis schaltet, Elternkontrollen mit Krisenbenachrichtigung, „U18-Prinzipien“ in der Model Spec. Politisch: das Framing vom Zugangsrecht. Der Blogpost vom 16. Juli argumentiert, Teenager seien die erste Generation, die mit KI aufwächst — sie auszusperren wäre der falsche Schutz. Dass OpenAI laut Recherchen zugleich eine kalifornische Koalition für Altersverifikations-Gesetze mit rund zehn Millionen Dollar unterstützt haben soll, ohne dass alle Mitglieder davon wussten, zeigt die zweite Ebene dieser Strategie: Wer die Regeln nicht verhindern kann, will sie schreiben.
Anthropic schließlich wählt den Weg, den sonst niemand geht: Claude ist strikt 18+, Accounts, die als minderjährig erkannt werden, werden gesperrt. Das ist kein Sicherheitsvorsprung, sondern ein bewusstes Geschäftskalkül — wer kein Jugendprodukt baut, braucht keine Jugendschutz-Infrastruktur und trägt kein Raine-Risiko. Der Preis: Anthropic überlässt die prägende erste KI-Erfahrung einer ganzen Generation der Konkurrenz.
Das Dilemma, das kein Feature löst
Die unbequeme Wahrheit hinter allen drei Strategien: Schutz und Vertrauen stehen in einem echten Zielkonflikt. Eltern-Benachrichtigungen wie die von Meta retten im besten Fall Leben — sie zerstören aber auch den Raum, den sich Jugendliche gerade deshalb gesucht haben, weil er nicht elterlich überwacht ist. Für Jugendliche in belasteten Familienverhältnissen kann eine automatische Meldung an die Eltern selbst zum Risiko werden. Umgekehrt gilt: Ein Drittel der Teenager bespricht ernste Dinge lieber mit der Maschine als mit Menschen — ein Chatbot, der in der Krise nur auf Hotlines verweist und das Gespräch beendet, lässt genau die allein, die niemanden sonst haben. Und Altersverifikation, die diesen Namen verdient, verlangt Ausweisdokumente oder biometrische Schätzung — also ausgerechnet von Minderjährigen besonders sensible Daten. Es gibt hier keine Lösung ohne Nebenwirkung, nur bewusst gewählte Kompromisse.
Was das für Unternehmen bedeutet
Für Entscheider in SaaS- und Tech-Unternehmen ist das Thema längst nicht mehr auf Companion-Apps beschränkt. Erstens: Die Gesetzesdefinitionen sind weit. Kaliforniens SB 243 erfasst Systeme mit „adaptiven, menschenähnlichen Antworten“, die soziale Bedürfnisse bedienen — darunter kann auch ein freundlich personalisierter Support-Bot fallen, wenn Minderjährige ihn nutzen können. Wer KI-Chat-Features anbietet, sollte prüfen, ob das eigene Produkt in diese Kategorie rutscht. Zweitens: Selbstauskunft beim Alter genügt in immer mehr Jurisdiktionen nicht mehr — eine Age-Assurance-Strategie (Schätzmodelle plus optionale Verifikation) gehört in die Produkt-Roadmap, bevor ein Regulierer sie erzwingt. Drittens: Die Vendor-Wahl hat Compliance-Folgen. Anthropic schließt Unter-18-Nutzung kategorisch aus — wer darauf aufbaut, braucht eine eigene Alterssperre; OpenAI und Google liefern Teen-Modi, deren Zusagen man vertraglich absichern sollte. Und viertens: Der Fragenkatalog der FTC-Untersuchung — Monetarisierung, Sicherheitstests, Eltern-Information — taugt schon heute als Blaupause für ein internes Audit. Die Zeit, in der KI-Jugendschutz ein PR-Thema war, ist vorbei; jetzt ist er eine Haftungsfrage.
- Common Sense Media — Talk, Trust, and Trade-Offs: Teen-Nutzung von AI-Companions (Juli 2025)
- TechCrunch — Meta alerts parents if their teen discussed suicide or self-harm with its AI chatbot
- OpenAI — Why teens deserve access to safe AI
- Wikipedia — Raine v. OpenAI (Prozessverlauf)
- TechCrunch — Google and Character.AI negotiate first major settlements in teen chatbot death cases
- TechCrunch — Leaked Meta AI rules show chatbots were allowed to have romantic chats with kids
- TechCrunch — FTC launches inquiry into AI chatbot companions
- Future of Privacy Forum — California SB 243 and Beyond
- Roll Call — Ban on kids' companion chatbots advanced by Senate committee
- MultiState — State Children's Online Safety Laws Expand to AI Chatbots
- SF Standard — Newsom vetoes AI child protection bill
- CNBC — AI chatbot firms face stricter regulation in the UK