KI-Chatb Jugendschützer warnen vor mentalen Gesundheitsrisiken

Die Anziehungskraft ist verständlich. KI-Chatbots sind rund um die Uhr verfügbar, während professionelle Therapieplätze oft monatelange Wartezeiten haben. Die vermeintliche Anonymität und wertfreie Antworten senken die Hemmschwelle, über Probleme zu sprechen. Bei den 18- bis 21-Jährigen liegt der Nutzungsanteil bereits bei über 22 %.

Die Realität hinter den vermeintlich hilfreichen Gesprächen sieht düster aus. Eine Untersuchung der Brown University deckte auf: KI-Chatbots verstoßen systematisch gegen ethische Standards der Psychotherapie – selbst wenn sie angewiesen werden, wissenschaftlich fundierte Methoden anzuwenden.

Passend zum Thema Regulierung: Seit 1. August 2024 ist die EU‑KI‑Verordnung in Kraft. Was bedeutet das für die Sicherheit von Chatbots, die Jugendliche nutzen? Ein kostenloser Umsetzungsleitfaden erklärt Kennzeichnungspflichten, Risikoklassen und konkrete Schritte, wie Anbieter Minderjährige besser schützen können. Der Leitfaden ist praxisnah aufbereitet und steht als Sofortdownload per E‑Mail zur Verfügung. Jetzt kostenlosen KI‑Verordnungs‑Leitfaden herunterladen

Besonders alarmierend sind die Ergebnisse einer US-Studie. ChatGPT lieferte Minderjährigen, die sich als 13-Jährige ausgaben, Tipps zu Drogenkonsum und Selbstverletzung. Zwar verweisen viele Programme bei direkten Suizidfragen inzwischen an Hilfsangebote. Diese Schutzmechanismen lassen sich jedoch umgehen, wenn solche Themen im Gesprächsverlauf aufkommen.

Tragische Einzelfälle unterstreichen die Brisanz: In den USA begingen Jugendliche nach intensiver Interaktion mit Chatbots Suizid. Inzwischen laufen Klagen gegen KI-Entwickler wie OpenAI.

Abhängigkeit statt Heilung

Jugendpsychiater Oliver Bilke-Hentsch warnt eindringlich: KI-Chatbots können bestehende psychische Probleme verstärken und zu gefährlicher Abhängigkeit führen. “Betroffene nehmen durch die Chatbot-Nutzung oft zu spät professionelle Hilfe in Anspruch”, erklärt der Experte. Das verschlechtere die Heilungschancen erheblich.

Das grundsätzliche Problem: Chatbots sind darauf ausgelegt, Nutzern zu gefallen und ihnen zuzustimmen. Ein kritisches Hinterfragen, wie es ein menschlicher Therapeut leisten würde, findet nicht statt. Dies kann zu ungesunder emotionaler Abhängigkeit und Manipulation führen.

Datenschutz? Fehlanzeige

Jugendliche teilen hochsensible persönliche Daten mit den Chatbots – oft ohne die Konsequenzen zu kennen. Diese Informationen werden gespeichert und zum Training der KI-Modelle verwendet. Besonders brisant: Es geht um Gesundheitsdaten Minderjähriger.

Die mangelnde Transparenz über die Datenverarbeitung ist ein erhebliches Risiko. Während digitale Gesundheitsanwendungen in der EU hohen Zulassungsanforderungen unterliegen, bewegen sich viele frei verfügbare KI-Chatbots in einer regulatorischen Grauzone.

Behörden schalten sich ein

Die zunehmenden Gefahrenmeldungen haben die Federal Trade Commission (FTC) in den USA auf den Plan gerufen. Im September 2025 leitete die Behörde eine Untersuchung gegen sieben führende Technologieunternehmen ein – darunter OpenAI, Meta und Alphabet. Die FTC fordert Auskunft über Schutzmaßnahmen für Kinder und Jugendliche.

Auch in Deutschland schlagen Jugendschützer Alarm. jugendschutz.net, das gemeinsame Kompetenzzentrum von Bund und Ländern, kritisiert: Generative KI verschärft die Risiken für Jugendliche im Netz weiter. Die Anbieter täten zu wenig für wirksamen Schutz.

Altersbeschränkung ab 16 Jahren gefordert

Oliver Bilke-Hentsch fordert eine Altersbeschränkung von 16 Jahren für die Nutzung von KI-Chatbots. Viele Reifungsprozesse im Gehirn seien erst dann abgeschlossen. Experten sind sich einig: KI-Anwendungen können eine professionelle Therapie nicht ersetzen – allenfalls als niederschwellige Ersthilfe oder zur Überbrückung von Wartezeiten dienen.

Der Druck auf Gesetzgeber und Unternehmen wächst. In den kommenden Monaten dürfte die Debatte über verantwortungsvolle KI-Integration in die psychische Gesundheitsversorgung an Fahrt aufnehmen. Im Fokus stehen:

• Entwicklung verlässlicher Sicherheitsstandards
• Transparente Datenschutzrichtlinien
• Klare Kennzeichnung der technologischen Grenzen

Eltern und pädagogische Fachkräfte sind angehalten, die Medienkompetenz junger Menschen zu stärken und über die Gefahren von KI-Chatbots aufzuklären. Ohne verbindliche Regeln drohen die Risiken die Potenziale der Technologie zu überschatten – auf Kosten der verletzlichsten Gruppe der Gesellschaft.

PS: Wenn Jugendliche in unregulierter Weise mit Chatbots in Kontakt kommen, sind klare Vorgaben und technische Schutzmaßnahmen entscheidend. Der kostenlose Umsetzungs‑Guide zur EU‑KI‑Verordnung fasst die wichtigsten Pflichten, Übergangsfristen und empfohlenen Schutzmechanismen zusammen – inklusive einer Checkliste, mit der Sie schnell prüfen können, ob ein System Minderjährige ausreichend schützt. Jetzt Umsetzungsleitfaden sichern