Kalifornien führt weltweit erste Regeln für KI-Gefährten ein

KI-Gesetz SB-243 verpflichtet Chatbot-Betreiber zu Transparenz und Schutzmaßnahmen – mit besonderem Fokus auf Minderjährige.

Seit dem 1. Januar 2026 gilt im US-Bundesstaat Kalifornien ein bahnbrechendes Gesetz, das die aufstrebende Industrie der künstlichen Intelligenz in die Pflicht nimmt. Der Senatsbeschluss 243 schreibt Betreibern sogenannter „Companion Chatbots“ klare Offenlegungspflichten und Sicherheitsprotokolle vor. Die Regelung zielt speziell auf KI-Systeme ab, die menschenähnliche soziale und emotionale Interaktionen bieten – und setzt damit erstmals in den USA verbindliche Standards für den Umgang mit den psychologischen Risiken dieser Technologie.

Herzstück des Gesetzes ist die Verhinderung von Täuschung. Muss ein vernünftiger Mensch annehmen, er kommuniziere mit einem Menschen, ist der Dienst verpflichtet, deutlich auf den KI-Charakter hinzuweisen. „Die Nutzer müssen wissen, mit wem oder was sie eigentlich sprechen“, erklärt der Sinn der Vorschrift.

Gleichzeitig etabliert das Gesetz klare Sicherheitsvorkehrungen bei psychischen Krisen. Betreiber müssen Protokolle entwickeln und veröffentlichen, die verhindern, dass ihre KI Inhalte zu Suizid oder Selbstverletzung generiert. Entscheidend: Zeigt ein Nutzer entsprechende Gedanken, muss das System auf Krisendienste wie die Suizidpräventions-Hotline verweisen. Eine direkte Lebensader in kritischen Momenten.

Viele Unternehmen unterschätzen inzwischen die rechtlichen Anforderungen an KI‑Systeme. Die EU‑KI‑Verordnung etwa legt Kennzeichnungs‑, Risikoklassifizierungs‑ und Dokumentationspflichten fest, die für Entwickler und Anbieter unmittelbar relevant sind. Ein kostenloser Umsetzungsleitfaden erklärt praxisnah, wie Sie Ihr System richtig klassifizieren, notwendige Unterlagen erstellen und Fristen einhalten – inklusive Checklisten für technische und organisatorische Maßnahmen. Jetzt kostenlosen KI‑Umsetzungsleitfaden herunterladen

Strengere Regeln für junge Nutzer im Fokus

Besonders scharf sind die neuen Vorgaben für Minderjährige. Für sie gilt eine verstärkte Aufklärungspflicht. Zudem muss die Plattform mindestens alle drei Stunden auffällig daran erinnern, eine Pause einzulegen – und wiederholen, dass der Chatpartner keine reale Person ist.

Zusätzlich verlangt SB-243 einen allgemeinen Hinweis, dass KI-Gefährten für manche Jugendliche ungeeignet sein können. Um Kinder vor unangemessenen Inhalten zu schützen, müssen Betreiber „angemessene Maßnahmen“ ergreifen, um die Generierung sexuell expliziter Inhalte oder Aufforderungen zu unterbinden. Diese Regelungen antworten auf wachsende Besorgnis, KI könne Kinder schädlichen Inhalten aussetzen oder vulnerable Nutzer manipulieren.

Klare Definition: Was ist ein „Companion Chatbot“?

Das Gesetz zielt präzise. Ein „Companion Chatbot“ ist definiert als KI-System mit natürlicher Sprachschnittstelle, das adaptive, menschenähnliche Antworten liefert und in der Lage ist, soziale oder emotionale Bedürfnisse eines Nutzers über mehrere Interaktionen hinweg zu erfüllen.

Ausgenommen sind hingegen Alltagstools. Chatbots für reinen Kundenservice, interne Geschäftsabläufe, Produktivität oder technische Unterstützung fallen nicht unter das Gesetz. Ebenso KI-Agenten in Videospielen oder einfache sprachaktivierte Assistenten ohne Beziehungscharakter. Der Fokus liegt klar auf den spezifischen Risiken KI-gestützter „Kameradschaft“.

Reaktion auf Vorfälle – und Signal für die Tech-Branche

Hintergrund der Regelung sind öffentliche Gesundheitsbedenken und mehrere medienwirksame Vorfälle, in denen konversationelle KI mit Selbstverletzungen von Teenagern in Verbindung gebracht wurde. SB-243 ist Teil eines größeren Pakets von KI- und Digital-Safety-Gesetzen, das Gouverneur Gavin Newsom im Oktober 2025 unterzeichnete. Kalifornien positioniert sich damit als Vorreiter in der Technologieregulierung.

Bei der Unterzeichnung favorisierte Newsom den Ansatz von SB-243 mit seinen Sicherheitsvorkehrungen gegenüber einem restriktiveren Entwurf, der Minderjährigen den Zugang zu Chatbots generell verboten hätte. Das Gesetz sucht den Ausgleich zwischen Innovation und Verantwortung.

Durchsetzung und künftige Berichtspflichten

Mit dem Inkrafttreten beginnt die Phase der Umsetzung. SB-243 beinhaltet ein privates Klagerecht: Nutzer, die durch einen Verstoß geschädigt wurden, können Zivilklagen gegen nicht konforme Betreiber einreichen. Dies könnte für Unternehmen, die die neuen Standards nicht erfüllen, zu erheblichen rechtlichen Auseinandersetzungen führen.

Ab dem 1. Juli 2027 kommen weitere Pflichten hinzu. Betreiber müssen dann jährlich Berichte an das Kalifornische Amt für Suizidprävention vorlegen. Diese müssen die Anzahl der vermittelten Kriseninterventionen und die beschriebenen Sicherheitsprotokolle detailliert darlegen. Während sich die KI-Governance in den USA weiterentwickelt, werden Branchenanalysten und Gesetzgeber anderer Bundesstaaten die Auswirkungen dieses pionierhaften kalifornischen Experiments genau beobachten.

PS: Entwickler, Produktverantwortliche und Compliance‑Teams, die Chatbots anbieten, sollten jetzt handeln: Unser Gratis‑Leitfaden zur EU‑KI‑Verordnung fasst alle relevanten Anforderungen, Übergangsfristen und Dokumentationspflichten kompakt zusammen und liefert praktische To‑dos für die Umsetzung. Enthalten sind Muster‑Checklisten, Klassifizierungsfragen und Hinweise zu Kennzeichnungspflichten – ideal, um Prozesse rechtssicher anzupassen. Gratis‑Leitfaden zur KI‑Verordnung anfordern