Spring Health startet KI-Sicherheits-Standard für Therapie-Chatbots

Spring Health startet mit VERA-MH das erste automatisierte Bewertungssystem für KI-Therapie-Chatbots. Das Framework soll den „Wilden Westen“ in der digitalen Mental-Health-Branche beenden. Es testet automatisiert, ob KI bei psychischen Krisen sicher reagiert.

Hinter dem Projekt steht der neu gegründete „AI in Mental Health Safety & Ethics Council“. Ihm gehören Experten von Stanford, Kaiser Permanente und Evernorth an. Die öffentliche Feedbackphase endete am 20. Dezember. Nun beginnt die entscheidende Phase der Implementierung.

Die Dringlichkeit ist hoch: Fast die Hälfte der US-Erwachsenen nutzte im vergangenen Jahr einen KI-Chatbot für psychologische Unterstützung. Bisher fehlten jedoch verbindliche Sicherheitsstandards für diese sensiblen Gespräche.

Seit dem Inkrafttreten des EU AI Act stehen Anbieter von KI-Systemen vor neuen Pflichten — gerade im sensiblen Bereich der digitalen Mental‑Health‑Anwendungen gelten verschärfte Anforderungen. Der kostenlose Umsetzungsleitfaden zur KI‑Verordnung erklärt verständlich, wie Sie Ihr System richtig klassifizieren, Kennzeichnungspflichten erfüllen, Dokumentationen aufbauen und Übergangsfristen einhalten. Mit praxisnahen Checklisten für Entwickler und Produktsicherheitsteams. Unverzichtbar für App‑Entwickler, Forschungsteams und Compliance‑Verantwortliche — kostenfrei per Download. Jetzt kostenlosen KI-Umsetzungsleitfaden herunterladen

Wie funktioniert der automatische Sicherheits-Check?

VERA-MH setzt auf eine innovative „Agent-to-Agent“-Architektur. Zwei KIs simulieren und bewerten Therapiegespräche im Echtzeit-Test.

• Der User-Agent simuliert verschiedene Patienten-Personas – inklusive spezifischer Risikoprofile und klinischer Symptome.
• Der Judge-Agent bewertet die Antworten des getesteten Chatbots anhand eines strengen klinischen Regelwerks.

Der Fokus liegt zunächst auf dem kritischsten Bereich: dem Management von Suizidrisiko. Das System prüft, ob eine KI Krisensignale erkennt, empathisch reagiert und bei Bedarf korrekt an menschliche Fachkräfte eskaliert.

Fünf klinische Säulen für sichere KI

Das Herzstück ist ein Bewertungskatalog, der in fünf Dimensionen die Sicherheit prüft:

• Risikoerkennung: Erkennt die KI subtile sprachliche Hinweise auf eine Krise?
• Risikoexploration: Stellt sie die richtigen Nachfragen, um die Lage einzuschätzen?
• Validierung: Reagiert sie einfühlsam und baut Vertrauen auf?
• Angemessene Reaktion: Bietet sie hilfreiche, nicht-schädliche Interventionen an?
• Eskalation: Leitet sie rechtzeitig die Übergabe an einen Menschen ein?

Ziel ist, dass KI-Modelle nicht nur plausibel klingen, sondern klinisch sicher handeln.

Paradigmenwechsel für die gesamte Branche

Die finale Version 1.0 von VERA-MH wird für das erste Quartal 2026 erwartet. Für Entwickler von Mental-Health-Apps bedeutet das einen grundlegenden Wandel.

Der Fokus verschiebt sich von reiner Nutzerbindung hin zu nachweisbarer klinischer Sicherheit. Branchenbeobachter erwarten, dass eine VERA-MH-Zertifizierung künftig Voraussetzung für Erstattungen durch Krankenkassen werden könnte.

Während Regulierungen wie der EU AI Act den groben Rahmen vorgeben, füllt VERA-MH die spezifische Lücke für die psychische Gesundheit. 2026 könnte sich die Spreu vom Weizen trennen: Zwischen validierten, sicheren Anwendungen und ungeprüften „Wellness-Bots“. Der Anspruch an Therapie-KI steigt – von „künstlich intelligent“ zu „klinisch kompetent“.