KI-Sicherheitslücken: Britische Behörde hält Prompt Injection für unheilbar

Die britische Cybersicherheitsbehörde NCSC schockiert die Tech-Branche mit einer radikalen Einschätzung: Prompt-Injection-Angriffe auf Künstliche Intelligenz lassen sich womöglich nie vollständig verhindern. Die am Montag veröffentlichte Warnung stellt jahrelange Entwicklungsarbeit infrage – und könnte den KI-Boom abrupt bremsen.

Was bedeutet das für Unternehmen, die bereits Millionen in generative KI-Systeme investiert haben? Die Antwort ist unbequem: Ihre Sicherheitskonzepte basieren möglicherweise auf einer gefährlichen Illusion.

Das fundamentale Problem: KI kann nicht unterscheiden

Das National Cyber Security Centre (NCSC) greift eine zentrale Überzeugung der Branche an. Während Entwickler seit Jahren daran arbeiten, KI-Schwachstellen wie herkömmliche Software-Bugs zu „flicken”, erklärt die Behörde diese Hoffnung für trügerisch.

Large Language Models – die Technologie hinter ChatGPT und ähnlichen Systemen – seien „von Natur aus verwechslungsanfällig”, heißt es in der Stellungnahme. Der Grund: Diese KI-Modelle können grundsätzlich nicht zwischen Nutzeranweisungen und reinen Daten unterscheiden.

Passend zum Thema KI-Risiken: Die EU-KI-Verordnung bringt konkrete Pflichten für Entwickler und Anwender – und viele Unternehmen sind noch nicht darauf vorbereitet. Gerade nach den NCSC-Warnungen zur Prompt Injection ist es entscheidend zu wissen, welche Anforderungen, Risikoklassen und Dokumentationspflichten für hochriskante Systeme gelten. Unser kostenloser Umsetzungsleitfaden erklärt praxisnah, wie Sie Ihr KI-System korrekt klassifizieren und rechtssicher dokumentieren. Jetzt KI-Verordnung-Umsetzungsleitfaden downloaden

„Eine klassische ‚Confused Deputy’-Schwachstelle lässt sich beheben. Bei LLMs ist die Verwechslungsgefahr jedoch inhärent – das Risiko kann nicht beseitigt werden”, erklärt David C, technischer Forschungsdirektor des NCSC. Diese architektonische Beschränkung ermöglicht es Angreifern, schädliche Befehle als harmlosen Text zu tarnen.

Anders als bei traditioneller Software, wo Code und Eingabedaten strikt getrennt bleiben, verarbeiten Sprachmodelle alles als kontinuierlichen Datenstrom. Jedes Wort wird als „Token” behandelt, um das nächste vorherzusagen. Laut NCSC macht diese Funktionsweise eine vollständige Prävention von Prompt Injection mit heutigen LLM-Architekturen theoretisch unmöglich.

Der gefährliche SQL-Vergleich

Besonders eindringlich warnt die Behörde vor einem weit verbreiteten Denkfehler: dem Vergleich mit SQL Injection. Jahrzehntelang zählten SQLi-Angriffe zu den häufigsten Web-Schwachstellen. Angreifer manipulierten Datenbankabfragen, bis die Industrie das Problem durch „parametrisierte Abfragen” löste – eine strikte Trennung von Befehlen und Nutzereingaben.

„Auf den ersten Blick scheint Prompt Injection SQL Injection zu ähneln”, schreibt David C. „Doch die entscheidenden Unterschiede werden übersehen – mit potenziell verheerenden Folgen für die Sicherheitsmaßnahmen.”

Während SQLi-Schutzmaßnahmen mathematisch absolut funktionieren, sind KI-„Leitplanken” lediglich probabilistisch. Sie mögen in 99 Prozent der Fällen wirken, können aber niemals Sicherheit garantieren. Prompt Injection als „behebbaren Bug” zu behandeln statt als inhärente Limitation der Technologie sei laut NCSC ein Rezept für Desaster.

Strategiewechsel: Von Prävention zu Schadensbegrenzung

Da eine technische „Heilung” ausscheidet, fordert das NCSC einen fundamentalen Kurswechsel. Organisationen müssten ihre Strategie von Verhinderung auf Eindämmung und Resilienz verlagern. Die neue Leitlinie rät Systemarchitekten, davon auszugehen, dass Prompt-Injection-Angriffe früher oder später gelingen werden.

Die Kernempfehlungen vom 8. Dezember umfassen:

• Abschied vom Wundermittel: KI-Firewalls oder Prompt-Filter taugen nicht als Komplettlösung.
• KI als untrusted user behandeln: KI-Komponenten dürfen keinen unkontrollierten Zugriff auf interne Daten erhalten oder sensible Aktionen ohne unabhängige Verifikation ausführen.
• Mensch im Regelkreis: Kritische KI-Entscheidungen erfordern menschliche Freigabe.
• Das Confused-Deputy-Modell: Sicherheitsteams sollten die KI als potenzielle „verwirrte Stellvertreterin” betrachten – eine Instanz mit Befugnissen, die sich zum Missbrauch verleiten lässt.

„Statt zu hoffen, dass wir Prompt Injection beheben können, müssen wir Risiko und Auswirkungen reduzieren”, so der technische Direktor. „Wenn die Systemsicherheit das verbleibende Risiko nicht tolerieren kann, eignet sich der Anwendungsfall möglicherweise nicht für LLMs.”

Erschütterung für die Branche

Die Intervention trifft die Tech-Industrie in einem kritischen Moment. 2024 und 2025 haben Unternehmen generative KI geradezu hektisch in Unternehmenssoftware, Kundenservice-Bots und interne Datenverarbeitung integriert. Die NCSC-Stellungnahme legt nahe, dass viele dieser Deployments auf trügerischer Sicherheit basieren.

Sicherheitsexperten begrüßen den Realismus der Behörde. „Das ist ein überfälliger Weckruf”, kommentierte ein Branchenanalyst am Dienstag. „Zwei Jahre lang haben wir erlebt, wie Anbieter ‚Prompt-Injection-Schilde’ mit Totalschutz-Versprechen verkauften. Das NCSC sagt nun faktisch: Diese Versprechen sind mathematisch unmöglich einzulösen.”

Die Warnung deckt sich mit aktueller akademischer Forschung. Demnach werden Modelle mit steigender Intelligenz oft besser darin, verschleierte schädliche Anweisungen zu befolgen – statt sicherer zu werden. Dieses „Jailbreak-Wettrüsten” hat Angreifer bereits alles von Fremdsprachen bis ASCII-Art nutzen sehen, um Sicherheitsfilter zu umgehen.

Was bedeutet das für deutsche Unternehmen?

Für den deutschen Mittelstand und DAX-Konzerne hat die NCSC-Einschätzung konkrete Folgen. Viele setzen bereits auf KI-gestützte Prozesse – von der automatisierten Kundenberatung bis zur intelligenten Datenanalyse. SAP, Siemens und die Deutsche Telekom haben Milliarden in KI-Infrastruktur investiert.

Die Erkenntnis, dass fundamentale Sicherheitslücken nicht schließbar sind, verschiebt die Haftungsfrage dramatisch. Wenn ein System per Definition nicht sicher gemacht werden kann, liegt die Verantwortung primär bei der Einsatzumgebung und den Beschränkungen der KI-Befugnisse.

Experten erwarten eine Trendwende: weg von „autonomen” KI-Agenten, die eigenständig handeln, zurück zu „beratender” KI, die menschliche Entscheidungen unterstützt. Unternehmen dürften ihre KI-Strategien überdenken müssen – besonders in sicherheitskritischen Bereichen wie Finanzwesen oder Infrastruktur.

Der neue Sicherheitsstandard

Die Botschaft des NCSC ist eindeutig: Die Ära, in der KI-Sicherheit wie Standard-Software-Debugging behandelt wird, ist vorbei. Während Organisationen Large Language Models weiter in ihre digitalen Rückgrate integrieren, müssen sie akzeptieren: Ihr Vorzeigemitarbeiter ist definitionsgemäß leicht zu verwirren und unmöglich vollständig vertrauenswürdig.

Bleibt die Frage: Können wir uns leisten, auf diese Technologie zu setzen – oder können wir uns leisten, darauf zu verzichten?

PS: Wussten Sie, dass die EU-KI-Verordnung seit August 2024 in Kraft ist und Übergangsfristen laufen? Wenn Ihr Unternehmen generative KI in sensiblen Prozessen nutzt, benötigen Sie eine klare Risikoklassifizierung, Nachweisdokumentation und passende Maßnahmen zur Schadensbegrenzung. Unser kompaktes Gratis-E-Book fasst die wichtigsten Pflichten, Fristen und Umsetzungsschritte zusammen – inklusive Checklisten für die ersten nächsten Schritte. Gratis KI-Verordnung-Leitfaden sichern