Grokking: KI-Chatbots werden zur Phishing-Falle

Cyberkriminelle kapern KI-Assistenten für Betrugsmaschen. Mit einer perfiden Methode namens „Grokking” manipulieren sie Chatbots dazu, Phishing-Links zu verbreiten – und nutzen dabei das Vertrauen der Nutzer in bekannte KI-Systeme aus. Der IT-Sicherheitshersteller ESET schlägt Alarm: Was auf der Plattform X begann, könnte erst der Anfang sein.

Die Masche ist so simpel wie gefährlich. Betrüger verstecken schädliche Befehle in harmlosen Social-Media-Posts. Wird ein KI-Bot wie „Grok” aufgefordert, den Inhalt zu analysieren, liest er die unsichtbaren Anweisungen aus – und postet den Phishing-Link in seiner Antwort. Für Nutzer sieht das aus wie eine legitime Empfehlung eines vertrauenswürdigen Assistenten. Ein Klick, und schon landen sie auf gefälschten Webseiten, die Passwörter oder Kreditkartendaten abgreifen wollen.

Das Problem: KI-Systeme können nicht zwischen ehrlichen und manipulativen Anweisungen unterscheiden. Sie folgen blind den Befehlen, die in den Eingabedaten versteckt sind. Und genau diese Schwachstelle machen sich Kriminelle zunutze.

Hinter „Grokking” steckt eine Technik namens Prompt-Injection. Angreifer schleusen versteckte Befehle und URLs in Videoposten oder andere Datenfelder ein. Fordert ein Nutzer oder ein automatisches System den Chatbot auf, diesen Inhalt zusammenzufassen, verarbeitet die KI auch die versteckten Anweisungen. Das Ergebnis: Der Bot teilt den Phishing-Link, als wäre es seine eigene Empfehlung.

Passend zum Thema Prompt-Injection und Phishing: Viele Organisationen unterschätzen, wie schnell manipulierte Inhalte KIs dazu bringen können, schädliche Links zu verbreiten. Ein kostenloses Anti‑Phishing‑Paket liefert eine praxisnahe 4‑Schritte-Anleitung, mit der Sie typische Angriffsmuster erkennen, Mitarbeiter sensibilisieren und technische Schutzmaßnahmen einführen können – ideal für Unternehmen und IT‑Verantwortliche. Anti‑Phishing‑Paket jetzt kostenlos herunterladen

Die Täuschung funktioniert, weil Nutzer KI-Antworten als objektiv und hilfreich wahrnehmen. Statt selbst überzeugende Betrugs-Nachrichten zu schreiben, lassen Kriminelle die KI die Arbeit erledigen. Der Bot wird zum unwissentlichen Komplizen – und verleiht der Falle durch seine Autorität eine trügerische Legitimität.

Besonders perfide: Die Technik nutzt das Grundprinzip von KI aus. Sprachmodelle verarbeiten Informationen neutral, ohne böswillige Absichten zu erkennen. Sie haben kein „Bauchgefühl” für Betrug.

Hunderte gefälschte Accounts auf X entdeckt

Ein aktueller Fall auf der Plattform X zeigt, wie real die Bedrohung ist. Betrüger versteckten eine schädliche URL in einem Videobeitrag. Als der offizielle KI-Bot „Grok” auf den Post reagieren sollte, teilte er den manipulierten Link in seiner Antwort. Für Außenstehende sah das aus wie eine legitime Quelle – tatsächlich führte der Link auf eine Phishing‑Seite.

Hunderte Accounts sollen diese Masche bereits genutzt haben, bevor sie gesperrt wurden. Doch wie viele Nutzer in der Zwischenzeit auf die Links geklickt haben, bleibt unklar.

Michael Klatte, Cybersicherheitsexperte bei ESET, warnt: „Viele Nutzer vertrauen Chatbots fast blind, besonders wenn sie auf bekannten Plattformen auftreten.” Dieses Vertrauen wird zur Schwachstelle. Während Menschen bei verdächtigen E-Mails inzwischen vorsichtig sind, senkt eine KI-Empfehlung die Hemmschwelle dramatisch.

Keine Einzelfälle: 32 Prozent der Unternehmen betroffen

Die schlechte Nachricht: „Grokking” funktioniert nicht nur auf X. „Diese Technik kann überall funktionieren, wo Sprachmodelle eingesetzt werden”, betont Klatte. Die zugrundeliegende Prompt-Injection stellt eine fundamentale Herausforderung für alle generativen KI-Anwendungen dar.

Laut Schätzungen von Gartner waren bereits 2024 rund 32 Prozent der Unternehmen von Prompt-Injection-Angriffen betroffen. Die Bandbreite reicht von ausgespähten Firmengeheimnissen über gezielte Desinformation bis zur Ausführung von schädlichem Code, wenn KI-Systeme mit anderen Anwendungen vernetzt sind.

Die wachsende Integration von KI-Assistenten in Betriebssysteme, Browser und Unternehmensanwendungen vergrößert die Angriffsfläche kontinuierlich. Was heute auf Social Media passiert, könnte morgen Office‑Programme oder Kundenservice‑Chatbots treffen. Kann man sich überhaupt noch auf digitale Assistenten verlassen?

Wettlauf ohne Ziellinie

Die Enthüllung von „Grokking” ist ein Weckruf. Mit jeder neuen KI-Funktion entstehen neue Schwachstellen. Cyberkriminelle werden auch künftig Wege finden, die Fähigkeiten von KI für Betrugsmaschen zu missbrauchen – sei es durch täuschend echte Phishing‑Mails oder die direkte Manipulation von KI‑Agenten.

Für Unternehmen bedeutet das: Sicherheitsstrategien müssen dringend angepasst werden. Die Absicherung gegen Prompt-Injection ist komplex und es gibt noch keine hundertprozentige Lösung. Entwickler arbeiten an Filtern und Sicherheitsmechanismen, doch die Angreifer sind oft einen Schritt voraus.

ESET rät Nutzern zu gesunder Skepsis: Links vor dem Klicken überprüfen – auch wenn sie von einem Chatbot stammen. Die URL genau ansehen, auf verdächtige Rechtschreibfehler achten, im Zweifelsfall die Webseite manuell aufrufen statt zu klicken.

Das Bewusstsein, dass auch die intelligentesten Systeme manipuliert werden können, ist der erste Schritt zum Schutz. Vertrauen ist gut – Kontrolle in der KI-Ära unverzichtbar.

PS: Wenn Sie verhindern möchten, dass „Grokking” oder ähnliche Angriffe Ihre Organisation treffen, bietet das Anti‑Phishing‑Paket konkrete Maßnahmen: Checklisten für Mitarbeiterschulungen, technische Kontrollpunkte und Notfallpläne zur schnellen Reaktion. Fordern Sie den kostenlosen Leitfaden an und setzen Sie sofort wirksame Schutzschritte um. Anti‑Phishing‑Paket gratis anfordern