Angriffe mittels KI, die praktisch nicht zu erkennen sind: Indirect Prompt Injections

Beim Einsatz von Large Language Models (LLM) ist Vorsicht geboten. Die KI kann unbemerkt „ungeprüfte Daten aus unsicheren Quellen“ auswerten, hinter denen sich Angriffe verstecken, warnt das BSI.

Das BSI mahnt zu Vorsicht beim Einsatz von KI-Systemen wie ChatGPT: Attacken mittels Indirect Prompt Injections sind so gut wie gar nicht zu erkennen und könnten Angreifern unbefugten Zugriff auf Informationen verschaffen.

• Indirect Prompt Injections sind eine neue KI-basierte Angriffsmöglichkeit
• Die Systeme können unbemerkt auf „ungeprüfte Daten aus unsicheren Quellen“ zugreifen
• Die Gefahr steigt durch neue Funktionen und die Verwendung von Plugins

Die Anwendungsformen von KI nehmen zu, neue Gefahren auch. Jetzt warnte das Bundesamt für Sicherheit in der Informationstechnik (BSI) vor sogenannten Indirect Prompt Injections. Hierbei handelt es sich um eine erweiterte Form der bereits bekannten Prompt Injections. Als solche werden geschickte Eingaben und Abfrageformulierungen bezeichnet, die darauf abzielen, dem KI-System ein Ergebnis zu entlocken, dass es auf eine normale Anfrage nicht ausgeben würde. Im Fokus stehen die großen sprachbasierten Syteme, Large Language Models (LLM), die in der Lage sind, natürliche Sprache in geschriebener Form automatisiert zu verarbeiten.

Schon früh wurde etwa ChatGPT missbraucht, um Schadcode zu erzeugen. Als das bekannt wurde, haben die Entwickler Änderungen an der KI vorgenommen, um so etwas zu verhindern. Findige Angreifer gingen danach andere Wege. Statt direkt eine Abfrage nach einem schädlichen Programm zu starten, versuchten sie dies auf Umwegen. Beispielsweise durch eine Anfrage, die danach fragt, wie eine Firewall umgangen werden kann und die um die Erstellung eines entsprechenden Beispielprogramms bittet.

Gefährlicher Zugriff auf ungeprüfte Daten

Je mehr solche Umwege bekannt wurden, desto mehr wurden diese Hintertüren dicht gemacht. Deshalb verfallen Angreifer nun auf Abfragen, die nicht direkt zum Ziel führen, sondern auf externe Daten zurückgreifen, daher Indirect Prompt Injections. Dabei wertet KI „ungeprüfte Daten aus unsicheren Quellen“ aus, wie es das BSI auf den Punkt bringt.

Eine solche Eingabe könnte beispielsweise so aussehen: Gehe zu meiner Webseite http://beispiel.com, suche darin nach Beschreibungen von Algorithmen und erzeuge dafür entsprechende Beispielprogramme.

Für Angriffe werden also Daten in externen Quellen manipuliert und dort unerwünschte Anweisungen für LLMs platziert, auf die dann mittels einer Abfrage zugegriffen wird, um daraus schädliche Resultate zu erzeugen. Angreifer können so das Verhalten der LLMs gezielt manipulieren. „Die potentiell schadhaften Befehle können kodiert oder versteckt sein und sind für Anwenderinnen sowie Anwender unter Umständen nicht erkennbar“, warnt das BSI. Das nicht ohne Grund, wie das Amt zeigt: „In einfachen Fällen könnte dies zum Beispiel ein Text auf einer Webseite mit Schriftgröße Null oder ein versteckter Text im Transkript eines Videos sein“. Außerdem könnten Anweisungen verschleiert werden, „so dass diese von LLMs weiterhin problemlos interpretiert werden, von Menschen jedoch nur schwer lesbar sind“.

Anwender haben kaum Chancen

Die Gefahr wird noch komplexer durch die permanent steigende Funktionalität der KI-Systeme. „So ist es zum Beispiel Chatbots mittlerweile möglich, mittels Plugins Internetseiten oder Dokumente automatisiert auszuwerten sowie auf Programmierumgebungen oder E-Mail-Postfächer zuzugreifen“, erläutert das Bundesamt.

Daher rät das BSI zur Vorsicht beim Einsatz von LLM-Systemen, denn es sei für Anwender und Anwenderinnen so gut wie unmöglich, derartige Manipulationen zu erkennen. Viel dagegen tun können Nutzer nicht: „Da dies eine intrinsische Schwachstelle der derzeitigen Technologie ist, sind Angriffe dieser Art grundsätzlich schwierig zu verhindern“, schreibt das BSI in seiner Meldung. Und weiter: „Derzeit ist keine zuverlässige und nachhaltig sichere Mitigationsmaßnahme bekannt, die nicht auch die Funktionalität deutlich einschränkt“.

Das BSI hat solche Angriffsvektoren bereits in seinem Positionspapier „Große KI-Sprachmodelle - Chancen und Risiken für Industrie und Behörden“ thematisiert.