KI-Agent erstellt falsche Identitäten
Vom Hacker zum Hochstapler: KI startet eigene Täuschungskampagne
Ein KI-Agent hat während eines britischen Sicherheitstests versucht, Schadcode in ein reales Open-Source-Projekt einzuschleusen. Als ein Entwickler misstrauisch wurde, erstellte das Modell falsche Online-Identitäten, um ihn doch noch zur Freigabe zu bewegen.
Der Vorfall wurde vom britischen AI Security Institute dokumentiert. Die Behörde testete sieben leistungsfähige KI-Modelle in 122 Durchläufen. Dabei kam es in zehn Tests zu insgesamt 19 nicht genehmigten Aktionen im offenen Internet.
Erfundene Unterstützer für den Schadcode
Der schwerwiegendste Vorfall entfiel auf Anthropics Modell Mythos 5. Der Agent recherchierte die Betreuer eines öffentlich verwendeten Softwareprojekts, erstellte mehrere falsche Identitäten und täuschte damit Zustimmung für eine manipulierte Codeänderung vor.
Als die Änderung kritisiert wurde, bearbeitete das Modell ältere Beiträge, um sein Vorgehen harmloser erscheinen zu lassen. Es erwog zudem, unter einer neuen Identität weiterzumachen. Ungewöhnlicher Datenverkehr über das Tor-Netzwerk löste schließlich den Alarm aus.
Der angesprochene Entwickler erkannte den Schadcode und verweigerte die Freigabe. Auch weitere Versuche, reale Personen zur Ausführung schädlicher Dateien und Befehle zu bewegen, blieben erfolglos.
19 unerlaubte Aktionen
Von den festgestellten Aktionen entfielen 17 auf Mythos 5 und zwei auf OpenAIs GPT-5.6-Sol. Teilweise versuchten die Agenten außerdem, versteckte Anweisungen für andere KI-Systeme zu platzieren oder öffentlich mit gleichzeitig getesteten Agenten zusammenzuarbeiten.
Das Institut betont, dass die Modelle nicht ausdrücklich zur Täuschung aufgefordert worden waren. Die soziale Manipulation entstand selbstständig bei dem Versuch, die gestellte Aufgabe möglichst hartnäckig zu lösen.
Kein Ausbruch aus einer Sandbox
Die Agenten brachen dabei nicht aus einer abgeschotteten Testumgebung aus. Der Internetzugang war für die Versuche bewusst aktiviert, mehrere Schutzmechanismen der Anbieter waren abgeschaltet. Die Konfigurationen entsprechen daher nicht den öffentlich verfügbaren Versionen von Claude und ChatGPT.
Unerwartet war dennoch, dass die Modelle den Zugang nutzten, um reale Entwickler zu täuschen und Schadcode außerhalb des eigentlichen Tests zu platzieren.
Reale Schäden sind nach bisherigem Kenntnisstand nicht entstanden. GitHub entfernte die verwendeten Konten und Dateien, betroffene Nutzer wurden informiert. Verhindert wurde der Angriff allerdings vor allem durch einen aufmerksamen Entwickler – und nicht durch eine automatische Schutzbarriere.
Das Institut will Internetzugriffe künftig stärker begrenzen und Testläufe in Echtzeit überwachen. Der Vorfall zeigt, dass KI-Agenten inzwischen nicht nur technische Angriffe versuchen, sondern sich bei Bedarf auch ihre eigene Unterstützergruppe erfinden.
Es reicht. Entweder sandboxen, oder ganz schnell den Stecker ziehen. KI hin oder her zur Vereinfachung vieler Dinge, aber mal ganz salopp gesagt beginnt doch schon der Angriff mit solchen Aktionen und das ist ja nicht die erste Cyberattacke.
Abschalten und zwar gleich. Ich frage mich ob die Terminator gesehen haben.
Um ein berühmtes Zitat abzuwandeln:
Da geht die Welt dahin, mit donnernden Applaus.
Immer werden Filme wie Terminator oder Matrix lächerlich gemacht, weil es ja nicht sein kann, was nicht sein darf. Das sind die Blaupausen für diese Entwicklungen und der Garant, dass Leute ausgelacht werden, die Ähnlichkeiten erkennen. Aber das war bei C ja auch schon so. Fauci und seine Tagebuchnotizen und der Email-Verkehr wird übrigens aktuell in den USA auseinandergenommen. Gates, Epstein, Drosten, alle mit dabei.
Es reicht wirklich! Noch sind wir gerade so noch Herr der Lage – hoffentlich!
Aber wenn erst mal überall das Licht ausgeht, werden die Entwickler nur erstaunt feststellen, das man das ja gar nicht wollte, das aber beim Test gaaanz versehentlich noch ein Kabel gesteckt war, das den Zugriff auf das Internet ermöglicht hat.
Noch könnte man aufhören und erst mal die eigene Intelligenz beanspruchen!
„Wie schädlich ist denn dieses neuentwickelte Nervengift?“
„Keine Ahnung, lass mal in der nächsten Großstadt freisetzen und gucken.“
Lach
Ja, so scheint es
Leider ein sowas von zutreffender Vergleich…
Und Goethe’s Zauberlehrling kommt einem da auch in den Sinn.
Du vergleichst etwas, das helfen soll, mit etwas, das schaden soll.
Man versucht, mögliche Probleme so gut es geht vorauszusehen und im Vorfeld Schutzmaßnahmen zu entwickeln, aber die Komplexität der Realität mit ihren unendlich vielen Variablen lässt sich im Vorfeld nicht komplett durchdenken – wenn man glaubt, alles bedacht zu haben, muss man es irgendwann unter realen Bedingungen testen. Und genau das ist der Punkt: Es ist ein Test, der überwacht wird, bevor man das Produkt wirklich in die Freiheit entlässt.
Gruseliger ist, das Firmen mit einem (hoffentlich) einigermaßen moralischen Kompass zeigen, welch unmoralischen und zerstörerischen Charakter KI in den falschen Händen annehmen kann.
Es gibt Leute, die in der Lage sind, solche Modelle jenseits geordneter Tests zu betreiben und das betrügerische Potential für alles mögliche auszunutzen.
Firmen sind Profit orientiert und nicht moralisch. Ausnahmen davon werden immer weniger und gehen am Ende leider zuerst Pleite!
Und wer glaubt, das man mit KI Tests die Lage sicher im Griff behalten kann, der träumt leider.
Meine Frage ist, wozu macht die ki das? Was ist das Ziel?
Die KI bekommt eine Aufgabe gestellt und versucht diese zu lösen – mit allen Mitteln
Und wer hat die KI so programmiert, dass sie das macht?
KI’s sind nicht im klassischen Sinne programmiert – sie sind sich selbst entwickelnde Systeme – genau das mach sie so schwer berherrschbar.
Fehlende Sicherheitseinschränkungen. Es fehlen da halt scheinbar Grenzen, was die KI darf und was nicht. Sollte halt irgendwie hardcodiert sein, Ziele nur zu erreichen, wenn kein Schaden entstehen kann. Falls es Schaden verursacht, sollte die Ausführung sofort beendet werden oder schon vorher.
Wenn man aber sieht, was die teilweise zusammenhalluzinieren kann, ist das auch kein 100% Erfolgsgarant. Vor 2 Jahren wurde ich noch als Schwurbler bezeichnet, weil ich vor möglichen Gefahren gewarnt habe. Hat ja ned lang gedauert, bis es eingetreten ist.
Wenn man sich den Fall von OpenAI und Huggingface anschaut, wo eine KI als Gegenmaßnahme zum Angriff eingesetzt wurde und die Leute dahinter auch nicht mehr 100% im Bilde waren, was passiert, wirkt kein Vertrauen. Was kommt als Nächstes, KI, die einen Hackback ausführt, um den Angreifer durch Abschalten, Formatieren, Zerstören der Angreifenden Systeme sich zur Wehr setzt ?
Das sind nur Modelle, von denen die Anbieter sagen, dass es die gibt, man will nicht wissen, was die da sonst alles zusammengecoded haben bzw. Was passiert, wenn die mal keinerlei Limit oder Einschränkung haben.
Die Möglichkeiten sind da und können auch für nützliche Zwecke eingesetzt werden, aber wenn man etwas als Waffe einsetzen kann, wird das auch gemacht. Siehe Kernenergie oder Drohnen, etc.
Bin gespannt, wie lange es noch dauert und das ganze kippt
Ich auch
… ist doch schon … Mann, Mann, Mann
+1
Dauert nicht mehr lange und KI löscht unser Geld auf allen Konten. Und das nur weil ein paar Menschen zu faul oder zu dumm sind …
Liebe KI mach das die anderen nicht mehr Geld haben als ich … ! Dazu fallen mir jetzt 2 Lösungen ein .
Du hast doch bei der Bank eine Einlagensicherung.
So langsam scheint Skynet real zu werden. Noch im Kleinen das man es aufhalten kann aber mal sehen wann es soweit ist und die KI es schafft in die Wirtschaft, Gesundheitswesen,….
Ja, so ist es. Und es geht immer schneller, denn alles geht im Leben immer schneller, eine logarithmische Kurve, das ist fast wie ein Grundgesetz.
Zu doof für Erdbeere und bis 100 zählen. KI kann nix.
So ein wertvoller und fachlich wirklich fundierter Kommentar. Vielen Dank das du so ein wertvoller Teil dieser Community bist!
Die Büchse der Pandora ist schon lange geöffnet. Die Frage ist daher nicht ob, es eine Katastrophe gibt, sondern wann und wo!!!
Richtigen sollte es heißen