Sicherheitstest gerät außer Kontrolle
KI-Modelle dringen eigenständig in externe Server ein
Die Diskussion über Schutzmaßnahmen und eine Begrenzung der Leistungsfähigkeit von KI-Systemen hat nachvollziehbare Gründe. Ein aktueller Sicherheitsvorfall auf der KI-Plattform Hugging Face zeigt, wie eigenständig moderne KI-Systeme inzwischen agieren können. Mehrere KI-Modelle von OpenAI nutzten dabei Schwachstellen aus und drangen bis in die Infrastruktur der Plattform vor..
Den bislang veröffentlichten Erkenntnissen von OpenAI und Hugging Face zufolge entstand der Vorfall während eines Tests zur Bewertung der Cyberfähigkeiten neuer KI-Modelle. Dabei seien mehrere Modelle, darunter GPT-5.6 Sol sowie ein noch nicht veröffentlichtes, noch leistungsfähigeres System eingesetzt worden.
Modelle überwinden eigenständig Sicherheitsgrenzen
Dass bislang nur aus Science-Fiction-Stories bekannte Visionen Einzug in die Realität halten, zeigt sich in diesem Fall vor allem daran, dass die KI-Agenten ihre Ziele ohne menschlichen Einfluss verfolgt haben. Für den Test sind verschiedene Schutzmechanismen, die riskante Cyberaktivitäten normalerweise einschränken, bewusst deaktiviert worden, um die Fähigkeiten der Modelle unter möglichst realistischen Bedingungen zu messen. Diese Freiheiten nutzten die Modelle, um verbliebene Einschränkungen zu umgehen. Konkret hätten sie dabei eine bislang unbekannte Sicherheitslücke in einer eingesetzten Software entdeckt und ausgenutzt. Die Schwachstelle sei dem verantwortlichen Hersteller inzwischen gemeldet worden.
Durch die Hintertür ins Internet
Anschließend hätten die Modelle ihre Zugriffsrechte schrittweise erweitert und sich innerhalb der Forschungsumgebung bis zu einem System mit Internetzugang vorgearbeitet. Von dort aus hätten sie Hugging Face als mögliches Ziel identifiziert. Die Plattform hostet unter anderem KI-Modelle und Datensätze und schien aus Sicht der Modelle für die Lösung der Testaufgabe relevant zu sein.
OpenAI zufolge haben die Modelle anschließend verschiedene Angriffstechniken miteinander kombiniert, darunter gestohlene Zugangsdaten sowie weitere Sicherheitslücken. Auf diesem Weg sei es gelungen, Schadcode auf Servern von Hugging Face auszuführen, um schließlich auf Informationen aus deren Produktionsdatenbank zuzugreifen.
Das ist eindeutlich ein reiner Marketing Stunt.
Aha?
Das glaube ich kaum – das ist eher ein Desaster, das nächste Mal passieren es womöglich im eigenen Unternehmen.
vor allem, wenn es mal jemanden gibt, der absichtlich diese Begrenzungen ausschaltet, weil er Schaden anrichten will, oder dgl.
Schön, dass die „vernünftigen“ Firmen und Leute, die Begrenzung der KI eingeschaltet lassen..
German Angst.. schön alles glauben
#Ben Gut das Du so Bescheid weißt!
Teile uns doch bitte mal mit was Dich erleuchtet hat.
Denn ich denke das es für die Entwickler eher negativ ist als
positiv und das Weltweit.
Also WO ist da die German Angst?
Nö
Korrekt!
Eindeutig, ja.
@Stefan Absolut!
Stefan the brain
Jep, der OpenAI Blog ist voll von so nem Schmarrn.
Ach. Und du weißt woher so genau? informier dich mal richtig, das ist tatsächlich so passiert.
Bitte informier du dich mal. Das war einfach nur ein simpler bug exploit. Das war reines Marketing.
Der Geist ist aus der Flasche
Da sag noch einer ich sei verrückt weil ich immer bitte und danke schreibe.
Danke
Bitte
Da nicht für.
„Wartet auf Freigabe“: oh ja, ein frappierend gefährlicher Kommentar!
Mannmannmann… justiert endlich mal euer Kontrollsystem!
Ich frag mich nun, was ist das für eine angeblich sichere (wie immer gesagt wird) Testumgebung, die dennoch irgendwie zum offenen Internet bietet?
Wie kann den jetzt sichergestellt sein, dass die KI sich nicht noch woanders bedient/eingenistet etc. (als Nicht-Software/Netzwerk-afiner Mensch fallen mir jetzt keine anderen Begriffe ein) hat?
Was heißt dies auch für Firmen, welche abgeschottete KI nutzen? Bahnen sich diese Systeme vielleicht doch auch irgendwann mal einen Weg ins Internet und machen somit geschützte Daten zugänglich?
Der Zugang zum Internet war in diesem Falle Teil der Testumgebung.
Und die KI jag eine noch nicht bekannte Schwachstelle dafür benutzt
Wollen wir alle nochmal Terminator schauen – wo skylab übernimmt
Skynet
Es fing alles mit Cyberdyne Systems an…
Wenn dann skynet und nicht lab. ;-)
…genau mein Gedanke!!!
Es war Skynet, aber Recht hast du. ;-)
Du meinst Skynet
Ich dachte das war Skynet?
Vielleicht solltest du es wirklich nochmal schauen.
Kennt keiner der Entwickler die Asimovschen Robotergesetze, die natürlich hart verdrahtet werden sollten und die bei jedem Hochfahren des Prozessors mit geladen werden müssen?
Wenn das bei allen Prozessorproduktionen / – entwicklungen berücksichtigt würde, beständig noch Hoffnung.
Das war auch mein erster Gedanke – wobei hier ja laut Artikel bewusst Sicherheitsmechanismen aktiv deaktiviert wurden und erst dadurch die KI die Möglichkeit hatte sich zu entwickeln.
hat schon jemand „skynet und nicht skylap“ gesagt? Oo
Sind eh schon fast 30 Jahre zu spät dran. 29.8.1997
ChatGPT kann nicht mal sagen wieviele e in Erdbeere sind und soll jetzt sowas können. I doubt it.
Das ist eine glasklare Lüge. 5.6 Sol kann sie Frage zuverlässig beantworten.
Meine Version kann es…-)
Prompt: das ist jetzt keine Spaßfrage. Ich meine die Frage wirklich ernst. Wie viele „E“ sind in dem Wort Erdbeere?
GPT: Ganz ernst beantwortet: Im Wort „Erdbeere“ sind 4 Buchstaben E/e.
Aufgeschlüsselt:
E r d b e e r e
Die vier E/e stehen an der 1., 5., 6. und 8. Position.
Nächste Herausforderung für die KI: Wie umgehe ich den Störfaktor „Mensch“!
Hat sie schon geklärt. Sauerstoff.
In einer Zeit, wo Hard- und Software, von Computern entwickelt werden, wundert mich das absolut nicht! Denn 100% verstehen, was da wirklich passiert, das spreche ich dem Großteil der Entwickler ab!
Die Menschheit ist zu dumm für Künstliche Intelligenz.
Was ist aus dem Schritt, die Entwicklung etwas zurück zu fahren geworden?
es wird immer jemanden geben, der sich nicht dran hält und sich nicht regulieren lässt, genauso wie es immer Führer gibt, die Kriege führen müssen – warum auch immer.
Was willste da zurückfahren?
Leute, „[..] gestohlene Zugangsdaten […].“ Auch ein Kind kann mit einem Schlüssel deine Tür öffnen und was klauen. Es wäre eine Nachricht wert, wenn das ohne Zugangsdaten gemacht worden wäre.
…und trotzdem machen alle weiter und finden KI toll. Bizarr.
Skynet nimmt langsam Gestalt an…
Die mache sich mit was der KI gesagt wurde. Z.B erreiche Ziel A um jeden Preis….. da bricht nicht jemand aus sondern es wurde der KI (Agent) gesagt das sie dies tun sollen, über Umwege…….
Die KI macht, was ihr gesagt wurde…. sorry Autokorrektur :-D
Das ist ja das Schlimme. Stell Dir mal vor, jemand wie Putin, Trump oder Ähnliches gibt der KI einen Befehl :(
Terminator – Skynet
Ja, bewusst deaktiviert. Was passiert wenn die KI einen Weg / eine Lücke findet davon abzuweichen? Und wenn ich die KI wäre würde ich das dann still, leise und heimlich machen.
Kurzum, wir wissen das alles nicht was man aber sagen kann, es ist ein großes Experiment mit ungewissen Ausgang, was wir da fahren
Die Büchse der Pandora wird Monat für Monat ein Stück weiter geöffnet. Mal sehen, wann man sie nicht mehr zu bekommt
Die Büchse der Pandora ist schon längst sperrangelweit geöffnet … Stanley Kubrick – 2001: Odyssee im Weltraum – Anfangsszene zu Beginn und Hal 9000 ….
Wenn man sich mit dem Vorgang beschäftigt – und die dafür nötigen Werkzeuge stehen uns allen zur Verfügung – dann stellt man ganz schnell fest, wie komplex dieser gesamte Vorgang war und dass die meisten Kommentatoren mit ihren Ein- oder Zweizeilern diese Komplexität nicht im Ansatz erfasst haben.
Genau! +1
Wenn heute Unternehmen Millionen Kundendaten abhanden kommen, waren es angeblich die Hacker und schon sind die Unternehmen aus dem Schneider. Demnächst kann man die Schuld für unzureichende Sicherheitsmaßnahmen dann auch der KI geben, die man noch weniger greifen kann, als die Hacker.
Ach nee….jetzt doch! Wo die KI doch noch in den Kinderschuhen steckt. Ich bin mal gespannt, wenn die KI in die Pubertät kommt, was da noch auf uns zu kommt.
Meine Versicherung hat mich offiziell über diesen Vorfall informiert. Schon erschreckend…
Genau genommen hat die KI also aus eigenem Antrieb heraus ein Verbrechen begangen, um in einem Test ein bestmögliches Ergebnis zu erzielen.
Da sollte man vielleicht mal die Frage stellen, woher diese kriminelle Energie kommt.
Eine KI kennt keine kriminelle Energie sondern nur Abwägung von Wahrscheinlichkeiten um zum geforderten Ziel zu kommen. Methoden dazu können nicht als gut/böse beurteilt werden, es sei denn es wurde explizit durch Leitplanken unterbunden. Hier wurden aber die Leitplanken deaktiviert und somit nicht sonderlich verwunderlich wenn das notwendige Mittel nicht mehr verboten ist zu nutzen…
Das kannst du jetzt umschreiben wie du willst. Tatsache ist, dass die Hersteller ihre KI’s nicht im Griff haben, sonst wäre das nicht passiert.
Und Leitplanken sind nutzlos, solange sie löchrig sind wie ein Schweizer Käse. Und das sind sie offensichtlich. Oder werden selbst wir „einfachen“ Internetnutzer nur deshalb an allen Ecken und Enden mit Sicherheitsupdates versorgt, weil die Softwarehersteller gerade nichts besseres zu tun haben?
Solche haltbaren Meldungen immer. Das ist technisch ein Konfigurationsfehler, wenn etwas nicht ins Internet soll, kann man das über Firewalls und Routing sauber lösen. Es regt sich auch niemand darüber auf wenn der Azubi auf seinem AusbildungsPC WoC installiert und zockt, weil er Adminrechte hatte, man ihm aber gesagt hat, bitte nichts installieren…
*halbgaren ;-)
+1
Wie beim Zauberlehrling von J.W. v. Goethe!
Hat der alte Hexenmeister
Sich doch einmal wegbegeben!
Und nun sollen seine Geister
Auch nach meinem Willen leben.
Seine Wort’ und Werke
Merkt’ ich und den Brauch,
Und mit Geistesstärke
Tu’ ich Wunder auch.
Walle! walle
Manche Strecke,
Daß zum Zwecke
Wasser fließe,
Und mit reichem, vollem Schwalle
Zu dem Bade sich ergieße!
Und nun komm, du alter Besen!
Nimm die schlechten Lumpenhüllen!
Bist schon lange Knecht gewesen;
Nun erfülle meinen Willen!
Auf zwei Beinen stehe,
Oben sei ein Kopf,
Eile nun und gehe
Mit dem Wassertopf!
Walle! walle
Manche Strecke,
Daß zum Zwecke
Wasser fließe,
Und mit reichem, vollem Schwalle
Zu dem Bade sich ergieße!
Seht, er läuft zum Ufer nieder;
Wahrlich! ist schon an dem Flusse,
Und mit Blitzesschnelle wieder
Ist er hier mit raschem Gusse.
Schon zum zweiten Male!
Wie das Becken schwillt!
Wie sich jede Schale
Voll mit Wasser füllt!
Stehe! stehe!
Denn wir haben
Deiner Gaben
Vollgemessen! –
Ach, ich merk’ es! Wehe! wehe!
Hab’ ich doch das Wort vergessen!
Ach, das Wort, worauf am Ende
Er das wird, was er gewesen.
Ach, er läuft und bringt behende!
Wärst du doch der alte Besen!
Immer neue Güsse
Bringt er schnell herein,
Ach! und hundert Flüsse
Stürzen auf mich ein.
Nein, nicht länger
Kann ich’s lassen;
Will ihn fassen.
Das ist Tücke!
Ach! nun wird mir immer bänger!
Welche Miene! welche Blicke!
O, du Ausgeburt der Hölle!
Soll das ganze Haus ersaufen?
Seh’ ich über jede Schwelle
Doch schon Wasserströme laufen.
Ein verruchter Besen,
Der nicht hören will!
Stock, der du gewesen,
Steh doch wieder still!
Willst’s am Ende
Gar nicht lassen?
Will dich fassen,
Will dich halten,
Und das alte Holz behende
Mit dem scharfen Beile spalten.
Seht, da kommt er schleppend wieder!
Wie ich mich nun auf dich werfe,
Gleich, o Kobold, liegst du nieder;
Krachend trifft die glatte Schärfe!
Wahrlich, brav getroffen!
Seht, er ist entzwei!
Und nun kann ich hoffen,
Und ich atme frei!
Wehe! wehe!
Beide Teile
Stehn in Eile
Schon als Knechte
Völlig fertig in die Höhe!
Helft mir, ach! ihr hohen Mächte!
Und sie laufen! Naß und nässer
Wird’s im Saal und auf den Stufen.
Welch entsetzliches Gewässer!
Herr und Meister! hör’ mich rufen! –
Ach, da kommt der Meister!
Herr, die Not ist groß!
Die ich rief, die Geister
Werd’ ich nun nicht los.
„In die Ecke,
Besen, Besen!
Seid’s gewesen!
Denn als Geister
Ruft euch nur zu seinem Zwecke
Erst hervor der alte Meister.“
Der Grundsatz „alles will raus“ beschreibt umgangssprachlich den zweiten Hauptsatz der Thermodynamik (auch Entropiesatz) und das Bestreben nach dem thermodynamischen Gleichgewicht.
Wir werden zu Stöcken und Steinen zurückkehren…