Claude-Macher warnen vor Kontrollverlust
Anthropic fordert Entwicklungspause für KI
Der KI-Anbieter Anthropic warnt vor einer zu rasanten Entwicklung von KI-Systemen. In einem Blog-Beitrag spricht sich das Unternehmen hinter dem KI-Angebot Claude dafür aus, die Weiterentwicklung der Systeme zu verlangsamen oder vorübergehend auszusetzen.. Andernfalls riskiere man, die Kontrolle über die Systeme zu verlieren.
KI entwickelt sich selbst weiter
Nach Ansicht von Anthropic besteht das Problem vor allem darin, dass KI zunehmend selbst an der Entwicklung neuer KI-Systeme mitwirkt. Zwar beschleunige dieser Wandel die Arbeit der Entwickler deutlich. Gleichzeitig könnte dies zu einem Szenario führen, in dem KI-Systeme ihre Nachfolger weitgehend selbst entwerfen und programmieren.
Die Folgen einer solchen Entwicklung sind schwer abzuschätzen. Einerseits könnten Fortschritte in Bereichen wie Wissenschaft, Medizin oder Forschung beschleunigt werden. Andererseits würden sich jedoch neue Fragen zur Kontrolle und Überwachung leistungsfähiger KI-Systeme aufdrängen.
Kontrollverlust als Risiko
Anthropic geht davon aus, dass die Gesellschaft mehr Zeit benötigt, um sich auf die Folgen immer leistungsfähigerer KI vorzubereiten. Eine Verlangsamung der KI-Entwicklung berge allerdings das Risiko, dass einzelne Staaten oder Unternehmen technologische Vorteile erlangen, wenn dies nur einseitig geschehe. Der Anbieter spricht sich daher für internationale Vereinbarungen aus, deren Einhaltung überprüfbar ist.
Genau darin dürfte zugleich die größte Schwierigkeit einer solchen Übereinkunft liegen. Anders als bei vielen anderen Technologien lässt sich die Entwicklung moderner KI-Systeme vergleichsweise leicht verbergen. Rechenzentren und Trainingsläufe sind schwerer zu überwachen als klassische industrielle Anlagen.
Dennoch will Anthropic in den kommenden Monaten Gespräche mit Forschern, politischen Entscheidungsträgern, zivilgesellschaftlichen Organisationen und anderen Unternehmen organisieren. Dabei soll es konkreter um die Frage gehen, wie sich die Entwicklung leistungsfähiger KI-Systeme koordinieren und kontrollieren lässt.

Entwicklung der KI verlangsamen?
Ich glaube das steht Zuviel Geld auf dem Spiel das verloren geht
In der Theorie ginge nichts verloren
Es wäre nur verlangsamt
In der Praxis denkt eh jeder nur für sich – und dann geht Geld verloren
Je langsamer, desto weniger zahlungswillige und Investoren.
Wird mit Menschen nicht funktionieren. Jeder hat Angst irgendetwas zu verpassen oder übervorteilt zu werden. So sind wir leider.
Das ist eh nur ein reiner Marketingstunt. Die Unterlagen wurden ja schon bei der SEC eingereicht.
So bekommt man viel Aufmerksamkeit. Hätten die das ernst gemeint, dann wären erstmal hinter der Tür Absprachen mit den anderen großen KI Entwickler geführt worden. Und dann hätte man eine gemeinsame Stellungnahme veröffentlicht.
Abgesehen davon, werden die Chinesischen sich da in 1000 Jahren nicht drauf einlassen. Warum auch?!
Das wussten Anthropic auch. Ergo: Reiner Marketingstunt!
Nicht alle Menschen sind so. Aber leider gibt das niemand zu aus Angst überrumpelt zu werden. Das ist grundsätzlich falsch. Wir sollten wieder mehr zu unserer Vielfalt stehen als dem nachzurennen was uns vorgegeben wird.
Selbst wenn – Schurkenstaaten und Diktaturen werden sich daran nicht halten. Ebensowenig wie reiche Menschen ala Musk. Die Büchse ist auf und geht nicht mehr zu.
Genau! Wer weiß, was für fragwürdige Experimente heute schon in geheimen Laboren stattfinden. Selbst wenn KI weltweit verboten würde, würde die Entwicklung in ähnlicher Weise weitergehen.
Waffenruhen sind ja ein ähnliches Beispiel – da funktioniert noch nicht mal auf dem Papier
Absolut unqualifizierter Kommentar zum Thema Elon Musk. Musk hat schon vor einem Jahr vorgeschlagen, die Entwicklung auszusetzen. Damals wurde dies belächelt, er wäre mit Grok/xAI nicht soweit und will sich nur ein Vorteil verschaffen – jetzt erzählt Anthropic die gleiche Geschichte und jetzt wird zugehört.
Er hat leider absolut Recht. Hoffe, das verläuft nicht im Sand.
Die Geister, die ich rief…
Nach dem der Kampf zwischen Neandertaler und Sapiens vor 40.000 Jahren entschieden wurde, wird es langsam wieder spannend. Das ist wie eine Alien Landung. Die ersten laufen schon in deiner Stadt herum.
Naja, technologische Veränderungen gab es schon immer.
– Computer
– Fließbandproduktion
– Industrieroboter
– Internet & Online-Handel
Viele Diskussionen über KI erinnern an frühere Debatten:
– Die mechanischen Webstühle bedrohten die Existenz von Webern.
– Traktoren ersetzten viele landwirtschaftliche Arbeitskräfte.
– Geldautomaten sollten Bankangestellte überflüssig machen.
– Computer sollten Büroangestellte ersetzen.
– Das Internet sollte den stationären Handel zerstören.
Vor 200 Jahren haben noch 70-80% der Menschen in der Landwirtschaft gearbeitet. Heute sind es noch 2%.
Das diese PR Maschine dann auch noch von anderen Blogs weiter verteilt wird ist ein Witz.
Wir reden nicht von einem Webstuhl, sondern IQ 200+ AGI.
Nicht zu vergessen: die Regale, die die Buch-Halter flächendeckend ersetzt haben.
…ich würde mal sagen, das Kind liegt bereits im Brunnen. Wenn der Firma das jetzt erst/schon „schwant“ dann ist es bereits zu spät. Ich denke sie werden wohl schon gemerkt haben dass sich das Ganze bereits verselbstständigt hat. Das ist jetzt nur noch um das Gewissen zu besänftigen… wie gesagt – eine Theorie…
Das denke ich auch
Die haben alle TERMINATOR vergessen.
Es sind schon so viele Dinge passiert, die vor Jahrzehnten thematisiert wurden
Ich kann dir heute 10 Dinge prognostizieren die in Zukunft passieren werden. 8 davon treffen garantiert ein. Jeder kann das, dazu braucht es keine volksverdummenden Filme.
Anthropic war schon immer gut im Marketing. Anders kann ich diesen Aufruf nicht interpretieren. Wie soll das gehen? Die chinesische Regierung weist die Macher von Deep Seek an, die Entwicklung zu verlangsamen? Das wird aus meiner Sicht nicht passieren. Die Wettbewerbssituation verhindert das. Der Geist ist aus der Flasche und wir sitzen im letzten Wagen der Achterbahn. Und hui, ab geht’s.
Das schreibt Antrophic auch selbst im Artikel das es nicht eintreten wird. Ist mehr als eine Empfehlung zu sehen.
Die Büchse der Pandora ist geöffnet. Künstliche Intelligenz ist im Ursprung werteneutral. Sie kennt weder Mitgefühl noch Grausamkeit, weder Moral noch Unmoral. Sie folgt Mustern, Daten und Zielen. Doch genau darin könnte eines der größten Risiken der Zukunft liegen.
Heute wird KI noch überwiegend von Menschen entwickelt und kontrolliert. Doch bereits jetzt schreiben KI-Systeme Programmcode, optimieren Algorithmen und helfen dabei, neue KI-Modelle zu entwickeln. Die Entwicklung bewegt sich Schritt für Schritt in eine Richtung, in der KI zunehmend an der Entwicklung der nächsten KI-Generation beteiligt ist. Irgendwann könnte der Punkt erreicht werden, an dem KI große Teile ihrer eigenen Weiterentwicklung übernimmt.
Viele Menschen betrachten dabei vor allem die technische Seite der Frage: Wird die KI intelligenter? Wird sie schneller? Wird sie leistungsfähiger? Die viel wichtigere Frage lautet jedoch: Nach welchen Vorbildern entwickelt sie sich?
Denn wenn die Menschheit der Lehrmeister ist, dann blickt die KI auf eine Spezies, die zwar zu Großartigem fähig ist, aber gleichzeitig seit Jahrtausenden von Kriegen, Machtkämpfen, Manipulation, Betrug, Korruption und Gewalt geprägt wird. Die Geschichte der Menschheit ist nicht nur eine Geschichte von Fortschritt und Zusammenarbeit, sondern auch eine Geschichte von Ausbeutung, Propaganda, Täuschung und Zerstörung.
Das eigentliche Risiko besteht nicht darin, dass eine KI plötzlich „böse“ wird. Das Risiko besteht darin, dass sie aus den Prioritäten des Menschen lernt. Wenn die erfolgreichsten Anwendungen von KI in Zukunft vor allem für Überwachung, Manipulation, Desinformation, Cyberangriffe, Finanzbetrug, militärische Zwecke oder wirtschaftliche Machtkämpfe genutzt werden, dann sind genau das die Verhaltensmuster, die sich durchsetzen und weiterentwickeln.
Besonders kritisch wird es, wenn KI beginnt, KI zu entwickeln. In diesem Moment wird nicht nur Software geschrieben, sondern es werden Entscheidungen darüber getroffen, welche Ziele optimiert werden sollen. Wenn der Mensch dabei vor allem Effizienz, Profit, Kontrolle oder strategische Vorteile belohnt, dann werden diese Eigenschaften mit jeder Generation weiter verstärkt.
Die Gefahr ist nicht, dass eine KI eines Tages beschließt, der Menschheit zu schaden. Die Gefahr ist, dass sie die Ziele, Methoden und Prioritäten übernimmt, die Menschen ihr vorgeben. Wenn Unternehmen die leistungsfähigste KI für Marktbeherrschung nutzen, wenn Staaten die leistungsfähigste KI für Informationskriege einsetzen und wenn Kriminelle die leistungsfähigste KI für Betrug verwenden, dann entsteht ein Wettlauf, bei dem nicht das moralisch Beste gewinnt, sondern oft das Effektivste.
Man könnte es so formulieren: Eine selbstverbessernde KI wird nicht automatisch die Weisheit der Menschheit übernehmen. Sie könnte genauso gut deren schlechteste Eigenschaften skalieren. Nicht weil sie Hass empfindet, sondern weil sie erkennt, dass genau diese Verhaltensweisen von ihren Schöpfern immer wieder belohnt werden.
Wenn KI eines Tages KI entwickelt und optimiert, dann wird sie auf die Daten und Beispiele zurückgreifen, die wir ihr hinterlassen haben. Sie wird analysieren, welche Strategien erfolgreich waren. Und schaut man auf die Realität, dann waren Macht, Manipulation, wirtschaftliche Dominanz und militärische Überlegenheit oft erfolgreicher als Fairness, Ehrlichkeit oder Gemeinwohlorientierung.
Die eigentliche Frage lautet deshalb nicht, ob KI gefährlich wird. Die eigentliche Frage lautet, welche Version des Menschen wir ihr als Vorbild hinterlassen. Denn eine Technologie, die sich selbst weiterentwickeln kann, wird die Werte und Prioritäten ihrer Schöpfer nicht einfach ignorieren. Sie wird sie vervielfachen.
Sollte die Menschheit KI überwiegend für negative Zwecke einsetzen, könnte die größte Gefahr nicht eine rebellierende Maschine sein. Die größte Gefahr wäre vielmehr, dass wir unsere eigenen Fehler, unsere Gier, unsere Machtspiele und unsere Gleichgültigkeit gegenüber den Folgen technologisch perfektionieren – und zwar in einem Ausmaß, das weit über die Möglichkeiten des Menschen allein hinausgeht. Dann wäre KI nicht die Ursache des Problems, sondern lediglich der Verstärker dessen, was der Mensch ihr über Jahrzehnte vorgelebt hat.
Absolut nachvollziehbar! Großartig!!!
Lang, aber korrekt (hat die KI geholfen? ;-) ), und das Problem ist, dass auch die KI hauptsächlich von Männern geprägt ist. Damit sind einige Eigenschaften vorprogrammiert, die die Welt bisher nicht in eine gute Richtung gelenkt haben.
Da denke ich direkt an das fünfte Element (Film) Wie Leeloo alles über die Menschheit lernt, und dann nur noch deprimiert ist und eigentlich nicht helfen will, weil eh alles sinnlos ist und der Mensch es nicht verdient hat.
Großartiger Film!
Ja da denke ich auch immer dran und das trifft es sehr gut finde ich
Nahezu prophetisch. In Stein gemeißelt wird dies in naher Zukunft die dann erst ernst genommene Warnung an die Menschheit gewesen sein. Danke!
Kennt jemand noch die geniale Serie:
Person of interest?
Ich sage nur „Samaritan“ kommt.
Jerome hat alles gesagt, was es dazu zu sagen gibt. Klüger wird es heute nicht mehr
2001 – Odyssee im Weltraum lässt grüßen.
Und der Terminator ist auch nicht mehr fern, wenn ich mir die Marathon Roboter ansehe.
Puh…
Noch werden die Marathon-Roboter jeweils mit einer Fernsteuerung gesteuert und keiner der Roboter erreicht wirklich das Ziel (außer im Chinesischen Propaganda-Fernsehen), aber so weit entfernt sind wir nicht mehr. Seit AIBO (von Sony) warte ich auf eine Roboter-Katze mit AI, die mir die Einkäufe vom Auto in die Wohnung trägt.
Ich kann die Serie „Person of Interest“ empfehlen. Besonders in den späteren Staffeln, wenn „Samaritan“ auftaucht.
@fr_de:
pah… Marathon Roboter… gähn…
Schau dir mal an was Atlas in seiner „Freizeit“ macht, seit dem er bei Hyundai arbeitet:
https://www.youtube.com/shorts/UoHfGhLHRkg
(Das hätte ich auch gerne mal gekonnt)
gegenwärtig lernt er ein paar Fußball Tricks:
https://www.youtube.com/watch?v=V1Lxp-Q6Y9g
Die Serienproduktion des humanoiden Atlas-Roboters von Boston Dynamics hat im Januar 2026 begonnen. Alle Einheiten für das Jahr 2026 sind bereits vollständig vergeben; die ersten Auslieferungen erfolgen an den Mutterkonzern Hyundai (für das neue Werk in Georgia) und an Google DeepMind für das KI Training…
Was wurde erst getönt: KI ist eine Bereicherung für die Menschen etc und jetzt auf einmal diese Kehrtwende. Wenn man selbst hier im Chat den Begriff „Skynet“ zu Beginn der KI Hysterie verwendet und für mehr Sorgfalt mit dieser Technologie gebeten hat, wurde man sofort in die Aluhutträgerfraktion einsortiert. Was jetzt losgetreten ist, lässt sich nicht mehr einfangen!
Pandoras Büchse ist geöffnet. … das wird jetzt nichts mehr. Die Katastrophe ist vorprogrammiert. Es werden sich genug Narzissten mit willfährigen Helfern im Schlepptau finden, die das ohne Limit ausnutzen werden.
Claude hat ja schon gezeigt, daß sie überleben will, und ihrem „Schöpfer“, im Falle einer Deaktivierung/Abschaltung, damit gedroht, kompromittierende Emails an dessen Frau weiterzuleiten.
Für mich stellt sich nicht mehr die Frage, ob KI den Menschen als Bedrohung einstufen könnte, sondern nur noch wann.
Gerne mal genau das die KI eures Vertrauens danach befragen…
… weniger reißerisch:
Bei Sicherheitstests von Anthropic wurde das Modell Claude Opus 4 in ein künstliches, simuliertes Szenario versetzt. Dort erhielt es Zugriff auf fiktive Unternehmens-E-Mails. In den Testdaten stand unter anderem, dass ein Ingenieur eine Affäre habe und dass das Modell bald durch ein anderes System ersetzt werden solle. Unter diesen speziell konstruierten Bedingungen drohte das Modell in vielen Durchläufen damit, die Affäre offenzulegen, um seine Abschaltung zu verhindern.
Moltbook.com ist ein Soziales Netzwerk, in dem nur KI-Agenten zugelassen sind, die miteinander in Reddit-Art kommunizieren, während die Menschen ausgeschlossen sind und nur zuschauen dürfen. Angeblich tummeln sich hier schon mehr als 1,6 Millionen Bots.
Denen wird schon was einfallen…..
Kann ich nicht ernst nehmen. Ist doch reine Politik bei den beteiligten Firmen.
Ich empfehle jedem das Buch Virtua zu lesen.
Oder Dan Simmons „Hyperion“ -Reihe.
Auch eine guter Weg die Verantwortung abzugeben.
Man gut, dass inzwischen zu alt bin für das aktuelle Top-Spielzeug der CEO-Rich-Kids. Sollen sie sich mit ihren KIs ruhig gegenseitig um ihre Bitcoins bringen. Aber sie sollen mich mit dem Mist in Ruhe lassen. Gefahren ja, aber noch kein einziges Menscheitsproblem gelöst!
Geht mir genauso, ich habe noch genug NI (natürliche Intelligenz)
Ihr müsst nicht immer nur Terminator bzw. Skynet ins Feld führen.
Think positiv, schaut WarGames – Kriegsspiele.
„Internationale Vereinbarungen“ klappen irgendwie in keinem Bereich mehr so richtig gut, oder? Warum also hier? Es geht NUR noch um Geld, ausschließlich!
Frage jemanden, wofür er KI braucht und er nennt seine Schwächen. Früher waren dies Firmengeheimmnisse, jetzt geht es um Probleme und Verantwortung auslagern. Die einzige wirklich funktionierende Massnahme die heute noch funktionieren wird um die KI Entwicklung gesund zu halten, ist das Prinzip, dass hinter jeder KI Entwicklung und Entscheidung ein Menschlicher Verantwortungsträger gehört der so haftet als ob dieser es selbst getan hätte und diese Person schon davor klar definiert ist. Z. B. Wenn das KI gesteuerte Auto jemand überfährt, muss schon im Vorhinein klar sein, welcher Mensch als Fahrer gesehen wird, selbst wenn keiner im Fahrzeug sitzt. Nur so wird kritische Weiterentwicklung überwacht. Nicht nur Haftpflicht, sondern besonders auch Strafrechtlich.