Mac Studio im Rudel
Thunderbolt 5 verbindet mehrere Mac Studios zu einem Super-Rechner
Apple positioniert den neuen Mac Studio mit M5 Max und M5 Ultra noch deutlicher als Rechner für lokale KI-Anwendungen. Reicht die Leistung eines einzelnen Systems nicht aus, lassen sich mehrere Geräte über Thunderbolt 5 zusammenschalten. Ein Verbund aus vier Mac Studios soll KI-Modelle laut Apple bis zu dreimal schneller ausführen als ein einzelner Rechner.
Speicher mehrerer Macs gemeinsam nutzen
Grundlage dafür sind Thunderbolt 5 und RDMA, kurz für „Remote Direct Memory Access“. Dabei können die beteiligten Rechner direkt auf Speicherbereiche anderer Systeme zugreifen, ohne dass die Daten ständig aufwendig durch mehrere Software-Schichten kopiert werden müssen. Apple spricht dadurch von einem großen gemeinsamen Speicherpool.
Das ist gerade für große Sprachmodelle interessant. Ein einzelner Mac Studio mit M5 Ultra lässt sich bereits mit bis zu 512 GB gemeinsamem Arbeitsspeicher konfigurieren. Werden vier entsprechend ausgestattete Systeme gekoppelt, stehen theoretisch insgesamt 2 TB Speicher für verteilte Berechnungen zur Verfügung. Damit sollen sich auch besonders große Open-Weight-Modelle komplett lokal betreiben lassen.
RDMA beseitigt den Flaschenhals
Ganz neu ist die Technik allerdings nicht. Wir haben bereits Ende vergangenen Jahres ausführlich über Mac-Cluster mit RDMA über Thunderbolt berichtet. Damals zeigten Tests mit vier Mac Studios, dass nicht die Rechenleistung, sondern vor allem der Datenaustausch zwischen den Rechnern zum Flaschenhals werden kann.
RDMA über Thunderbolt 5 reduziert diese Verzögerungen deutlich. Statt lediglich mehr Speicher bereitzustellen, können Rechenschritte dadurch tatsächlich parallel auf mehrere Macs verteilt werden. Genau diesen Vorteil bewirbt Apple beim neuen Mac Studio nun erstmals ausdrücklich als Teil des Produkts.
Nicht nur der neue Mac Studio kann das
Die Cluster-Funktion ist dabei grundsätzlich nicht exklusiv dem M5 Ultra vorbehalten. RDMA über Thunderbolt wurde bereits mit macOS 26.2 eingeführt und setzt vor allem einen Mac mit Thunderbolt 5 voraus. Auch der neue Mac mini mit M5 Pro besitzt entsprechende Anschlüsse und kann mit weiteren Systemen gekoppelt werden.
Der Mac Studio spielt seine Stärke vor allem beim verfügbaren Arbeitsspeicher aus. Mit bis zu 512 GB pro Rechner und einer Speicherbandbreite von 1,2 TB pro Sekunde richtet sich die Ultra-Version klar an Entwickler, Forschungseinrichtungen und Unternehmen, die sehr große KI-Modelle lokal statt in der Cloud betreiben wollen. Für den heimischen Chatbot dürfte ein Vierer-Stapel dagegen leicht überdimensioniert sein.
Dank Unified Memory hat Apple hier eine gute Alternative zum teuren Grafikkartenkauf ermöglicht. Leider wurden die Versionen mit viel RAM zuletzt aus dem Programm genommen. Schön, dass es die wieder gibt…
Wobei RDMA und Thunderbolt 5 immer noch Größenordnungen langsamer als NVLINK von Nividia ist. Man darf hier nicht auf Marketingsprech reinfallen. Gegen moderne NVIDIA-Systeme kommt das hier nicht im Ansatz an.
Spannend ist wenn man beides vergleicht zu welchen Preis bekommt man was?
Klar und das NVIDIA Sytem ist weit teurer als nur um die selbe Grössenordnung. Somit sind die Mac’s wirtschaftlich interessant für KMU’s und Start-Ups, sofern man nicht grad OpenAI heisst, denen so ein kleiner Cluster genau nichts bringt.
Klar is nvlink schneller aber gibts auch nicht gratis. Noch dazu das eine GPU vermutlich mehr Strom braucht wie 2 Mac Studios und dann kommt das drumherum wie CPU und Ram noch on Top. Vom Lärmpegel brauch ich garned anfangen.
Da fehlt nun ein Gehäuse im Mac Pro Design um alle 4 unter zu bringen
Was mich mal interessieren würde, wenn man so viel Geld für solche Konfigurationen ausgibt, um diese KI Modelle Lokal laufen zu lassen, was ist denn der genaue Benefit davon? Also, man investiert das Geld ja nicht einfach so, sondern weil es einen Gewinn bringen soll. Also wie bekommt man das viele Geld dann wieder herein, wenn man ein lokales KI Modell laufen hat? Ich möchte nur mal verstehen, warum momentan so viel Geld dafür ausgegeben wird.
Man spart z.B. xxx MA-Stunden bei der Entwicklung, weil man aus verschiedenen Gründen mit Cloud-basierter KI nicht arbeiten kann/will/darf
Unser Unternehmen hat 300 potentielle KI User (keine Developer). Claude kostet 20€/User/Monat. Also 72.000€ im Jahr. Wenn man berücksichtigt, dass ein Großteil aktuell nur Emails übersetzt und hier und da etwas Recherche damit erledigt, dann kann man schnell solche Überlegungen aufstellen, zumal man dann auch ruhiger in Bezug auf Daten Souveränität schlafen kann.
Zumindest geht bei uns die Überlegung in solch eine Richtung.
Eigenes Training, Token sind billiger. Datenschutz oder du willst kriminelle Dinge tun.
– Es gibt Firmen die haben Angst davor, dass die KI Firmen ihnen die Firmengeheimnisse klauen, wenn die Daten direkt an die KI-Anbieter gesendet werden.
– Planungssicherheit: Man ist nicht von der Preisgestaltung von den KI-Anbietern abhängig. Ob sich das lohnt muss jeder im Einzelfall entscheiden. Ich denke für den Hobby-Entwickler lohnt sich das nicht.
– Keine laufenden Fixkosten: Es gibt ja Personen die ihre Fixkosten reduzieren wollen. Einmalkauf der Hardware + Solarzellen + Batteriespeicher. Rechnet sich das?! Keine Ahnung, aber vielleicht ist es gut für schlechte Zeiten?!
– Sensible Daten: Psychotherapeuten, Ärzte, etc.
– Selbständige Softwareentwickler / kleinere Softwarehäuser etc.: Wenn die mit Kunden arbeiten die es ihnen verbieten Daten an Dritte weiterzugeben.