Optimiert für Apples M-Prozessoren
Ollama-Alternative: Osaurus bringt lokale KI-Modelle auf den Mac
Mit Osaurus steht ab sofort ein quelloffener KI-Server zur Verfügung, der speziell für Macs mit Apple-Prozessoren entwickelt wurde und sich als performante Ollama-Alternative bewirbt. Die Anwendung ist kompakt, benötigt lediglich wenige Megabyte Speicherplatz und soll es Anwendern ermöglichen, KI-Sprachmodelle direkt auf ihren Geräten auszuführen.
Also ein Projekt auf Nutzer, die Wert auf Datensicherheit legen und ihre Arbeit nicht von Cloud-Diensten abhängig machen wollen.
Optimiert für Apples M-Prozessoren
Osaurus nutzt die Architektur der aktuellen M-Chips, die neben CPU und GPU auch über eine eigene Neural Engine verfügen. Durch die Integration in Apples MLX-Framework kann die Software diese Komponenten direkt ansprechen. Dies soll zu einer höheren Geschwindigkeit und einem geringeren Ressourcenverbrauch führen als vergleichbare Lösungen, die auf plattformübergreifende Laufzeitumgebungen setzen. Entwickelt wurde Osaurus in Swift, die grafische Oberfläche basiert auf SwiftUI. Eine einfache Anzeige für CPU- und Speicherverbrauch ist integriert, sodass Nutzer den laufenden Betrieb einfach überwachen können.
Neben der App wird ein eigener Server gestartet, der über Programmierschnittstellen erreichbar ist. Diese Schnittstellen sind kompatibel mit dem OpenAI-Standard, wodurch sich Osaurus in bestehende Anwendungen und Werkzeuge einbinden lässt. Erste Tests zeigen, dass die Software beim Arbeiten mit gängigen Modellen eine spürbare Leistungssteigerung gegenüber vergleichbaren Programmen bieten kann.
Osaurus bietet im Gegensatz zu Ollama keine eigene Chat-Oberfläche
Funktionen und Einsatzmöglichkeiten
Osaurus erlaubt den Zugriff auf Modelle, die auf Plattformen wie Hugging Face bereitgestellt werden. Über die Benutzeroberfläche lassen sich diese herunterladen und verwalten. Unterstützt werden bekannte Modellreihen wie Llama, Qwen, Gemma oder Mistral.
Voraussetzung für den Einsatz sind macOS 15.5 oder neuer sowie ein Mac mit Apple-Prozessor. Der Quellcode steht auf GitHub bereit, hier lässt sich Osaurus auch in einer direkt einsetzbaren Version aus dem Netz laden. Eine Kommandozeilensteuerung ist angekündigt, um Osaurus künftig auch in automatisierten Arbeitsabläufen einsetzen zu können.
Passend zum Thema:
- Mac-App Jan: Führt freie KI-Modelle von OpenAI lokal aus
- Ollama mit neuer Mac-App: KI-Sprachmodelle lokal ausführen
Oh cool!
Ich traue Ollama nicht mehr so ganz übern Weg. Auch wenn Offline Modus verfügbar ist und auch die Firewall aktiv durchlassen muss. Wirklich unterscheiden kann ich Update vs. Meta Daten Analyse nicht. Und vermutlich ists nur ne Frage der Zeit bis Ollama irgendwelche Werbe „Features“ bekommt.
Ja. Und anschließend wird dein Gerät übernommen und dein Haushalt attackiert
Würdet ihr bitte ein Beispiel für die Hardware mitgeben. Ich kann das nie einschätzen :)
Danke.
Gleich mal testen wollen, aber bringt kein Fenster hoch. Anwendung scheint zu laufen aber keine gui zu sehen….
Es gibt auch keine UI zur Eingabe, sondern es wird nur ein Server bereitgestellt, mit dem gängige Tools arbeiten können:
„OpenAI API compatible — Works out of the box with Dinoki, Cline, Claude Code, and other tools that expect a /v1/chat/completions endpoint.“
Sieht nach einem Menüleisten-Programm aus. Guck mal da nach der Wolke. Habs aber nicht getestet, nur das Bild im Artikel angesehen.
„Osaurus bietet im Gegensatz zu Ollama keine eigene Chat-Oberfläche“
Vielen Dank für die Antworten!
Ich nutze Pico AI Server.