ChatGPT-Alternative arbeitet offline für 0€/Monat
Mac-App Jan führt freie KI-Modelle von OpenAI lokal aus
Mit der kostenlosen Anwendung Jan steht Mac-Nutzern eine quelloffene Alternative zu ChatGPT zur Verfügung, die vollständig lokal betrieben wird. Die App ermöglicht den Einsatz sogenannter Large Language Models (LLMs), ohne dass Nutzereingaben über das Internet verarbeitet oder an externe Server übermittelt werden.
Die Anwendung lässt sich über die offizielle Projektseite oder GitHub beziehen und wurde nach Angaben des Entwicklerteams bereits über 3,8 Millionen Mal heruntergeladen.
Möglich ist auch die Integration von gpt-oss, dem erst kürzlich freigegebenen quelloffenen Sprachmodell von OpenAI. Dieses wurde unter der Apache-2.0-Lizenz veröffentlicht und kann laut Beschreibung auf handelsüblichen Geräten installiert und betrieben werden. Die Entwickler betonen, dass damit unter anderem unbegrenzte Nutzung ohne laufende Kosten sowie eine vollständige Kontrolle über persönliche Daten möglich sei. Nach der einmaligen Einrichtung arbeitet die App vollständig offline.
Installation ohne technisches Vorwissen
Die Nutzung von gpt-oss über Jan erfordert mindestens 16 GB Arbeitsspeicher und etwa 11 GB freien Speicherplatz. Ein leistungsfähiger Prozessor oder eine moderne Grafikkarte beschleunigen die Antwortzeiten, sind aber nicht zwingend erforderlich. Nach dem Download der App muss das gewünschte Modell über den sogenannten „Model Hub“ heruntergeladen werden. Die Installation erfolgt automatisch, sodass auch technisch weniger versierte Anwender keinen manuellen Eingriff vornehmen müssen.
Anschließend kann direkt über eine einfache Chat-Oberfläche mit dem gewählten Modell gearbeitet werden. Funktionen wie lokale Dateianalyse, individuelle Erweiterungen sowie die geplante Einführung von Assistenten ergänzen das Angebot. Die App stellt zudem eine lokale Programmierschnittstelle bereit, über die sich Jan in andere Anwendungen integrieren lässt.
Offline für 0€/Monat
Das Projekt versteht sich als Gegenentwurf zu cloudbasierten Lösungen großer Anbieter. Nach eigener Darstellung legen die Entwickler Wert auf Transparenz, lokale Datenverarbeitung und Konfigurierbarkeit. Alle Inhalte würden auf dem Rechner des Nutzers gespeichert, eine Weitergabe an Dritte finde nicht statt. Zusätzlich könne das Verhalten des Systems über Erweiterungen oder eigene Einstellungen umfassend angepasst werden. Die Nutzung des KI-Modells ist unlimitiert und komplett kostenlos.
Die Unterschiede zu anderen Lösungen wie Ollama und AnythingLLM wären interessant gewesen. Trotzdem, danke.
AnythingLLM: Noch Beta, zukünftige Monetarisierung unklar.
Ollama: Terminal-Fokus, erst seit kurzem auch mit optionaler GUI. Grundsätzlich gedacht als lokaler Modell-Server für zahlreiche KI-Apps und weniger als in sich geschlossene Insellösung.
Siehe dazu auch: https://www.ifun.de/openai-veroeffentlicht-freie-ki-modelle-lokale-mac-nutzung-moeglich-262325/
Nutzt Jan die GPU?
Auf meinem MacBook Pro mit M1 Max und 32GB RAM wird GPT-OSS:20b nur auf der CPU ausgeführt.
Auf meinem Mac Studio mit M1 Max und 64 GB RAM hingegen führt Ollama GPT-OSS:20b auf der GPU aus.
Das verstehe ich nicht, weil auch bei dem MacBook Pro noch 8GB RAM frei sind, wenn das Modell ausgeführt wird.
Ich habe es auch mal via LM Studio auf dem MacBook ausgeführt und da läuft es auf der GPU.
Der Geschwindigkeitsunterschied ist enorm.
Danke für den Hinweis, dann brauche ich Jan nicht ausprobieren.
Könnte mir aber vorstellen, dass die vernünftige Nutzung aller Möglichkeiten noch nachgereicht wird, wenn das jetzt erst mal eine Beta Version ist.
Tut mir Leid. Ich habe vergessen zu erwähnen, dass ich die Modelle mit Ollama ausgeführt habe. Ich wollte das eigentlich dazu schreiben. Wie es bei Jan ist weiss ich nicht. Deshalb die Frage.
### Apple Silicon (M1, M2, M3)
Metal acceleration enabled by default
GPU-accelerated processing
### Intel-based Mac
CPU processing only
Standard performance
Danke :)
Gefällt mir gut, dass in letzter Zeit immer mehr Modelle lokal ausführbar werden. Allerdings sind die momentan immer noch so groß, dass man daneben nicht mehr viel mit dem Rechner machen kann. Mein M3 Pro MacBook Pro ist mit 18GB RAM schon recht gut ausgestattet, aber wenn das Modell schon 11GB (bzw. 12GB bei gpt-oss 20b via LM Studio) Speicher belegt, bleibt nicht mehr viel für Webbrowser und IDE übrig, die ich zum Arbeiten mindestens brauche.
Ich denke, das wird mit den nächsten Generationen von LLM-Modellen und Hardware (M5, neue iPhones und iPads, etc.) noch interessant werden, was alles lokal und ohne Datacenter möglich sein wird. Mehr RAM würde Apples Foundation Models Framework sehr zu Gute kommen.
Apple sollte wirklich mehr RAM verbauen. Vor allem bei den iPhones. 12GB, die die iPhone 17 Modelle angeblich bekommen sollen, sind einfach immernoch zu wenig, vor allem da Apple ja immer meint alles lokal ausführen zu müssen. Wenn sie ein iPhone mit 16GB RAM rausbringen, schicke ich mein iPhone 15 Pro Max in Rente. Auf ein iPhone mit weniger RAM werde ich nicht upgraden.