OpenAI veröffentlicht freie KI-Modelle: Lokale Mac-Nutzung möglich

Mit „gpt-oss-120b“ und „gpt-oss-20b“ stellt OpenAI zwei neue Sprachmodelle unter freier Lizenz bereit. Die Modelle wurden so entwickelt, dass sie Aufgaben gut durchdenken, digitale Werkzeuge wie Internetrecherche oder Code verwenden und sich vielseitig im Alltag oder Beruf einsetzen lassen sollen.

Trotz ihrer Größe lassen sich beide Modelle lokal betreiben: Das kleinere benötigt 16 Gigabyte RAM, das größere ist für Grafikkarten mit 80 Gigabyte Speicher konzipiert. Die Modelle stehen unter anderem auf der Plattform Hugging Face zum Download bereit und können in eigene Projekte integriert werden.

Technisch setzen die Modelle auf eine sogenannte Mixture-of-Experts-Architektur mit zahlreichen spezialisierten Kapazitäten. OpenAI hat sie zusätzlich mit Sicherheitsmechanismen ausgestattet. Auch in der Verarbeitung medizinischer oder mathematischer Anfragen erreichen sie in internen Benchmarks vergleichbare oder bessere Ergebnisse als frühere Modelle des Unternehmens.

Lokale Mac-Nutzung mit Ollama und LM Studio

Mac-Nutzer haben mehrere Möglichkeiten, die neuen Modelle lokal auszuführen. Besonders komfortabel funktioniert dies mit der kostenfreien Anwendung Ollama, die seit kurzem auch die neuen gpt-oss-Modelle unterstützt. Nach Installation der Software genügt im Terminal der Befehl „ollama run gpt-oss:20b“ oder „ollama run gpt-oss:120b“, um das jeweilige Modell herunterzuladen und direkt zu starten. Alternativ lässt sich Ollama auch über eine grafische Oberfläche bedienen.

Ollama nutzt das von OpenAI eingesetzte MXFP4-Format zur Quantisierung, das den Speicherbedarf deutlich reduziert. So wird der Betrieb des 20b-Modells auf handelsüblichen Macs möglich, ohne dass zusätzliche Konvertierungen notwendig sind. Neben klassischer Textverarbeitung unterstützen die Modelle auch Python-Ausführung, Websuche und strukturierte Ausgaben. Je nach Bedarf kann der Denkaufwand angepasst werden, etwa um zwischen kurzer Reaktionszeit und höherer Antwortqualität zu wählen.

Auch LM Studio, eine weitere für macOS verfügbare Anwendung, bietet die neuen Modelle zum direkten Download und zur lokalen Ausführung an. Damit stehen Entwicklern und Interessierten erstmals OpenAI-Modelle zur Verfügung, die vollständig auf dem eigenen Rechner betrieben werden können, ohne eine Cloud-Anbindung zu benötigen.