Sprachassistenz mit Kontextbezug
OpenAI übernimmt Sky: Mac-Sprachsteuerung wird Teil von ChatGPT
Die auf natürliche Sprachsteuerung spezialisierte Mac-App Sky wird künftig unter dem Dach von OpenAI weiterentwickelt. Das US-Unternehmen hat die hinter Sky stehende Software Applications Incorporated übernommen und plant, die Funktionen der App in ChatGPT zu integrieren.
Die Anwendung wurde ursprünglich von den Machern der Kurzbefehle-App entwickelt, die bereits 2017 von Apple übernommen wurde. Sky ermöglicht eine kontextbezogene Steuerung des Macs, bei der Anwender in normaler Sprache beschreiben, was sie tun möchten. Die App erkennt eigenständig, welche Anwendung im Vordergrund aktiv ist, und schlägt passende Aktionen vor.
Im Hintergrund arbeitet Sky mit großen Sprachmodellen wie GPT-4.1 oder Claude. Diese analysieren Bildschirminhalte, verarbeiten Benutzeranfragen und führen mehrschrittige Aufgaben automatisiert aus. Der Nutzer erhält dabei stets eine Vorschau der geplanten Aktionen und muss diese vorab bestätigen. Die App bietet Werkzeuge für alltägliche Anwendungen wie Kalender, Finder, Mail und Webbrowser und lässt sich über eigene Kurzbefehle und Skripte erweitern.
Integration in ChatGPT geplant
Mit der Übernahme durch OpenAI sollen die bestehenden Funktionen von Sky künftig direkt in ChatGPT einfließen. Ziel ist eine tiefergehende Integration von Sprachmodellen in das tägliche Arbeiten am Mac. In der Ankündigung hebt OpenAI insbesondere die präzise Bildschirm-Analyse und das adaptive Verhalten der App hervor. Die neue Integration soll es ermöglichen, dass ChatGPT nicht nur auf Befehle reagiert, sondern proaktiv bei der Umsetzung von Aufgaben hilft.
Ein Beispiel dafür ist die sogenannte „Skyshot“-Funktion, bei der Bildschirminhalte analysiert und weiterverarbeitet werden können. So lassen sich etwa Inhalte aus Webseiten extrahieren, automatisch kategorisieren und an Lese-Apps übergeben. Die Funktion kombiniert die visuelle Erfassung von Fenstern mit einer Texterkennung, um genaue Anweisungen abzuleiten.
OpenAI zufolge wird das bestehende Team von Software Applications Incorporated vollständig übernommen. Auch der bisherige Fokus auf den Mac soll erhalten bleiben, künftig jedoch enger mit der Entwicklung von ChatGPT verzahnt werden. Eine Basisversion von Sky war ursprünglich für den Sommer angekündigt, nähere Details zum weiteren Zeitplan stehen noch aus.
Noch nie von der Firma gehört – aber überrascht dass sie überhaupt so heißen darf aufgrund des Pay-TV-Senders.
Ich weiss noch wie damals Microsoft gerichtlich gezwungen wurde ihre Cloud Lösung SkyDrive in OneDrive umzubenennen.
Auch mein erster Gedanke
Gleiche Namen sind idR kein Problem, wenn es unterschiedliche Branchen sind.
Microsoft und Sky PLC. hatten auch herzlich wenig miteinander zu tun :)
Nur noch eine weitere Akquisition und wir sind bei Skynet angekommen. :-D
wäre lustig wenn nicht so wahr.
Dachte erst es wäre sky der TV
Ich „verstehe“ das Beispiel in dem Video (am Ende des Artikels) nicht so ganz. Ich vertraue einer „AI“ weiterhin nicht, dass die bestimmte Aufgaben so erledigt wie ich es will. Vielleicht bin ich da zu „traumatisiert“ von irgendwelchen Chatbots auf Webseiten, die oft einen seeehr eingeschränkten Tellerrand haben (wenn überhaupt einen Teller, oder eher ein Espresso-Tellerchen) oder die künstlichen „Damen oder Herren“ am Ende der Telefonleitung, die hochmotiviert angeblich jemanden verstehen und Hilfe anbieten knnen … Nein Danke.
So viel Hirn und Verstand habe ich noch, um ein Treffen mit Freunden in einem Restaurant mit vorherigen Bar-Besuch selbst zu organisieren – komplett ohne AI (bzw. Sky).
Falls das jemand ausprobieren möchte und bei Sky damals keine Einladung hatte: die App „Alter“ macht fast das gleiche und sitzt in der Notch versteckt; ganz nettes UI. Ist zwar auch erst Alpha/Beta-Software aber schon recht vielversprechend und es unterstützt auch alle Apple Apps usw.
Video und Download gibt’s unter alterhq.com – der große Vorteil ist, dass dies auch mit anderen Modellen wie Gemini, Claude etc. läuft und man es sogar lokal verwenden kann und somit nicht an OpenAI hängt.