Neue Mac-App „Sky“: Natürliche Computersteuerung mit KI

Mit der neuen Anwendung „Sky“ soll es künftig möglich sein, den Mac auf natürliche Weise per Sprache zu bedienen. Die App stammt von den Entwicklern hinter der inzwischen von Apple übernommenen Kurzbefehle-App „Shortcuts“ und wird derzeit in einer frühen Testphase erprobt.

Sehr unscheinbar: Die Oberfläche der Sky-App

Der Ansatz: Nutzer tippen in normaler Sprache, was sie tun möchten – Sky analysiert die geöffnete Anwendung und übernimmt die Ausführung. So lässt sich etwa ein Kalender-Eintrag direkt aus einem Browser-Tab erstellen oder eine Datei im Finder umbenennen, verschieben oder löschen. Die App erkennt eigenständig, welches Fenster im Fokus steht, und leitet daraus passende Aktionen ab.

Im Hintergrund greift Sky auf große Sprachmodelle wie GPT-4.1 oder Claude zurück. Diese ermöglichen es der App, nicht nur einfache Befehle zu verstehen, sondern auch mehrschrittige Aufgaben zu erkennen und umzusetzen. Alle Aktionen bleiben dabei transparent: Sky zeigt die geplanten Schritte an und fragt vor Ausführung eine Bestätigung des Nutzers ab.

Anpass- und erweiterbar

Neben einer Reihe vorinstallierter Werkzeuge – etwa für Kalender, E-Mail, Finder oder Webbrowser – lässt sich Sky auch mit eigenen Scripts, Kurzbefehlen oder sogenannten „Tools“ erweitern. Nutzer können eigene Automatisierungen schreiben und diese per Sprache aufrufen. Möglich ist etwa die Erstellung von Shell- oder AppleScripts, die wiederum in Kombination mit Sprachbefehlen verwendet werden können. Dabei erlaubt Sky auch komplexe Verknüpfungen, wie etwa das Extrahieren von Artikeln aus einem Browserfenster, deren automatische Kategorisierung und anschließende Weitergabe an eine Lese-App.

Ebenfalls vorgesehen: Zugriff auf Finder-Inhalte

Eine Besonderheit ist die sogenannte „Skyshot“-Funktion: Sie erlaubt das gezielte Erfassen des Inhalts eines Fensters, das dann analysiert und verarbeitet werden kann. Sky kombiniert dabei Screenshot- und Textebene, um präzise Informationen zu erhalten.

Die App soll im Sommer erscheinen und mit einer kostenlosen Basisversion starten. Erweiterte Funktionen sollen über ein kostenpflichtiges Abo freigeschaltet werden können.

Anwender mit grundsätzlichem Interesse können sich auf der Projektseite in eine Warteliste eintragen und durch diesen Eintrag des Produktivitäts-Bloggers Federico Viticci scrollen, der einen ersten groben Blick auf eine Vorabversion der Sky-App geworfen hat.