KI-Forschung: Apple untersucht Aktivitätserkennung per Sprachmodell

Apple widmet sich in einer aktuellen Forschungsarbeit der Frage, wie große Sprachmodelle einfache Sensorinformationen auswerten können. Das Unternehmen prüft dabei, ob sich Bewegungs- und Umgebungsdaten zuverlässiger analysieren lassen, wenn zusätzliche Modelle die Daten zunächst in kurze Textbeschreibungen umwandeln.

Die Studie („Using LLMs for Late Multimodal Sensor Fusion for Activity Recognition“) zeigt, dass diese Kombination selbst bei knappen Messwerten zu überraschend klaren Ergebnissen führen kann. Grundlage hierfür ist ein Ansatz, bei dem verschiedene KI-Modelle nacheinander arbeiten und ihre Einschätzungen an ein KI-Sprachmodell weitergeben. Dieses soll Muster erkennen und aus vielen kleinen Hinweisen auf eine übergeordnete Tätigkeit schließen.

• PDF-Download: Using LLMs for Activity Recognition

KI-Modelle werten die Daten aus

Für die Untersuchung nutzte Apple einen öffentlich verfügbaren Datensatz, der Alltagssituationen aus der Ich-Perspektive zeigt. Aus diesem Material wählte das Team zwölf typische Tätigkeiten aus. Dazu gehörten Kochen, verschiedene Sportarten, Haushaltsaufgaben sowie die Nutzung eines Computers. Zu jedem dieser kurzen Videosegmente standen passende Tonaufnahmen und Bewegungsdaten bereit.

Im ersten Schritt werteten spezialisierte Modelle diese Rohdaten getrennt voneinander aus. Ein Audiomodell erzeugte kurze Textbeschreibungen und ordnete die Geräusche bestimmten Kategorien zu. Ein weiteres Modell analysierte die Messwerte von Beschleunigungssensor und Gyroskop und leitete daraus einfache Bewegungsmuster ab.

Erst danach wurden die erzeugten Texte an ein KI-Sprachmodell übergeben. Dieses sollte allein auf Basis der zusammengestellten Beschreibungen eine Tätigkeit erkennen, ohne dafür speziell trainiert worden zu sein.

Gute Ergebnisse auch bei knappen Daten

Apple konnte sowohl mit großen Sprachmodellen als auch mit kleinen Kompakt-Modellen solide Ergebnisse erzielen. Besonders hilfreich waren die Audiobeschreibungen, da sie oft Hinweise auf charakteristische Geräusche lieferten. Bewegungsdaten ergänzten diese Einschätzungen, wenn deutlich erkennbare Muster vorlagen.

Die Forscher testeten zudem, wie die Modelle reagieren, wenn sie keine vorgegebenen Auswahlmöglichkeiten erhalten. Auch in diesem offenen Szenario gelang eine Einordnung, die nahe an den tatsächlichen Aktivitäten lag. Apple sieht darin einen möglichen Ansatz für künftige Anwendungen, bei denen Geräte aus groben Signalen sinnvolle Rückschlüsse ziehen müssen.

Apples Ansazu zeigt daher vor allem, wie sich unterschiedliche Modelle schrittweise kombinieren lassen, um Alltagsabläufe besser zu erfassen, auch wenn die verfügbaren Sensordaten knapp sind