Objekte erkennen: Erste CoreML-Anwendungen verfügbar
Neben den mit iOS 11 erstmal möglichen Shelf- und Zip-Applikationen und den Apps, die zur Erkennung der Umgebung auf Apples ARKit setzen – MeasureKit zum Beispiel – zeigen sich im App Store nun auch die ersten Anwendungen die Gebrauch von Apples Machine-Learning-Framework CoreML machen.
Welche beeindruckenden Ergebnisse Apples neue Core ML-Technologie abliefern können, zeigten bereits im Sommer zahlreiche Entwickler-Videos, die den Einsatz kleiner Testapplikationen demonstrieren, die mit Hilfe der von Apple bereitgestellten Beispiel-Modelle kompiliert wurden.
So bietet Cupertino auf seinem Entwickler-Portal mehrere ML-Pakete an, die Objekte vor dem Sucher der iPhone-Kamera erkennen und identifizieren können. Das nur 5MB kleine Core ML-Model „SqueezeNet“ ist etwa in der Lage Live-Bilder einer von rund 1000 unterschiedlichen Kategorien wie Bäumen, Tiere, Lebensmittel, Menschen und Co. zuzuordnen.
Eben jene Modelle finden sich nun auch in mehreren App Store-Anwendungen wieder – bislang sind uns jedoch nur englische Vertreter des neuen Genres über den Weg gelaufen.
TalkCam ermittelt die Objekte vor der Kamera ebenfalls in wenigen Augenblicken, zeigt die Sicherheit in Prozent an und spricht das erkannte Objekt anschließend aus.
Foodbrain versucht sich daran Lebensmittel vor der iPad- bzw. iPhone-Kamera zu identifizieren. Das Wörterbuch LookUp kann ebenfalls die Kamera aktivieren oder Web-Grafiken per Drag-and-Drop aufnehmen, erkennt das abgebildete Objekt und zeigt den entsprechenden Wörterbucheintrag. Magic Sudoku löst die Zahlenrätsel und blendet das Ergebnis anschließend mit fixer Position über dem Aufgabenpapier ein.
Für blinde Menschen könnte sowas wirklich hilfreich sein.
Das war auch mein Gedanke. Ich hoffe, dass die Entwicklung rasch vorangeht und nicht für sinnloses verwendet wird.
Diesbezüglich empfehle ich die App BE MY EYES! Habe bestimmt schon an die zehn Mal helfen können. Sinnvolle Erfindung, die vielleicht durch CoreML in Zukunft überflüssig wird.
@RopIch glaube du hast weder begriffen, wie „be my eyes“ funktioniert, noch was Core ML ist…
Mike, was Du glaubst interessiert mich absolut gar nicht! Und was gibt es daran misszuverstehen?! Bei BeMyEyes helfe ich Blinden aktiv durch meine Sehkraft dabei, Objekte zu erkennen. Und man mag es kaum glauben, aber der Artikel oben handelt doch tatsächlich um Objekterkennung mittels CoreML. Cappa und Stuxnet gehen ebenfalls auf die Thematik ein. Die einzige Person, die hier wirklich beschränkt zu sein scheint, bist Du. Mein Tipp, da gibt’s ’ne App: BeMyBrain!
Memrise kann auf diesem Weg jetzt auch in die gewünschten Sprache übersetzen und per Schnappschuss Vokalekarten anlegen. Sehr praktisch.
TapTapSee macht dies allerdings nicht lokal auf dem iPhone.Oder unter iOS11 VoiceOver aktivieren (z. B. mit Siri auch zum deaktivieren geht am einfachsten) dann ein Foto aus der Gallerie auswählen und mit 3 Finger klicken wird vorgelesen was iOS auf dem Bild erkennt
Pflanzen- oder Tierbestimmung ist vielleicht noch interessant.
@RUP: vielen Dank für deine Hilfe! Ich bin blind und freue mich über jeden der mitmacht und hilft. Danke!
Brösel, viel zu spät habe ich Deinen Kommentar entdeckt. Schade! Ich freue mich sehr, wenn ich helfen kann! :)