Apple Vision Pro: Mit welchen Tricks Texte eingegeben, Klicks simuliert und Buttons bedient werden können

Hallo und herzlich willkommen zu einem neuen Beitrag auf meinem Blog,

Mit Vision Pro will Apple die nächste Generation des Computing einläuten. Apple nennt dies vollmundig “Spatial Computing” und musste auf dem Weg diverse Hürden für die Bedienung meistern – das Mixed-Reality-Headset kommt ohne separate Joysticks aus.

visionOS beinhaltet fundamentale Bestandteile von Neurotechnology

visionOS basiert auf Grundlagen von iOS, wurde von Apple aber entscheidend überarbeitet und setzt auf verschiedenste Techniken der Hirnforschung. Damit soll möglichst präzise der nächste Schritt des Nutzers vorhergesagt werden, damit das EyeTracking präzise funktioniert. Wie viel Energie Apple allein in dieses Gebiet investierte, wird anhand eines ehemaligen Entwicklers deutlich:

I spent 10% of my life contributing to the development of the #VisionPro while I worked at Apple as a Neurotechnology Prototyping Researcher in the Technology Development Group. It’s the longest I’ve ever worked on a single effort. I’m proud and relieved that it’s finally… pic.twitter.com/vCdlmiZ5Vm

— Sterling Crispin 🕊️ (@sterlingcrispin) June 5, 2023

Sterling beschreibt darin, dass Apple durch die Kombinationen verschiedener Parameter mithilfe von K.I.-Modellen kognitive Zustände des Trägers versucht, vorherzusagen. Der iPhone-Konzern kombiniert beispielsweise das Eye-Tracking, den Herzschlag, Blutdruck, elektrische Aktivitäten, Muskelbewegungen sowie Hautleit- und andere Messwerte.  Beispielsweise würde die Pupille bereits vor dem Klick reagieren, in Erwartung, dass nach der Interaktion etwas passiere. Dieses Biofeedback würde aufgezeichnet und anschließend genutzt, um die Benutzeroberfläche in Echtzeit umzugestalten. Hierdurch lässt sich die vorausschauende Pupillenreaktion weiter verstärken und man erhalte eine noch präzisere Vorhersage. 

Mithilfe von Machine Learning verstärkt Apple positive Einflüsse, die der Träger eher unterbewusst wahrnimmt. Dazu gehören bestimmte Töne oder Bilder. Unter Einbezug der oben genannten Messwerte kann Apple mithilfe von Machine Learning die Konzentrationsfähigkeit, das Aufnahmevermögen oder die Entspannung abschätzen und die Inhalte bzw. die Immersion entsprechend anpassen.

Hilft bei der Umgewöhnung

Diese Tricks sind allein deshalb notwendig, weil die Art und Weise der Interaktion über alles hinausgeht, was wir gegenwärtig kennen und deshalb enorm viel Konzentration erfordert. Beispielsweise gibt es eine virtuelle Tastatur, die jedoch komplett ohne haptisches Feedback auskommt – man tippt also in der Luft. Doch wie weiß man nun, dass die Finger auf dem Weg zur richtigen Taste ist? Dies wird über Software realisiert. Je näher man der virtuellen Taste kommt, desto heller wird diese.

Auch das Scrollen oder die “Kneifgeste” als Eingabe wird so realisiert. Zudem ist es möglich, das iPhone als externes Eingabegerät oder eine Bluetooth-Tastur zu verwenden. Apple will diese Peripherie aber irgendwann vollständig ablösen und ist so darauf angewiesen, möglichst viel der Interaktion im Voraus “zu erahnen”.

Was sagt Ihr zu Vision Pro? Seid Ihr hyped? Schreibt mir Euer Feedback in die nachfolgenden Kommentare

Macht´s gut und bis zum nächsten Mal hier auf dem appletechnikblog, Euer Patrick a.k.a. Meister des Apfels