Avatare sind in der Computer- und Smartphonewelt nichts Neues. Die mehr oder weniger fantasievoll gestalteten Abbilder kommen unter anderem in VR- und AR-Games zum Einsatz. Damit sie sich exakt so bewegen wie der Spieler, werden allerdings spezielle Sensoren benötigt. US-amerikanische Forscher haben jetzt ein System entwickelt, mit dem sich nahezu beliebige Avatare lediglich mithilfe der iPhone-Kameras und des Touchdisplays steuern lassen.


Animojis folgen dem iPhone-Nutzer in Echtzeit
Das Projekt trägt den Namen "Pose-on-the-Go" und entstand an der Carnegie Mellon University. Unter der Leitung von Chris Harrison, Professor am Human-Computer Interface Institute der in Pittsburgh, Pennsylvania beheimateten Universität, entwickelte ein Team ein Verfahren zur Erzeugung von Ganzkörper-Animojis. Diese vollziehen nahezu exakt die Bewegungen eines iPhone-Nutzers nach, folgen seinen Schritten in Echtzeit und können sich sogar hinsetzen, wenn der Smartphone-Besitzer auf einem Stuhl Platz nimmt. Die Besonderheit: Das System basiert lediglich auf den vorhandenen Komponenten aktueller handelsüblicher iPhones, insbesondere der Kameras.


Für Spiele und Gesundheits-Apps geeignet
Mithilfe ausgeklügelter Algorithmen errechnet das iPhone mithilfe einer eigens entwickelten Software aus einer Vielzahl von Bildinformationen das Animoji. In einem Video zeigen die Forscher unter anderem, welche Möglichkeiten sich mit ihrem Verfahren auftun, und demonstrieren praktische Anwendungen. Das System eignet sich ihrer Ansicht nicht nur für Spiele, sondern könnte auch bei Fitness- und Gesundheits-Apps zum Einsatz kommen. Denkbar ist etwa das Zählen von Übungen wie Kniebeugen, auch für physiotherapeutische Zwecke könnte das Verfahren genutzt werden.


Präzision ist noch nicht ganz perfekt
Die Präzision ihres Verfahrens, das mit vielen aktuellen Smartphones genutzt werden könnte, überprüften die Forscher mithilfe eines professionellen Motion-Capture-Systems. Dieses kommt häufig bei Filmproduktionen zum Einsatz. Dabei stellten Harrison und sein Team fest, dass die durchschnittliche Abweichung von "Pose-on-the-Go" bei Kopf-, Arm- und Beinbewegungen lediglich knapp 21 Zentimeter betrug. "Alles in allem ist das schon ziemlich gut", so Harrison. Allerdings beruhe die Software nach wie vor auf Schätzungen und könne daher ausgetrickst werden.

Quellcode wird auf Github veröffentlicht
Die Forscher Chris Harrison, Karan Ahuja, Sven Mayer und Mayank Goel beschreiben ihr Verfahren in einer zwölfseitigen Abhandlung ( PDF-Datei). Zahlreiche Fotos, darunter auch etliche animierte Bilder, finden sich auf einer eigens eingerichteten Webseite. Ob die Ganzkörper-Animojis in einer zukünftigen Version von iOS und iPadOS zu finden sein werden, bleibt abzuwarten. App-Entwickler können sich die Software schon bald kostenlos zunutze machen, den Quellcode großer Teile ihres Projekts wollen die Forscher nämlich in nächster Zeit auf Github veröffentlichen.