Humanoide Roboter zu entwickeln, sei eine extrem komplexe Angelegenheit – man benötige unglaubliche Mengen echter Daten, die sich nur sehr schwer erstellen lassen. Diese Aussagen stammen von Alex Gu, dem CEO von Fourier, einem Spezialisten für Robotik. Wie es jetzt allerdings heißt, kamen zwei Unternehmen zu Hilfe und vereinfachten die Herausforderungen deutlich. Die Rede ist von Nvidias "Humanoid Robot Developer Program", welches eine neue Simulationsumgebung für Roboter mit menschlichen Extremitäten bietet. Spannend daran ist unter anderem die Art und Weise, wie die Aufzeichnung von Bewegungen erfolgt.


Anstatt eine Person zu verkabeln und mit unzähligen Sensoren zu bestücken, bedarf es nur eines frei verfügbaren Devices, nämlich der Apple Vision Pro. Deren schon häufiger gelobte Präzision zur Erfassung von Gesten ermöglicht es, viel einfacher als zuvor humanoide Roboter zu trainieren. Über das Headset lassen sich aber nicht nur Bewegungen aufzeichnen, sondern in einem weiteren Schritt auch Roboter steuern. Ein Beispiel dafür ist, dass es dem Roboter dank menschlichem Input gelingt, eine Scheibe Toast im Toaster zuzubereiten – was ein wesentlich schwierigerer Akt für künstliche Hände ist, als man zunächst denken könnte.


Zunächst zeichnet die Apple Vision Pro genau auf, was der Mensch mit seinen Händen getan hat und wie er damit Objekte manipulierte oder sich bewegte. Auf Grundlage dieser Informationen erfolgen anschließend Simulationen über den "MimicGen NIM"-Microservice und Nvidia Isaac Sim, um daraus synthetische Daten zu erzeugen. Damit wiederum können Models für Roboter trainiert werden, welche echte sowie errechnete Vorgänge als Grundlage haben. Wie der eingangs zitierte Alex Gu ausführt, spart das bei der Entwicklung ganz erheblich Zeit.

Wer nun spontan Interesse daran bekommen hat, einen eigenen Roboter zu entwickeln, muss sich allerdings erst mit den Programmbedingungen Nvidias befassen – und steht dann vor verschlossenen Türen. Nur aus dem Robotikumfeld stammende Hardware- oder Software-Unternehmen dürfen daran teilnehmen. Dennoch handelt es sich um ein interessantes Beispiel dafür, wie die Apple Vision Pro in einem Bereich zum wertvollen Werkzeug werden kann, das weit entfernt von alltäglichen Anwendungen eines Normalnutzers ist.