Format entschlüsselt: Wie Apple 180°-Videos für die Vision Pro erzeugt
Viele Details zu Apples AR-Headset sind mittlerweile bekannt, von der Hardware über den Tragekomfort bis hin zum Software-Angebot. Andere Dinge verschweigt Apple weiterhin – eins davon ist das verwendete Videoformat, mit dem stereoskopische Filme auf die Brille gelangen. Anwender können zwar mit dem
iPhone 15 Pro Videos aufnehmen, die auf dem Spatial-Computing-Headset dreidimensional erscheinen, wer jedoch auf eigene Faust Videos mit 360-Grad-Kameras aufzeichnen und für die Vision Pro zusammenstellen will, guckt in die Röhre: Der Konzern hat bisher Empfehlungen zum Aufnehmen und Codieren von Medien veröffentlicht. Auf Apples Support-Seiten existiert lediglich eine
Anleitung, um mit dem hauseigenen Exportwerkzeug Compressor Inhalte für den iTunes Store zu exportieren. Der Entwickler Mike Swanson hat in
mühevoller Kleinarbeit Details aus Videomaterial extrahiert. Seine Erkenntnisse offenbaren interessante Einblicke in Apples Formatentwicklung.
Quadratische Projektion, um 45° gekippt360-Grad-Kameras verfügen generell über zwei Fischaugenobjektive, die jeweils ein 180-Grad-Sichtfeld aufzeichnen. Das resultierende Bild erscheint kreisrund, mit deutlichen Verzerrungen – ähnlich dem Blick durch einen Türspion. Für die Weiterverarbeitung auf eine quadratische Fläche projiziert – ähnlich der Kartenverzerrung in einem Atlas. Swanson bekam einen Tipp, dass das Startvideo für Apple TV in unverschlüsselter Form per WLAN an die Vision Pro übertragen wird. So konnte er natives Material abgreifen und analysieren. Dadurch fand er heraus, dass die Einzelbilder in Schräglage auf das quadratische Pixelraster projiziert wurden. Der Vorteil: In dieser Form erhält der Horizont die größtmögliche Ausdehnung. Auf diesen Bereich konzentriert sich die menschliche Wahrnehmung; so profitiert die Vision Pro von der maximal möglichen Auflösung des Ausgangsmaterials in dem für die Schärfewahrnehmung essenziellen Bereich.
Rundumaufnahme entstehen im Allgemeinen aus Halbkugel-Projektionen (1). Sie werden für die Verarbeitung auf ein rechteckiges Raster übertragen (2). Exportiert man diese Aufnahme in ein quadratisches Format, gehen unweigerlich Informationen verloren (3). Apple verwendet Videos, bei denen der Horizont um 45 Grad geneigt ist (4). Dadurch bekommt der Horizontbereich bei gleicher Auflösung die größtmöglichen Bildinformationen (5).
Auflösung: 4320x4320 Pixel in 10 BitDas jeweilige Bild, das auf jedes Auge geliefert wird, ist ein quadratisches: 4320 Pixel in Breite und Höhe. Für eine 180-Grad-Aufnahme genügt die reduzierte Höhe einer 16:9-Aufnahme nicht, weswegen bei Panorama-Projektionen meist quadratische Ausgangsmaterialien verwendet werden. Damit jedes Auge ein eigenes Bild bekommt, kommen zwei Videostreams in Auflösung 4320×4320 zur Anwendung. Dies gelingt mit der Option des H.265-Videocodecs HEVC für multiple Ebenen. Das Format nennt sich "MV-HEVC." Bisher übliche Stereoskopie-Videos legen linkes und rechtes Videobild übereinander.
Experimenteller EncoderFür jeden der beiden internen Vision-Pro-Bildschirme wird ein 10-Bit-Videostream mit bis zu 90 fps bereitgestellt. Das Spatial-Computing-Headset bettet diese Informationen dann in die gewählte Szenerie ein. Ein weiteres Resultat von Swansons Analyse ist ein experimenteller Encoder namens
Spatial. Das kostenlose Kommandozeilenprogramm für macOS Sonoma wandelt traditionelle Stereoskopie-Formate in Apples MV-HEVC um (und umgekehrt). So bringt man für Headsets wie beispielsweise die Oculus Quest optimierte Videos auf die Vision Pro.