Fotos aufzunehmen ist im Smartphone-Zeitalter derart einfach und schnell geworden, dass die Anzahl der Bilder in vielen Mediatheken kaum noch zu überblicken ist. Apple hatte vor einiger Zeit ein Whitepaper veröffentlicht, das auf diese Thematik eingeht und beleuchtet, wie viel Bildanalyse im Hintergrund stattfindet, um dem Nutzer dennoch Orientierung zu bieten. Natürlich ist es möglich, einfach nur die chronologische Sortierung zu verwenden und diese durchzuscrollen, Apple will für Sortierung und Bearbeitung aber noch andere Wege anbieten.


Was die Fotos-App analysiert
Um den Nutzer Vorschläge im "For you"-Tab zu machen oder auch nach Bildinhalten zu suchen, finden diverse Analysen statt. Apple dokumentiert unter anderem die folgenden Parameter:

• Bekannte Formen wie Flugzeuge, Fahrräder, Landschaft, Stadt und hunderte weitere Objekte. Beispielsweise ist es damit möglich, nach "Gitarre" zu suchen – oder sich alle Fotos mit Bergen anzeigen zu lassen
• Beleuchtung, Schärfe, Farben, Komposition, Symmetrie, die nach allgemein anerkannten Kriterium bewertet werden
• Kategorisierung, ob es sich um Fotos von Menschen, Hunden, Katzen etc. handelt
• Qualitätsindex für Gesichtserkennung (Beleuchtung, Fokus) samt Interpretation des Gesichtsausdrucks
• Audio-Informationen, um die Stimmung zu erkennen (Applaus, Lachen, etc.)

Gleichzeitig erfasst die Fotos-App auch die Vorlieben des jeweiligen Nutzers und lässt das Verhalten in die Bewertung einfließen. Damit ist es möglich, per Foto-Suche individuell angepasste Ergebnisse anzubieten und gleichzeitig in den "Erinnerungen" Vorschläge zu Fotos zu machen, die dem Anwender offensichtlich etwas bedeuten. In der Tagesansicht ermöglicht die Qualitätsbewertung, Duplikate auszublenden, nur die besten Fotos zu zeigen und damit einen besseren Überblick zu schaffen.


Die besten Fotos des Tages
Die Auswahl der besten Bilder erfolgt sowohl anhand der oben aufgezählten Kriterien als auch durch eine Relevanzanalyse. Apple erläutert dazu, dass die Erkennung der Szenerie ein wichtiges Indiz ist. Wer ein Konzert besuchte und dort einige Fotos machte, dürfte dies als wichtigstes Ereignis des Tages verbuchen, auch wenn vielleicht die reine Anzahl der Bilder noch nicht darauf hindeutet. Komposition und Motivwahl gelten als wesentliches Kriterium, wenngleich der Algorithmus auch lernt, wenn Nutzervorlieben von allgemeinen Standards abweichen. Natürlich erhalten Fotos, die markiert, bearbeitet oder verschickt wurden immer einen höheren Qualitätsindex. Dasselbe gilt auch für die Monats- und Jahresansichten, in denen herausragende Ereignisse erkannt und höher gewichtet sind. Geburtstage oder Konferenzen gelten ebenfalls als besonders wichtig.


Automatische Bildverbesserung
Die Fotos-App bietet unter iOS, iPadOS sowie macOS unzählige Werkzeuge zum Bearbeiten an. Allerdings gibt es auch den praktischen "Automatisch Verbessern"-Button, der meist bereits für sehr gute Resultate sorgt. Auch hier setzt Apple auf einen Algorithmus, der mit Millionen Fotos trainiert wurde, um die bestmöglichen Anpassungen hinsichtlich Beleuchtung, Farbe, Hervorheben von Bildinhalten durch gezieltes Aufhellen oder Abdunkeln, Entfernen von Rauschen oder Modifizieren der Farbtemperatur vorzunehmen. Wichtig dabei ist die Erkennung von Bildinhalten, um nicht einfach nur das Histogramm zu bearbeiten, sondern gewünschte Inhalte auch zu berücksichtigen: Beispielsweise soll vermieden werden, an ein menschliches Gesicht dieselben Kriterien anzulegen, die beispielsweise auf das Wasser im Hintergrund oder den Nadelbaum zutreffen.


Ein Foto, viele Ebenen
Noch komplexer wird es, wenn der Nutzer Funktionen wie Porträt- oder Bühnenmodus verwenden möchte. Hierzu reicht nicht nur die Analyse des Gesamtbildes, stattdessen ist eine "semantische Segmentierung" in verschiedene Ebenen erforderlich. Beispielsweise trennt Apple Hintergrund, Personen-Umrisse, Gesicht, Haare sowie Mund und Zähne voneinander ab, um anhand dieser Informationen dann die Effekte zu berechnen. Mit der Rechenleistung der Neural Engine findet die Segmentierung praktisch in Echtzeit statt, selbst dann, wenn Bildbereiche verdeckt sind, Haare ins Gesicht hängen, der Nutzer einen Vollbart trägt oder die Lichtverhältnisse ungünstig sind.

Auf Datenschutz ausgelegt
Natürlich vergisst Apple nicht, auch auf das Lieblingsthema "Datenschutz & Privatsphäre" einzugehen. Während sehr viele Foto-Dienste die Analyse der Bilder serverseitig erfolgen lassen, damit zwangsläufig das iPhone des Nutzers verlassen, arbeitet die Fotos-App für alle der beschriebenen Verfahren vollständig lokal. Der Knowledge Graph zu Nutzervorlieben und Interessen bleibt ebenfalls auf dem Gerät, sodass es nicht irgendeinen weit entfernten Serverdienst gibt, der den Anwender möglicherweise noch besser kennt als er sich selbst. Nur dann, wenn ein Anwender Bilder teilt bzw. die iCloud-Mediathek oder das iCloud-Backup verwendet, erfolgt eine Übertragung der Dateien in die Cloud. Ungewollte Weitergabe an Drittanbieter ist generell ausgeschlossen.