Apple kündigte Anfang August an, dass zukünftig ein lokaler Algorithmus die lokale Bilder-Bibliothek eines Nutzers nach kinderpornografischem Material durchforstet – und dies zuerst an Apple, und bei erhärtetem Verdacht an Behörden meldet. Viele Apple-Nutzer sind der Auffassung, dass Apple hier die eigenen Grundsätze bezüglich Datenschutz nicht ernst nimmt. Natürlich scannen auch andere Cloud-Anbieter (zum Beispiel Google und Microsoft) die hochgeladenen Daten ihrer Kunden nach solchem Material, trotzdem hinterlässt die Ankündigung von Apple zumindest ein befremdliches Gefühl bei den meisten Nutzern.


Ein findiger Reddit-User hat in iOS 14.3 bereits Hinweise auf die bevorstehenden Foto-Scans gefunden. Hinter unkenntlich gemachten Klassennamen verbirgt sich wohl bereits eine Vorabversion des zukünftigen Algorithmus – inklusive des Machine-Learning-Modells. "AsuharietYgvar" ist es sogar gelungen, das Model zu extrahieren und auszuführen. Den Code zum Konvertieren des Models zum ONNX-Format inklusive einer kurzen Anleitung hat der Reddit-Nutzer auf GitHub hochgeladen. Das Modell kann, nachdem man die Schritte in der Anleitung abgeschlossen hat, ausgeführt werden und es lassen sich so Hash-Werte von Bildern erzeugen. Diese gleicht Apple dann mit den Hash-Werten bekannter illegaler Bilder ab.

Auch in macOS 11.4 oder neuer
Übrigens finden sich die Modelle auch in macOS Big Sur 11.4 oder neuer unter folgenden Pfad wieder:


Vier Dateien sind im genannten Pfad von Interesse:


Kein Hinweis, dass Apple den Code ausführt
Bisher fand sich noch kein Hinweis, dass Apple den Algorithmus zur Erkennung von kinderpornografischem Material in iOS oder macOS bereits verwendet. In der Vergangenheit ist es schon oft vorgekommen, dass sich Code für zukünftige Funktionen in den Betriebssystemen wiederfand, ohne dass er aktiv verwendet wurde. Beispielsweise fand sich bereits in iOS 13 der Code für die Integration der Apple AirTags wieder – und wurde erst mit iOS 14.5 aktiviert.

Gefahr durch manipulierte Bilder
ML-Modelle lassen sich austricksen: Eigentlich sollte das KI-Modell von Apple nur auf Bilder "anspringen", wenn diese sich in einer Hash-Datenbank mit bekannten, illegalen Bildern befinden. Das Apple-ML-Modell kann auch Bilder zuordnen, wenn diese gedreht, komprimiert oder zugeschnitten wurden. Doch genau hier liegt das Problem: Es ist möglich, legale Bilder zu erstellen, auf welche das ML-Modell "reinfällt" und eine Übereinstimmung mit einem illegalen Hash-Wert erkennt.

Somit könnte man durch das Einschleusen von legalen Bildern einen Nutzer bei Apple anschwärzen, ohne dass sich dieser im Besitz illegalen Materials befindet. Doch Apple hat hier zum Glück einen weiteren Schritt vorgesehen: Ein Apple-Mitarbeiter würde die Bilder kontrollieren und feststellen, dass das ML-Model hier nicht korrekt arbeitete – eine Meldung an Behörden würde ausbleiben.