Interessante technische Hintergründe zu Apple Intelligence: Foundation-Modell, Adapter und abgesicherte Cloud-Berechnungen
Gespannt warteten viele darauf, wie Apple KI-Funktionen in die nächste OS-Generation integriere. Die WWDC-Keynote erklärte hauptsächlich, welche Fähigkeiten in macOS, iOS und iPadOS Einzug halten werden. In der "Platforms State of the Union" ging Apple auf die Details ein und offenbarte, aus welchen Komponenten Apple Intelligence aufgebaut wird. Die Basis stellen auf dem Gerät installierte Große Sprachmodelle (LLM). Komplexe Anfragen delegiert das jeweilige Gerät an Private Cloud Compute – und setzt dabei auf besonders datensparsame und angriffssichere Methoden.
Für die meisten Anforderungen soll das auf dem jeweiligen Gerät lokal installierte LLM passende Antworten liefern. Dabei setzt Apple auf ein Basis-Modell (Apple nennt es "Foundation Model"). Um dies für verschiedene Zwecke multifunktional einzusetzen, etwa die Zusammenfassung langer Texte oder das Umformulieren einer E-Mail, ergänzen feinjustierte zweckgebundene Adapter das Foundation Model. Diese Architektur mache das lokale LLM effizienter,
erklärt Sebastien Marineau-Mes, Vice President of Intelligent System Experience Engineering.
Anstatt auf unzählige verschiedene LLMs zu setzen, verwendet Apple Intelligence sogenannte Adapter, die an das Foundation-Modell ankoppeln und eine Antwort nachträglich für den jeweiligen Verwendungszweck optimieren.
Eins für Sprache, eins für BilderAnschließend habe man die 16-Bit-Parameter des LLM-Konstrukts auf bis zu 4 Bit pro Parameter komprimiert, bei gleichbleibender Qualität. Schließlich haben sich die Apple-Entwickler auf die Geschwindigkeit konzentriert, um schnellstmöglich Antworten zu erzeugen. Verschiedenste moderne Verfahren kämen dabei zum Einsatz. Insgesamt zwei KI-Komplexe sind lokal installiert: Zum Sprach-Modell gesellt sich das Diffusion-Modell - dies erzeuge Bilder, bestehe aber ebenfalls aus einem Foundation-Modell sowie angeschlossener Adapter. Auf diese Weise realisiere Apple beispielsweise die unterschiedlichen Stilrichtungen beim Erzeugen der Genmoji.
Abgesicherte Umgebung für Private Cloud ComputeKomplexere KI-Abfragen mit größerem Berechnungs- und Datenaufwand lagert das iPhone, iPad oder der Mac an einen Server mit Apple-Silicon-Hardware aus. Um die dafür verwendeten Nutzerdaten abzusichern, habe Apple dafür ein eigenes Betriebssystem namens
Private Cloud Compute OS aufgesetzt. Dies verzichte von vornherein auf dauerhafte Datenspeicherung sowie auf privilegierte Zugriffe via Remote Shell, um unbefugtes Abgreifen von Daten zu vermeiden. Die Kommunikation zwischen dem individuellen Gerät und dem KI-Server erfordere ein kryptografisch signiertes unveränderliches Betriebssystem (Signed System Volume). Apple stelle zukünftig virtuelle Images der Betriebssysteme für Sicherheitsforscher bereit; wer potenzielle Sicherheitslücken entdecke und melde, werde über Apple Security Bounty dafür belohnt.
Die just als Entwickler-Beta erschienenen OS-Versionen delegieren KI-Aufträge an zwei lokale KIs oder Private Compute Cloud über eine verschlüsselte und signierte Verbindung.
Entwickler dürfen KI-Werkzeuge einbindenSowohl lokale Foundation-Modelle als auch Anfragen über die Private Computing Cloud werden auf Betriebssystemebene geregelt. Entwickler können sie in ihre Apps integrieren: Sofern eine textverarbeitende App Standard-UI-Frameworks verwende, seien die auf Sprache fokussierten "Writing Tools" bereits eingebunden. Auch der Assistent für individuelle Emoji (Genmoji) und die Illustrations-KI (Image Playground) ließen sich einfach integrieren.