Leistungsfähige lokale Künstliche Intelligenz ist derzeit noch Mangelware. Die meisten Angebote sitzen auf Servern, benötigen große Energie- und Speichermengen und liefern Antworten übers Netz. Microsoft beschreibt nun, wie die dritte Version der hauseigenen phi-KI entstand – und was sie kann. Deren „mini“-Version sei leistungsmäßig auf Augenhöhe mit ChatGPT 3.5 und Mixtral 8x7B, benötige aber nur 1,8 GByte Speicherplatz. Damit würde sie auf jedem iPhone Platz finden.


Zu Demonstrationszwecken portierten die Microsoft-Entwickler ihr Modell auf die iOS-Plattform und ließen ein iPhone 14 einige Aufgaben bewältigen. Dabei erreichte phi-3-mini eine Verarbeitungsgeschwindigkeit von 12 Token pro Sekunde. Zum Vergleich: Das serverbasierte ChatGPT 4.0 bringt es auf 18 Token pro Sekunde, während ChatGPT 3.5 Turbo derzeit 56 Token pro Sekunde bewältigt. Das LLM von Microsoft umfasst dabei 3,8 Mrd. Parameter und wurde auf Basis von 3,3 Billionen Token trainiert.

Kinderbücher zum Trainieren
Für möglichst effizientes Training bedienten sich die Forscher eines Tricks: Sie setzten vorwiegend Inhalte aus Kinderbüchern als Lernbasis ein. Da diese möglichst einfache und eindeutige Sprache verwendeten, seien sie optimal für das Sammeln von Erfahrung für LLMs, so die Forscher. Da es aber nicht genügend Kinderbücher gibt, ist die Grundlage von phi-3-mini wiederum KI-generiert: Bestehende Large Language Models wurden beauftragt, Kinderbücher zu verschiedenen Themen zu erstellen, die dann wiederum als Lernbasis für die phi-3-LLMs zum Einsatz kamen.

Nachträgliches Absichern
Im Nachgang haben die Entwickler einige Anstrengungen unternommen, die Antworten sicher zu gestalten. Anhand mehrerer Faktoren überprüfte anschließend ein „Red Team“, ob es das LLM zu verstörenden, gewalttätigen oder falschen Antworten verleiten konnte. Die nachträgliche Absicherung führte dazu, dass die Zahl unangemessener und falscher Antworten mindestens halbiert werden konnte – gegenüber Profis, die es darauf anlegten, die KI zu überlisten.


Lokales LLM sichert Privatsphäre
Wenn eine KI direkt auf dem jeweiligen Gerät arbeitet, spart dies meist Zeit und Datenvolumen. Zudem bleibt die Privatsphäre gewahrt – die Anfrage kann nicht von einem Serverbetreiber ausgewertet und etwa für personalisierte Werbung genutzt werden. Allerdings verbrauchen KI-Berechnungen einiges an Energie und sind aufgrund Größen- und Leistungsbeschränkungen meistens nicht auf Augenhöhe mit serverbasierten LLMs.