Es ist kein Geheimnis, dass Apple kräftig auf dem Feld der Künstlichen Intelligenz forscht. Für dieses Jahr wurde bereits Großes angekündigt; mehrere Veröffentlichungen zeugen von hausinternen Fortschritten beim Entwickeln eigener Sprachmodelle. Ein just erschienener Veröffentlichungsentwurf (Preprint) beschreibt nun, wie Apples KI-Experten in einem feinabgestimmten Trainingsprozess ein Sprachmodell entwickelten, das bei neun Prozent geringerem Parameterumfang eine über zwei Prozent verbesserte Antwortqualität lieferte als die vergleichbare Open-Source-KI „OLMo“. Sowohl der Quellcode als auch die resultierenden Modelle stehen unter dem Namen „OpenELM“ zum Download bereit.


Der Name des resultierenden Modells, OpenELM, ist eine Abkürzung für „Open-source Efficient Language Model“. Apple hat unterschiedliche Varianten auf der quelloffenen KI-Plattform „Huggingface“ veröffentlicht. Nach Umfang gestaffelt erscheinen dort vier Ausbaustufen des LLM von 0,27 bis zu 3 Mrd. Parametern. Jedes Modell steht sowohl in roher Form als auch in einer per Feinjustierung optimierten „Instruction“-Variante zur Verfügung.


Quellcode auf GitHub
Gleichzeitig publizierte Apple den dazugehörigen Code auf dem firmeneigenen GitHub-Account. Unter dem Namen CoreNet finden interessierte Entwickler die Algorithmen und können ihn studieren, ausprobieren und weiterentwickeln. Apple gibt detaillierte Installationsbeschreibungen für Linux und macOS. Um den Code zum Laufen zu bringen, benötigen Interessierte Git LFS sowie die Python-Entwicklungsumgebung „Jupyter Notebooks“. Alle veröffentlichten Bestandteile stehen unter einer Open-Source-Lizenz.

Apple betont notwendige Transparenz bei KI-Entwicklung
OpenELM setzt auf eine öffentliche, von vielen Open-Source-LLMs genutzte Datenbasis. Man kann davon ausgehen, dass es sich bei OpenELM um eine Referenzimplementierung handelt, die für Vergleiche in Bezug auf Komplexität und Effizienz der LLM-Erzeugung bei standardisierter Datengrundlage dient. Für eine „echte“ KI für iPhones und Macs wird Apple höchstwahrscheinlich eine eigens kuratierte Quelle an Trainingsdaten verwenden. In der begleitenden wissenschaftlichen Veröffentlichung beschreibt Apple, warum sie sich zur Offenlegung des Quellcodes entschieden haben: Dies sei entscheidend, um eventuell bestehende Vorurteile in der Datenbasis oder dem resultierenden Modell zu untersuchen. Nur so seien Ergebnisse von KI-Berechnungen vertrauenswürdig.