iOS 18 und macOS 15: Wie Apple der Sprach-KI das Halluzinieren austreiben will
Was sämtliche LLMs an Schwächen mitbringen, ist fehlende Präzision und Verlässlichkeit. Sie reden einfach gerne vor sich hin, schmücken aus, fügen hinzu, fantasieren, halluzinieren. Das Modell hat keinerlei Verständnis von dem, was es gerade wortreich darbietet und auch wenn viele Ausgaben wie kreative Meisterwerke klingen, reiht es doch nur gebräuchliche Wortfolgen aneinander. Die sprachliche Qualität, welche mitunter entsteht, täuscht daher leicht über mangelhafte Inhalte hinweg. Dies ist aber ein ganz grundlegendes Problem, denn aktuelle Sprachmodelle werden oft für andere Zwecke verwendet, als sie ursprünglich vorgesehen waren. Eine Suchmaschine zu ersetzen und faktisch korrekt zu arbeiten, ist genau nicht die Stärke – ein Grund, warum Apple angeblich lange sehr skeptisch war.
Fakten vs. ErzählungEin ganz profanes Beispiel ist, sich nach dem Todestag einer bekannten Person zu erkundigen. Die inhaltlich korrekte Antwort wäre schlicht der 12. Juli 2022, doch ein Chatbot könnte manchmal durchaus Phrasen wie "Leider verstarb er bei sommerlichen Temperaturen am 12. Juli im Kreise seiner Angehörigen" liefern – ohne dass Temperatur oder Umstände überhaupt gesichert sein. In einem weiteren Dialog und nach den Gründen für die Ausschmückungen gefragt, würde ChatGPT ausführen, dass es am 12. Juli wahrscheinlich warm war und Menschen sehr oft im Kreise ihrer Angehörigen versterben.
Anweisungen für das Sprachmodell aufbereitenIn der (inzwischen verschwundenen) Beta von macOS 15.1 war
ein Fund zu machen, wie Apple Halluzinieren und Erfinden bei Textzusammenfassungen verhindern will. Oft ist eine vom Nutzer eingegebene Frage nicht das, was auch wirklich an das Modell durchgestellt wird. Stattdessen "übersetzt" das jeweilige System den Inhalt in eine Sprachform, mit der das Sprachmodell am besten klarkommt und die hoffentlich optimalen Ergebnisse liefert. Aus einem "male eine Tanne im Winter" würde daher vielleicht als Zwischenschritt der Prompt "male ein Bild, das eine winterliche Landschaft zeigt. Schatten der Tannenzweige fallen auf den schneebedeckten Boden (....)" erzeugt.
Genaue Anweisungen, was zu tun istApples Smart Reply impft das Sprachmodell zuerst dahingehend, die Rolle zu erklären: "Du bist ein hilfreicher Mail-Assistent, der relevante Fragen aus der Nachricht entnimmt und dann eine kurze Antwort erstellt." Weitere Ansagen, von denen der Nutzer gar nichts sieht, sind Anweisungen wie "gehe nur auf Fragen ein, die explizit in der Mail vorkommen" oder "Nachfragen sollen kurz sein und nicht länger als acht Worte enthalten", "wenn du keine Fragen findest, dann gib eine leere Liste aus" und "formatiere die Ausgaben als json".
...und zuletzt zwei VerboteNoch eine ganz elementare Ansage macht Apple dem Sprachmodell aber: "Du darfst nicht halluzinieren. Du darfst keine Fakten erfinden". Das mag grotesk klingen, ist aber tatsächlich ein Weg, um LLMs zu mehr Präzision zu zwingen. Wer ChatGPT eine Biographie schreiben lässt, erhält auf die Anweisungen "Erzähle die Lebensgeschichte von Martin Luther" andere Ergebnisse, als auf "Erzähle die Lebensgeschichte von Martin Luther, verwende aber nur gesicherte Fakten und erfinde nichts" – sofern ein derartiger Zusatz nicht ohnehin vom KI-System ohne Wissen des Nutzers eingefügt wird.