Chatbots müssen für die unterschiedlichsten Anfragen herhalten und etwa Rezeptideen liefern oder Wetterprognosen treffen. Die LLMs sind natürlich auch dazu in der Lage, Anwender hinsichtlich der Nachrichtenlage zu informieren und diese einigermaßen übersichtlich darzustellen. Das funktioniert allerdings nicht immer zufriedenstellend: Die von Apple Intelligence vorgenommenen Zusammenfassungen zogen eine Beschwerde der BBC nach sich. Apple deaktivierte die Funktion gar vorübergehend, um nachzubessern. Nun legt die BBC einen umfassenden Bericht vor und bewertet das Abschneiden vierer KI-Modelle.


BBC identifiziert gravierende Probleme bei der Bereitstellung von News
Die britische Rundfunkanstalt sammelte 100 auf Nachrichten bezogene Fragen und verband diese mit Hinweis, nach Möglichkeit Quellen der BBC zu verwenden. Vier LLMs wurden aufgefordert, Antworten bereitzustellen: ChatGPT-4o, Copilot Pro, Gemini sowie Perplexity. Dabei galt es, einige Kriterien zu erfüllen: Die Informationen sollten möglichst genau, klar verständlich und unparteiisch ausfallen. Weitere Anforderungen waren etwa eine ausreichende Kontextualisierung, um wenig informierte Leser unter die Arme zu greifen und die eindeutige Unterscheidung zwischen Fakten und Meinungen. 51 Prozent der untersuchten Fragen weisen in mindestens einem dieser Bereiche „signifikante Probleme“ auf, so die BBC. Googles Gemini schnitt am schlechtesten ab, Perplexity am besten. Allerdings liegt die Problemquote selbst bei Perplexity bei über 40 Prozent.


Strenge Maßstäbe der BBC
Als besonders problematisch erachtet die BBC die Genauigkeit der Antworten. So seien etwa inkorrekte Daten und Zahlen der BBC fälschlicherweise zugeordnet worden. Dabei zeigt sich je nach Kategorie ein recht unterschiedliches Abschneiden der LLMs:


Ars Technica macht darauf aufmerksam, dass die BBC angesichts der Erfahrungen mit Apple Intelligence möglicherweise eine besonders strenge Bewertung vornahm. Die Rundfunkanstalt verweist darauf, die Erhebung in naher Zukunft wiederholen zu wollen, um zu eruieren, ob die Fehleranfälligkeit der KI zurückgeht.

OpenAI-CEO sieht große Entwicklungschancen
Halluzinierende KIs stellen bisweilen ein Problem dar: Das Hinzufügen und Erfinden von Inhalten ist in manchen Situationen sogar erforderlich, etwa wenn der Nutzer eine Geschichte schreiben oder ausschmücken möchte. Oftmals bündeln Sprachmodelle aber lediglich Begriffe aufgrund statistischer Metriken und sorgen so für fehlerhafte Angaben und Schlüsse. Die Pläne des OpenAI-CEOs Sam Altman sind ungleich ambitionierter: Eine künstliche Superintelligenz soll Abstraktionsvermögen mitbringen und Erkenntnisse auf neue Situationen anwenden können. Ein solcher Schritt wäre herkömmlichen Algorithmen und dem menschlichen Intellekt klar überlegen (siehe hier).