So gut wie alle Sprachassistenten der letzten Jahre basieren auf maschinellem Lernen. Dabei trainiert man Modelle mit Fragen und Antworten und im Idealfall können daraufhin Algorithmen auch Abwandlungen der Trainings-Fragen erkennen und korrekt beantworten – obwohl nicht die genaue Syntax gewählt wurde. Doch diese Modelle sind bei Fehlern oder Überlappungen mit anderen Fragen sehr schwer zu analysieren und auch die Beurteilung der Qualität der Antworten ist keine triviale Aufgabe.


Es geschieht selten, dass Apple Papers veröffentlicht und sich bei internen Projekten in die Karten schauen lässt – zu groß ist die Angst, der Konkurrenz wichtige Hinweise zu geben. Doch überraschend veröffentlichte Apple ein sehr interessantes Paper mit dem Titel "Overton: A Data System for Monitoring and Improving Machine-Learned Products". Darin beschreibt Apple, wie ein Tool namens "Overton" interne KI-Entwickler dabei unterstützt, bestehende Siri-Funktionen zu verbessern oder ganz neue Themengebiete einzupflegen.

Overton soll KI-Entwicklern von diversen Low-Level-Aufgaben wie dem eigentlichen Programmieren von Code entbinden. Die Entwickler sollen sich durch den Einsatz von Overton eher darauf konzentrieren können, neue Funktionen einzupflegen oder bestehende zu verbessern anstatt feingranulare Analysen selbst durchführen zu müssen – eine sehr mühsame Aufgabe.


Overton und Programme, welche eine grafische Benutzeroberfläche auf Basis der Overton-Daten anzeigen, begleiten dabei die KI-Entwickler, Qualitätsberichte zu erstellen und Modelle durch Tuning zu optimieren, um die Antwortqualität zu verbessern. Auch beim Einpflegen ganz neuer Funktionen hilft Overton – ohne Code mit Frameworks wie CoreML oder TensorFlow programmieren zu müssen.

Intern setzt Apple Overton schon seit über einem Jahr ein – und konnte sowohl die Fehlerrate bei Antworten von Siri deutlich senken und zeitgleich die Größe der Entwicklerteams reduzieren, da mittels Overton weniger Entwickler zur Überwachung der Qualität von KI-Modellen benötigt werden.