Man sollte beachten: Es basiert vermutlich alles auf Hörensagen oder liefert das WSJ irgendwelche Beweise für die Aussagen?

Dirk!

so wie Siri den Anschluss verloren hat, hat Apple das schon verpennt bzw. für unwichtig erachtet. Deswegen würde ich dem Artikel diesbezüglich schon Glauben schenken

Siri hat mit "KI" oder besser gesagt mit LLMs nichts zu tun. Mir stellen sich immer die Nackenhaare auf, wenn diese Vergleiche gezogen werden.
Die nächste echte Update von Siri wird ziemlich sicher AI-Funktionen haben, aber beim aktuellen Stand hat Siri nichts mit einem LLM zu tun … mit dem Vorteil, dass Siri einem keinen Mist erzählt, wenn sie keine 100% Antwort kennt

LoCal

auch wenn Siri kein LLM verwendet würde ich sie schon als KI bezeichnen. Oder ist das tatsächlich von der Definition her falsch und gilt nur für LLMs?

Siri ist eher eine Art lange Liste mit abrufbaren Kommandos. Es gab in der Anfangszeit auch mal eine Liste im Internet mit allen Sprachkommandos. Das läuft eher deterministisch ab.
KI ist evtl. bei der Anzeige von Vorschlägen bei der das Nutzungsverhalten analysiert wurde. Aber m.E. geht das auch ohne KI.

Ich würde das anders werten. Google hat aus Nutzersicht nicht den Anschluss verloren. Gute, präzise Suchergebnisse ist Aufgabe einer Suchmaschine und nicht das Halluzinieren von Antworten.
LLMs können obendrein in immer kürzerer Zeit entwickelt werden, d.h. Wettbewerber schließen schneller auf und verlieren nicht den Anschluss.
Nur für die Nutzer ist etwas viel schlimmerers passiert. Goolge hat den Chef des Anzeigengeschäfts zum Chef der Suchmaschine gemacht (Google Search lead Prabhakar Raghavan) und zwei Mitarbeiter aus dem AI-Bereich sind für die Suchmaschine verantwortlich.
Was ist die Absicht? Google hat erkannt, dass es mit KI Content selbst generieren kann. Google möchte nur noch, dass die Nutzer im Google-Ökosystem bleiben und sich Werbung anschauen. Nutzen für den Nutzer? Das ist Google egal.

Hier könnt ihr das Nachlesen .
Es scheinen ja welche anderer Ansicht zu sein. Ich erkenne jedenfalls keinen Nutzen für AI in der Suchmaschine.
Der Browser Arc hat eine AI-gestützte Suche bei der Ergebnisse zusammengestellt werden. Das gefällt mir schon ganz gut. Das unterscheidet sich aber sehr vom Google-Ansatz.

Die Stärken der aktuellen KI Moderne sind, dass sie durchaus ansprechende Texte generieren können, beim Zusammenfassen oder Umformulieren bestehender Texte ist das Ergebnis immer wieder ziemlich beeindruckend.
Die Schwäche ist offensichtlich: der KI ist es egal, ob der Inhalt der Texte fachlich korrekt ist oder nicht.

Solche Modelle zur Recherche zu verwenden, finde ich sehr gefährlich. Andererseits passt das ja ganz gut zum Trend der letzten Jahre, dass Wahrheit und Fakten gar nicht mehr so sehr zählen. Es kommt immer mehr darauf an, dass sich etwas schön anhört und irgendwie plausibel klingt. Siehe zum Beispiel die ganzen politischen Kampagnen der letzten Jahre, angefangen beim Brexit.

Vielleicht ist das aber auch genau das, was die Menschen wollen: Informationen sollen sich gut anhören, möglichst noch passend zum eigenen Bildungsniveau formuliert sein und zur eigenen Meinungs-Blase passen. Insofern passt sich das Produkt „Suchmaschine“ vielleicht einfach an die Kunden an…
Inwiefern man solch eine Suchmaschine dann noch für eine echte Recherche verwenden kann, wird sich zeigen

Das ist - von der Terminologie bereits exakter, aber dennoch noch nicht ganz richtig (der Artikel macht das allerdings wirklich falsch).

Du hast recht, dass mit an Sicherheit grenzender Wahrscheinlichkeit beim aktuellen Stand von Siri keine LLMs verwendet werden. 100% wissen wir es natürlich nicht, da das ja alles intern ist und sich der Entwicklungsstand über die Jahre ständig verändert haben dürfte. Generell war Siri aber in seiner Grundkonzeption eben kein Anwendungsfall von "Generativer KI". Mir behagt allerdings auch nicht diese Tendenz in den Diskussionen die LLMs als "höchste Form der KI" darstellen. Das ist totaler Quatsch. Es ist ein sehr spezialisierter Algorithmus und "Generative KI" war im Funktionsprinzip von Siri erstmal gar nicht vorgesehen. Das man Generative KI verwenden könnte um nicht nur einen ChatBot sondern auch ein Assistenzsystem zu realisieren ist allerdings eine recht junge Erkenntnis. Auch OpenAI hat dies nicht mit ChatGPT realisiert.

Und hier kommt Dein _kleiner_ Fehler: Du folgst dem Artikel ein wenig indem Du "KI" eben mit "Generativer KI" gleichsetzt. Siri bedient sich natürlich seit langem an KI-Techniken:

1) Das "Hey Siri" basiert auf einem Deep Neural Network (DNN) mit dem auf dem Gerät dieses Stimmmuster erkannt und dann die Siri-Funktion "getriggert" werden kann.
2) Siri kann auch vollständigere Sätze mit einem lokalen Modell erkennen. Das nennt sich Spracherkennung, gefolgt von Sprachanalyse
(effektiv einen Parsetree... also mit Subjekt, Prädikat Objekt usw.)
3) Die Semantische Interpretation. Der Parse-Tree wird mit einem der bei Siri realisierten Assistenz-Funktionen in Verbindung gebracht und die entsprechende Aktion ausgeführt. Dabei wird auch zeitaktuelle Information, Daten aus diversen Datenquellen und Kontext in betracht gezogen.
4) Hat Siri Fragen oder liefert eine Antwort, dann generiert sie mittels "Sprachsynthese" basierend auf deeplearning Techniken eine natürlich klingende Sprachausgabe.

Soweit ich weiß hat Siri in den Anfangstagen an vielen Stellen noch mit HMC (Hidden Markov Chains) gearbeitet und deren Anwendung ist mehr und mehr dem Einsatz von Deep Learning gewichen... Deep Learning ist derselbe Teilbereich der KI aus der auch die "Transformer-Modelle" der aktuellen LLMs heraus kamen.

Siri ist also DEFINITIV und ohne wenn und aber eine Anwendung durchaus aktueller KI-Techniken. Es ist jedoch keine Anwendung von "Generativer KI". Die naive Frage "Ist Siri eine KI" würde man jedoch mit nein beantworten, weil man dazu weit mehr erwarten würde - eher das was man gemeinhin als "AGI" bezeichnet - letztlich ein KI-Programm ohne speziellen Zweck, dass kognitive Aufgaben auf dem Level eines Menschen verarbeiten könnte.

Was ist nun "Generative KI"? Der Name enthält ja bereits das Wort "generieren". Es geht darum aus einer Eingabe eine Ausgabe zu generieren. In der Anwendung als "ChatBot" ist das besonders simpel zu erklären: Die Eingabe ist einfach das bisherige Gespräch und die Ausgabe ist dann einfach der Text erweitert um ein bisschen weiteren Text der in das "Gespräch" passen würde. Das LLM bedient sich dabei ebenfalls Deep Learning Techniken (zum bauen des Models). Spracherkennung und Sprachsynthese sind da erst mal von geringerem Belang... lassen sich damit aber natürlich kombinieren.

Auch bei ChatGPT kann man sich jetzt wieder Fragen: Ist ChatGPT eine KI. Die Antwort ist wiederrum nein. Die einem LLM innewohnende Fähigkeit überzeugende Texte zu generieren erzeugt einen täuschend echten Eindruck einer Konversation mit einer KI - aber das System besitzt nach wie vor geringe bis keine Planungs, Problemlösungs und viele weitere kognitive Fähigkeiten des Menschen. Manche dieser Dinge kann man "reinhacken" durch RAGs, Function Calls usw. usf. bei dem man während dem Generieren spezialisierte externe Systeme involvieren kann, aber das sind keine kognitiv erlernten Fähigkeiten sondern gezielt einprogrammierte Trigger.

Es gibt Uneinigkeit in der Forschergemeinde ob man "AGI" womöglich einfach erreichen könne indem man noch mehr Daten auf das Problem schmeißt und Modelle mit noch mehr Parametern generiert oder ob einfach noch grundsätzliche Features fehlen die über das einfache Transformer-Modell hinausgehen. Von AGI ist man aber mit hoher Wahrscheinlichkeit noch weit entfernt.

Sowohl Siri als auch ChatGPT _verwenden_ KI-Techniken (beide z.B. Deep Learning), aber beides sind keine "KIs"... allerdings haben wir aktuell einen sprachlichen Wandel. Was man früher einen "ChatBot" oder ein "Assistenzsystem" nannte nennt man heute im Volksmund immer mehr "Eine KI". Technisch gesehen ist das totaler Quatsch, aber erzähl das mal dem Volksmund

Das ist korrekt (auch der ganze Rest), die Idee Sprachmodelle mit z.B. Suchmaschinen zu kombinieren funktioniert aber völlig anders als die Allgemeinheit sich das eigentlich vorstellt:

Es geht nicht darum, dass die Sprachmodelle das ganze Internet gelernt haben und jetzt alle Antworten "wissen". Das Sprachmodell kann erstmal nur eines: Hervorragend Sprache generieren... und das sehr passend zum vorher geschriebenen.

Da das anlernen solcher Modelle extrem langwierig und teuer ist, baut man erst mal nur "Foundational Models" die "Sprache im allgemeinen" kennen. Je nach dem späteren Anwendungsfällen kann man ein Foundational Model dann durch weiteres Training für bestimmte Teilbereiche spezialisieren... die Antworten in diesem Teilbereich sind dann einfach besser. Typisch wäre z.B. eine Unternehmenswissensdatenbank die als Grundlage dient um entsprechende Fragen zu beantworten.

Ein weiterer Ansatz sind die RAGs (Retrieval Augmented Generation). Das funktioniert so: Man macht zuerst eine Datenbankanfrage (oder eine Google-Suche) und als Ergebnis kriegt man die übliche Trefferliste. Diese Treffer werden zusätzlich zur eigentlichen Frage des Nutzers in den Vortext generiert... d.h. man tut so als ob man eine Konversation über diese Suchergebnisse führt. Das Funktionsprinzip eines LLMs wird dann dazu führen, dass sein generierter Text sich eben besonders auf die Inhalte der gefundenen Treffer bezieht, die dann hoffentlich "faktisch" sind und eben nicht "halluziniert". Dennoch ist das LLM nicht wirklich schlauer und auch in diesen Fällen können immer wieder mal komische Halluzinationen vorkommen. Deswegen liest man ja auch solches Zeug über Google aktuell.

Du hast schon recht … ich habe mich nicht ganz richtig ausgedrückt.
Mir ging es hauptsächlich um die Antworten die Siri gibt, denn darüber echauffieren sich ja alle, und weniger über die interne Funktionsweise.

Und was die Antworten angeht, da ist bei Siri eben völlig anders.
Es gibt quasi ein fixes Set an Antwort-Optionen … fällt die Antwort hier hinein (Wetter, einfache Wiki-Abfragen, Music, Podcast), dann gibt Siri die entsprechende Antwort … wenn nicht kommt ein nerviges, aber klares "Ich habe das im Web für dich gefunden" bzw. "Ich kann im Internet danach suchen, wenn Du mich auf deinem iPhone noch mal danach fragst". Siri bringt es aber, zum Glück(!), nicht fertig, "selbst" Antworten zu finden.

Anders ChatGPT, das gibt die wahrscheinlichste Antwort … und die kann durchaus "halluziniert" sein.

Kann man auch gut ausprobieren.

Man fragt ChatGPT, wie man in Zak McKracken den Busfahrer aufweckt(*), der den Bus zum Flughafen fährt … ChatGPT liefert(e?) die abstrusesten Antworten, aber nie die richtige.

Die richtige Antwort wäre mit der Tröte (Kazoo) das man in der Schublade findet.

ChatGPT gibt da Tonnen an Antworten, aber nie die richtige.
Die irrste war: "Fahre mit dem Bus zum Flughafen und kaufen dann zum Sandwhich und einen Kaffee. Das Sandwich tunkst Du in den Kaffee und fährst damit zurück zum Busfahrer. Gib ihm nun das Kaffeesandwich, dann ist er wach"

Der Grund für diese Antwort ist aber ganz einfach: Wenn eine KI keine direkte Antwort hat, dann erstellt sie die "wahrscheinlichste" … was halt oft Mist ist und vorallem nicht zuverlässig.

* Ich hatte mal vor eine Serie zu machen, in der ChatGPT alte Adventures spielt … ging aber leider komplett in die Hose.

Unwindprotect

Danke für die ausführlichen Erläuterungen. ❤️

Total! Ich selbst muss da so oft innehalten, die Augen schließen und denken "wie erklär ich ihm jetzt, wie total falsch seine Vorstellung von Technologie gerade ist". Das ist manchmal echt so als ob jemand mit dem Brustton der Überzeugung sagt, das ganz kleine Elfen die bunten Pixel super schnell mit Leuchtfarbe von hinten auf den Bildschirm malen wenn es um Screens geht und das die Elfen einfach nicht schnell genug sind manchmal und es dann ruckelt ^^

Es nicht wirklich ein fixes Set... die Menge der Antworten ist tatsächlich unbegrenzt, aber es gibt eine fixe Zahl von "Antwortschablonen". Insofern kann man bestimmt auch Siri dazu bringen komische Antworten zu liefern indem man es schafft, das man ihr die passenden Worte zur passenden Schablone unterschummelt. Bei ChatGPT gibt es aber eben keine festen Schablonen mehr sondern der Text wird statistisch als Kombination unglaublich vieler gelernter Tokens passend zusammengesteckt. Da lässt sich bei böswilliger Vorgehensweise natürlich viel mehr Schindluder treiben und es kann auch aus versehen viel mehr schiefgehen.

Absolut! Wobei "wahrscheinlichste Antwort" nicht viel mehr heißt, dass jene gewählten Tokens eben in der Nähe der anderen Tokens mit der höchsten Wahrscheinlichkeit (im Vergleich zum Trainingsmaterial) gewählt werden. Wenn eine faktisch korrekte Antwort im Trainingsmaterial war, dann gibt es eine mitunter gute Chance, dass diese auch so rauskommt... nicht notwendigerweise in der gleichen Formulierung, aber eben immer noch faktisch korrekt. Es kann dabei aber auch unglaublich viel schiefgehen.

Lustiger Anwendungsfall! Klar - da sieht man, dass es eben nicht so funktioniert wie sich das Laien oft vorstellen. Ich bin da auch extrem überrascht, dass selbst Menschen wie Prof. Dr. Rieck, der Wirtschaftswissenschaftler und Spieltheoretiker in seinem YouTube-Kanal mitunter argumentiert hat, dass ChatGPT tatsächlich bereits "echte KI" sei und alle die etwas anderes behaupten falsch liegen.

Hm …

Ich schätze Du sprichst mir ebenfalls Intelligenz ab, weil ich Zak McKracken nicht kenne und so wie ChatGPT keine Ahnung habe, welche Antwort richtig ist.

Das ist in keiner Weise verwunderlich. OpenAI trackt die Konversationen und wenn bestimmte Sachen auffallen dann gehen Menschen her, schreiben ein paar passende Frage/Antwort-Paare und das Modell wird dann mittels "Finetuning" darauf relativ billig weitertrainiert. Ebenso können natürlich Artikel oder Kommentare irgendwo auf solche Probleme aufmerksam machen. Im Endeffekt funktioniert das ein bisschen wie dieses Jahrmarktspiel bei dem aus einer Matrix aus Löchern etwas rausschaut und man muss es schnell mit dem Hammer wieder reinhauen... ^^ man könnte auch sagen "Lücken stopfen" als Sysiphos-Arbeit durch extrem schlecht bezahlte Menschen in prekären Situationen... und nach ein paar Wochen wundern sich die Leute, wieso ChatGPT bei bestimmten Dingen die schon gingen plötzlich totalen Stuss labert. Jedes Finetuning kann eben auch alles andere auch kaputt machen.

Wenn man Dich danach fragt würdest Du vermutlich eher genau das sagen und nicht einfach ohne zu denken irgendwas losplappern, was ungefähr zum gehörten passen könnte.

Naja, ChatGPT verhält sich wie ein 16-jähriger bei einer Klassenarbeit.

Oder wie ein Politiker in einer Talkrunde.
Es ist auch bei Menschen (sogar Erwachsenen) voellig normal das diese nicht staendig und ununterbrochen die Wahrheit sagen (und damit meine ich nicht vorsaetzlich luegen) sondern einfach in ihren Aussagen nicht absolut praezise und damit ungenau sind. Das ist aber voellig normal, wollten wir in einer Diskussion jedes Wort und jede Aussage immer erst auf ihre absolute Richtigkeit ueberpruefen, dann kaehmen wohl die meisten Gespraeche zwischen Personen nicht ueber ein paar dutzend Saetze pro Stunde hinaus.
Was Menschen (zumidnest manche) dann aber in der Regel in so einer Situation machen ist entsprechende Fuellworte, wie ich denke, ich bin mir jetzt nicht absolut sicher usw. zu nutzen (ausser in Talkrunden), das macht ein LLM halt zur Zeit nicht da es ueber keinen internen Feedback Loop verfuegt.
Das wird aber ganz sicher schon mit den kommenden LLMs wie z.B. GPTnext anderst sein, mit den neuen Supercomputern die Microsoft zur Zeit fuer das Inferencing baut und mit den immer weiter sinkenden Leistungsanforderungen fuer das Inferencing werden die naechsten Modelle in der Lage sein ihre Aussagen gegen das Internet zu pruefen und einen Score fuer die Wahrscheinlichkeit zu ermitteln mit der die Aussage stimmig ist und das wird im Hintergrund so schnell funktionieren, das das LLMs dies fuer mehrere Antwortvarianten machen wird und dann nur die Antwort mit dem hoechsten Score dem Gegenueber ausgibt.

Was den Modellen auch noch fehlt ist ein automatisches Feedback um die Gewichtungen neu zu setzen, das wird in Zukunft auch in die neuen Modelle integriert, diese werden dann ihre Gewichtungen anhand der Score Treffer aber auch anhand des Feedbacks der Gespraechspartner (das geht aber nur gemittelt, ansonsten waere das viel zu gefaehrlich) vortlaufend tunen, damit kann das ein LLM auch waerend des Inferencings lernen und sein Wissen staendig verbessern, das geht zur Zeit auch noch nicht.
Alle Korrekturen die man ChatGPT in einer Konversation mitgibt sind nur fuer diese eine Konversation gueltig und mit jeder neuen Konversation wieder vergessen.
Also als wuerde man mit einem Mensch mit z.B. Alzheimer reden (Vergleich passt jetzt nicht 100%) der immer wenn man ihn wieder trifft, alles zuvor besprochen vergessen hat.

Wir werden da in den kommenden Monaten (nicht Jahren) noch einige grundlegende Neuerungen zu sehen bekommen.

sudoRinger

Im Gegensatz zu Dir wurde ChatGPT aber mit Daten aus dem WWW gefüttert und dort tummeln sich mehrfach Lösungen zu jedem halbwegs bekannten Adventure.
Oh und bei der Frage zu dem Busfahrer, hatte ich explizit nach einer Lösung gefragt und nicht, ob ChatGPT das Spiel spielen will.

Lustigerweise sagt ChatGPT, gibt man den erste Textblock von Zork ein, einem auf dem Kopf zu, dass man scheinbar gerade Zork spielt.

Sorry aber nein, nein, nein. Nur weil die Antworten für Dich soähnlich klingen heißt das nicht, dass wir es hier mit einer KI auf dem Level eines Menschen (egal ob 16 Jährig, Politiker oder whatever) zu tun. Diese Vermenschlichungen sind genau die Sprüche die man von den KI-Bros immer hört. Gefährliches Achtelwissen…

Das hat nichts miteinander zu tun.

Du hast extrem viel Vertrauen in technologischen Hype! Ein LLM kann überhaupt keine Aussagen „im Internet“ prüfen. Schon alleine dafür benötigt man irgendeinen Behelf wie zB. Retriever. Dieses „GPTnext“ und Microsoft Supercomputer-Gerede ist doch vor allem Hype-Marketing das mit dem Stand der Forschung einfach gar nichts zu tun hat. LLMs in ihrer heutigen Form leiden bereits jetzt an einer ganzen Reihe Limitierungen die klar machen, dass das Prinzip nicht nachhaltig ist. Menschen sind zB in der Lage mit WEIT weniger Daten wesentlich effektiver zu lernen. Bereits das ist ein sehr deutliches Zeichen, dass noch eine ganze Reihe von Schlüsselkonzepten fehlen.

Schon wieder diese Vermenschlichung.

Wir werden in den kommenden Monaten noch einige nette Gimmicks basierend auf der existierenden Architektur erleben.

Und wieder viel Halluzination … weder Supermarkt noch Busdepot sind richtig!