Hallo zusammen,

mein Anliegen ist etwas difus, dass bitte ich zu entschuldigen, auch dass ich mein Anliegen etwas einrahmen möchte. KI Anwendungen faszinieren mich - der Datenschutz schreckt mich ab. Deswegen möchte ich gerne so viel wie möglich offline erledigen lassen.

Ich möchte mich in das Thema langsam einarbeiten, weil für mich persönlich, dass verstehen, nutzen und trainieren von KI das "next big thing" ist, dass ich in meinem alter (mitte 40) so früh wie möglich beobachten und lernen möchte. Es ist wie das "Internet" zu verstehen - von IP über Server über Cookies. Desto mehr man weiß, desto souveräner kann ich es nutzen.

Kommen wir zu meinen Fragen:
- Wer nutzt von euch lokale KI Modelle in welchem Framework?
- (Wie) trainiert ihr diese Modelle?
- Welche Ressourcen kennt und nutzt ihr, um die Anwendung von KI-Modellen zu erlernen?

Nun zum Thema Hardware:
GeForce Grafikkarten als KI Beschleuniger sind in der PC fast schon gesetzt. Ich finde aber keine Benchmarks, wie Macs mit M-Chips da performen.Hat jemand dazu infos?
eGPU-Support gibt es ja seit den M-Prozessoren nicht mehr.

Freue mich über jede Antwort. Liebe Grüße,

Phil

Ps.: Da ich erwarte das die Frage nach dem Anwendungsfall kommen wird - ich möchte es erstmal als Playground nutzen. Wichtig ist mir eine KI selbst mit Daten auf Aufgaben trainieren zu können, primär in der Textgeneration (Hier sind 10 technische/juristisch Beschreibungen - lerne aus diesen erstelle mir eine technische/juristisch Beschreibung zu Objekt-X) oder (Hier sind 10 Übungsaufgaben in Mathe - erstelle mir auf diesem Niveau eine Mathearbeit und eine Schritt für Schritt Lösung. Lese den Scan der Klassenarbeit des Schülers x und gib mir ein Korrekturblatt aus.)

Aufgaben wie "hier sind mehrere Verträge. Erstelle mir einen Vertrag auf Basis von Vertrag A mit folgenden zusätzlichen Merkmalen ..." lasse ich häufiger ausführen. Das funktioniert gut, ohne dass ich die KI dafür trainiert hätte. Deine Motivation für das KI-Training kann also nur der Datenschutz sein. Genügt es nicht dafür die persönlichen Daten aus den Vertragsmustern zu entfernen?
Oder dein anderes Beispiel: Welches Datenschutzproblem haben Mathe-Übungsaufgaben?

Ein KI-Training für Vertragstexte halte ich überdies für sehr aufwändig. Einfacher ist es vermutlich, wenn die KI nur die Hilfetexte für den Kundensupport auswendig lernen muss, also passende Antworten aus eng begrenzten Themenfeldern finden muss.

Also warum KI trainieren? Ich denke für die Bearbeitung von Daten, die datenschutzrelevant sind und für eigene Daten, die typischerweise nicht im Internet stehen. Praxisrelevanter ist das Beschäftigen mit passenden AI-Werkzeugen und die richtigen Prompts/Fragen, um gute Ergebnisse zu erhalten.

Ganz ehrlich. Aktuell sind KI Modelle, egal ob in der Cloud oder lokal ganz große Black-Boxen die toll dabei sind ziemlich viel Unsinn zu erzeugen.

Geekbench bietet einen AI Benchmark.

Wie Aussagekräftig der ist sei mal dahingestellt. Die Apple Silicon Prozessoren sind von Grundauf für AI ausgelegt. Nennt sich Machine Learning (ML). Ist das gleiche wie AI nur eine andere Bezeichnung.

Vertragsmuster waren jetzt nur ein Beispiel. Konkret geht es darum, eine KI zum Beispiel auf eine DIN-Norm (closed Source = die Daten dürfte ich nicht hochladen) zu trainieren. Es wird ja nicht reichen eine Normen-PDF einzulesen. Trainieren erfolgt wahrscheinlich auch mit Beispielaufgaben - die richtige und falsche Ergebnisse enthalten um die KI eben zu "trainieren" - ich hab aber keine Ahnung wie das geht.

Ebenfalls darf ich die handschriftliche Arbeit eines Schülers nicht online verarbeiten lassen.

Bei passenden AI-Werkzeugen und nützlichen Prompts bin ich bei dir. Hast du Ressourcen wo du so etwas lernst?

Ok, das verstehe ich. Es gibt Open Source-AI-Modelle wie Llama (https://www.llama.com) oder Sentence Transformers/SBERT (https://www.sbert.net) für die Textanalyse und -verständnis. Diese lokalen Modelle müsstest Du nutzen.
Das sollte ich mir selbst mal genauer anschauen ...Ich finde die KI-Tools sehr nützlich und nutze diese täglich. Ich stelle ausführliche, pedantisch-präzise Fragen und Anweisungen und hake immer weiter nach. Learning-by-doing.
So müsste man eigentlich auch Menschen befragen, aber die wären vermutlich schnell genervt und man würde merken, dass es mit deren Intelligenz oft auch nicht weit her ist (nur ein Seitenhieb darauf, dass KI oft Unsinn unterstellt wird).

Tatsächlich tue ich das schon Ich wollte nur den Eingangspost nicht zu groß machen. Ich nutze auf meinem Mac LM Studio die Anbindung an huggingface ist super - und das Programm telefoniert nicht nach Hause. Mittlerweile habe sie auch einen "upload" button und ich kann Dateien den Modellen übergeben.

Problem: Learning bei doing - aber keine Ahnung was ich genau tue.

Wie behält die KI Informationen (nicht nur im Prompt)?
Was sind Tokens? Was bedeuten die Parameter die ich justieren kann?

Ich will halt etwas über diese neue Technologie lernen

Naja. Was heißt unterstellt. KI Tools wie ChatGPT produzieren schon sehr of Unsinn. Zumindest wenn es um reine Fragestellungen geht. Denn die Infos sind aus dem Internet. Und was im Internet steht ist ja die "Wahrheit"... Ne

Ist einfach mal die absolute Unwahrheit. Als alternative zur Websuche leider noch unbrauchbar.

Anders sieht es wiederum mit spezialisierten KIs aus. Ich lass mir bei der täglichen Arbeit gerne Code Snippets erstellen weil ich auch nicht immer alle Neuerungen jeder Sprache auf dem Schirm habe.

Genau das ist mein Punkt. Ich möchte gerne eine KI so trainieren, dass in dem Rahmen, die Ergenisse auch stimmen. Das sollte mit technischen Regelwerken doch unproblematisch sein.

Bsp.: In einem Dokument steht
"Der Abstand des Rauchmelder zur Wand beträgt 30cm"
die KI korrigiert: "Achtung: Der Abstand eines Rauchmelders nach DIN 0833-2 beträgt 1m von der nächstgelegen Gebäudewand. Der Abstand ist nicht Normkonform."

Bsp.: Fasse die Regeln für die Montage von Rauchmeldern zusammen.

Noch besser: Du siehst einen Grundrissplan eines Gebäudestockwerkes. Alle roten Symbole sind Rauchwarnmelder. Überprüfe ob die korrekten Abstände zur Wand eingehalten wurden.

Wäre google colab eine Lösung für dich?
Es kann durchaus sinnvoller und preiswerter zu sein auf eine Cloud Lösung zu setzen...

Okay ich hab's schnell mal gegoogelt und meine oberflächliche Schnellsuche ergabe: "Es wurde geschnitten um aus einer USK 16 eine USK 12 Version zu machen" - ich nehmen an (ohne näheres zu kennen) wegen der "Gewaltszenen"?

Für Suchen gibt es Suchmaschinen. Aber manchmal hilft ChatGPT bei der Suche, wenn ich einen Suchbegriff umschreiben muss, weil mir der Begriff nicht einfällt zum Beispiel.
Du hast Hugging Face oben schon erwähnt. Hugging Face ist eine Plattform, um vortrainierte Modelle zu finden. Das Training und Fine-Tuning erfolgt komplett auf deinem Rechner mit deinen Daten, die Du in ein Format gebracht hast, die das Modell versteht (Tokenisierung). Dann muss Du das Training einrichten mit Anzahl Durchläufen usw.
Aber hier sollte besser jemand übernehmen, der das mal gemacht hat ...

Danke für den Tipp. Allerdings bin ich noch nicht an dieser "Bottleneck" (außer bei Hobby-Bildgenerierung). Da würde ich mir aber wahrscheinlich einen Workspace bei Hugging-Face erstellen. Aber so weit bin ich lange noch nicht.

Und ganu das würde ich gerne lernen
Das sind ja auch alles Hobby-Entwickler (teilweise Teenager) die da richtig krasse Modelle kreieren. Mein vollster Respekt. Ich null Vorstellung wo ich da ansetze um das zu lernen.

Es gibt grob vereinfacht drei Varianten:

• Du programmierst und trainierst Deine KI selber (grundlegende Kenntnisse der Konzepte und Python sind dazu hilfreich).
• LLM Fine-Tuning: Damit nimmst Du ein bestehendes Modell (wie z.B. Llama) und trainierst das mit einem kleineren Datensatz.
• RAG: Retrieval-Augmented Generation. Damit füttert man ein LLM mit weiteren Informationen, Dokumenten usw., die bei der Abfrage vom LLM berücksichtigt werden.

Variante 1 und 2 sind recht komplex und brauchen meistens auch ziemliche Rechenpower. Eine Einführung zum LLM Fine-Tuning findest Du hier .

Ich empfehle Dir, es mal mit RAG zu versuchen. Auf meinem Mac Studio nutze ich dazu AnythingLLM zusammen mit Ollama. Mit Ollama lädst Du Open-Source LLMs wie z.B. Llama herunter, die man dann mit AnythingLLM nutzen kann. Bei AnythingLLM kann man sich Workspaces anlegen und dort Dokument hochladen.

Die Inhalte können dann ganz normal im Chat abgefragt werden, alles bleibt lokal.

Danke! Damit kann ich erstmal schauen wie weit ich komme. Ein Frontende, dass Workspaces hat mit Daten die es persistent speichert ist mega effektiv als jedes mal ein Prompt mit Infos zu füttern. Auch danke für den Link zum LLM-FineTuning - ich bin gespannt ob ich was verstehe.

Kennst du einen guten Kanal (Youtube) oder eine Website die auch die Hintergrund-Basics gut erklärt?

Danke für den Hinweis auf AnythingLLM!

Für die Hintergrund-Basics ist die Videoserie über Deep Learning von 3blue1brown auf YouTube sehr empfehlenswert.

Etwas älter aber super verständlich! Danke

Kommt drauf an, wo genau Du starten möchtest. Ich finde "Neural Networks from Scratch with Python" großartig. Da programmiert man eine KI von der ersten Zeile an; man versteht nicht nur, was man da macht sondern warum man das tut und wie die Konzepte dahinter sind.

Bzgl. AnythingLLM und RAGs wird das im Beitrag "AnythingLLM Cloud: Fully LOCAL Chat With Docs (PDF, TXT, HTML, PPTX, DOCX, and more)" gut erklärt.

Um auf dem Laufenden zu bleiben, habe ich (u.a.) den Newsletter der AInauten (https://www.ainauten.com) abonniert.

Nein. Das stimmt halt nicht. Der Film hatte für eine neue Veröffentlichung auf DVD eine neue Alterseinstufung bekommen. Von 16 auf 12. Die Lange Version des Film enthält kein Gewaltszenen sonder Handlungsdialog waren einfach länger.
Das meine ich ja mit. KIs wie ChatGPT lernen aus dem Internet. Und das Internet ist halt nun mal ein Sammelsurium an Dünnschiss und Bullshit.

Man muss auch Werkzeuge wie KI nur richtig nutzen können Wer eine komplett allgemeine Frage stellt, bekommt auch eine allgemeine Antwort die aus LLM Sicht auch mal etwas enthalten kann, was herausinterpretiert wurde. Wenn du keine erfundene Inhalte haben willst, reicht es tatsächlich sogar oft, dies einfach auch so zu erbitten (Den "Trick" hat sogar Apple in Apples Intelligence angewendet)

Ich hatte den Fall erst gestern, bei der kurzen Bitte um Zusammenfassung eines Buches. Ergebnis war eine Mischung aus Wahrheiten kombiniert mit etwas Interpretiertem aus meiner Frage und Inhalten aus vermutlich ähnlichen Büchern/Medien. Wobei es nur klar war, wenn man das Buch selbst gelesen hatte.

Abhilfe schaffte eine genaue Formulierung der Frage nach der Zusammenfassung, Hinweise das dafür im Internet recherchiert werden darf, sowie die klare Ansage, das keinerlei Inhalte erfunden werden dürfen. (grob gesagt). Danach passte die Zusammenfassung exakt.

Ich halte "Prompting" zwar nicht für etwas das lange Bestand haben wird, trotzdem ist es wichtig, dass man auch mit LLM umgehen kann, denn sonst erhält man eben manchmal solche Antworten, die eigentlich im Falle von Tatsachen Wissensthemen inkorrekte Inhalte liefern können.

Und welche KI soll das können? Bei GPT 4 und Copilot kommt meistens Müll raus, oft weile es das Problem gar nicht versteht und recht nicht seinen eigenen Code. Und die Beispiele sehen immer aus, wie aus einem Forum zusammengeklaubt. In meinem Fall ist es viel Powershell.

Der Gag bei Critters 4 geht aber noch weiter. Für die Critters-Box gibt's wieder eine Uncut-Version, in der die 7 Minuten wieder vorhanden sind. Auch FSK12. Da die drei anderen Critters eine FSK16-Freigabe haben, wird die Box als FSK16 verkauft und Critters 4 (Uncut DVD) oftmals unpräzise als FSK16 bezeichnet. Da soll sich ne KI noch auskennen.

Tabnine

Doch nicht so schlau das ganze....

Wir verwenden nun seit knapp 2 Jahren ChatGPT als Unterstützung in der Entwicklung und können solche Probleme nicht nachvollziehen. Ich habe hier im Forum schon öfters von der Unbrauchbarkeit von GPT gehört und wundere mich immer ob hier völlig andere Version existieren, denn unsere Erfahrung sind sehr positiv

ChatGPT für Coding ist jetzt nicht so toll wenn man es mit anderen, spezialisierten AIs dafür vergleicht. So z.B. Tabnine.... Allerdings lassen die sich das auch gut bezahlen. Vorteil. Man kann die KI, gerade für Unternehmen interessant, InHouse hosten und dann lernt die auch von InHouse Codern zusätzlich. Und nicht nur den Käse der auf Stackoverflow rumliegt. Das ist nämlich das Hauptproblem von ChatGPT. Für Coding lernt die fast ausschließlich von Stackoverflow...

Ich kann mich an dieser Stelle nur bei allen Kommentatoren bedanken!
Insbesondere bei ThorsProvoni. Über AnythingLLM und den zugehörigen Videos hat sich eine völlig neue Welt geöffnet und der YouTube-Algorhytmus hat verstanden was ich brauche