Hallo zusammen,

mein Anliegen ist etwas difus, dass bitte ich zu entschuldigen, auch dass ich mein Anliegen etwas einrahmen möchte. KI Anwendungen faszinieren mich - der Datenschutz schreckt mich ab. Deswegen möchte ich gerne so viel wie möglich offline erledigen lassen.

Ich möchte mich in das Thema langsam einarbeiten, weil für mich persönlich, dass verstehen, nutzen und trainieren von KI das "next big thing" ist, dass ich in meinem alter (mitte 40) so früh wie möglich beobachten und lernen möchte. Es ist wie das "Internet" zu verstehen - von IP über Server über Cookies. Desto mehr man weiß, desto souveräner kann ich es nutzen.

Kommen wir zu meinen Fragen:
- Wer nutzt von euch lokale KI Modelle in welchem Framework?
- (Wie) trainiert ihr diese Modelle?
- Welche Ressourcen kennt und nutzt ihr, um die Anwendung von KI-Modellen zu erlernen?

Nun zum Thema Hardware:
GeForce Grafikkarten als KI Beschleuniger sind in der PC fast schon gesetzt. Ich finde aber keine Benchmarks, wie Macs mit M-Chips da performen.Hat jemand dazu infos?
eGPU-Support gibt es ja seit den M-Prozessoren nicht mehr.

Freue mich über jede Antwort. Liebe Grüße,

Phil

Ps.: Da ich erwarte das die Frage nach dem Anwendungsfall kommen wird - ich möchte es erstmal als Playground nutzen. Wichtig ist mir eine KI selbst mit Daten auf Aufgaben trainieren zu können, primär in der Textgeneration (Hier sind 10 technische/juristisch Beschreibungen - lerne aus diesen erstelle mir eine technische/juristisch Beschreibung zu Objekt-X) oder (Hier sind 10 Übungsaufgaben in Mathe - erstelle mir auf diesem Niveau eine Mathearbeit und eine Schritt für Schritt Lösung. Lese den Scan der Klassenarbeit des Schülers x und gib mir ein Korrekturblatt aus.)

Aufgaben wie "hier sind mehrere Verträge. Erstelle mir einen Vertrag auf Basis von Vertrag A mit folgenden zusätzlichen Merkmalen ..." lasse ich häufiger ausführen. Das funktioniert gut, ohne dass ich die KI dafür trainiert hätte. Deine Motivation für das KI-Training kann also nur der Datenschutz sein. Genügt es nicht dafür die persönlichen Daten aus den Vertragsmustern zu entfernen?
Oder dein anderes Beispiel: Welches Datenschutzproblem haben Mathe-Übungsaufgaben?

Ein KI-Training für Vertragstexte halte ich überdies für sehr aufwändig. Einfacher ist es vermutlich, wenn die KI nur die Hilfetexte für den Kundensupport auswendig lernen muss, also passende Antworten aus eng begrenzten Themenfeldern finden muss.

Also warum KI trainieren? Ich denke für die Bearbeitung von Daten, die datenschutzrelevant sind und für eigene Daten, die typischerweise nicht im Internet stehen. Praxisrelevanter ist das Beschäftigen mit passenden AI-Werkzeugen und die richtigen Prompts/Fragen, um gute Ergebnisse zu erhalten.

Ganz ehrlich. Aktuell sind KI Modelle, egal ob in der Cloud oder lokal ganz große Black-Boxen die toll dabei sind ziemlich viel Unsinn zu erzeugen.

Geekbench bietet einen AI Benchmark.

Wie Aussagekräftig der ist sei mal dahingestellt. Die Apple Silicon Prozessoren sind von Grundauf für AI ausgelegt. Nennt sich Machine Learning (ML). Ist das gleiche wie AI nur eine andere Bezeichnung.

Vertragsmuster waren jetzt nur ein Beispiel. Konkret geht es darum, eine KI zum Beispiel auf eine DIN-Norm (closed Source = die Daten dürfte ich nicht hochladen) zu trainieren. Es wird ja nicht reichen eine Normen-PDF einzulesen. Trainieren erfolgt wahrscheinlich auch mit Beispielaufgaben - die richtige und falsche Ergebnisse enthalten um die KI eben zu "trainieren" - ich hab aber keine Ahnung wie das geht.

Ebenfalls darf ich die handschriftliche Arbeit eines Schülers nicht online verarbeiten lassen.

Bei passenden AI-Werkzeugen und nützlichen Prompts bin ich bei dir. Hast du Ressourcen wo du so etwas lernst?

Ok, das verstehe ich. Es gibt Open Source-AI-Modelle wie Llama (https://www.llama.com) oder Sentence Transformers/SBERT (https://www.sbert.net) für die Textanalyse und -verständnis. Diese lokalen Modelle müsstest Du nutzen.
Das sollte ich mir selbst mal genauer anschauen ...Ich finde die KI-Tools sehr nützlich und nutze diese täglich. Ich stelle ausführliche, pedantisch-präzise Fragen und Anweisungen und hake immer weiter nach. Learning-by-doing.
So müsste man eigentlich auch Menschen befragen, aber die wären vermutlich schnell genervt und man würde merken, dass es mit deren Intelligenz oft auch nicht weit her ist (nur ein Seitenhieb darauf, dass KI oft Unsinn unterstellt wird).

Tatsächlich tue ich das schon Ich wollte nur den Eingangspost nicht zu groß machen. Ich nutze auf meinem Mac LM Studio die Anbindung an huggingface ist super - und das Programm telefoniert nicht nach Hause. Mittlerweile habe sie auch einen "upload" button und ich kann Dateien den Modellen übergeben.

Problem: Learning bei doing - aber keine Ahnung was ich genau tue.

Wie behält die KI Informationen (nicht nur im Prompt)?
Was sind Tokens? Was bedeuten die Parameter die ich justieren kann?

Ich will halt etwas über diese neue Technologie lernen

Naja. Was heißt unterstellt. KI Tools wie ChatGPT produzieren schon sehr of Unsinn. Zumindest wenn es um reine Fragestellungen geht. Denn die Infos sind aus dem Internet. Und was im Internet steht ist ja die "Wahrheit"... Ne

Ist einfach mal die absolute Unwahrheit. Als alternative zur Websuche leider noch unbrauchbar.

Anders sieht es wiederum mit spezialisierten KIs aus. Ich lass mir bei der täglichen Arbeit gerne Code Snippets erstellen weil ich auch nicht immer alle Neuerungen jeder Sprache auf dem Schirm habe.

Genau das ist mein Punkt. Ich möchte gerne eine KI so trainieren, dass in dem Rahmen, die Ergenisse auch stimmen. Das sollte mit technischen Regelwerken doch unproblematisch sein.

Bsp.: In einem Dokument steht
"Der Abstand des Rauchmelder zur Wand beträgt 30cm"
die KI korrigiert: "Achtung: Der Abstand eines Rauchmelders nach DIN 0833-2 beträgt 1m von der nächstgelegen Gebäudewand. Der Abstand ist nicht Normkonform."

Bsp.: Fasse die Regeln für die Montage von Rauchmeldern zusammen.

Noch besser: Du siehst einen Grundrissplan eines Gebäudestockwerkes. Alle roten Symbole sind Rauchwarnmelder. Überprüfe ob die korrekten Abstände zur Wand eingehalten wurden.

Wäre google colab eine Lösung für dich?
Es kann durchaus sinnvoller und preiswerter zu sein auf eine Cloud Lösung zu setzen...

Okay ich hab's schnell mal gegoogelt und meine oberflächliche Schnellsuche ergabe: "Es wurde geschnitten um aus einer USK 16 eine USK 12 Version zu machen" - ich nehmen an (ohne näheres zu kennen) wegen der "Gewaltszenen"?

Für Suchen gibt es Suchmaschinen. Aber manchmal hilft ChatGPT bei der Suche, wenn ich einen Suchbegriff umschreiben muss, weil mir der Begriff nicht einfällt zum Beispiel.
Du hast Hugging Face oben schon erwähnt. Hugging Face ist eine Plattform, um vortrainierte Modelle zu finden. Das Training und Fine-Tuning erfolgt komplett auf deinem Rechner mit deinen Daten, die Du in ein Format gebracht hast, die das Modell versteht (Tokenisierung). Dann muss Du das Training einrichten mit Anzahl Durchläufen usw.
Aber hier sollte besser jemand übernehmen, der das mal gemacht hat ...