18.09
In Advisory ,Computer Science ,KI-Generierter Inhalt ,KI/AI | Tags:
Das hier ist ein vollständig KI generierter Artikel.
Du öffnest ChatGPT, Claude, Gemini oder einen anderen KI-Assistenten, tippst «Hallo» und bekommst Sekundenbruchteile später eine Antwort. Was nach einem simplen Austausch aussieht, ist in Wirklichkeit das Ergebnis eines komplexen Zusammenspiels aus Tokenisierung, Vektorrepräsentationen, Transformer-Architektur, Aufmerksamkeitsmechanismen und Wahrscheinlichkeitsberechnungen.

Von Text zu Zahlen: Tokenisierung
Computer arbeiten mit Zahlen, nicht mit Wörtern. Bevor ein Sprachmodell deine Eingabe verarbeiten kann, muss dein Text in eine numerische Form gebracht werden. Der erste Schritt ist die Tokenisierung: Der Satz «Hallo, wie geht es dir?» wird in kleinere Einheiten zerlegt, sogenannte Tokens. Ein Token kann ein ganzes Wort, ein Wortteil, ein Leerzeichen oder ein Satzzeichen sein.
Ein mögliches, vereinfachtes Token-Beispiel wäre:
- «Hallo» → Token
- «,» → Token
- « wie» → Token
- « geht» → Token
- « es» → Token
- « dir» → Token
- «?» → Token
Jedes dieser Tokens wird anschliessend in eine eindeutige Token-ID übersetzt, also eine ganze Zahl. Das Modell sieht deine Eingabe damit nicht mehr als Wörter, sondern als Sequenz von IDs.
Von Token-IDs zu Vektoren: Embeddings
Token-IDs allein sind für ein neuronales Netz nicht aussagekräftig genug. Deshalb werden sie in sogenannte Embeddings umgewandelt. Ein Embedding ist ein Vektor, also eine Liste von Zahlen, die bestimmte Eigenschaften des Tokens in einem hochdimensionalen Raum kodiert.
Statt «Hallo» arbeitet das Modell intern mit etwas, das man sich vereinfacht so vorstellen kann:
[0.21, -0.14, 0.87, 0.03, …]
In realen Modellen sind diese Vektoren sehr lang, oft mit hunderten oder tausenden Dimensionen. Wichtig ist: Der Weg lautet Text → Tokens → Vektoren. Diese Vektoren sind die eigentliche Eingabe für das neuronale Netz.
Der Transformer übernimmt
Herzstück moderner grosse Sprachmodelle (LLMs) ist die Transformer-Architektur, eingeführt 2017 im Paper «Attention Is All You Need». Im Gegensatz zu älteren Ansätzen mit rekurrenten oder konvolutionalen Netzen ist der Transformer stark auf Parallelisierung ausgelegt und kann lange Kontextfenster effizient verarbeiten.
Die eingebetteten Token-Vektoren werden durch mehrere Schichten des Transformers geschickt. Jede Schicht transformiert die Vektoren weiter und reichert sie mit Kontextinformationen an. Zentral dabei ist der Mechanismus der Selbstaufmerksamkeit (Self-Attention).
Selbstaufmerksamkeit: Kontext verstehen
Sprachverständnis erfordert, Beziehungen zwischen Wörtern im Kontext zu erkennen. Betrachte den Satz: «Das Tier überquerte die Strasse nicht, weil es zu müde war.» Für Menschen ist klar, dass sich «es» auf «das Tier» bezieht. Für ein Modell ist das eine nicht triviale Aufgabe.
Self-Attention ermöglicht es dem Modell, bei der Verarbeitung eines Tokens zu gewichten, welche anderen Tokens im Satz besonders relevant sind. Vereinfacht gesagt kann das Modell so lernen, dass «es» in diesem Beispiel stärker mit «Tier» als mit «Strasse» verknüpft ist.
Wichtig: Das Modell «versteht» den Satz nicht bewusst wie ein Mensch. Es führt numerische Operationen aus, die während des Trainings so angepasst wurden, dass nützliche Muster und Abhängigkeiten in Sprache erfasst werden.
Was macht Attention mathematisch?
Der Aufmerksamkeitsmechanismus arbeitet mit drei zentralen Grössen: Query (Q), Key (K) und Value (V). In stark vereinfachter Form lautet die Berechnung:
Attention(Q, K, V) = softmax(QKᵀ / √dₖ)V
Intuitiv kann man sich das so vorstellen:
- Query: «Wonach suche ich?»
- Key: «Welche Information trage ich?»
- Value: «Welche Information liefere ich, wenn ich relevant bin?»
Für jedes Token wird berechnet, wie stark es mit allen anderen Tokens interagieren soll. Das Ergebnis ist eine gewichtete Kombination der Value-Vektoren, die dem Modell eine kontextreiche Repräsentation jedes Tokens liefert.
Multi-Head-Attention: mehrere Blickwinkel gleichzeitig
Ein Transformer verwendet nicht nur eine, sondern viele Aufmerksamkeitsköpfe (Multi-Head-Attention). Jeder Kopf berechnet seine eigene Attention-Matrix. Man kann sich das so vorstellen, als würden mehrere «Spezialisten» gleichzeitig auf denselben Satz schauen – jeder mit einem anderen Fokus.
Ein Kopf könnte eher lokale Beziehungen betrachten, ein anderer längere Abhängigkeiten, ein weiterer grammatikalische Strukturen. Diese Rollen sind nicht vorgegeben, sondern entstehen während des Trainings. Durch die Kombination aller Köpfe kann das Modell komplexe Sprachmuster effizient erfassen.
Wie lernt das Modell all das? Vortraining
Bevor du jemals «Hallo» eintippst, wurde das Modell auf grossen Textmengen vortrainiert. Die Kernaufgabe ist dabei oft erstaunlich simpel: das nächste Token vorhersagen. Beispiel:
«Der Himmel ist ___»
Das Modell weist möglichen Fortsetzungen Wahrscheinlichkeiten zu, etwa:
- «blau» → 0.72
- «klar» → 0.12
- «dunkel» → 0.05
- «grün» → 0.01
Stimmt die Vorhersage nicht mit dem tatsächlichen nächsten Token im Trainingsdatensatz überein, werden die Modellparameter angepasst. Dieser Prozess wiederholt sich Milliardenfach. So entstehen interne Repräsentationen, die statistische Muster von Sprache kodieren – nicht als Nachschlagewerk fester Antworten, sondern verteilt in den Gewichten des Netzes.
Vom Sprachmodell zum Assistenten: Instruction Tuning
Ein reines Sprachmodell, das nur auf «nächstes Token» trainiert ist, verhält sich noch nicht wie ein hilfreicher Chatbot. Wenn du «Erkläre Photosynthese» eingibst, würde es eher einen Text fortsetzen, als dir gezielt zu antworten.
Damit ein Modell Anweisungen befolgt, wird es zusätzlich mit Beispielen trainiert, in denen Nutzeranfragen und passende Antworten vorkommen. Typische Trainingsbeispiele sehen etwa so aus:
User: Erkläre Photosynthese in einfachen Worten.
Assistant: Photosynthese ist der Prozess, bei dem …
Durch viele solcher Beispiele lernt das Modell, Anweisungen zu erkennen, im Dialogformat zu antworten und hilfreiche, strukturierte Ausgaben zu erzeugen. So wird aus einem allgemeinen Sprachmodell ein KI-Assistent.
Und jetzt tippst du «Hallo»
Wenn du «Hallo» eingibst, läuft im Hintergrund Folgendes ab:
- Dein Text wird tokenisiert und in Token-IDs übersetzt.
- Diese IDs werden in Embeddings umgewandelt.
- Die Embeddings durchlaufen mehrere Transformer-Schichten mit Multi-Head-Attention.
- Das Modell berechnet Wahrscheinlichkeiten für das nächste Token der Antwort.
- Token für Token wird eine Antwort generiert, etwa «Hallo! Wie kann ich dir heute helfen?».
Jedes ausgegebene Token hängt dabei von allen vorherigen Tokens im Kontext ab – sowohl von deiner Eingabe als auch von den bereits generierten Antworttokens. Der gesamte Prozess ist deterministisch in Bezug auf die Modellparameter, aber oft mit Zufallselementen (Sampling) kombiniert, damit Antworten nicht immer identisch ausfallen.
Fazit
Hinter einem scheinbar banalen «Hallo» steckt ein hochkomplexer technischer Prozess. Dein Text wird in Tokens zerlegt, in Vektoren eingebettet, durch eine vielschichtige Transformer-Architektur mit Self-Attention geschickt und schliesslich Token für Token als Antwort rekonstruiert. Das Modell arbeitet dabei nicht mit festen Antwortbausteinen, sondern mit Wahrscheinlichkeiten über Sprachmuster, die es im Vortraining und in der nachgelagerten Feinabstimmung gelernt hat. Was für dich wie ein kurzer Chat wirkt, ist in Wirklichkeit das Ergebnis von Milliarden Rechenoperationen in wenigen Millisekunden.
Quelle: https://hackernoon.com/what-happens-inside-an-llm-when-you-type-hello



Und...wetsch das Cookie ha öder nöd ?
And...do you want the cookie or not ?
Comments are closed.