Rotary Club Siegen-Schloß Rotaract Siegen
Service Above Self

Rotary Club Siegen-Schloß · Gastvortrag · 20. Oktober 2026 · Haus der Siegerländer Wirtschaft

Wie rechnet ein Sprachmodell?
Die Mathematik hinter ChatGPT

Von Backpropagation und Matrixmultiplikation bis zu den Durchbrüchen, die zu ChatGPT geführt haben.

Jan Spörer  ·  Rotaract Club Siegen · Universität St. Gallen (Finance/NLP)

Inhaltsübersicht

1
Backpropagation
Wie ein neuronales Netz überhaupt lernt: aus Fehlern die Gewichte anpassen.
2
Matrixmultiplikation
Die eine Rechenoperation dahinter. Live-Visualisierung: bbycroft.net/llm.
3
Ein einfaches Netz konkret durchrechnen
Schritt für Schritt mit echten Zahlen: von der Eingabe bis zur Ausgabe.
4
Durchbruch-Innovationen zu ChatGPT (November 2022)
Transformer-Architektur, Post-Training (RLHF) und Geld (Grafikkarten & Energie).
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
2

1Backpropagation: ein Trainingsschritt konkret

Beispiel: „Der Himmel ist ___“ — welches Token kommt als Nächstes? (Vokabular: 4 Tokens)
Der Trick: das Fehlersignal ist einfach Vorhersage − Wahrheit (p − y).
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
3

2Matrixmultiplikation: vom Netz zur Matrix

Die 9 Verbindungen zwischen Input und Hidden Layer sind genau die 9 Zahlen der Gewichtsmatrix W.
Jede Zeile von W = alle eingehenden Gewichte eines Neurons.
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
4

3Ein einfaches Netz konkret durchrechnen

  • Mini-Netz: 2 Eingaben, ein Hidden Layer mit 2 Neuronen, 1 Ausgabe.
  • Echte Zahlen einsetzen und Schritt für Schritt: multiplizieren, addieren, Aktivierung.
  • Am Ende steht eine einzige Zahl (z.B. eine Wahrscheinlichkeit).
  • ChatGPT rechnet genau so, nur milliardenfach größer.
x₁ 1,0 x₂ 0,5 h₁ 0,85 h₂ 0,5 y 0,68 Eingabe Hidden · ReLU Ausgabe · σ
Pfeile = Gewichte w · f = ReLU (negativ→0) · σ quetscht auf 0…1
h₁ = f(0,9·1,0 − 0,3·0,5 + 0,1)
   = f(0,85) = 0,85

h₂ = f(0,2·1,0 + 0,8·0,5 − 0,1)
   = f(0,5) = 0,5

y  = σ(1,0·0,85 − 0,6·0,5 + 0,2)
   = σ(0,75) = 0,68

→ ≈ 68% Wahrscheinlichkeit
Kleines Netz, echte Zahlen: aus x₁, x₂ wird über zwei Hidden-Neuronen eine Wahrscheinlichkeit. ChatGPT rechnet genauso, nur milliardenfach größer.
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
5

4Durchbruch-Innovationen zu ChatGPT (November 2022)

  • Transformer-Architektur (2017): die „Attention" lässt jedes Wort den ganzen Kontext gewichten. Ermöglicht lange Texte und paralleles, schnelles Training.
  • Post-Training / RLHF: Reinforcement Learning from Human Feedback macht aus einem reinen „Wort-Vorhersager" einen hilfreichen, höflichen Assistenten.
  • Geld & Rechenleistung: GPT-3, die Basis von ChatGPT, lief auf rund 10.000 GPUs (Azure-Supercomputer, NVIDIA V100); heutige Spitzenmodelle nutzen zehntausende. Enormer Energie- und Datenaufwand, Skalierung ist der eigentliche Hebel.
Der Punkt: Nicht eine einzige Idee, sondern das Zusammenspiel: Architektur × Training × schiere Rechenleistung.
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
6

Zum Selber-Entdecken

  • bbycroft.net/llm: mit Abstand die beste interaktive 3D-Visualisierung eines echten Modells (jeder Rechenschritt zum Anfassen).
  • ig.ft.com/generative-ai: Financial Times, sehr anschauliche journalistische Erklärung „wie generative KI funktioniert".
  • machinelearningmastery.com: „The Transformer Attention Mechanism", kompakter technischer Einstieg zum Nachlesen.
  • Sonstige spannende Konzepte: Model Context Protocol (MCP), Loop Engineering
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
7
Rotary Club Siegen-Schloß Rotaract Siegen
Service Above Self

Fragen & Diskussion.

Ein Beitrag aus dem Rotaract Club Siegen.

Jan Spörer  ·  Präsident 2026/27 Rotaract Club Siegen  ·  jan.spoerer@whu.edu  ·  +49 171 5395666