Rotary Club Siegen-Schloß Rotaract Siegen
Service Above Self

Rotary Club Siegen-Schloß · Gastvortrag · 20. Oktober 2026 · Haus der Siegerländer Wirtschaft

Wie rechnet ein Sprachmodell?
Die Mathematik hinter ChatGPT

Von Backpropagation und Matrixmultiplikation bis zu den Durchbrüchen, die zu ChatGPT geführt haben.

Jan Spörer  ·  Rotaract Club Siegen · Universität St. Gallen (Finance/NLP)

KI wirkt sich an vielen Stellen aus

Zahlen zum KI-Boom
92%
des US-BIP-Wachstums im 1. Halbjahr 2025 gingen auf KI-Rechenzentren zurück. Ohne sie wuchs die US-Wirtschaft nur 0,1 %.
Quelle: J. Furman, Harvard
565 TWh
Jahres-Strombedarf der Rechenzentren weltweit 2026 (2025: 447) — mehr als Deutschlands gesamter Stromverbrauch (462 TWh).
Quelle: Gartner · Bundesnetzagentur
150 Mio.
weniger Smartphones 2026 vs. 2025 (−13,9 %) — KI-Speicher verdrängt Handy-Speicher.
Quelle: IDC
+275–300 %
erwarteter Anstieg der DRAM-Speicherpreise 2025–2027 — genau der Speicher, der den Smartphones fehlt. HBM für KI verbraucht ~3× Wafer-Fläche pro GB.
Quelle: TrendForce · enkiai.com · explainx.ai
88,4%
beste KI (Claude Opus 4.6) beim Verstehen von Geschäftsberichten — über dem menschlichen Experten (82,8 %).
Quelle: Spörer (2026)
≈5 Mio.
KI-GPUs von Nvidia pro Jahr (2025) — gegenüber 2,6 Mio. im Jahr 2022. Fast verdoppelt.
Quelle: Jon Peddie Research · JP Morgan
2–4×
höhere Trefferquote von FPV-Drohnen durch KI-Zielführung — bei nur ~10 % Mehrkosten. 2026 werden zehntausende KI-Zielkits ausgeliefert (u. a. 50.000 Auterion Skynode S).
Quelle: The Fourth Law · Auterion (2026)
Rotary Club Siegen-SchloßRotaract Siegen
2

Inhaltsübersicht

1
Backpropagation
Wie ein neuronales Netz überhaupt lernt: aus Fehlern die Gewichte anpassen.
2
Matrixmultiplikation
Die eine Rechenoperation dahinter. Live-Visualisierung: bbycroft.net/llm.
3
Ein einfaches Netz konkret durchrechnen
Schritt für Schritt mit echten Zahlen: von der Eingabe bis zur Ausgabe.
4
Durchbruch-Innovationen zu ChatGPT (November 2022)
Transformer-Architektur, Post-Training (RLHF) und Geld (Grafikkarten & Energie).
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
3

1Backpropagation: ein Trainingsschritt konkret

Beispiel: „Der Himmel ist ___“ — welches Token kommt als Nächstes? (Vokabular: 4 Tokens)
Der Trick: das Fehlersignal ist einfach Vorhersage − Wahrheit (p − y).
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
4

2Matrixmultiplikation: vom Netz zur Matrix

Die 9 Verbindungen zwischen Input und Hidden Layer sind genau die 9 Zahlen der Gewichtsmatrix W.
Jede Zeile von W = alle eingehenden Gewichte eines Neurons.
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
5

3Ein einfaches Netz konkret durchrechnen

  • Mini-Netz: 2 Eingaben, ein Hidden Layer mit 2 Neuronen, 1 Ausgabe.
  • Echte Zahlen einsetzen und Schritt für Schritt: multiplizieren, addieren, Aktivierung.
  • Am Ende steht eine einzige Zahl (z.B. eine Wahrscheinlichkeit).
  • ChatGPT rechnet genau so, nur milliardenfach größer.
x₁ 1,0 x₂ 0,5 h₁ 0,85 h₂ 0,5 y 0,68 Eingabe Hidden · ReLU Ausgabe · σ
Pfeile = Gewichte w · f = ReLU (negativ→0) · σ quetscht auf 0…1
h₁ = f(0,9·1,0 − 0,3·0,5 + 0,1)
   = f(0,85) = 0,85

h₂ = f(0,2·1,0 + 0,8·0,5 − 0,1)
   = f(0,5) = 0,5

y  = σ(1,0·0,85 − 0,6·0,5 + 0,2)
   = σ(0,75) = 0,68

→ ≈ 68% Wahrscheinlichkeit
Kleines Netz, echte Zahlen: aus x₁, x₂ wird über zwei Hidden-Neuronen eine Wahrscheinlichkeit. ChatGPT rechnet genauso, nur milliardenfach größer.
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
6

4Durchbruch-Innovationen zu ChatGPT (November 2022)

  • Transformer-Architektur (2017): die „Attention" lässt jedes Wort den ganzen Kontext gewichten. Ermöglicht lange Texte und paralleles, schnelles Training.
  • Post-Training / RLHF: Reinforcement Learning from Human Feedback macht aus einem reinen „Wort-Vorhersager" einen hilfreichen, höflichen Assistenten.
  • Geld & Rechenleistung: GPT-3, die Basis von ChatGPT, lief auf rund 10.000 GPUs (Azure-Supercomputer, NVIDIA V100); heutige Spitzenmodelle nutzen zehntausende. Enormer Energie- und Datenaufwand, Skalierung ist der eigentliche Hebel.
Der Punkt: Nicht eine einzige Idee, sondern das Zusammenspiel: Architektur × Training × schiere Rechenleistung.
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
7

Zum Selber-Entdecken

  • IDC Worldwide Quarterly Mobile Phone Tracker (23.06.2026): Prognose von −13,9% bei weltweiten Smartphone-Lieferungen 2026; Speicherknappheit als dominanter Treiber.
  • bbycroft.net/llm: mit Abstand die beste interaktive 3D-Visualisierung eines echten Modells (jeder Rechenschritt zum Anfassen).
  • ig.ft.com/generative-ai: Financial Times, sehr anschauliche journalistische Erklärung „wie generative KI funktioniert".
  • machinelearningmastery.com: „The Transformer Attention Mechanism", kompakter technischer Einstieg zum Nachlesen.
  • Sonstige spannende Konzepte: Model Context Protocol (MCP), Loop Engineering
Rotary Club Siegen-SchloßRotaract Siegen
Die Mathematik hinter ChatGPT · Rotary Club Siegen-Schloß · Jan Spörer
8
Rotary Club Siegen-Schloß Rotaract Siegen
Service Above Self

Fragen & Diskussion.

Ein Beitrag aus dem Rotaract Club Siegen.

Jan Spörer  ·  Präsident 2026/27 Rotaract Club Siegen  ·  jan.spoerer@whu.edu  ·  +49 171 5395666