Was wir gehört haben: Karpathy erklärt KI ohne Marketing-Blabla

Andrej Karpathy ist nicht der Typ für Marketing-Sprech. Der ehemalige Direktor von Teslas Autopilot-Vision-Abteilung setzt sich in dieser Episode des Lex Fridman Podcast hin und erklärt — minutenlang — wie neuronale Netze wirklich funktionieren. Nicht bildlich, nicht metaphorisch. Konkret.

Was sofort auffällt: Karpathy spricht über KI mit der Genauigkeit eines Handwerkers, der sein Werkzeug kennt. Wenn er von Transformern spricht, erklärt er nicht nur das „Warum", sondern auch das „Wie" — und vor allem das „Warum es gerade so und nicht anders funktioniert". Für technikaffine Leser im deutschsprachigen Raum ist das erfrischend: Hier wird nicht mit vagen Versprechen um sich geworfen, sondern mit Komplexität gearbeitet.

Der Podcast dauert etwa dreieinhalb Stunden. Fridman hat die richtige Nase dafür, Karpathy nicht zu unterbrechen, wenn dieser gerade dabei ist, tiefer in ein technisches Problem einzusteigen. Das Ergebnis ist eine der präzisesten Erklärungen, wie moderne große Sprachmodelle (Large Language Models, LLMs) aufgebaut sind, die derzeit öffentlich verfügbar ist.

Die zentralen Einsichten: Neuronale Netze erklärt für Techies

LLMs sind am Ende auch nur Statistik-Maschinen

Karpathy kommt immer wieder auf denselben Punkt zurück, der für viele Leser überraschend sein dürfte: Große Sprachmodelle sind letztlich Vorhersage-Maschinen, die gelernt haben, basierend auf statistischen Mustern das nächste Token — also das nächste Wort oder einen Wortteil — zu berechnen. ChatGPT ist nicht „intelligent" in dem Sinne, dass es denkt — es ist extrem gut darin, Muster zu erkennen und Wahrscheinlichkeiten zu berechnen.

Das klingt einfach. Die Konsequenzen sind aber tiefgreifend: Wenn ein LLM auf einem Satz wie „Die Hauptstadt von Frankreich ist…" trainiert wurde, ist die Wahrscheinlichkeit, dass danach „Paris" folgt, sehr hoch. Aber das System versteht nicht wirklich, was eine Hauptstadt ist. Es hat nur gelernt, dass nach diesem Satzanfang statistisch gesehen fast immer „Paris" steht.

Ähnlich nüchtern analysiert Wir haben zugehört: Hard Fork NYT — ChatGPT ein Jahr danach, Kevin Roose zieht Bilanz, was ein Jahr nach dem ChatGPT-Launch wirklich geblieben ist — und was sich als Hype erwiesen hat.

Die unbequeme Wahrheit über Halluzinationen

Was uns überraschte: Karpathy spricht offen über die Grenzen von LLMs, ohne dabei defensiv zu werden. Er erklärt, warum diese Systeme „halluzinieren" — also selbstbewusst völlig falsche Antworten geben. Nicht weil sie kaputt sind, sondern weil ihr Design genau das ermöglicht. Ein LLM, das trainiert wurde, flüssig Text zu produzieren, wird unter Umständen auch flüssig Unsinn produzieren, wenn es sich nicht sicher ist.

Das ist kein Bug, es ist ein Feature des Ansatzes. Und solange wir LLMs auf diese Weise bauen, werden sie dieses Problem haben. Karpathy deutet an, dass das nur durch völlig neue Architekturen gelöst werden könnte — und das ist derzeit Forschungsgebiet, nicht Produktrealität.

Tesla und die Self-Driving-Realität

Ein großer Teil des Gesprächs dreht sich um autonomes Fahren, Teslas Autopilot und neuere kamerabasierte Self-Driving-Systeme. Hier wird Karpathy wieder sehr konkret: Das Problem bei selbstfahrenden Autos ist nicht die KI, sondern die Datenerfassung und die Qualität der Trainings-Labels. Wenn du dem System nicht exakt beibringst, was richtig ist, kann es noch so leistungsfähig sein — es wird vor einer Ampel halten, weil es diese spezifische Situation im Trainingsset schlicht nicht gesehen hat.

Das ist eine wichtige Lektion für alle, die glauben, dass mehr Rechenpower und größere Modelle alle Probleme lösen. Karpathy zeigt, dass die echte Arbeit im Engineering steckt — im Sammeln von Daten, im Labeln, im präzisen Verstehen des Problems.

Was uns überraschte: Die nüchterne Realität hinter der KI-Euphorie

Karpathy ist kein Utopist. Er redet nicht von AGI in fünf Jahren oder von KI-Systemen, die alles lösen werden. Stattdessen beschreibt er sehr konkret, was heutige Systeme können und — vor allem — was nicht. Das ist im deutschen Tech-Diskurs selten zu hören, der oft zwischen „KI wird alles retten" und „KI ist reiner Hype" pendelt.

Besonders interessant: Seine Aussagen zum Thema Alignment und Sicherheit von KI-Systemen. Er argumentiert nicht ideologisch, sondern praktisch: Wenn dein System nicht berechenbar ist, lässt es sich nicht kontrollieren — und wenn es nicht kontrollierbar ist, wird es kein Unternehmen in kritischen Anwendungen einsetzen wollen.

Einen anderen Blickwinkel auf dieselbe Frage liefert Wir haben zugehört: Sam Altman bei Lex Fridman — Was der OpenAI-Chef über AGI verrät: Altman gibt sich deutlich optimistischer — und genau dieser Kontrast zu Karpathy ist aufschlussreich.

Was das für Deutschland bedeutet

Weniger Hype, mehr Engineering-Fokus nötig

Die deutsche Tech- und Start-up-Szene könnte von Karpathys Haltung lernen. Während in Amerika gerade jedes generative KI-Startup wie Champagner gehandelt wird, zeigt dieser Podcast, dass die harte, unglamouröse Arbeit im Data Engineering und in der Systemzuverlässigkeit liegt. Das ist genau der Bereich, in dem deutsche Ingenieure historisch stark sind.

Wie groß der Kontrast zur Investorenperspektive aus dem Silicon Valley ist, zeigt Wir haben zugehört: All-In Podcast — Was die reichsten Tech-Investoren über KI denken: Dort dominiert eine Risikobereitschaft, die mit Karpathys Präzisionsdenken kaum vereinbar ist.

Der fehlende Diskurs über LLM-Grenzen

In Deutschland werden LLMs oft entweder totgeredet oder maßlos übertrieben. Karpathy demonstriert einen dritten Weg: nüchtern, faktenbasiert, ohne dabei pessimistisch zu sein. Diese Art des Gesprächs wäre im deutschen Tech-Journalismus und in deutschen Tech-Unternehmen wertvoll.

Autopilot und die europäische Regulierung

Aufschlussreich auch seine Perspektive auf Regulierung: Karpathy macht deutlich, dass selbstfahrende Autos nicht durch besseres Marketing verkauft werden, sondern durch bessere, messbare Sicherheit. Das hat direkte Implikationen für die europäische Regulierung autonomer Fahrzeuge — ein Bereich, in dem deutsche Hersteller noch immer dominieren.

Ebenfalls lesenswert in diesem Kontext: Wir haben geschaut: Jensen Huang bei Lex Fridman — Der Nvidia-CEO über den KI-Goldrausch. Huang erklärt die Hardware-Seite des KI-Booms — und macht deutlich, warum ohne leistungsfähige Chips weder autonomes Fahren noch LLMs möglich wären.

Unser Fazit: Eine Meisterklasse in Technical Honesty

Dieser Podcast ist nicht einfach zu hören. Er setzt technisches Grundverständnis voraus, um die ganze Zeit mitgehen zu können. Aber genau das macht ihn wertvoll. Wer verstehen will, wie moderne KI-Systeme wirklich funktionieren — nicht theoretisch, sondern praktisch — findet hier eine der besten verfügbaren Ressourcen im englischsprachigen Raum.

Karpathys Kernbotschaft ist klar: KI ist mächtig und nützlich, aber nicht magisch. Sie ist Engineering, nicht Zauberei. Und Engineering ist etwas, das man verstehen und verbessern kann — wenn man bereit ist, sich die Zeit für Komplexität zu nehmen.

Wer sich fragt, wie andere Formate mit ähnlichen Themen umgehen, findet in