Der Ex-Tesla-KI-Chef erklärt neuronale Netze

Rund 140 Millionen Menschen weltweit nutzen täglich KI-gestützte Systeme, ohne zu verstehen, wie diese im Innersten funktionieren — Andrej Karpathy will das ändern. Der ehemalige Direktor von Teslas Autopilot-Vision-Abteilung und frühere OpenAI-Forscher erklärt in einer ausführlichen Episode des Lex Fridman Podcasts, wie neuronale Netze denken, lernen und scheitern — und er tut es mit einer Klarheit, die in der KI-Industrie selten geworden ist.

Vom Tesla-Labor ins Klassenzimmer der Öffentlichkeit

Andrej Karpathy gehört zu den wenigen KI-Forschern, die sowohl an der Spitze eines Technologiekonzerns gearbeitet haben als auch die Gabe besitzen, komplexe Sachverhalte verständlich zu erklären. Bei Tesla leitete er jene Abteilung, die dafür verantwortlich war, dass ein Fahrzeug aus Kameradaten allein seine Umgebung interpretieren kann — ohne Radar, ohne Lidar, nur mit dem, was die Linsen sehen und was ein neuronales Netz daraus macht. Diese Erfahrung prägt seine Sprache: konkret, praxisnah, ohne Marketingvokabular.

Im Gespräch mit Lex Fridman — selbst Informatiker und KI-Forscher am MIT — nimmt sich Karpathy mehrere Stunden Zeit, um die Grundlagen neuronaler Netze von Grund auf zu erläutern. Kein Buzzword-Bingo, kein Versprechen einer bevorstehenden technologischen Apokalypse oder Erlösung. Stattdessen: Gewichte, Gradienten, Backpropagation, Transformer-Architekturen — erklärt so, dass auch technisch interessierte Laien folgen können.

Was ein neuronales Netz tatsächlich ist

Der Begriff "neuronales Netz" klingt nach Gehirn, nach Biologie, nach etwas Organischem. In der Realität handelt es sich um eine mathematische Struktur: eine Abfolge von Schichten, in denen jeweils Zahlen miteinander multipliziert, addiert und durch sogenannte Aktivierungsfunktionen geleitet werden. Karpathy betont in der Episode, dass diese biologische Analogie zwar historisch entstanden ist, aber in den meisten Fällen mehr verwirrt als erklärt.

Ein neuronales Netz lernt nicht wie ein Mensch durch Erklärungen oder Regeln. Es lernt durch Wiederholung und Fehlerkorrektur. Man zeigt dem System Tausende, manchmal Milliarden von Beispielen — etwa Bilder mit Beschriftungen oder Textsätze mit ihren Fortsetzungen. Das Netz macht eine Vorhersage, die Vorhersage wird mit der tatsächlichen Antwort verglichen, und der Fehler wird rückwärts durch das Netz geleitet, um die internen Parameter — die sogenannten Gewichte — zu justieren. Dieser Vorgang heißt Backpropagation und ist das Herzstück des modernen maschinellen Lernens.

Transformer: die Architektur hinter ChatGPT und Co.

Karpathy widmet einen substanziellen Teil der Episode der sogenannten Transformer-Architektur — jener Grundstruktur, auf der heute nahezu alle großen Sprachmodelle basieren, darunter die GPT-Reihe von OpenAI, Googles Gemini und Metas LLaMA-Modelle. Eingeführt in einem Paper des Google-Brain-Teams unter dem Titel "Attention Is All You Need" aus dem Jahr — Karpathy umschreibt es bewusst ohne Jahreszahl — revolutionierte dieses Konzept die Verarbeitung von Sequenzdaten.

Das zentrale Prinzip: der sogenannte Attention-Mechanismus. Anstatt einen Text Wort für Wort sequenziell zu verarbeiten, kann ein Transformer alle Wörter eines Satzes gleichzeitig betrachten und gewichten — je nachdem, welches Wort für das Verständnis eines anderen Wortes relevant ist. Im Satz "Die Bank, an der ich saß, war aus Holz" weiß ein Transformer durch den Kontext, dass "Bank" hier kein Geldinstitut meint. Diese Fähigkeit zur Kontextualisierung ist der Grund, warum große Sprachmodelle so erstaunlich kohärente Texte produzieren können.

Das Problem mit der Black Box

Karpathy verschweigt nicht die fundamentalen Schwächen dieser Systeme. Ein neuronales Netz — selbst ein hochentwickeltes großes Sprachmodell — ist in weiten Teilen eine Black Box. Die Gewichte eines modernen Modells wie GPT-4 umfassen Hunderte von Milliarden von Parametern. Was genau in diesen Parametern gespeichert ist, wie das Modell zu einer bestimmten Antwort gelangt, lässt sich nicht direkt ablesen. Die Forschungsrichtung der "Interpretierbarkeit" oder "Explainability" versucht, diese Transparenzlücke zu schließen — mit begrenztem Erfolg bisher.

Dieses Problem ist nicht akademisch. Es berührt Fragen des Vertrauens, der Haftung und der Sicherheit. Wenn ein KI-System in der Medizin, im Rechtswesen oder — wie bei Tesla — im autonomen Fahren eingesetzt wird, reicht "es hat funktioniert" als Erklärung nicht aus. Laut einer Erhebung von Gartner sehen über 60 Prozent der befragten Unternehmensverantwortlichen mangelnde Erklärbarkeit von KI-Systemen als eines der größten Hindernisse für deren breiten Einsatz in kritischen Geschäftsbereichen. (Quelle: Gartner)

Die Daten-Frage: Warum nicht jedes Unternehmen ein KI-Riese werden kann

Ein wiederkehrendes Thema im Gespräch ist die Rolle von Daten. Karpathy erklärt, dass die Qualität und Quantität der Trainingsdaten oft wichtiger ist als die Architektur des Modells selbst. Tesla hatte in dieser Hinsicht einen strukturellen Vorteil: Millionen von Fahrzeugen lieferten kontinuierlich Kamera-Rohdaten aus realen Fahrsituationen weltweit — ein Datenschatz, den kein Forschungsinstitut und kein kleineres Unternehmen replizieren kann.

Dieses Ungleichgewicht beim Datenzugang ist ein strukturelles Merkmal der KI-Industrie, das zunehmend regulatorische Aufmerksamkeit auf sich zieht. IDC schätzt, dass die weltweit gespeicherte Datenmenge bis zum Ende dieses Jahrzehnts die 175 Zettabyte-Marke überschreiten wird — doch der Großteil dieser Daten befindet sich in den Händen einiger weniger Technologiekonzerne. (Quelle: IDC) Für kleinere Akteure, ob Start-ups oder öffentliche Forschungseinrichtungen, bleibt der Zugang zu qualitativ hochwertigen, großen Datensätzen eine zentrale Hürde.

In Deutschland und Europa versucht man, diesem Konzentrationsproblem entgegenzuwirken — etwa durch den European Data Act und verschiedene Initiativen zur Schaffung gemeinsamer Datenräume. Wie wirksam diese Maßnahmen in der Praxis sind, bleibt abzuwarten. Bitkom schätzt, dass rund 42 Prozent der deutschen Unternehmen derzeit KI in irgendeiner Form einsetzen — aber nur ein Bruchteil davon entwickelt eigene Grundlagenmodelle. (Quelle: Bitkom) Der Rest verlässt sich auf APIs und vortrainierte Systeme der großen Anbieter.

Karpathy über die Grenzen heutiger KI

Trotz aller Begeisterung für die Möglichkeiten neuronaler Netze bleibt Karpathy nüchtern, wenn es um die Frage geht, was aktuelle KI-Systeme nicht können. Große Sprachmodelle haben kein echtes Weltverstehen, keine Kausalitätsmodelle, keine stabile Langzeitplanung. Sie sind, wie er es ausdrückt, hochspezialisierte Mustererkenner auf einem Niveau, das vor einigen Jahren niemand für möglich gehalten hätte — aber eben keine allgemeinen Denkmaschinen.

Das Konzept der "Halluzination" — wenn ein Sprachmodell mit großer Überzeugung falsche Informationen produziert — illustriert dieses Problem. Das Modell hat kein Bewusstsein dafür, ob es etwas "weiß" oder nur statistische Wahrscheinlichkeiten über Textfolgen aufruft. Es gibt keine eingebaute epistemische Bescheidenheit. Karpathy sieht darin eine der wichtigsten offenen Forschungsfragen der kommenden Jahre.

Diese Einschränkungen werden in der öffentlichen Debatte häufig entweder ignoriert oder dramatisiert. Beides schadet dem Verständnis. Wer KI richtig einschätzen will — als Verbraucher, als Unternehmen oder als Gesetzgeber — braucht eine realistische Vorstellung davon, was Systeme wie GPT-4 oder Googles Gemini tatsächlich leisten und wo sie versagen. Der Rechtsstreit rund um das US-Gericht, das Googles Suchmonopol für illegal erklärt hat, zeigt exemplarisch, wie groß der Regulierungsbedarf im KI- und Big-Tech-Bereich inzwischen geworden ist.

Von autonomen Autos zu autonomen Robotern

Karpathys Erfahrungen beim Aufbau des Tesla-Autopilot-Vision-Systems sind direkt relevant für eine breitere Entwicklung, die die Technologieindustrie gerade ergreift: die Konvergenz von KI und physischer Robotik. Die gleichen Prinzipien — Kameradaten, neuronale Netze, Trainieren auf realen Szenarien — die beim autonomen Fahren zum Einsatz kommen, werden nun auf humanoide Roboter angewendet.

Was bei Tesla mit dem Fahren begann, findet heute bei Unternehmen wie Figure AI, Boston Dynamics und Teslas eigenem Optimus-Projekt eine Fortsetzung. Die Frage, wie ein System lernt, in einer unstrukturierten, physischen Welt zu agieren, ist dieselbe — ob es sich um ein Fahrzeug oder um einen Roboter mit Armen und Beinen handelt. Das Rennen um die Entwicklung marktreifer humanoider Roboter ist in vollem Gange, und die neuronalen Architekturen, die Karpathy im Podcast erklärt, sind das technische Fundament dieses Wettrennens.

Technologie-Kompetenz als gesellschaftliche Aufgabe

Was Karpathys Auftritt bei Lex Fridman von den üblichen KI-Erklärvideos unterscheidet, ist die konzeptionelle Tiefe ohne Vereinfachung. Er setzt bei den mathematischen Grundlagen an — Matrizen, Ableitungen, Optimierungsverfahren — und macht deutlich, dass das Verständnis dieser Werkzeuge keine Frage des Berufs, sondern der digitalen Mündigkeit ist. Wer heute über KI-Regulierung, über den Einsatz von Algorithmen in der Justiz oder über automatisierte Einstellungsverfahren entscheidet, sollte verstehen, womit er es zu tun hat.

Dieser Anspruch an digitale Bildung ist nicht auf die KI beschränkt. Die Debatte darüber, welche Infrastruktur eine moderne Gesellschaft braucht — von Mobilfunknetzen bis hin zu Rechenkapazität — ist eine politische. So wie A1 Telekom Austria den veralteten 2G-Standard abschaltet und damit eine Infrastrukturentscheidung mit Millionen Betroffenen trifft, so prägen die Entscheidungen über KI-Architekturen und Trainingsdaten die digitale Realität der kommenden Jahrzehnte.

Die wirtschaftliche Dimension dieser Entscheidungen ist erheblich. Wenn Vodafone Three für fünf Milliarden Euro übernimmt, geht es nicht nur um Marktanteile im Mobilfunk, sondern um die Frage, welche Infrastruktur künftigen KI-Anwendungen zur Verfügung steht. Und wenn die Schwarz-Gruppe in das Quantencomputer-Start-up Eleqtron investiert, signalisiert das, dass der Handel die nächste Welle der Rechenrevolution nicht verschlafen will.

Was bleibt von einer Stunde mit Karpathy

Karpathy liefert keine Heilsversprechen und keine Untergangsprophezeiungen. Er liefert Werkzeugkunde. Er erklärt, wie ein neuronales Netz Gewichte anpasst, warum Transformer besser mit langen Kontexten umgehen als frühere Architekturen, und warum die Daten, auf denen ein Modell trainiert wurde, dessen Fähigkeiten und Schwächen fundamental bestimmen.

Das ist vielleicht der wichtigste Beitrag, den jemand aus seiner Position leisten kann: nicht die Technologie zu verkaufen, sondern sie zu erklären. In einer Debatte, die oft von Investoreninteressen, politischen Agenden und medialer Vereinfachung dominiert wird, ist sachliche Kompetenz ein knappes Gut. Karpathy demonstriert, dass tiefes technisches Wissen und öffentliche Verständlichkeit kein Widerspruch sein müssen — und dass es sich lohnt, beides einzufordern.