Mustafa Suleyman: Die nächste Welle der KI wird uns überfordern

Rund 700 Millionen Menschen weltweit nutzen täglich KI-gestützte Systeme – und Mustafa Suleyman, einer der einflussreichsten KI-Forscher der Welt, sagt: Das ist erst der Anfang eines Wandels, den wir noch nicht annähernd begreifen. Als Mitgründer von DeepMind und nun als Leiter von Microsoft AI sitzt er an einem der wichtigsten Schalthebel der globalen Technologieentwicklung – und er klingt nicht wie ein Verkäufer.

Ein Warner mit Systemzugang

Mustafa Suleyman ist kein Pessimist. Aber er ist auch kein naiver Optimist. Der britisch-ägyptische Informatiker hat an Googles KI-Infrastruktur mitgebaut, als kaum jemand außerhalb der Akademia wusste, was ein neuronales Netz ist. Er hat DeepMind von einem kleinen Londoner Startup zu einem der weltweit renommiertesten KI-Forschungslabore aufgebaut, bevor Google das Unternehmen übernahm. Heute führt er bei Microsoft die KI-Strategie – und warnt öffentlich vor den Systemen, die er selbst mitentwickelt hat.

In Interviews und in seinem vielbeachteten Buch „The Coming Wave" zeichnet Suleyman ein Bild der nächsten KI-Generation, das weit über Chatbots und Textgeneratoren hinausgeht. Er spricht von autonomen KI-Agenten – Systemen, die nicht mehr nur auf Fragen antworten, sondern eigenständig Aufgaben planen, ausführen und dabei auf externe Ressourcen zugreifen. Diese Agenten sollen E-Mails verschicken, Code schreiben, Einkäufe tätigen, Meetings buchen – ohne dass ein Mensch jeden Schritt bestätigt. Die Frage, die Suleyman stellt, lautet nicht „Können wir das bauen?", sondern: „Sollten wir es so schnell tun?"

Was Suleyman wirklich meint, wenn er „Überfordern" sagt

Das Wort „überfordern" klingt wie eine Übertreibung. Suleyman meint es technisch. Er beschreibt ein Szenario, in dem KI-Systeme so schnell neue Fähigkeiten entwickeln und so tief in kritische Infrastrukturen eingebettet werden, dass menschliche Regulierungs- und Kontrollmechanismen schlicht nicht mehr mithalten können – nicht weil Menschen dumm sind, sondern weil institutionelle Prozesse langsam sind. Gesetze brauchen Jahre. Modelle brauchen Monate.

Konkret nennt Suleyman drei Bereiche, die ihm Sorge bereiten: erstens die Proliferation von KI-Werkzeugen für die Synthese gefährlicher Substanzen (er spricht offen über Biologie), zweitens die Konzentration von KI-Macht in wenigen privaten Unternehmen ohne demokratische Kontrolle, und drittens – am subtilsten – die schleichende Abhängigkeit der Gesellschaft von Systemen, deren Entscheidungslogik niemand vollständig versteht. Das letzte Problem ist kein Science-Fiction. Es ist Gegenwart.

Laut einer Untersuchung des Marktforschungsunternehmens Gartner nutzen derzeit mehr als 55 Prozent der befragten Großunternehmen KI in mindestens einem Kerngeschäftsbereich – Tendenz stark steigend. Gleichzeitig gaben in derselben Erhebung weniger als 20 Prozent dieser Unternehmen an, ein strukturiertes KI-Risikomanagement implementiert zu haben. Die Lücke zwischen Adoption und Governance ist real und messbar.

Das Agenten-Problem: Wenn KI selbst handelt

Der Begriff, der in Suleymans Argumentation immer wieder auftaucht, ist „agentic AI" – auf Deutsch: agentische KI oder KI-Agenten. Was steckt technisch dahinter? Ein klassisches KI-Sprachmodell wie das, das Microsofts Copilot oder OpenAIs ChatGPT antreibt, funktioniert wie ein sehr kluge Gesprächspartnerin: Es liest, es schreibt, es antwortet. Aber es handelt nicht in der Welt. Ein KI-Agent tut genau das. Er bekommt ein Ziel – „Plane mir eine Reise nach Wien und buche alles" – und führt dann autonom eine Kette von Aktionen aus: Flüge suchen, Preise vergleichen, Buchung tätigen, Kalender aktualisieren, Bestätigungs-E-Mail lesen.

Das klingt praktisch. Und das ist es auch. Aber es bedeutet, dass ein KI-System nun Zugriff auf echte Systeme hat, echte Transaktionen auslöst und echte Konsequenzen erzeugt – ohne dass ein Mensch jeden Schritt überprüft. Was passiert, wenn ein solcher Agent manipuliert wird? Was passiert, wenn das Ziel falsch formuliert ist? Was passiert, wenn der Agent in einer Feedbackschleife steckt und immer wieder dieselbe falsche Aktion wiederholt? Diese Fragen sind keine Gedankenexperimente. Sie passieren bereits in Testsystemen, und Suleyman weiß das.

Die Frage der KI-Chips, die solche Agenten überhaupt erst ermöglichen, ist dabei nicht zu unterschätzen. Die Rechenleistung, die agentische Systeme erfordern, ist um ein Vielfaches höher als die klassischer Sprachmodelle. Wer die Chips kontrolliert, kontrolliert die KI. Ein Blick auf die aktuelle Entwicklung bei AMD, Intel und der nächsten KI-Chip-Generation zeigt, wie intensiv der Wettbewerb um diese Grundlage der KI-Infrastruktur geworden ist.

Microsoft zwischen Warnung und Wachstum

Hier liegt die eigentümliche Spannung in Suleymans Position. Er ist nicht unabhängiger Beobachter, sondern leitender Angestellter eines Konzerns, der Milliarden in genau die Technologien investiert, vor denen er warnt. Microsoft baut KI-Agenten in sein gesamtes Produktportfolio ein – von Office bis Windows. Der Konzern hält eine der bedeutendsten Beteiligungen an OpenAI und treibt die Commercialisierung von GPT-Modellen weltweit voran.

Suleyman selbst sagt, das sei kein Widerspruch. Er argumentiert, dass ein verantwortungsvoller Akteur innerhalb des Systems mehr bewegen kann als einer außerhalb. Das ist eine nachvollziehbare Position – und eine, die sich nicht endgültig widerlegen lässt. Kritiker hingegen fragen, ob ein Konzern, der quartalsweise Wachstum berichten muss, wirklich in der Lage ist, die Bremse zu ziehen, wenn es darauf ankommt.

Das Marktforschungsunternehmen IDC prognostiziert, dass die globalen Ausgaben für KI-Systeme und -Infrastruktur bis Mitte des Jahrzehnts die Marke von einer Billion US-Dollar überschreiten werden. Bei solchen Summen im Spiel sind Warnungen – auch ehrliche – strukturell unter Druck.

Das Containment-Problem: Kann KI eingehegt werden?

Ein zentrales Konzept in Suleymans Denken ist das der „Containment" – also der Eingrenzung oder Einhegung von KI-Systemen und ihren Fähigkeiten. Er ist skeptisch, dass technische Lösungen allein ausreichen. Kein Filter, kein Alignment-Verfahren und keine Safety-Schicht macht ein System absolut sicher, wenn das Modell selbst mächtig genug ist. Die Geschichte der Internetsicherheit zeigt: Angreifer passen sich an. KI-Systeme, die für legitime Zwecke ausgebildet wurden, können für illegitime umfunktioniert werden – oder durch sogenanntes „Prompt Injection" manipuliert werden, also durch gezielt eingeschleuste Anweisungen.

Suleyman plädiert daher für strukturelle Maßnahmen: internationale Abkommen zur KI-Regulierung, verpflichtende Transparenz über Trainingsdaten und Modelleigenschaften, unabhängige Prüfinstanzen – ähnlich wie Banken von Finanzaufsehern geprüft werden. Das klingt vernünftig. Es ist auch außerordentlich schwer umzusetzen in einem globalen Wettbewerb, in dem Staaten und Konzerne gegeneinander konkurrieren.

In Deutschland etwa bewegt sich die Diskussion langsam voran. Der Einstieg der Schwarz-Gruppe in das Quantencomputer-Startup Eleqtron zeigt, dass europäische Akteure zunehmend in Zukunftstechnologien investieren – doch ob das mit ausreichender Regulierungstiefe flankiert wird, bleibt offen.

Laut Bitkom, dem deutschen Digitalverband, planen derzeit mehr als 60 Prozent der deutschen Industrieunternehmen, KI in ihre Produktionsprozesse zu integrieren. Gleichzeitig fordert Bitkom seit geraumer Zeit klarere gesetzliche Leitplanken – der EU AI Act ist ein erster Schritt, aber in seiner Umsetzungsgeschwindigkeit nicht auf Augenhöhe mit dem Innovationstempo der Branche.

Vergleich: Wer sagt was zur KI-Sicherheit?

Was Investoren sehen – und was sie übersehen

Die Risikokapital-Community hat eine klare Meinung: KI ist die größte Investitionsmöglichkeit seit dem Internet, möglicherweise seit der Industrialisierung. Milliarden fließen in Infrastruktur, Anwendungen und Forschung. Doch auch hier wird Suleymans Warnung selten mitgehört. Was KI-Investoren über den nächsten Durchbruch denken, zeigt ein Bild von Optimismus, das strukturell selten Platz für Containment-Fragen lässt – weil Risikokapital auf Wachstum ausgerichtet ist, nicht auf Sicherheit.

Laut Statista flossen allein im vergangenen Kalenderquartal global mehr als 25 Milliarden US-Dollar in KI-Startups. Ein Bruchteil dieser Summe erreicht Forschung zu KI-Sicherheit und Alignment – also die Wissenschaft, KI-Systeme tatsächlich menschlichen Werten und Zielen anzupassen. Suleyman nennt dieses Missverhältnis explizit als eines der drängendsten strukturellen Probleme der Branche.

Infrastruktur als unterschätzte Variable

Suleymans Warnung betrifft nicht nur Software. KI ist fundamentally abhängig von physischer Infrastruktur: Rechenzentren, Glasfasernetzwerke, stabile Stromversorgung und Mobilfunkstandards, die Daten schnell und zuverlässig übertragen. Wer die digitale Infrastruktur kontrolliert oder verändert, beeinflusst, wie KI sich in der Fläche entfalten kann.

Dass A1 Telekom Austria den 2G-Mobilfunkstandard beendet, ist ein kleines, aber symptomatisches Zeichen für den Infrastrukturwandel, der KI-Anwendungen erst möglich macht. Gleichzeitig verändert die Übernahme von Three durch Vodafone für fünf Milliarden Euro die europäische Mobilfunklandschaft auf eine Weise, die unmittelbare Auswirkungen auf Netzkapazität und damit auf KI-Anwendungen im mobilen Bereich haben wird.

KI-Agenten, die autonom agieren, brauchen Konnektivität. Ohne Netz kein Agent. Ohne stabile, breite Infrastruktur bleibt die nächste KI-Welle ein Großstadtphänomen. Das ist eine soziale Dimension des Problems, die Suleyman in seinen öffentlichen Auftritten ebenfalls anspricht, aber seltener Schlagzeilen macht als die Frage nach existenziellen Risiken.

Die eigentliche Frage: Wer entscheidet?

Suleymans stärkste These ist keine technische. Sie ist politisch. Er fragt, wer die Entscheidungen über die Entwicklung und den Einsatz von KI trifft – und stellt fest, dass die Antwort derzeit lautet: einige wenige Privatunternehmen in einigen wenigen Ländern, kaum demokratisch legitimiert, kaum öffentlich kontrolliert. Das ist keine neutrale Beobachtung. Es ist eine Kritik an einem System, zu dem er selbst gehört.

Ob diese Kritik folgenreich ist oder im nächsten Produktlaunch-Rauschen untergeht, hängt nicht von Suleyman allein ab. Es hängt davon ab, ob Gesellschaften – Nutzerinnen und Nutzer, Gesetzgeber, Journalisten, Zivilgesellschaft – in der Lage sind, die Fragen zu stellen, die er stellt, bevor die Systeme so weit verbreitet sind, dass Rückbau unmöglich erscheint. Die nächste Welle kommt. Die Frage ist, ob wir wenigstens wissen, woher sie kommt.