1. Herr Tresp, die Entwicklungen im Bereich generative KI und maschinelles Lernen waren in den vergangenen Jahren rasant. Was hat Sie am meisten überrascht?

Volker Tresp: Es gab in den letzten Jahren zwei wesentliche Durchbrüche. In 2012 wurde gezeigt, dass mehrschichtig tiefe neuronale Netze deutlich leistungsfähiger sind als Architekturen mit nur einer versteckten Schicht. Tiefe neuronale Netze konnten auf Anhieb schwierige Benchmarks in der Analyse von Bildern und Texten zum Teil um eine Größenordnung verbessern.

Der zweite Durchbruch betrifft die Erfolge der generativen KI, insbesondere der großen Sprachmodelle (Large Language Models, LLMs). LLMs erfüllen nicht nur die Erwartungen der breiten Öffentlichkeit an eine „intelligente“ KI, sondern überraschen auch Fachleute mit ihrer Leistungsfähigkeit. In Bezug auf Robustheit und Skalierbarkeit sind nur Suchmaschinen vergleichbar, die aber nur relevante Webseiten finden und kein wirkliches Dialogsystem darstellen.

LLMs beantworten komplexe Fragen, erstellen Texte hoher Qualität und zeigen unerwartete Fähigkeiten unter anderem im approximativen Schließen (Antworten werden basierend auf Wahrscheinlichkeiten und gelernten Mustern abgeleitet) und in der automatischen Erstellung von Codes. Diese letzteren Fähigkeiten wurden nicht explizit trainiert, sondern scheinen als emergente Eigenschaften durch die schiere Größe der Modelle und die Vielfalt der Trainingsdaten zu entstehen – ein Phänomen, das bis heute nicht vollständig verstanden ist

2. Der immense Daten- und Ressourcenhunger lässt generative KI-Modelle an Grenzen stoßen. Welche Alternativen zur immer noch größeren Skalierung der Modelle sehen Sie?

Volker Tresp: Tatsächlich verbraucht das menschliche Gehirn weniger als 100 Watt – etwa so viel wie eine Glühbirne – und erbringt dabei erstaunliche kognitive Leistungen. Gleichzeitig lernt der Mensch mit einem Bruchteil der Daten, die heutige KI-Systeme benötigen. Von dieser Effizienz ist die generative KI noch weit entfernt. Dennoch gibt es zunehmend Ansätze, die über reines Hochskalieren hinausgehen.

Wesentlich ist die Unterscheidung zwischen dem Training eines generativen KI-Modells und dessen Einsatz (Inferenz). Beim Einsatz sehen wir bereits große Fortschritte: Bildgeneratoren wie Stable Diffusion laufen inzwischen direkt auf Smartphones. Auch Sprachmodelle sind als kleinere, komprimierte Varianten großer Modelle verfügbar.

Auch beim Training zeichnen sich Alternativen zur bloßen Skalierung ab – durch effizientere Algorithmen, spezialisierte Hardware und neue Modellarchitekturen. Grafikprozessoren (GPUs) bleiben derzeit das Arbeitspferd der generativen KI im Training. Gleichzeitig werden jedoch neuromorphe Chips entwickelt, die sich an der Funktionsweise des menschlichen Gehirns orientieren und deutlich energieeffizienter arbeiten sollen.

Ein weiteres spannendes Feld ist das Federated Learning: Hier lernt das Modell dezentral aus den Daten auf den Endgeräten der Nutzenden, ohne dass diese zentral gespeichert werden. Das schont nicht nur Ressourcen, sondern stärkt auch den Datenschutz. Schließlich werden zunehmend auch synthetische Trainingsdaten genutzt: Große Modelle (LLMs) werden zum Teil mit KI-generierten Daten trainiert, um die Abhängigkeit von aufwendig manuell annotierten Datensätzen zu reduzieren.

3. Studien legen nahe, dass generative KI-Modelle lernen, indem sie eine gigantische Ansammlung von Faustregeln erzeugen. Sie denken nicht wie Menschen, die effizientere mentale Modelle für Schlussfolgerungen nutzen. Wie ordnen Sie diesen Befund ein?

Volker Tresp: Obwohl es in den kognitiven Neurowissenschaften in den letzten Jahren bedeutende Fortschritte gegeben hat, wissen wir nach wie vor erstaunlich wenig darüber, wie menschliches „Denken“ tatsächlich funktioniert. In meinen eigenen Arbeiten zum sogenannten „Tensor Brain” zeigt sich beispielsweise eine enge Verknüpfung zwischen Wahrnehmung und den Gedächtnissystemen des menschlichen Gehirns – beides sind grundlegende Voraussetzungen für komplexe kognitive Leistungen.

Die kognitiven Neurowissenschaften profitieren zunehmend von Impulsen aus der generativen KI. Namhafte Universitäten untersuchen inzwischen gezielt Gemeinsamkeiten in der Repräsentation und Verarbeitung von Information zwischen biologischen und künstlichen Systemen. Dabei muss man zwischen der strukturellen und der funktionellen Organisation des Gehirns unterscheiden. Funktionell bestehen durchaus Ähnlichkeiten zwischen großen Sprachmodellen (LLMs) und menschlicher kognitiver Verarbeitung. Strukturell jedoch ist das neuronale Umsetzen von Mechanismen deutlich schwieriger.

4. Welche Konzepte menschlichen Denkens finden sich in modernen LLMs?

Volker Tresp: Moderne LLMs werden interessanterweise gelegentlich als Large Reasoning Models (LRMs) bezeichnet. Diese LRMs scheinen in der Lage zu sein, Hypothesen aufzustellen, zu verwerfen und neue Ansätze zu generieren, um letztlich komplexe Aufgaben zu lösen. Das Modell DeepSeek R1 beispielsweise generiert solche Zwischenhypothesen als explizite Tokens – im Gegensatz zum OpenAI o1, das eher implizit arbeitet. Die damit verbundene Vermenschlichung (Anthropomorphisierung) der LRMs stößt allerdings auf Kritik: Einige Forschende lehnen die Vorstellung ab, dass diese Systeme menschenähnlich „denken“.

Ein weiteres Konzept ist das der internen Modelle: Der Mensch kann sich etwa einen springenden Ball vorstellen und versteht dabei implizit physikalische Gesetze und Randbedingungen. Ein Automechaniker besitzt ein mentales Modell eines Autos und kann zielgerichtet nach Fehlern suchen. Ein Arzt hat ein tiefes mentales Verständnis des menschlichen Körpers. Ob LLMs in der Lage sind oder jemals sein werden, solch detaillierte mentale Modelle zu bilden, ist derzeit noch offen.

Interessant ist auch: Der Mensch arbeitet nicht rein rational. Er nutzt eine Vielzahl an Heuristiken und trifft Entscheidungen häufig intuitiv. Daniel Kahneman unterscheidet hier zwischen System 1 (intuitiv, schnell) und System 2 (reflektierend, langsam). Interessanterweise begründen Menschen ihre Handlungen oft im Nachhinein mit System-2-Argumenten, obwohl die eigentliche Entscheidung bereits intuitiv getroffen wurde – eine nachträgliche Rationalisierung. Tiefes Nachdenken könnte letztlich eher eine Simulation unterschiedlicher Szenarien sein als ein streng logischer Prozess.

Nicht selten werden LLMs mit Aufgaben konfrontiert, die übermenschliche Fähigkeiten erfordern – also Probleme, die ein Mensch ohne Hilfsmittel kaum lösen könnte. Angesichts dessen stellt sich die Frage: Ist es sinnvoll, über Artificial General Intelligence (AGI) zu sprechen, bevor wir die Mechanismen menschlicher Intelligenz wirklich verstanden haben?

5. Welche Entwicklungen jenseits von generativer KI sind aktuell besonders erfolgsversprechend?

Volker Tresp:  Ein Beispiel sind sicherheitskritische Anwendungen wie das autonome Fahren oder die Steuerung von Flugzeugen. Hier dominieren Anforderungen wie extreme Reaktionsgeschwindigkeit, Robustheit, Zuverlässigkeit und Energieeffizienz. Zwar kommen generative Modelle vermehrt in der Robotik zum Einsatz – zum Beispiel für High-Level-Aufgaben wie Sprachsteuerung oder Missionsplanung –, doch in der niedrigschwelligen, zeitkritischen Regelung und Steuerung sind weiterhin klassische oder hybride Systeme führend.

Ein weiteres wichtiges Feld ist die Verifikation sicherheitskritischer Systeme, etwa die formale Prüfung der Logik von Stellwerken in Bahnhöfen oder Flugkontrollsystemen. Hier kommt eher klassische, logikbasierte KI zum Einsatz, bei der jede Aussage nachvollziehbar und beweisbar sein muss – Halluzinationen wären hier inakzeptabel.

Ähnlich verhält es sich mit der medizinischen Statistik, in der es darum geht, aus klinischen Studien belastbare, kausale Schlussfolgerungen zur Wirksamkeit von Therapien zu ziehen. Hier zählen methodische Strenge, Transparenz und statistische Validität – nicht kreative oder generative Fähigkeiten. Quantentechnologien können in den kommenden Jahren erhebliche Durchbrüche ermöglichen – sowohl in der Quantenkommunikation als auch präziser Sensorik. Durchbrüche sind auch denkbar im Bereich des Quantencomputing.

6. KI-Forscherinnen und -Forscher in Deutschland befinden sich in einem harten internationalen Wettbewerb. Was sind die größten Herausforderungen und wie kann ihnen begegnet werden?

Volker Tresp: Deutschland muss für exzellente Wissenschaftlerinnen und Wissenschaftler – sowohl aus dem Inland als auch aus dem Ausland – attraktiv sein. Dafür braucht es deutlich mehr Professuren, exzellent ausgestattete Forschungsstellen und Förderprogramme, die gezielt darauf abzielen, die Grenzen der KI-Forschung zu verschieben – mit dem übergeordneten Ziel einer verantwortungsvollen, friedlichen und humanen KI. Es existieren vielversprechende Initiativen, doch sie müssen substanziell ausgebaut werden. Dazu zählen eine intensivere Forschungsförderung sowie strategische Investitionen in Recheninfrastruktur. Der Zugang zu Hochleistungs-GPUs ist eine Grundvoraussetzung, um in der globalen Spitzenforschung mithalten zu können.

Viele hervorragend ausgebildete Studierende und Forschende verlassen Deutschland nach ihrem Abschluss – häufig in Richtung Zürich, London oder Nordamerika –, weil sie dort bessere Karrieremöglichkeiten und Forschungsbedingungen vorfinden. Dem muss durch den Ausbau international sichtbarer Forschungszentren in Deutschland und durch attraktive Karrierepfade in Wissenschaft und Industrie entgegengewirkt werden.

Deutschlands Stärke liegt in seiner industriellen Exzellenz, insbesondere in Bereichen wie Maschinenbau, Automobiltechnik und Fertigung. Hier bietet sich die Chance, eine führende Rolle bei der Entwicklung und Anwendung industrieller KI einzunehmen. Viele Unternehmen sind bereits innovativ unterwegs, benötigen jedoch gezielte Förderung, um das Potenzial voll auszuschöpfen.

Auch die Rahmenbedingungen für KI-Start-ups müssen verbessert werden. Notwendig sind ein erleichterter Zugang zu Wagniskapital, beschleunigte Gründungsverfahren und ein Bürokratieabbau. Start-ups sind ein zentraler Innovationstreiber – sie brauchen ein Umfeld, das dynamisches Wachstum ermöglicht und unternehmerisches Risiko honoriert.