Europa ist wieder im Spiel bei Sprachmodellen

Ein Gastbeitrag von Alexander Löser, Berliner Hochschule für Technik und Mitglied der Plattform Lernende Systeme

Stellen Sie sich eine Welt vor, in der KI-Modelle nicht länger zentralisiert und intransparent sind, sondern modular, offen und lokal kontrollierbar. Eine Welt, in der spezialisierte Sprachmodelle komplexe Aufgaben in Medizin, Chemie oder Logistik lösen, nicht auf Cloud-Servern in Übersee, sondern direkt auf kostengünstiger Hardware in europäischen Unternehmen. Dieses Szenario ist kein utopisches Zukunftsbild, sondern eine realistische Perspektive, die sich mit der rasanten Entwicklung modularer KI-Architekturen abzeichnet.

Warum monolithische Sprachmodelle problematisch sind

Oligopole monolithischer Modelle dominieren den Markt für Sprachmodelle, überwiegend kontrolliert von wenigen Tech-Giganten, deren Systeme für Anwender als Black Boxes operieren. Diese Modelle fördern zentralisierte Informationsflüsse, sind schwer prüfbar und in ihrer Entwicklung intransparent. Diese Bedingungen sind mit demokratischen Werten nur schwer vereinbar. Während autokratische Systeme auf solche Strukturen setzen könnten, um Kontrolle und Überwachung zu perfektionieren, brauchen offene Gesellschaften in Europa Transparenz, Vielfalt und Selbstkorrektur - typisch für modulare Systeme.

Es ist naiv sich dauerhaft auf Open-Weight-Modelle aus den USA oder China zu verlassen. Diese Modelle stehen unter einseitigen Community-Lizenzen, die jederzeit eingeschränkt oder widerrufen werden können. Die Konzerne handeln strategisch und können aus geopolitischen, wirtschaftlichen oder kommerziellen Gründen die Offenheit zurückfahren. Beispielsweise hat META nicht den European Union's AI Code of Practice unterzeichnet (Stand 08/25). Auch chinesische Modelle sind in zahlreichen Anwendungen unerwünscht. Wir begeben uns damit in eine technologische Abhängigkeit, ohne Kontrolle über Datenbasis, Ausrichtung oder langfristige Verfügbarkeit. Uns bleiben nur noch wenige aktuelle Open Weight/Open Source Modelle übrig, die leistungsfähig für Agenten und anspruchsvolle Reasoning Tasks sind und europäische Sprachen „sprechen“. Die US-Unternehmen folgen aktuell strikt dem Playbook der Plattformökonomie: Wir werden mit Einstiegspreisen und Open Weights zunächst abhängig gemacht, setzen vermehrt US-Modelle in unseren Prozessen ein und tauschen Personal gegen Maschine in den Prozessen. Sind wir dann abhängig und erreichen die Modelle eine ausreichende Qualität, werden die Kosten angezogen. Wir müssen diese höheren Kosten an unsere Kunden weiterzugeben; ggf. sind dann unsere Kunden nicht bereit, die höheren Preis zu bezahlen.

Europas Chancen mit Modulare Intelligenz nutzen

Vor dem Hintergrund schwindender transatlantischer Verlässlichkeit steht Europa auch hier vor einer strategischen Entscheidung eigene Modelle aufzubauen. Das ist vielen Entscheidern bewusst. Bislang ist es jedoch nicht gelungen, Daten, Talente und finanzielle Ressourcen zu bündeln, um Basismodelle mit einer Größe von mehreren 100 Mrd. Parametern in zahlreichen europäischen Sprachen zu erschaffen. Diese Größen sind wichtig, um auch komplexes Reasoning mit Agenten auszuführen. Modulare Systeme können mit deutlich weniger Ressourcen (GPUs, Daten, Talente) umgesetzt werden. Ein wichtiger Aspekt in Zeiten unsicherer Märkte und oft nur auf Sicht geplanter R&D Budgets in Unternehmen.

Der wichtigste Baustein für modulare Ansätze sind Mixture-of-Experts (MoE)

Basismodelle wie ChatGPT, DeepSeek oder Mistral benutzen MoEs. Sie aktivieren bei jeder Eingabe in der Inferenz nur eine Auswahl spezialisierter Experten, wodurch Ressourcen effizient genutzt werden. AllenAI hat kürzlich die Idee mit FlexOlmo erweitert und als kommerziell nutzbare Open Source veröffentlicht. Dessen Experten (z.B. Mathe, News, Code etc.) werden zunächst vom selben Basismodel durch domänenspezifische Daten und unabhängig voneinander, unter Wahrung der Privatsphäre erstellt; die Trainingsdaten müssen dazu nicht geteilt werden. Im zweiten Schritt wird ein Router gelernt, der für Anfragen bestimmte Experten klassifiziert, die gute Antworten geben können. Das Ensemble der Experten gibt deutlich bessere Ergebnisse als einzelne Experten. Der Rechenaufwand im Training ist überschaubar, selbst für europäische Infrastruktur, und kann für jeden Experten verteilt erfolgen. Bei einem gezielten Rekonstruktionsangriff auf den lokal trainierten Mathe‑Experten-Modul konnten maximal 0,7% der Trainingsdaten rekonstruiert werden. Mit Maßnahmen der Pseudonymisierung könnte man hier sogar weniger als 0,1% erreichen und damit strengen Europäischen Gesetzen entsprechen. Das Konzept passt also sowohl für die Anwendung in einem Konzern über Divisionen hinweg als auch als Lösung des verteilten Lernens zwischen mehreren Unternehmen.      

Ein weiterer Baustein für modulare Systeme sind Large Reasoning Modelle (LRM),

wie ChatGPT-O3 oder DeepSeekR1 oder Olmo 2. Diese Modelle sind darauf ausgelegt, komplexe Probleme durch schrittweises, logisches Denken zu lösen und dabei nachvollziehbare Argumentationsketten zu erstellen. Sie nutzen Techniken wie Chain-of-Thought, um Probleme in einzelne Schritte zu zerlegen, und symbolisches Schließen, um logische Beziehungen zu analysieren. Schon heute existieren domänenspezifische LRMs für Coding, Mathematik oder Medizin. Ihr Training ist vergleichsweise kosteneffizient, da sie das Wissen aus den Basismodellen verwenden und ergänzen. Daher lassen sich LRMs auch in Unternehmen und an Hochschulen mit begrenzter Rechenleistung aufbauen.

Ein dritter Baustein sind Agents im Test-Time-Compute

Hier generiert ein Sprachmodell in der Inferenz zunächst potenzielle Antworten. Hochspezialisierte Agents verifizieren diese Antworten unabhängig, Agents könnten unabhängig voneinander entwickelt werden. Der Clou: Kosten für das Test-Time-Compute sind über die Jahre deutlich gesunken, eine Anpassung der Modelle im Training ist nicht notwendig. Viele Unternehmen können sich diesen Ansatz daher mittlerweile leisten und auch mit eigenen Informatikern umsetzen.  Diese Technologie wurde beispielsweise im Microsoft AI Diagnostic Orchestrator (MAI-DxO) erfolgreich eingesetzt.

Drei Schritte zur europäischen Souveränität bei Sprachmodellen

Modularen Technologien lösen ein wichtiges organisatorische Problem, bei dem wir bisher an Sprachmodellen gescheitert sind: Es bleibt in Deutschland schwierig, Trainingsdaten bereitzustellen und dies selbst in der Größenordnung von nur mehreren hundert Laptopfestplatten. Auch innerhalb von Konzernen hindern Unternehmenspolitik, das Agieren in Silos und Regulatorik oft das Zusammenbringen von deutlich weniger Trainingsdaten, um Basismodelle anzupassen. Anstatt die Daten zusammenzubringen, sind also Mixture-of-Experts, LRMs und Agents im Generator-Verifier Paradigma technologisch in der EU machbar. Kleinere Teams könnten mit sechs- bis siebenstelligen Budgets bereits Erfolge erzielen.

1. Ein europäisches Basismodell als Mixture-of-Experts (MoE), gefördert als Open Source Infrastrukturmaßnahme. Die Förderung und Entwicklung eines leistungsfähigen, offenen Modells ist daher digitale Pendant zum Strom- oder Verkehrsnetz. Hierzu gibt es erste Ansätze, das Modell Teuken 7B (Fraunhofer IAIS und Partner) könnte dazu um weitere qualitativ hochwertige Daten und als MoE im ersten Schritt und in weiteren Schritten als Basismodell erweitert werden.
2. Business Cases für spezialisierte Large Reasoning Modelle (LRM), gefördert von Unternehmen. LRMs können anspruchsvolle, wissensintensive Tätigkeiten wie Kundenanfragen, Fehleranalysen, rechtliche Prüfungen oder medizinische Vorbewertungen automatisiert und nachvollziehbar bearbeiten. Das spart nicht nur Zeit, sondern reduziert auch Fehlerkosten, etwa durch fundiertere Entscheidungen oder frühere Erkennung von Problemen. Da LRMs kleiner und spezialisierter als klassische KI-Modelle sind, lassen sie sich kostengünstig auf eigenen Daten trainieren und lokal betreiben, selbst mit begrenzter Recheninfrastruktur. Mittelständische Unternehmen und Fachabteilungen können so ohne große Investitionen maßgeschneiderte KI-Lösungen entwickeln. Diese Projekte sind deutlich weniger aufwändig als das Berechnen von Basismodellen: LRMs würden zunächst noch existierende Open Source Basismodelle aus den USA oder Mistral benutzen, und sobald ein Open Source Europäisches Basismodell existiert, dann mit diesem trainiert werden.
3. Agents im Test-Time-Compute Modularität, Rückkopplung und Eco-Systeme. Viele Unternehmen können Modelle parallel im Test-Time-Compute mit Agenten erweitern. Dabei entstehen Feedbackdaten. Diese Daten dienen wiederum der Verbesserung der LRMs. Diese neuen Basismodelle haben so noch mehr „Weltwissen“ gespeichert und sind noch mehr befähigt, komplexere Aufgaben zu lösen. So entsteht ein zirkuläres System, das sich stetig selbst mit jedem neuen Experten im Basismodell verbessert. Dieses „lernende Ökosystem“ wäre offen für Unternehmen, Wissenschaft und Open-Source-Communities.

Fazit: Europa hat noch eine strategische Chance

Solange der Zugang zu offenen Modellen erhalten bleibt, kann Europa diesen Weg der modularen Sprachmodelle gehen, mit weniger Ressourcen, klügerer Architektur und einem gemeinsamen Basismodel aus immer mehr Expertenmodellen. Europa ist „noch“ im Spiel. Es kann seine Vorteile, wie hohe Wertschöpfungstiefe und den reichen Talentpool, aktiv nutzen. Wir müssen nur wollen.

Beitrag erschienen in:

Handelsblatt Journal
Oktober 2025