Welche Rolle spielt automatisiertes maschinelles Lernen für agentische KI?

Marius Lindauer: Automatisiertes maschinelles Lernen, kurz AutoML, spielt für agentische KI eine zentrale Rolle. KI-Agenten gehören zu den komplexesten technischen Systemen, die wir bisher entwickelt haben. Sie bestehen aus vielen Komponenten: Welche Tools sollen eingesetzt werden? Braucht es Sub-Agenten, die bestimmte Teilaufgaben übernehmen? Sind spezialisierte Agenten erforderlich? Muss ein Modell für bestimmte Aufgaben feinjustiert werden? Wie lassen sich Prompts optimieren oder Daten besser repräsentieren? Mit genau solchen Fragen beschäftigen sich derzeit AutoML-Forschende. Ziel ist es, agentische KI effizienter zu gestalten und ihre Fähigkeit zu entwickeln, für konkrete Aufgaben gute Lösungen zu finden.

Worin liegen Chancen und Herausforderungen?

Marius Lindauer: AutoML kann einerseits eingesetzt werden, um agentische KI-Systeme zu verbessern. Andererseits kann agentische KI selbst genutzt werden, um KI und maschinelles Lernen weiterzuentwickeln.

Dahinter steht die Idee, KI-Modelle und KI-Agenten einzusetzen, um neue Durchbrüche in der KI- und ML-Forschung zu ermöglichen: etwa bessere Architekturen zu finden, die nächste Architektur nach dem Transformer zu entwickeln, Feature-Vorverarbeitungen zu verbessern, Features automatisch zu generieren, grundsätzlich leistungsfähigere Lernverfahren zu identifizieren, usw.

Gleichzeitig zeigt sich, dass solche Systeme diese Aufgaben nicht allein bewältigen können. Notwendig ist eine Kombination aus spezialisierten Methoden und leistungsfähigen Agentensystemen. Dazu gehören etwa Optimierungsverfahren wie die Hyperparameteroptimierung, die gemeinsam mit KI-Agenten eingesetzt werden können, um leistungsfähigere Systeme zu entwickeln.

Wie steht es um die Energieeffizienz agentischer KI?

Marius Lindauer: Agentische KI-Systeme sind typischerweise nicht besonders energieeffizient. Insbesondere bei großen Kontexten erfordert die Verarbeitung vieler Token Rechenleistung und damit Strom – unabhängig davon, ob Informationen automatisch gesucht oder zusätzlich in den Kontext eingebracht werden.

AutoML bietet hier Ansatzpunkte, um solche Systeme deutlich effizienter zu gestalten. Dazu zählt die Frage, wie Modelle komprimiert und kleiner gemacht werden können. Ein Weg ist das Pruning, also das gezielte Entfernen weniger relevanter Parameter. Durch Quantisierung wird die numerische Genauigkeit von Gewichten verringert. Durch Linear Attention oder ähnliche Ansätze wird die Rechenkomplexität bei der Sequenzverarbeitung reduziert. Es geht auch darum, verschiedene Effizienzmaßnahmen so zu kombinieren, dass unter bestimmten Bedingungen das beste agentische KI-System gefunden werden kann.

Welche Rolle bleibt für den Menschen?

Marius Lindauer: Der Mensch bleibt bei der Gestaltung von KI-Systemen zentral, auch wenn deren Entwicklung zunehmend automatisiert werden kann. Entscheidend sind weiterhin Fragen wie: Was soll entwickelt werden? Wozu? – Und wie kann es Menschen konkret helfen? Diese Fragen müssen von menschlichen Entwicklerinnen und Entwicklern sowie Fachexpertinnen und -experten beantwortet werden.

Ein Beispiel ist Fairness: Wenn ein KI-System in einem großen Kontext mit vielen Nutzerinnen und Nutzern eingesetzt wird, stellt sich die Frage, wie diese möglichst fair behandelt werden können. Es gibt jedoch viele unterschiedliche Definitionen von Fairness. Man kann sie mathematisch beschreiben und quantifizieren, aber letztlich muss jemand entscheiden, welche Fairness-Metrik in einem konkreten Fall angewendet werden soll. Soll es um Gruppenfairness oder um Fairness auf individueller Ebene gehen? Genau dafür braucht es menschlichen Sachverstand, um zu entscheiden, was KI leisten soll, wie Menschen mit KI interagieren und wie KI zum Nutzen der Menschen eingesetzt werden kann.