Neue Wege zur Interoperabilität von Robotern: Große KI-Modelle als Chance für das gemeinsame Handeln

Ob Intralogistik, Produktion oder Rettungseinsatz: Wenn unterschiedliche Roboter gemeinsam Aufgaben erledigen sollen, müssen sie Informationen austauschen, deren Bedeutung verstehen und ihr Handeln aufeinander abstimmen können. Bisher war es mit viel Aufwand verbunden, die nötige Interoperabilität hierfür zu schaffen, etwa durch Standardisierung. Große KI-Modelle eröffnen neue Möglichkeiten, diese herzustellen. Ein neues Impulspapier der Plattform Lernende Systeme zeigt, wie solche KI-Modelle das Zusammenspiel von Robotiksystemen unterstützen können und welche Herausforderungen für einen zuverlässigen und sicheren Einsatz noch zu lösen sind.

Eine Flugdrohne erkundet das Gelände, ein Roboterhund untersucht schwer zugängliche Bereiche, ein Fahrzeug transportiert Material: Bei einem Brand in einer Chemiefabrik könnten unterschiedliche Robotiksysteme ihre Fähigkeiten ergänzen. Auch bei der Obsternte oder beim Warentransport können Roboter mit anderen Robotern und mit Menschen zusammenarbeiten. In der Praxis erschweren jedoch unterschiedliche Schnittstellen und teils geschlossene Betriebssysteme das Zusammenspiel.

Vier Ebenen der Interoperabilität

Interoperabilität schafft die Grundlage für Kommunikation und Kooperation, bewirkt aber nicht selbst das gemeinsame Handeln. Bislang wird sie vor allem durch Standards für Schnittstellen, Protokolle oder Datenformate hergestellt. Solche Lösungen sind aufwendig und oft wenig flexibel. Besonders anspruchsvoll ist es, ein gemeinsames Verständnis von Informationen und deren Bedeutung für das Handeln herzustellen.

Das Impulspapier unterscheidet vier Ebenen der Interoperabilität: Die technische Ebene verbindet Systeme miteinander, die syntaktische Ebene sorgt für kompatible Datenformate. Die semantische Ebene betrifft die Bedeutung der ausgetauschten Informationen, die pragmatische Ebene das Verständnis für die Folgen von Handlungen in einem bestimmten Kontext. Erst auf dieser letzten Ebene lässt sich das Handeln von Systemen am besten aufeinander abstimmen.

Was große KI-Modelle leisten können

„Große KI-Modelle können in eleganter und effizienter Weise dabei helfen, Interoperabilität zwischen unterschiedlichen Robotiksystemen auf semantischem oder gar auf pragmatischem Niveau zu erreichen“, so Jürgen Beyerer, geschäftsführender Institutsleiter sowie Direktor des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung (IOSB) in Karlsruhe und Inhaber des Lehrstuhls Interaktive Echtzeitsysteme am Karlsruher Institut für Technologie (KIT).

Neben großen Sprachmodellen kommen dafür auch Modelle infrage, die auf logisches Schlussfolgern (Reasoning), ausgerichtet sind oder Sprache, Sehen und Handeln verbinden. Sie können helfen, Informationen unterschiedlicher Systeme einzuordnen und für die Koordination nutzbar zu machen. Entscheidend sind das Weltwissen, das im Modell repräsentiert ist und mit Art und Umfang der Daten im Modelltraining zusammenhängt, sowie zusätzliche Kontextinformationen, die dem Modell im laufenden Betrieb zur Verfügung gestellt werden.

Zusammenarbeit benötigt verlässliches Weltwissen

„Roboter können im Verbund komplexe Handlungsstränge oder Missionen abarbeiten, wenn sie in der Lage sind, zuverlässig physisch zu interagieren, Informationen auszutauschen und zu interpretieren. Der Kern der Herausforderung liegt oft in der Autonomie und dem Weltmodell der Systeme. Heutige große generative KI-Modelle können hier Lücken schließen und Roboter koordinieren, durch zukünftige Modelle könnten sich sogar neue Formen von Interoperabilität etablieren“, erläutert Sirko Straube, Forschungsbereichsmanager Emergency Response and Recovery Management am Robotics Innovation Center der DFKI GmbH.

Gegenwärtige Modelle haben jedoch Grenzen. Ihnen fehlen häufig Aktivitätsdaten sowie domänenspezifische Daten. Sie erzeugen mitunter fehlerhafte Aussagen und verstehen Ursache und Wirkung nur eingeschränkt. Zudem gelingt es ihnen noch nicht zuverlässig, Objekte, Positionen oder Handlungen in präzise Angaben für physikalische Modelle zu übersetzen. Dadurch kann die Interoperabilität zeitweise „abreißen“ – mit Risiken für die funktionale und die Prozesssicherheit. Vielversprechend sind künftig zuverlässigere multimodale KI-Modelle, die Fakten in Echtzeit überprüfen und mithilfe physikalischer Simulationen und Weltmodellen die Folgen von Handlungen besser abschätzen können. Für den praktischen Einsatz müssen diese Fähigkeiten jedoch verlässlich verfügbar sein.

„Interoperabilität zwischen Robotern ist ein entscheidender Zukunftsbaustein, der die praktische Nutzung und das Zusammenspiel vielfältiger Robotiksysteme nachhaltig voranbringen wird. Die Forschung entwickelt bereits vielversprechende Projekte und Konzepte – nun gilt es, diese gemeinsam in marktfähige und anwendungsnahe Lösungen zu überführen. Dafür braucht es einen starken Schulterschluss zwischen Anwendern, Robotikherstellern und Forschung, um die Robotik gemeinsam auf das nächste Entwicklungsniveau zu heben“, fasst Johannes Hinckeldeyn, Director of Advanced Corte Technologies bei der KION Group, zusammen.

Über das Impulspapier

Das Impulspapier „Interoperabilität zwischen Robotiksystemen – das Potenzial großer KI-Modelle“ wurde von Mitgliedern der Arbeitsgruppe „Lernfähige Robotiksysteme“ sowie der Arbeitsgruppe „Technologische Wegbereiter und Data Science“ der Plattform Lernende Systeme verfasst. Es steht zum kostenfreien Download bereit.

Antworten auf zentrale Fragen zum Impulspapier bietet zudem eine begleitende FAQ-Seite.