CARMINA
Wie deutsche KI-Forschung unsere Beziehung zum Auto neu definiert
Als Autos noch über Knöpfe, Tasten und einfache Sprachbefehle bedient wurden, stellte sich ein Forschungsteam aus Deutschland die Frage, ob sich die Nutzung eines Fahrzeugs so intuitiv gestalten lässt wie ein Gespräch?
Im Projekt CARMINA – kurz für „CAR-oriented Multimodal INterface Architecture“ - gingen Forschende des Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) zwischen 2009 und 2012 dieser Frage nach. Mit Erfolg: Indem sie Umgebungsinformationen, Sprache, Blick und Bediengesten mithilfe von situationsadaptiver KI kombinierten, gelang eine neuartige, intelligente Mensch-Maschine-Interaktion im Auto.
Erstmals konnte das Fahrzeug die Situation der Insassen wirklich verstehen. Die Erkenntnisse der CARMINA-Forschung prägen heute viele moderne Sprach- und Assistentsysteme und bergen enormes Potenzial für das Auto der Zukunft.
CARMINA zielte auf eine intelligente, multimodale Schnittstelle, die Spracheingaben gleichberechtigt mit physischen Bedienelementen und Blickgesten auswertet, Mehrdeutigkeiten auflöst und dabei sowohl die Verkehrssituation als auch die jeweilige Rolle der Insassen berücksichtigt. Im Unterschied zu damaligen Sprachsystemen, die vor allem einfache Kommandos wie „Navigiere nach…“ verstanden, rückte CARMINA aufgabenorientierte, zielgerichtete Dialoge in den Fokus. Fahrerin oder Beifahrer sollten frei formulieren können.
Das Projektvideo zeigt, wie der Fahrer aus dem Fenster auf ein Gebäude schaut und fragt: „Was ist das für ein Gebäude?“ – ohne die Hände vom Lenkrad zu nehmen. CARMINA verknüpft den Blick mit der Frage, erkennt das Objekt und liefert die Antwort.
Gleichzeitig beobachtet das System den Verkehr und berücksichtigt die Rolle des Insassen. Anfragen des Fahrers in kritischen Fahrsituationen werden anders oder später beantwortet als Rückfragen der Mitfahrenden.
In einem von Daimler bereitgestellten Fahrzeug implementierte das Projektteam viele solcher multimodalen Interaktionsmöglichkeiten und testete sie mit Versuchspersonen. 2012 wurde der erste voll funktionsfähige Prototyp auf der CEBIT vorgestellt. Die Automobilindustrie griff zentrale Ideen auf. Die Blickeingabe in Kombination mit KI-basiertem Sprachdialog wurde gemeinsam mit dem DFKI weiterentwickelt und 2018 auf der Elektronikmesse CES in Las Vegas mit einem Innovation Award ausgezeichnet. Das dort gezeigte System baute direkt auf den Vorarbeiten von CARMINA auf.