ARMAR-6 - Cooperative robot in industrial environments
Sometimes it's the small steps that make everyday life in an industrial company more difficult. The ARMAR-6 humanoid robot developed at the Karlsruhe Institute of Technology (KIT) supports employees and is no longer restricted to a specific task. Instead, it looks for important skills and movements from its human colleagues - and is constantly learning more.
The large, hard-to-reach machine in the workshop is defective and a component inside has to be replaced. And quickly, otherwise production will come to a standstill. A technician is already on duty, but without a special tool the repair cannot continue. The employee would now actually have to wriggle out of the inside of the defective machine again to get it - and risks damaging the sensitive electronics in the process.
His assistant, ARMAR-6, closely monitored the situation, proactively fetched the right tool and handed it to the technician. The humanoid robot relied on its experience in the field, coupled with its ability to draw the right conclusions. The technician can now replace the part and production continues without major disruption.
New ways in human-robot cooperation
In general, robots have long been in use in production engineering. However, these are mostly automated machines that are optimized for special individual tasks in production lines and are often separated from humans by Plexiglas or metal constructions. Self-learning humanoid robots such as ARMAR-6 differ significantly from these.
On the one hand by its human-like construction, but in particular by its extended objective. Equipped with artificial intelligence, the robot can independently perform maintenance tasks and recognize when its human colleagues need help. In daily use, it is confronted with very different situations which are not foreseeable during its programming. ARMAR-6 learns from this and develops solutions, similar to a human being.
Perception and communication
ARMAR-6 is being developed by a team of scientists led by Professor Tamim Asfour from the Institute of Anthropomatics (IAR) at the Karlsruhe Institute of Technology (KIT). They deliberately conceived the robot as an assistant that works directly with humans. 3D cameras enable the perception of people and objects, laser sensors ensure collision-free movement, and torque sensors in all arm joints ensure variable force distribution, which is what makes close cooperation with humans possible in the first place. ARMAR-6 can communicate through natural language. All this is monitored and processed by four computers.
ARMAR-6's AI sets it apart from conventional robots in today's industrial plants. It acquires new skills in all activities, for example when it passes a drill. His system enables him to decide how and how tightly he has to grip, his human colleague gives him additional instructions. Not only through explorative learning, but especially through teaching and coaching by humans, the wealth of experience of AI is growing day by day. Thus man and machine complement each other better and better.
Still a long way to go
ARMAR-6 still has a lot to learn, but in the near future, it will not only save costs in industry, but will also be able to simplify everyday working life. He will be able to take on dangerous, physically demanding or repetitive and at the same time increasingly complex tasks, either independently or as part of a team. His ability to actively learn is the key to success. Because the same applies to robots as to humans: You never stop learning.
Application facts
Human-Computer Interaction and Assistance Systems
- RoboticsIntelligent Assistance Systems
Karlsruher Institut für Technologie (KIT)
University/Research Institution
Website
Interview
Tamim Asfour hat die ARMAR humanoide Roboterfamilie entwickelt. Er ist Professor für humanoide Robotik am Karlsruher Institut für Technologie (KIT) und Mitglied der Arbeitsgruppe Lebensfeindliche Umgebungen der Plattform Lernende Systeme.
Tamim Asfour: ARMAR-6 lernt, wie seine Vorgänger, wie ein kleines Kind: vom Menschen und aus eigener Erfahrung. Hierzu beobachtet er den Menschen bei der Ausführung einer Aufgabe und interpretiert mit Hilfe von Algorithmen des maschinellen Lernens die aktuelle Situation. Auf diese Weise kann er involvierte Objekte, Aktionen und deren Konsequenzen identifizieren und verstehen. Zur Interpretation einer Situation stehen ihm verschiedene Gedächtnisse zur Verfügung, darunter das Vorwissen mit vordefinierter Szeneninformation, das Allgemeinwissen mit allgemein bekannten Objekteigenschaften und -beziehungen, sowie das episodische Gedächtnis, welches vergangene Erlebnisse des Roboters selbst speichert. Daraufhin erstellt er einen Plan zur Ausführung der Aufgabe, führt diesen aus und evaluiert nach jeder Aktion den Erfolg, um seine Fähigkeiten kontinuierlich zu verbessern. Durch die Interaktion mit dem Menschen mit Hilfe von Sprache und Gesten werden fehlende Informationen vervollständigt.
Tamim Asfour: Die Grundlage für das datengetriebene Lernen von Aktionen und deren Verkettung zu komplexen Handlungen bilden menschliche Demonstrationen. Aus einer großskaligen Datenbank von menschlichen Bewegungen mit semantischen Beschreibungen, der KIT Whole-Body Human Motion Database, können die ARMAR-Roboter die zur Ausführung einer Aufgabe notwendigen Aktionen extrahieren. Inspiriert durch Methoden der natürlichen Sprachverarbeitung wird aus dieser Datenbank ein “Bewegungsalphabet” erstellt, bei dem einzelne Aktionen den Wörtern und ganze Handlungen den Sätzen einer Bewegungssprache entsprechen. So können Sequenzen von Aktionen für die Ausführung einer Aufgabe generiert, an die aktuellen Situation angepasst und ausgeführt werden. Das gesamte Wissen über Objekte, Aktionen und deren Beziehungen speichern die Roboter in einer Gedächtnisstruktur, bei der ein als tiefes neuronales Netz realisiertes episodisches Gedächtnis den Abruf vergangener Erfahrung ermöglicht. Begegnet ARMAR-6 einer unbekannten Szene, versucht er durch physische Interaktion mit der Szene mehr Informationen zu gewinnen. Dabei verändert er z.B. durch Schiebeaktionen die Position einzelner Objekte und analysiert die Veränderungen in der Szene aufgrund dieser Interaktion. Dadurch kann ARMAR Objekte in der Szene entdecken, segmentieren und neue Objektrepräsentationen lernen.
Tamim Asfour: ARMAR-6 wurde im Rahmen des EU-Projekts SecondHands entwickelt, um Technikern bei Wartungs- und Reparaturaufgaben in industriellen Anlagen zu unterstützen. Dabei fungiert er als proaktiver Assistent für Aufgaben, die ein zweites Paar Hände erfordern. Da die Aufgaben der Techniker vielfältig sind, wurde ARMAR-6 hochgradig flexibel entworfen. Zum Beispiel kann er sowohl Objekte vom Boden aufheben als auch eine Fließbandabdeckung auf zweieinhalb Meter Höhe halten, für die menschliche Techniker eine Leiter benötigen. Die Interaktion mit dem Roboter ist dabei intuitiv. Zum einen versteht ARMAR-6 Sprachbefehle und kann selbst über Sprache Feedback geben. Zum anderen interpretiert er Interaktionskräfte, die er in seinen Armen während kollaborativer Aufgabenausführung spürt. Eine weitere, wichtige Fähigkeit für einen proaktiven Assistenten ist die Fähigkeit zu erkennen, wann Hilfe benötigt wird. Hierbei setzt ARMAR-6 unterschiedliche Modalitäten ein, um dies zu ermöglichen. Aus sprachlichen Äußerungen des Technikers wird durch Methoden der Künstlichen Intelligenz interpretiert, welche Aufgabe der Techniker aktuell bearbeitet. Mittels visueller Wahrnehmung werden die aktuelle Szene und Aktionen des Menschen beobachtet, um ebenfalls die aktuelle Handlung zu erkennen und somit proaktiv Hilfestellung geben zu können.
Tamim Asfour: Die ARMAR-Roboter, insbesondere ARMAR-III und ARMAR-6 werden derzeit als Forschungsplattform für die nahtlose, und proaktive Assistenzrobotik eingesetzt. Ihre Fähigkeiten werden dabei kontinuierlich erweitert. Basierend auf den erzielten Ergebnissen könnten die Nachfolger von ARMAR-6 vielfältige Aufgaben in industriellen Umfeldern übernehmen, bei denen ein starkes zweites Paar Hände erforderlich ist. Konkrete Anwendungsfelder sind die Wartungs- und Reparaturaufgaben von Industrieanlagen. Darüber hinaus sind aber auch Anwendungen im Haushalt oder in der Pflege denkbar, da ARMAR-6 nicht nur stark ist, sondern auch feinfühlig mit Menschen interagieren kann. Die ARMAR-Roboter sind ein erster wichtiger Schritt in diese Richtung. Jedoch ist weiterer Forschungs- und Entwicklungsbedarf notwendig, um eine nahtlose Integration von Methoden der Informatik, des maschinelles Lernens, der Künstlichen Intelligenz und Mechatronik zu ermöglichen und ganzheitliche Robotersysteme und KI-gestützte Architekturen mit dem für 24/7 Anwendungen notwendigen Reifegrad zu schaffen. Für dieses Ziel braucht es Referenzplattformen und Testfelder für die Assistenzrobotik, so dass Experten aus den unterschiedlichen Disziplinen ihre Methoden und Ergebnisse in realen Umgebungen evaluieren können.