Bin-Picking transparenter Objekte durch 3D-Formerfassung mit thermischer Streifenprojektion und modellfreier Greifplanung mit Künstlicher Intelligenz

Der Demonstrator goROBOT3D der Fraunhofer-Institute IOF und IPA vereint zwei aktuelle Forschungsthemen: 3D-Formerfassung transparenter Objekte und Künstliche Intelligenz für ein modellfreies Greifen. Für die Veranschaulichung ist eine Bin-Picking Anwendung nachgestellt. Bin-Picking bezeichnet in der Robotik das automatische Greifen eines Objektes aus einer Kiste mit ungeordnetem Inhalt.

Vor dem Greifen muss zunächst ein optischer 3D-Sensor die Oberflächentopografie der in der Kiste liegenden Objekte erfassen. Optisch »unkooperative« Oberflächen, z.B. transparent, spiegelnd oder mattschwarz, sind mit konventioneller Sensorik schwierig bzw. gar nicht erkennbar. Das neuartige Messverfahren der thermischen Streifenprojektion detektiert die Oberflächenform über die abgestrahlte Wärme und nicht über das reflektierte Licht. Am goROBOT3D nimmt ein thermischer 3D-Sensor von oben die Oberfläche der transparenten Objekte in der vorderen Kiste auf. Zum Vergleich sind die Daten eines konventionellen 3D-Sensors dargestellt.

Im nächsten Schritt wird aus der gemessenen 3D-Oberflächentopografie die Roboteraktion abgeleitet. In der Praxis stellt die enorme Produkt- und Variantenvielfalt der Objekte die größte Herausforderung dar. Die Lösung ist „AI-Picking“: das modellfreie Greifen unbekannter Objekte auf Basis von maschinellem Lernen. Ein künstliches neuronales Netz extrahiert Merkmale für lokale Bereiche der 3D-Oberflächentopografie. Anschließend wird die Erfolgswahrscheinlichkeit der Griffe an diesen Stellen unter Verwendung der Oberflächennormale der Szene als Greifachse prädiziert. Durch in Simulation generierte Greifdaten für diverse Szenen wurde die Schätzung des Netzwerkes mittels eines Lernverfahrens iterativ optimiert. AI-Picking lässt sich flexibel in Robotik-Lösungen integrieren. Am goROBOT3D entnimmt der Vakuumgreifer ein Objekt aus der vorderen Kiste und legt es in der hinteren ab oder gibt es den Besuchenden aus. Der Vorgang wird wiederholt, bis kein Objekt mehr erkannt wird.

Website: 3D-Messverfahren