3D-Bildverarbeitung für Robot-Vision-Systeme

Paradigmenwechsel dank 3D

Industrieroboter erleben derzeit einen rasanten Wandel. Der klassische Roboter, der bestimmt war durch fest programmierte Bewegungsabläufe, feste Positionen und aufwendige Absicherung der Arbeitsumgebung wird abgelöst durch intelligente Robotersysteme, die in der Lage sind, ihre Umgebung zu analysieren und auf Ereignisse zu reagieren.

Durch diese Intelligenz erlangen Robotersysteme eine neue Flexibilität hinsichtlich Ihrer Einsatzmöglichkeiten und Einsatzorte. Ermöglicht wird dies durch moderne Sensorik und Algorithmik. Insbesondere 3D-Bildverarbeitung ermöglicht wichtige Applikationen. So können beispielsweise die Positionen von Werkstücken bestimmt werden, um diese zu greifen, zu positionieren oder montieren (Pick&Place), oder Objekte anhand Ihrer Form charakterisiert und klassifiziert werden, z.B. extrudierte Kunststoffe oder gegossene Metalle, die anhand reiner 2D-Daten nur schwer klassifizierbar sind. Ferner ermöglicht die 3D-Bildverarbeitung dem Roboter Gefahrensituationen wie Personen im Arbeitsumkreis zu erkennen, sodass aufwendige Absperrungen und Abschirmungen überflüssig werden. Sogar die eigene Veränderung der Position, um verschiedene Aufgaben an verschiedenen Standorten zu erledigen, wird dank 3D ermöglicht.

Applikationsbeispiel einer
The Imaging Source Kamera und der verarbeitungsbibliothek Halcon am Beispiel eines Roboterarms (Bild: MVTec)

Kalibrierung des Kamerasystems

Mit der Intelligenz der Roboter wächst aber auch die Softwarekomplexität für deren Bedienung. Um die neue Flexibilität optimal nutzen zu können, ist es notwendig, die klassischen teuren kundenorientierten Lösungen und Integrationen durch generische und anpassungsfähige Softwaresysteme zu ersetzen. Insbesondere flexible Bildverarbeitungssysteme spielen für die optische 3D-Wahrnehmung eine wichtige Rolle. Diese müssen modular gestaltet sein und schnelle Automatisierungen verschiedener Produktionsabläufe ermöglichen. Dabei sollte auf Industriestandards für Hard- und Softwarekomponenten gesetzt werden. Ein solches Bildverarbeitungssystem ist Halcon. Für das gängigste optische 3D-Messverfahren mit Hilfe von zwei oder mehr Kameras (Stereo bzw. Multi-View-Stereo) stellt die Software sämtliche Funktionen für die Erfassung von 3D-Daten bereit. Kommen zwei oder mehr Kameras zum Einsatz, so ist ein erster notwendiger Schritt die Kalibrierung der Kameras, d.h. das Bestimmen der Positionen und Orientierungen der Kameras im Raum (externe Parameter) sowie das Bestimmen von Brennweiten, Hauptpunkten und Verzerrungsparametern (interne Parameter). MVTec bietet für die Kalibrierung mit Halcon neben den Softwarefunktionen für die Kalibrierung auch hochpräzise gefertigte Kalibrierobjekte an, die eine zügige und genaue Kalibrierung des Kamerasystems ermöglichen. Die Schätzung von 3D-Daten aus den 2D-Kamerabildern basiert auf der Korrespondenzschätzung in den einzelnen Ansichten. Sind für einen Objektpunkt dessen 2D-Bildpunkte in den kalibrierten Kameraansichten bekannt, kann aus den Bildpunkten der ursprüngliche Objektpunkt rekonstruiert werden (Triangulation). Die Bestimmung von Korrespondenzen setzt voraus, dass die Objekte eine gewisse Struktur aufweisen, z.B. durch Textur oder Geometrie (Ecken, Kanten). In homogenen Bereichen können keine Korrespondenzen und somit keine 3D-Informationen bestimmt werden. Abhilfe können hier aktive Beleuchtungen schaffen, die ein strukturgebendes Muster auf das Objekt projizieren und somit eine Schätzung ermöglichen.

Veranschaulichung einer Hand-Eye-Calibration (Bild: MVTec)

Weiterverarbeitung von 3D-Punktewolken

Halcon bietet sowohl für die Korrespondenzschätzung, als auch für die Triangulation effiziente Funktionen an, mit Hilfe derer ein 3D-Modell in Form einer Punktwolke generiert werden kann. Ausgehend von der Punktwolke kann diese nun für bestimmte Aufgaben weiterverarbeitet werden. So besteht die Möglichkeit, vorhandene 3D-Modelle aus CAD-Programmen mit dem gemessenen Modell zu registrieren um beispielsweise Fertigungsgenauigkeiten zu bestimmen. Ein wichtiger Baustein in der Verarbeitungskette ist die Möglichkeit, das Kamerasystem bezüglich eines Roboter-Koordinatensystem (z.B. ein Greifarm) zu Kalibrieren (Hand-Eye-Calibration). Dies ermöglicht es, gemessene 3D-Punkte anzusteuern um z.B. Werkstücke zu greifen. Neben den skizzierten Funktionen bietet Halcon eine Vielzahl von weiteren Bildverarbeitungsfunktionen, die sich aufgrund seiner Modularität schnell kombinieren lassen, um neue Lösungen zu generieren.