Neue Edge-Architektur für smarte Vision-Systeme

Bildverarbeitung im Wandel

Die industrielle Bildverarbeitung ist aktuell im Umbruch. 3D-Kameras, künstliche Intelligenz und hohe Rechenleistung in Edge Devices eröffnen neue Möglichkeiten in zahlreichen Anwendungen. Autonom arbeitende mobile Maschinen, wie z.B. autonome Transportfahrzeuge in der Intralogistik oder mobile Roboter, gehören zu den Anwendungsfeldern, die von den neuen Technologien profitieren können.

Autonom arbeitende mobile Roboter sind eine der Anwendungen für die neue verarbeitungsplattform O3R. IFM bietet passend dazu Kameraköpfe, 3D-Sensoren oder eine Kombination aus 3D- und 2D-Sensoren mit verschiedenen Öffnungswinkeln und Auflösungen. (Bild: IFM Electronic GmbH)

Einer der wichtigsten Anwendungsfälle – die mobile Robotik – zeigt, wie umfangreich die Anforderungen an die industrielle Bildverarbeitung und andere Sensortechnik sind. Ziel sind autonom agierende Fahrzeuge. Diese verwenden in der Regel mehrere Sensoren, die mit unterschiedlichen Prinzipien arbeiten. Neben RGB- und 3D-Kameras, wie die aus der O3R-Serie von IFM, kommen auch Laserscanner, Radar- oder Ultraschallsensoren zum Einsatz. Diese stellen quasi die Sinnesorgane der mobilen Maschine dar. Verwendet wird hier die sogenannte Sensordatenfusion, bei der zusätzliche Informationen aus der Kombination der Daten der verschiedenen Sensoren gewonnen werden.

Hardware-Plattform

IFM bietet mit der neuen Hardware-Plattform O3R eine passende Lösung für solche Anwendungen und will Entwicklern sowohl die Vorentwicklung als auch die Serienentwicklung erleichtern, durch eine Softwareumgebung und eine reiche Auswahl an Software-Tools und -Schnittstellen. Zentrale Komponente ist ein Edge Device, das sowohl eine hohe Rechenleistung zu Verfügung stellt als auch die Möglichkeit, unterschiedliche Sensoren einfach anzubinden. Insgesamt können bis zu sechs 3D-Kameras und zahlreiche weitere Sensoren angeschlossen werden. Der Kameraanschluss geschieht über Flat Panel Display Link, für die anderen Sensoren stehen GigE-Schnittstellen zur Verfügung. CAN-Schnittstellen sorgen für die einfache Einbindung in die Architektur eines mobilen Roboters. Ein Linux-System, das mit einer Nvidia Video Processing Unit ausgerüstet ist, bildet die Hardware-Basis. Die Leistungsfähigkeit der GPU ist skalierbar und kann so auf die jeweilige Applikation angepasst werden. Mit den verfügbaren ROS2-Treibern lässt sich das System einfach in Robotikapplikationen integrieren. Da die Bildverarbeitung bei dem neuen O3R-Konzept in das Edge-Gerät wandert, ist in der Kamera kaum Datenverarbeitung notwendig. Es können daher auch mehrere verschiedene Kameras eingesetzt werden, die entsprechend günstig sind. IFM bietet passend dazu Kameraköpfe, die 3D-Sensoren oder eine Kombination aus 3D- und 2D-Sensoren mit verschiedenen Öffnungswinkeln und Auflösungen enthalten.

An das smarte KI-Edge-Device der Hardware-Plattform O3R können bis zu sechs 3D-Kameras und zahlreiche weitere Sensoren angeschlossen werden. (Bild: IFM Electronic GmbH)

Neuronale Netze und künstliche Intelligenz

Da das Edge-Device auf Linux-Basis sehr viel Rechenleistung bietet, können auch anspruchsvolle Applikationen umgesetzt werden. Speziell Anwendungen mit künstlicher Intelligenz, die in der industriellen Bildverarbeitung eine immer größere Rolle spielen, sind auf diese Leistungsfähigkeit angewiesen. So lassen sich neuronale Netze für Bildverarbeitungsanwendungen implementieren, die mit herkömmlichen algorithmischen Methoden nicht möglich wären. Diese Methoden des Deep Learnings lassen sich einsetzen, um eine verbesserte Orientierung von autonomen mobilen Robotern zu realisieren. Durch das dazu verwendete Verfahren, Simultaneous Localization and Mapping (Slamming), weiß der AMR, wie seine Umgebung aussieht und wo er sich innerhalb dieser Umgebung befindet (Localization). Wenn er sich in dieser Umgebung bewegt, kann er zusätzlich eine Karte seiner Umgebung anfertigen (Mapping). Durch den Einsatz von neuronalen Netzen und anderen Methoden der KI lassen sich solche Aufgaben lösen.