Ernteroboter erkennt und erntet reife Paprika

Der Sweet Pepper Robot, kurz Sweeper, besteht aus einem Werkzeug zum Schneiden und Fangen der Paprika, einer kombinierten Farb- und 3D-Kamera, einem industriellen Roboterarm mit sechs Freiheitsgraden, diversen Computern und Elektronik.
Der Sweet Pepper Robot, kurz Sweeper, besteht aus einem Werkzeug zum Schneiden und Fangen der Paprika, einer kombinierten Farb- und 3D-Kamera, einem industriellen Roboterarm mit sechs Freiheitsgraden, diversen Computern und Elektronik. Bild: www.sweeper-robot.eu

Die Wageningen University & Research ist eine Universität und eine Auftragsforschungseinrichtung für Entwicklungen in den Bereichen Life Science sowie Agrar- und Ernährungswirtschaft. Das Forschungsunternehmen arbeitet hauptsächlich mit Industrieunternehmen, Regierungsbehörden und anderen wissenschaftlichen Instituten zusammen. Derzeit sind dort rund 11.000 Studenten, fast 2.000 Doktoranden sowie rund 5.000 Vollzeitmitarbeiter beschäftigt, die aus über 100 verschiedenen Ländern kommen. Die Initiative WUR Agro Food Robotics ist ein gemeinsames Programm mehrerer Forschungsgruppen der WUR mit etwa 30 bis 50 Mitarbeitern. Das Programm versucht, neues Wissen in die Praxis umzusetzen, indem es Machbarkeitsstudien, funktionale Entwürfe, Prototypenentwicklungen, Tests und Validierungen durchführt sowie neue Produktimplementierungen unterstützt. Darüber hinaus beraten und unterstützen die Mitglieder des Programms Unternehmen sowie Regierungsbehörden bei Entscheidungen darüber, wann und wie Robotik eingesetzt wird oder nicht.

Die Lösung basiert auf einer RGB-D-Kamera, die gleichzeitig Farb- und Tiefeninformationen ausgibt.
Die Lösung basiert auf einer RGB-D-Kamera, die gleichzeitig Farb- und Tiefeninformationen ausgibt.Bild: www.sweeper-robot.eu

Robotik als Lösung für die Herausforderungen der Branche

Gewächshäuser werden auf der ganzen Welt genutzt, um Pflanzen anzubauen. Allerdings ist diese Anbaumethode mit hohen Investitions- und Betriebskosten verbunden. In den letzten Jahrzehnten wurde die Branche mit der zunehmenden Größe der Produktionsanlagen, dem Fachkräftemangel und den steigenden Anforderungen an Qualität, Hygiene, Lebensmittelsicherheit und Rückverfolgbarkeit konfrontiert.

Viele Arbeiten werden noch manuell durchgeführt, z.B. das Ernten. Die Verfügbarkeit von qualifizierten Arbeitskräften, die unter den fordernden klimatischen Bedingungen im Gewächshaus sehr monotone, körperlich anstrengende Aufgaben übernehmen, sinkt jedoch stetig. Der daraus resultierende Anstieg der Arbeitskosten setzt die Branche stark unter Druck und fordert alternative Lösungen. Robotik und Sensorik haben das Potenzial, diese Anforderungen zu bedienen. Durch den Übergang zu einem robotergestützten Produktionssystem wird erwartet, dass die Pflanzenproduktion deutlich effizienter und nachhaltiger wird.

In ersten Experimenten erkannte und erntete der Roboter 61 Prozent der reifen Paprika. Er benötigte im Durchschnitt 24 Sekunden für einen Erntevorgang.
In ersten Experimenten erkannte und erntete der Roboter 61 Prozent der reifen Paprika. Er benötigte im Durchschnitt 24 Sekunden für einen Erntevorgang. Bild: www.sweeper-robot.eu

Automatisierte Paprikaernte

Von 2010 bis 2014 wurde das europäische Forschungsprojekt Clever Robots for Crops (Crops) durchgeführt, in dem erste Schritte hin zu einer roboterisierten Paprikaernte unternommen wurden. Auf dieses Projekt folgte der Sweet Pepper Robot, der Sweeper. Der entwickelte Prototyp besteht aus den folgenden Modulen: einem Werkzeug zum Schneiden und Fangen der Paprika, einer kombinierten Farb- und 3D-Kamera, einem industriellen Roboterarm mit sechs Freiheitsgraden, diversen Computern und Elektronik. Eine batteriebetriebene Plattform bewegt den Roboter autonom durch das Treibhaus. Das Erntewerkzeug ist am Ende des Roboterarms montiert und setzt sich aus einer mechanischen Rolle, einem Messer und einem Fänger zusammen. Sobald das Kamerasystem eine reife Paprika gefunden hat, positioniert der Roboterarm das Werkzeug auf dem Fruchtstamm. Der Arm bewegt das Werkzeug dann mit einem vibrierenden Messer einige Zentimeter nach unten und schneidet die Paprikafrucht in der Nähe des Hauptstiels ab. Das Kamerasystem zur Erkennung von reifen Paprika ist direkt am Erntekopf montiert. Mit Hilfe dieses Prinzips, das sich Eye-in-Hand nennt, erreicht der Roboter eine höhere Erntegeschwindigkeit als seine Vorgängermodelle, bei denen Sensoreinheit und Roboterarm getrennt voneinander platziert waren. Des Weiteren sind LED-Blitzleuchten um die Kamera herum angeordnet. Dadurch kann das System unabhängig vom Tageslicht arbeiten. Die Algorithmen der Bildanalyse wurden trainiert, um Hindernisse wie Blätter und Pflanzenstämme zu erkennen. Simulierte künstliche Paprikapflanzenmodelle und Deep-Learning-Netzwerkalgorithmen beschleunigten den Trainingsprozess.

sdr 1
Bild: www.sweeper-robot.eu

Genaue Objektdetektion

Eine zentrale Funktion des Sweeper ist das Erkennen von reifen Paprikas, die geerntet werden sollen. Dafür muss die 3D-Position jeder Frucht mit hoher Genauigkeit bestimmt werden. Die gewählte Lösung basiert auf einer RGB-D-Kamera, die gleichzeitig Farb- und Tiefeninformationen ausgibt. Die Kamera (Fotonic F80) verwendet eine Time-of-Flight (ToF)-Technik zur Tiefenmessung sowie einen Sensor zur Messung von RGB und Tiefe, wodurch vollständig registrierte Kanäle möglich sind. Mit dieser Kamera und einem speziell entwickelten LED-basierten Blitzlicht-Beleuchtungssystem werden RGB-Bilder der Anlage sowohl aus der Ferne als auch aus nächster Nähe aufgenommen. Um einen Betrieb mit hoher Bildrate zu ermöglichen, wurde mit Halcon ein form- und farbbasierter Detektionsalgorithmus implementiert. Der Algorithmus scannt jedes aufgenommene Bild nach Bereichen, die den Zielfarbschwellenwerten entsprechen. Erkannte Bereiche werden verfeinert, indem Teilbereiche, die die vordefinierten Minimal-/Maximalgrößen überschreiten, entfernt werden. Um Fehldetektionen weiter zu beseitigen, werden zusätzliche Formparameter berechnet. Schließlich werden die Tiefeninformationen der Kamera verwendet, um das Volumen der erfassten Bereiche zu berechnen. Diese Informationen werden dann verwendet, um Fehler beim Erkennen weiter zu reduzieren sowie zu vermeiden, unreife Paprika zu ernten. Die genaue 3D-Lage des Objektes wird aus den extrahierten Tiefeninformationen und der in Weltkoordinaten transformierte Pixelkoordinaten des Bereichs berechnet. Der Erntevorgang spielt sich dann wie folgt ab: Der Roboterarm nähert sich der Frucht durch eine bildgestützte Robotersteuerung, die das Ziel in der Mitte der Bilder hält, bis es erreicht ist.

Seiten: 1 2