Software liest Bildschirme ohne Schnittstellen aus
Roboter lernt lesen
Mittels der Software Opdra von VisCheck und einer normalen Kamera können Roboter zukünftig Bildschirme bzw. Displays einfach selbst und damit automatisiert auslesen. Schnittstellen, die bei Brownfield-Anlagen häufig nicht möglich oder für neue Maschinen zu komplex bzw. unflexibel sind, werden hierfür nicht benötigt.
Eine an einem Omron-Roboter befestigte Kamera liest mit der Software Opdra von VisCheck die Informationen auf einem Bildschirm aus und kann mithilfe individueller Programmierung dem Roboter einen entsprechenden Befehl geben. (Bild: VisCheck GmbH)
Ein Mensch schaut auf einen Monitor und erfährt alles. Warum soll dann ein Roboter eine Schnittstelle benötigen? Diese Überlegung stand am Anfang der Entwicklung der Software Opdra. In die Tat umgesetzt hat das die 2015 gegründete Firma VisCheck. Am Anfang stand dabei ein Problem, das der mittelständische Unternehmer Ralph Hufschmied 2018 identifiziert hatte. Sein wachsendes Unternehmen Hufschmied Zerspanungssysteme hatte zwar eine stetig steigende Nachfrage, die Maschinen standen aber nachts mangels Personal still. Nun hätte er immer mehr Maschinen kaufen und am Tag arbeiten lassen können, doch dafür gab der Arbeitsmarkt die benötigten Fachkräfte nicht her. So wurde die Idee zur Software Opdra geboren.
Die Kamera des Roboters von Neura Robotics liest den Display der Küchenmaschine aus. (Bild: Opdra)
Herausforderung Bildschirmerkennung
Die Bildschirmerkennung erwies sich als anspruchsvoll, da eine Vielzahl an Schrifttypen und Umweltbedingungen möglich sind. Ein größeres Problem war außerdem die individuelle Anpassung an den jeweiligen Bildschirm. Das Auslesen des gesamten Bildschirminhalts führt in der Regel zu einem Zeichenfriedhof. Entscheidend ist dabei die einfache Markierung des eigentlich Relevanten. Das umzusetzen erwies sich jedoch als komplex. Jeder kennt z.B. eine Microsoft-Office-Anwendung. Hat man nach dem Speichern noch etwas geändert und will das Programm schließen, enthält der Bildschirm abertausende Zeichen. Relevant sind aber nur die drei Felder: Speichern/Nicht speichern/Abbrechen. Daher ergibt es Sinn, nur diese Felder auszulesen. Hierfür wurde ein spezieller Editor entwickelt, um mittels Maus das Relevante zu markieren.
Was passiert mit den gelesenen Zeichen?
Somit ist es gelungen, das optische Wahrnehmungsvermögen eines Menschen maschinell zu imitieren. Um aus dem Gelesenen auch Entscheidungen herbeizuführen, können in Opdra in Skripte hinterlegt werden. Erscheint z.B. auf einem Bildschirm die Information ‚Prozess beendet‘, liest das die Software und kann mithilfe individueller Programmierung einem Roboter einen entsprechenden Befehl geben. Denkbar ist auch das Ablesen von Messergebnissen. Je nach Wert wird dann ein Objekt in die Kiste für IO oder NIO-Teile von einem Roboter gelegt. Z.B. hat VisCheck bereits im Rahmen eines Forschungsprojektes den Fall einer älteren Abkantpresse bearbeitet. Die Blechdicke wird zunächst gemessen und das Ergebnis mittels Opdra von der Messmaschine abgelesen. Da das Ergebnis für den Biegewinkel von Bedeutung ist, tippt danach ein Miniroboter die Werte in die Tastatur der Abkantpresse. Neben der Fertigung erscheint aber auch ein Einsatz im Labor sinnvoll.
VisCheck stellt die Software Opdra seinen Partnern zur Verfügung, damit diese ihre Vorstellungen umsetzen können. Partner sind primär Hersteller von Cobots bzw. deren Integratoren, wie Universal Robots, Fanuc, Omron, ABB, Franka Emika, Kassow Robots, Neura Robotics, Doosan und Kuka. Für Integratoren hat das Geschäftsmodell den Vorteil, dass sie einerseits erstmals Arbeitsabläufe automatisieren können, die zuvor mangels Datentransfer als nicht automatisierbar galten. Zeitgleich steigt die Wertschöpfung durch die individuellen Anpassungen der Integratoren. VisCheck kann im Gegenzug leicht skalieren. Mittlerweile gibt es Schnittstellen zu fast jedem Roboter.
