3D Kamerasysteme im BinPicking

Effizienzsteigerung durch 3D

Der Automatisierungsprozess kann durch den Einsatz von 3D Kamerasystemen enorm beschleunigt werden. Diese liefern im Vergleich zu 2D Kameras direkt fertige, metrische 3D Bilder. Robotersysteme, die mit 3D Kamerasystemen ausgestattet sind, können die Ausrichtung der Objekte genau erkennen. Dies ist eine Schlüsseltechnologie für effektives Pick and Place. 2D Systeme können die Objekte nur in einer Ebene lokalisieren, weshalb sie für den Griff in die Kiste (Bin Picking) nicht geeignet sind. Hier kommt nun die 3D Punktwolke mit ins Spiel.

3D Punktwolke

3D Kamerasysteme sind meist standardmäßig nicht mit Farbkameras ausgestattet, daher sind in 3D Punktwolken in der Regel keine Farbinformationen enthalten.

Bei manchen Problemstellungen kann die Farbinformation über einen Bereich in der 3D Punktwolke hilfreich sein. Ein Beispiel für ein Projekt, bei dem diese Farbinfos nötig sind, ist das Picken von Teilen aus einer Kiste mit mehreren Lagen. Wir meinen damit Lagen von Teilen, wobei die einzelnen Lagen jeweils durch Zwischenböden aus Holz, Karton, Kunststoff oder anderem getrennt sind.

Die Teile in unserem Beispiel sind ringförmig und die Zwischenböden bestehen nur aus einer Gitterstruktur. Aus Sicht der Kamera, sind mehrere Lagen gleichzeitig zu sehen. Die Komplexität liegt darin, zu erkennen, ob eine Ebene komplett leer gepickt wurde.

Erschwerend wirkt hier, dass die Zwischenböden flexibel sind und Wellen schlagen. Oft ist unklar, ob eine Ebene komplett geleert ist und man den Zwischenboden aus der Kiste nehmen kann.

Sinnhaftigkeit der Farb-Punktwolke

Um die Unterscheidung zwischen dem Gitter und den Teilen zu vereinfachen, können Farbinfos in der Punktwolke helfen. Die Teile selbst sind metallisch grau, während die Böden immer blau sind.  Eine Voraussetzung zur Nutzung von Farbinfos ist die genaue Zuordnung von 3D Punkten zu den Farbwerten.

Koordinatentransformation

Diese Zuordnung ist nur möglich, wenn die Koordinatentransformationen zwischen Farbkamera und 3D Kamerasystem genau bekannt ist. Das bedeutet, dass die Koordinaten jedes Punktes der Farbkamera in das Koordinatensystem des 3D Kamerasystems gewandelt werden muss.

Um diese Transformation zu errechnen gibt es verschiedene Möglichkeiten, deren Vor- und Nachteile unter einigen Gesichtspunkten zu beurteilen sind. Ein wichtiger Aspekt ist die Benutzerfreundlichkeit. Diese ist besonders wichtig, wenn es darum geht, nach dem Tausch von Komponenten die Anlage möglichst schnell und einfach wieder in Betrieb zu setzen. Weitere Punkte können erreichbare Genauigkeit, Aufwand und zusätzlich benötigte Komponenten sein.

Berechnung der Position durch Hand Auge Kalibrierung 

Wenn Roboter Teile greifen sollen, die eine Kamera bereits erkannt hat, benötigt man eine Koordinatentransformation. Die Position der Teile ist nach der Lokalisierung im Kamerabild nur der Kamera selbst bekannt. Daher muss auch bekannt sein, wo sich der Roboter in Bezug auf die Kamera befindet. Diese Information wird mit der sogenannten Hand-Auge-Kalibrierung berechnet. Dabei werden Bilder von einem eingelernten Objekt aufgenommen, das der Roboter ins Blickfeld der Kamera hält. Das Teil wird erkannt und die Position in Bezug auf die Kamera berechnet. Zusätzlich wird noch die aktuelle Position des Roboters gespeichert, an der er stand als das Bild aufgenommen wurde.

Lokalisierung der Position

Zunächst nehmen wir eine Anzahl an Bildern und Daten auf.  Wenn ausreichend Daten vorhanden sind, stellt das System ein Gleichungssystem auf. Die Lösung dieses Gleichungssystems  ist eine Koordinatentransformation zwischen dem Kamera- und dem Roboterkoordinatensystem. Mit Hilfe dieser Umwandlung, kann nun die Position des zu pickenden Teils, das im Kamerabild lokalisiert werden, im Roboterkoordinatensystem angegeben werden. Dieser Ablauf funktioniert unabhängig davon, ob es sich um eine 3D oder 2D Kamera handelt, die die Teile lokalisiert.

Wie entsteht nun ein 3D Farbbild?

Um 3D Daten in Farbe darzustellen, müssen wir die Informationen der Farbsysteme (2D) mit den 3D Daten verknüpfen. Die aus unserer Sicht beste Möglichkeit, Farbinfos aus einer 2D Kamera mit den Informationen einer 3D Kamera zu verknüpfen, ist ebenfalls eine Hand Auge Kalibrierung zu verwenden. Beide Systeme haben das Roboter-Koordinatensystem als gemeinsamen Nenner. Dazu muss die Koordinatentransformation zum Roboter bei beiden bekannt sein.

Die 3D Daten werden erst in das Robotersystem und dann weiter in das 2D Farbkamerakoordinatensystem umgewandelt. Dadurch erhält man die 3D Daten aus dem Blickwinkel der Farbkamera. Die Zuordnung der 3D Punkte zu einer Farbe erfolgt. Anschließend stehen alle Möglichkeiten zur Verwendung dieser Daten offen. In unserem Beispiel eben die Lokalisierung blauer Punkte im 3D Raum, die uns sagen wo die Zwischenlagen und wo die Teile liegen.

Vereinfacht gesagt…

Nun werden sowohl die 2D Daten in Farbe als auch die 3D Daten der anderen Kamera, an das Roboterkoordinatensystem übermittelt. Erst zusammen ergeben sie ein 3D Farbbild.

Ein Vorteil liegt darin, dass das Vision System die Zwischenböden (blau) erkennt. So kann der Roboter besser erkennen, ob noch ein Teil auf dem Zwischenboden liegt. Dadurch weiß dass System, wann es diesen Boden entfernen kann.

Ohne Farbinformationen kann es sein, dass die Zwischenlage nicht als solche erkannt wird, besonders wenn sie nicht komplett flach liegt.

 Zusammenfassend:

• 2D Systeme können Objekte nur in einer Ebene lokalisieren, daher kommen sie nur in Kombination mit 3D Systemen zum Einsatz, wenn es um Bin Picking geht .
• 3D Kamerasysteme sind beim Bin Picking, bei denen chaotisch liegende Teile in Schäferkisten o.ä. liegen unverzichtbar.
• 3D Kamerasysteme sind in der Regel ohne Farbinformationen.
• Punktwolken in Farbe entstehen durch Koordinatentransformation der 2D Farb- sowie der 3D Daten.
• Wenn Zwischenböden aus Holz, Kunststoff o.ä. zum Einsatz kommen, sind 3D Punktwolken in Farbe sehr hilfreich.
• 3D ermöglicht schnellere und präzisere Analysen, wenn keine Farbdaten erforderlich sind.

Wir bieten effiziente, wirtschaftliche Lösungen unter Berücksichtigung aller Gesichtspunkte für Ihre Anwendungen und Bedürfnisse.

Verfasser: Rolf H. / Bearbeiter: Cornelia F. / Manfred S.