Kategorie: BinPicking

Effizienzsteigerung durch 3D

Der Automatisierungsprozess kann durch den Einsatz von 3D Kamerasystemen enorm beschleunigt werden. Diese liefern im Vergleich zu 2D Kameras direkt fertige, metrische 3D Bilder. Robotersysteme, die mit 3D Kamerasystemen ausgestattet sind, können die Ausrichtung der Objekte genau erkennen. Dies ist eine Schlüsseltechnologie für effektives Pick and Place. 2D Systeme können die Objekte nur in einer Ebene lokalisieren, weshalb sie für den Griff in die Kiste (Bin Picking) nicht geeignet sind. Hier kommt nun die 3D Punktwolke mit ins Spiel.

3D Punktwolke

3D Kamerasysteme sind meist standardmäßig nicht mit Farbkameras ausgestattet, daher sind in 3D Punktwolken in der Regel keine Farbinformationen enthalten.

Bei manchen Problemstellungen kann die Farbinformation über einen Bereich in der 3D Punktwolke hilfreich sein. Ein Beispiel für ein Projekt, bei dem diese Farbinfos nötig sind, ist das Picken von Teilen aus einer Kiste mit mehreren Lagen. Wir meinen damit Lagen von Teilen, wobei die einzelnen Lagen jeweils durch Zwischenböden aus Holz, Karton, Kunststoff oder anderem getrennt sind.

Die Teile in unserem Beispiel sind ringförmig und die Zwischenböden bestehen nur aus einer Gitterstruktur. Aus Sicht der Kamera, sind mehrere Lagen gleichzeitig zu sehen. Die Komplexität liegt darin, zu erkennen, ob eine Ebene komplett leer gepickt wurde.

Erschwerend wirkt hier, dass die Zwischenböden flexibel sind und Wellen schlagen. Oft ist unklar, ob eine Ebene komplett geleert ist und man den Zwischenboden aus der Kiste nehmen kann.

Sinnhaftigkeit der Farb-Punktwolke

Um die Unterscheidung zwischen dem Gitter und den Teilen zu vereinfachen, können Farbinfos in der Punktwolke helfen. Die Teile selbst sind metallisch grau, während die Böden immer blau sind.  Eine Voraussetzung zur Nutzung von Farbinfos ist die genaue Zuordnung von 3D Punkten zu den Farbwerten.

Koordinatentransformation

Diese Zuordnung ist nur möglich, wenn die Koordinatentransformationen zwischen Farbkamera und 3D Kamerasystem genau bekannt ist. Das bedeutet, dass die Koordinaten jedes Punktes der Farbkamera in das Koordinatensystem des 3D Kamerasystems gewandelt werden muss.

Um diese Transformation zu errechnen gibt es verschiedene Möglichkeiten, deren Vor- und Nachteile unter einigen Gesichtspunkten zu beurteilen sind. Ein wichtiger Aspekt ist die Benutzerfreundlichkeit. Diese ist besonders wichtig, wenn es darum geht, nach dem Tausch von Komponenten die Anlage möglichst schnell und einfach wieder in Betrieb zu setzen. Weitere Punkte können erreichbare Genauigkeit, Aufwand und zusätzlich benötigte Komponenten sein.

Berechnung der Position durch Hand Auge Kalibrierung 

Wenn Roboter Teile greifen sollen, die eine Kamera bereits erkannt hat, benötigt man eine Koordinatentransformation. Die Position der Teile ist nach der Lokalisierung im Kamerabild nur der Kamera selbst bekannt. Daher muss auch bekannt sein, wo sich der Roboter in Bezug auf die Kamera befindet. Diese Information wird mit der sogenannten Hand-Auge-Kalibrierung berechnet. Dabei werden Bilder von einem eingelernten Objekt aufgenommen, das der Roboter ins Blickfeld der Kamera hält. Das Teil wird erkannt und die Position in Bezug auf die Kamera berechnet. Zusätzlich wird noch die aktuelle Position des Roboters gespeichert, an der er stand als das Bild aufgenommen wurde.

Lokalisierung der Position

Zunächst nehmen wir eine Anzahl an Bildern und Daten auf.  Wenn ausreichend Daten vorhanden sind, stellt das System ein Gleichungssystem auf. Die Lösung dieses Gleichungssystems  ist eine Koordinatentransformation zwischen dem Kamera- und dem Roboterkoordinatensystem. Mit Hilfe dieser Umwandlung, kann nun die Position des zu pickenden Teils, das im Kamerabild lokalisiert werden, im Roboterkoordinatensystem angegeben werden. Dieser Ablauf funktioniert unabhängig davon, ob es sich um eine 3D oder 2D Kamera handelt, die die Teile lokalisiert.

Wie entsteht nun ein 3D Farbbild?

Um 3D Daten in Farbe darzustellen, müssen wir die Informationen der Farbsysteme (2D) mit den 3D Daten verknüpfen. Die aus unserer Sicht beste Möglichkeit, Farbinfos aus einer 2D Kamera mit den Informationen einer 3D Kamera zu verknüpfen, ist ebenfalls eine Hand Auge Kalibrierung zu verwenden. Beide Systeme haben das Roboter-Koordinatensystem als gemeinsamen Nenner. Dazu muss die Koordinatentransformation zum Roboter bei beiden bekannt sein.

Die 3D Daten werden erst in das Robotersystem und dann weiter in das 2D Farbkamerakoordinatensystem umgewandelt. Dadurch erhält man die 3D Daten aus dem Blickwinkel der Farbkamera. Die Zuordnung der 3D Punkte zu einer Farbe erfolgt. Anschließend stehen alle Möglichkeiten zur Verwendung dieser Daten offen. In unserem Beispiel eben die Lokalisierung blauer Punkte im 3D Raum, die uns sagen wo die Zwischenlagen und wo die Teile liegen.

Vereinfacht gesagt…

Nun werden sowohl die 2D Daten in Farbe als auch die 3D Daten der anderen Kamera, an das Roboterkoordinatensystem übermittelt. Erst zusammen ergeben sie ein 3D Farbbild.

Ein Vorteil liegt darin, dass das Vision System die Zwischenböden (blau) erkennt. So kann der Roboter besser erkennen, ob noch ein Teil auf dem Zwischenboden liegt. Dadurch weiß dass System, wann es diesen Boden entfernen kann.

Ohne Farbinformationen kann es sein, dass die Zwischenlage nicht als solche erkannt wird, besonders wenn sie nicht komplett flach liegt.

 Zusammenfassend:

• 2D Systeme können Objekte nur in einer Ebene lokalisieren, daher kommen sie nur in Kombination mit 3D Systemen zum Einsatz, wenn es um Bin Picking geht .
• 3D Kamerasysteme sind beim Bin Picking, bei denen chaotisch liegende Teile in Schäferkisten o.ä. liegen unverzichtbar.
• 3D Kamerasysteme sind in der Regel ohne Farbinformationen.
• Punktwolken in Farbe entstehen durch Koordinatentransformation der 2D Farb- sowie der 3D Daten.
• Wenn Zwischenböden aus Holz, Kunststoff o.ä. zum Einsatz kommen, sind 3D Punktwolken in Farbe sehr hilfreich.
• 3D ermöglicht schnellere und präzisere Analysen, wenn keine Farbdaten erforderlich sind.

Wir bieten effiziente, wirtschaftliche Lösungen unter Berücksichtigung aller Gesichtspunkte für Ihre Anwendungen und Bedürfnisse.

Verfasser: Rolf H. / Bearbeiter: Cornelia F. / Manfred S.

Die passende Brille für den Roboter

Wenn der Roboter richtig greifen soll, dann muss er erst mal gut „sehen“. Damit das möglich ist, benötigt er eine Kamera und manchmal sogar zwei. Die richtige Kamerawahl ist wie die Suche nach einer passenden Brille. Es gibt ein breites Spektrum an Kamerasystemen auf dem Markt. Die Betrachtung der Wirtschaftlichkeit sollte vor allem unter dem Fokus des Nutzens bewertet werden. 3D ist nicht besser wie 2D, wenn die Anwendung es nicht erfordert . Die Wahl der richtigen Kamerasysteme ist also ein wichtiger Punkt.

Bei der bsAutomatisierung kommen daher die verschiedensten Kamerasysteme zum Einsatz. In unseren Bin Picking Zellen werden zur Zeit 3D Systeme verwendet. 2D Systeme kommen nur dann zum Einsatz, wenn Farbe benötigt wird.

In diesem und im nächsten Beitrag gehen wir auf die Vorteile der Anwendung eines 3D Kamerasystems in der Automatisierung, speziell im Bin Picking ein. Daneben besprechen wir das Thema Punktwolke und die Anwendung von Farbe .

Roboter können bereits viele aufwendige Aufgaben durchführen. Um ein Teil zu greifen und zu platzieren, werden unterschiedlichste Greifer oder Sauger genutzt. Da Roboter jedoch weder sehen noch denken können, benötigen sie die Infos über Ort und Lage von der Bildverarbeitung. Diese sind für die Steuerung des Arms notwendig. Ohne diese kann der Roboter, die für uns Menschen simple „Pick and Place“ Anwendung nicht durchführen. Doch wie kann der Roboter nun gezielt zugreifen?

Intelligent automatisierte Interaktion

Wir Menschen sind aus gutem Grund mit zwei Augen ausgestattet, denn nur so können wir räumlich sehen und Entfernungen einschätzen. Was für uns ganz natürlich ist, ist für die Aufgabe des Pick and Place mit Robotern und Kamerasystemen eine sehr komplexe Aufgabe. Denken Sie an die Entwicklung von Menschen.

Babys haben noch kein Gefühl dafür, ob etwas nah bei ihm liegt oder weiter entfernt liegt. Auch ob etwas groß oder sehr klein ist. Sie greifen zunächst oft daneben, bis sie das Spielzeug richtig gegriffen haben. Erst durch Probieren und die Übung wird das Einschätzen von Entfernungen und Größen trainiert und optimiert.

Der Roboter muss also wie ein Baby erst lernen, gezielt dorthin zu greifen, wo sich ein Teil befindet.

Für mehr Details siehe Infofeld „Augen-Hand-Koordination“

Kalibrierte 3D Kamerasysteme

Gerade bei 3D Kamerasystemen beschleunigt es den Projektablauf enorm, wenn auf fertig kalibrierte 3D Kamerasysteme zurückgegriffen wird.

Zwei Kamerasysteme, die unter anderem bei unseren Bin Picking-Zellen häufig zum Einsatz kommen sind:

• Ensenso 3D Kameras von IDS Imaging Development Systems GmbH
• PhoXi 3D Scanner von Photoneo Inc.

Mehr zu diesem Thema lesen Sie im nächsten Blogbeitrag „3D Kamerasysteme im BinPicking“

Verfasser: Rolf H. / Bearbeiter: Cornelia F. / Manfred S.

Das war der LiveAct 2020

LiveAct nennen wir unsere Kundenveranstaltung, bei der wir unsere Bin Picking Technologie live an einer Anlage vorführen.

Unsere Kunden bestätigen uns, dass unsere LiveAct Veranstaltungen in diesem Jahr ein voller Erfolg und sehr spannen waren. Innerhalb kürzester Zeit nach dem Versand der Einladungen, waren alle Plätze reserviert.

Dies bestärkt uns in der Entscheidung, weiterhin solche Events für unsere Kunden und Interessenten anzubieten. Unsere intelligenten, nachhaltigen Automatisierungslösungen helfen Ihrem Unternehmen zum Erfolg – versprochen!

Was ist der LiveAct?

Er ist eine live Vorführung mit unseren Spezialisten rund ums schnelle und präzise Be- und Entladen Ihrer Folgemaschinen. Das ganze findet bei uns in Rosenfeld oder an einer Kundenanlage in Betrieb statt. Nach der Anreise erwarten Sie kleine Snacks und ein kurzer Vortrag über unsere bisherigen Arbeiten und Entwicklungen. Anschließend gehen wir direkt zur Vorführzelle.

Beim LiveAct haben Sie die Möglichkeit, sich in kleiner Runde mit bis zu 20 Teilnehmern auszutauschen und zu informieren. Im Zentrum stehen unsere Lösungen zur Automatisierung sowie unsere Bin Picking Lösung. Wenn Sie zu uns kommen, werden wir die meisten Ihrer Fragen direkt beantworten. Damit Sie sich von unserem Erfolgskonzept überzeugen können, demonstrieren wir Ihnen unserer „Bin Picking“ Zelle in Betrieb mit Kunden- oder Testteilen. Bringen Sie Ihre eigenen Werkstücke mit und sehen Sie, wie Ihre Teile in das System eingelernt werden können. Wir benötigen dafür nur ihre CAD Daten und einige Werkstücke.

Sollten Ihre Teile aufgrund der Beschaffenheit oder Größe nicht für den LiveAct geeignet sein, berät Sie gerne einer unserer Mitarbeiter.

Was macht den LiveAct so erfolgreich?

Das Interesse an intelligenter Automatisierung und Handhabungstechnik ist in den letzten Jahren enorm gestiegen und steigt weiterhin.

Bei uns bekommen Sie alles aus einer Hand, wir lassen Sie nicht alleine. Beim LiveAct lernen Sie unsere Spezialisten rund um die Automatisierung kennen. Somit kennen Sie Ihre Ansprechpartner fürs Projekt persönlich. Überzeugen Sie sich selbst von den vielen Vorteilen von nur einem Projektpartner. Bei der Live Vorführung sowie Besichtigung, können Sie sich von unseren Zellen, Lösungen, Wissen und Arbeitsweise ein Bild machen und Fragen stellen.

Wir geben 100% und bringen vollste Dynamik in Ihre Prozesse!

Aus einer Hand:

• Konzeption,
• Planung und
• Umsetzung der Konstruktion,
• Steuerungs-Programmierung und
• Fertigung
• einschließlich der Inbetriebnahme und
• Bedienerschulung vor Ort
• persönliche Ansprechpartner

mehr braucht es nicht, um Ihre Prozesse erfolgreich zu optimieren.

Fazit der letzten LiveAct Veranstaltungen

Wir blicken auf einen chancenreichen LiveAct mit vielen Anfragen voller Potential zurück. Dass der LiveAct sich immer mehr an Beliebtheit erfreut, ist uns bekannt. Wir haben aufgrund der großen Nachfrage die Teilnehmerzahl verdoppelt und unser Konzept entsprechend optimiert.

Unsere Teilnehmer haben Interesse daran, ihre Prozesse zu automatisieren. Gewisse Ideen und Vorstellungen sind vorhanden. Aber selten ist bewusst, wie effizient und zielführend unsere Bin-Picking-Zelle im Vergleich zu anderen Lösungen sein kann. Viele Teilnehmer verlassen unser Event mit einem a-ha Erlebnis und einer neuen Sichtweise. Auch wir erweitern unseren Horizont nach jeder Veranstaltung.

Termin verpasst?

Kein Problem, aufgrund der hohen Nachfrage, wird es noch weitere Veranstaltungen dieser Art geben.

Abonnieren Sie unseren Newsletter oder lesen Sie weiterhin unseren Blog, um Infos sowie Termine zu erhalten.

VIP Liste

Wenn Sie als einer der Ersten von unseren Terminen erfahren wollen, schicken Sie einfach ein E-Mail über unser Kontaktformular oder an vertrieb@bsgruppe.com mit Betreff VIP Liste.

Profitieren Sie jetzt von unserer 20 jährigen Erfahrung im Bereich der Automatisierung.

„ANMELDUNG“ Newsletter

Der Anfang von Industrie 4.0

Viele Betriebe haben einen Großteil der Produktion automatisiert. Dennoch werden die Rohteile noch immer sehr oft von Mitarbeitern aus der Kiste in den Produktionsprozess eingebracht. Dies gilt speziell dann, wenn die Teile für  mechanische Transportsysteme, wie z.B. Rütteltöpfe,  zu empfindlich sind. Oder wenn es für die Typenvielfalt noch keine mechanische Lösung gibt. In vielen dieser Fälle ist Bin Picking, also „der Griff in die Kiste“ immer häufiger eine sehr gute Lösung. Mehr dazu.

Bei den meisten Bin Picking Anwendungen, geht es um das Be- und Entladen im Umfeld von Produktionsprozessen. Dabei werden zum Beladen von Maschinen, chaotisch liegende Teile aus Gitterboxen oder Schäferkisten entnommen. Die Teile werden dann entweder einer Maschine direkt oder einem Tray zugeführt. In beiden Fällen müssen die Teile lagerichtig zugeführt werden. Und genau in dieser Umsetzung von chaotisch zu lagerichtig, liegt die Kernaufgabe der Bin Picking Lösung.

Eine solche Bin Picking Anlage kennt das 3D Modell der Teile! Nur so können diese später von der Kamera mit Erfolg gesucht und deren Lage erkannt werden. Der von der Kamera erkannte Ort und die Lage eines Teiles wird dann an den Roboter übermittelt.

Diese Informationen nutzt die Steuerung des Roboters, um mit seinem Greifer das Teil in idealer Weise zu greifen. Die Bahnplanung ist ein ganz zentrales Element, für das Funktionieren einer Bin Picking Anlage. Sie prüft zunächst, wie die Teile an der erkannten Stelle zu greifen sind. Insbesondere prüft sie, ob Hindernisse auf dem Weg zum Teil den Zugriff verhindern. Wenn der Zugriff möglich ist, fährt der Roboter in die Kiste und holt sich das Teil. Entsprechend der Aufgabe wird dieses dann an den nächsten Arbeitsschritt wie Teileträger, Band oder Maschine übergeben.

Auge, Hirn und Hand des Bin Picking

Das ist hier recht simpel in ein paar Sätzen beschrieben. In Wirklichkeit ist es ein sehr komplexer Prozess.

Einen großen Schritt hat die Verbesserung der 3D Kameras gebracht. So ist die Auflösung  heute 20 x besser als vor 6 Jahren und weitere Verbesserungen stehen kurz vor der Marktreife.

Damit betrachten viele die komplexe Aufgabe beim Bin Picking als gelöst. Durch die Umsetzung in die Praxis, entdecken wir jedoch, dass jede Anwendung neue Herausforderungen mit sich bringen. Diese liegen häufig in den Oberlfächen oder den Geometrien der Teile.

Ein aktuelles Bin Picking Projekt

Bei einem aktuellen Projekt, gab es ein spannendes Problem. Die Greifpunkte des Teils sind weit vom Schwerpunkt entfernt. Dies hat zur Folge, dass der Roboter die Teile nicht mit ausreichender Stabilität zum Ziel verfahren kann. Durch die Optimierung der Greifer und der Software, konnte dieses Problem sehr gut gelöst werden. Dieses Zusammenspiel, findet für jede Situation den richtigen Greifwinkel. Es überrascht nicht, dass bei Beginn neuer Entwicklungen vor allem die Kombination von Hardware und Software große Potentiale freilegt.

Deshalb muss es unbedingt gelingen, die Komponenten wie:

• 3D Kamera
• Bildverarbeitung
• Bahnplanung
• Roboter und
• Greifer

zu einer leistugstarken Einheit zu verbinden.

Mensch schlägt Roboter

Prozesse die automatisiert werden sollen, zeigen oft erst nach der Automatisierung, welche Fehler zuvor im manuellen Prozess durch die Menschen ausgeglichen werden. Dies ist einem Roboter heute so (noch) nicht möglich. Nehmen wir als Beispiel die Abweichung von Toleranzen bei Rohteilen.

Eine Anlage wird zunächst davon ausgehen, dass die übermittelte geometrische Form exakt eingehalten wird. Das ist bei Gussteilen nicht immer die Realität. Dies wird spätestens dann deutlich, wenn der Greifer das Teil nicht sauber greifen kann. Der Mensch kann solche Unschärfen völlig problemlos und ohne neue Programmierung ausgleichen. Damit moderne Anlagen dies ähnlich realisieren könnten, bräuchte es eine selbstlernende Intelligenz. Diese ist noch 5 oder mehr Jahre entfernt.

Oft werden diese Abweichungen erst im Projekt bemerkt und es müssen Lösungstrategien erarbeitet werden. Dabei ist es wichtig, dass alle Komponenten optimiert werden können, da sie eng miteinander verbunden sind. In dem oben genannten Fall wurden maßliche  Abweichungen von Rohlingen festgestellt, die die Toleranzvorgaben um ein mehrfaches überschritten haben. Ohne eine Anpassung der Software wäre dieser Fall nicht zu lösen gewesen.

Bin Picking – Jonglieren mit 5 Bällen

Aber nicht immer sind es die  Besonderheiten der Teile. Auch die Komponenten wie Kamera, Roboter, Bahnplanung, Greifer usw. haben Eigenheiten die mit einer intelligenten Software ausgeglichen werden.

Durch moderne Bin Picking Anlagen, ist es möglich die Menschen mit attraktiveren Arbeiten zu betrauen. Sie müssen nun nicht mehr rund um die Uhr stumpfsinnig Teile aus einer Box herausnehmen und wie eine Maschine dem Produktionsprozess zuführen. Das machen jetzt Roboter mit modernen Kameras als Augen.

Trotz der hohen Komplexität und der hohen Investiotion, haben diese Anlagen oft einen ROI (return on investment) von weniger als 2 Jahren, mitunter sogar weniger als 1 Jahr.       

Wenn Sie mehr über Bin Picking erfahren wollen, dann schauen Sie doch hier.