Arbeitspaket 2

Softwarebausteine für die Servicerobotik als Intralogistik System-of-Systems

Wissenschaftliche Leitung

Prof. Dr. Christian Schlegel

Wissenschaftliche Mitarbeiter

Timo Blender, M.Sc.
Nayabrasul Shaik, M.Sc.
Ehemalige Mitarbeiter : Matthias Lutz, M.Sc., Matthias Rollenhagen, M.Sc.

Beitrag / Entstehender Mehrwert

Das Arbeitspaket 2 baut auf den Ergebnissen von Arbeitspaket 1 auf und erweitert diese, indem ein Repository mit konfigurierbaren Software-Komponenten für Basisfunktionen kollaborativer Systeme in der Intralogistik aufgebaut wird. Geplant sind Software-Komponenten bspw. für soziale Navigation, mobile Manipulation, situative Konfigurationsauswahl auf einem Serviceroboter zur ressourcen- und qualitätsadäquaten Zielerreichung sowie die Integration von Servicerobotern in intralogistikrelevante Managementsysteme (Warehouse-Management, Business-Process-Management).

Ausgehend von existierenden SmartSoft-Software-Komponenten, Robotik-Algorithmen und Robotik-Bibliotheken sollen SmartSoft-Bausteine erstellt werden, welche die Realisierung von Intralogistik-Anwendungen mittels eines Baukastens ermöglichen.

Steht den Unternehmen ein solcher Baukasten zur Verfügung, ist ihnen eine Fokussierung auf die individuellen Prozesse und Anforderungen möglich, anstatt grundlegende Probleme wie bspw. Roboternavigation selbst lösen zu müssen.

Aktuelle Ergebnisse des Arbeitspaketes

Im Zuge des Arbeitspakets wurden neue Komponenten gemäß den Anforderungen aus Intralogistik-Szenarien (Arbeitspaket 8) entwickelt und evaluiert. Zusammengefasst erschließen diese Bausteine folgende Fähigkeiten:

1. Kommissionieren mit einem Vakuumgreifer
2. Erkennung und Lokalisierung eines A-Frame-Regals zur Kommissionierung in strukturierten Bereichen
3. Erkennung und Lokalisierung von Verpackungsschachteln in Originalkartons in Fachbodenregalen zur Kommissionierung in unstrukturierten Bereichen,
4. Verhaltensmodelle für die Koordination von Kommissionierabläufen,
5. Personenverfolgung für Roboter, so dass diese einem Kommissioniermitarbeiter folgen können
6. Anbindung moderner RGBD-Sensorik (Kinect v2, Realsense-Kamera) für eine verbesserte Erkennungsqualität von Objekten und Menschen.

Diese Bausteine verwenden die in Arbeitspaket 1 entwickelten Service-Definitionen und sind in den in Arbeitspaket 8 beschriebenen Szenarien im Einsatz. Die folgende Liste zeigt beispielhaft einige der verwendeten Komponenten und deren Projektherkunft des ersten Szenarios.

Verhaltenskoordination

TCLSequencer	Der TCLSequencer übernimmt die Interpretation und Ausführung der Verhaltensmodelle, welche in SmartTCL (Smart Task Coordination Language) entwickelt wurden. Für die Ausführung der Tasks orchestriert der TCLSequencer alle anderen Komponenten.
KnowledgeBase	Die ComponentKB stellt die Wissensbasis des Robotersystems dar. Hier werden die zur Laufzeit systemweiten Informationen gespeichert. Hierzu zählen sowohl Roboterzustände, als auch anwendungsrelevante Informationen wie bspw. Regal-Lokationen, Artikel-Eigenschaften und Greifstrategien.
Seq2SeqCom	Die ComponentSeq2SeqCom stellt die Kommunikation zwischen zwei kollaborativen Robotern zur Verfügung. Hat der Pick-Roboter bspw. das Zielregal erreicht wartet er auf eine Nachricht des Transportroboters, dass dieser ebenfalls angekommen und bereit ist.
Verhaltensmodelle	Zur Ausführung der Kommissionieraufgabe wird das notwendige Roboterverhalten in SmartTCL-Blöcken definiert. Diese werden zur Laufzeit zur Orchestrierung aller Komponenten auf dem Roboter verwendet. Entwickelt wurden u.a. die folgenden abstrakten Blöcke: commission-one-order: Ordnet die Kommissionierreihenfolge, um unnötige Wege zu vermeiden und erstellt einen Plan für die anstehende Aufgabe. commission-one-station: Unterschiedliche Artikel können sich im gleichen Regal befinden. Daher überprüft dieser Verhaltensblock, ob eine weitere Erkennung notwendig ist oder ob  das gesuchte Objekt bereits beim letzten Erkennungsvorgang vor diesem Regal gefunden wurde. commission-one-object: Dieser Verhaltensblock organisiert das tatsächliche Pick-Verhalten. Hierzu zählen u.a. die Entscheidung, welches erkannte Objekt als nächstes gegriffen werden soll,  das Triggern der Manipulatorbewegungen zum Greifen bzw. Ablegen und das Fehlermanagement (z.B. bei aus dem Greifer herausgerutschten Objekten). detect-boxes: Nimmt die notwendige Konfiguration der Objekterkennungskomponente vor, aktiviert diese und erhält die Liste der erkannten Artikel zurück.

HMI / Benutzerinteraktion

RealSense-PersonTracker	Die SmartRealSensePersonTracker-Komponente verwendet Personen-Erkennungs-Algorithmen auf dem Stream einer RGBD-Kamera. Die Komponente kann so konfiguriert werden, dass sie eine bestimmte Person im Stream sucht und deren Position relativ zum Roboter berechnet. Diese Position kann vom Roboter verwendet werden, um der Person zu folgen.
WebInterfaceComissioning	Die ComponentWebInterfaceComissioning Komponente kann der Benutzer Befehle von einer Webschnittstelle an die Roboterflotte senden, z. B. Inbetriebnahmeauftrag, Person folgen.
ScenarioConfiguration	Die ScenarioConfiguration tool ist eine grafische Modellierungswerkzeuganwendung zur Anpassung der Roboter an neue Kontexte. Mit diesem Tool kann der Systembesitzer den domänenspezifischen Warehouse-Kontext modellieren und an die beteiligten Systeme verteilen.

Wahrnehmung / Erkennung

BoxDetection	Die ComponentKinectBoxDetection-Komponente erkennt Einzelverpackungsschachteln für die Anbruchkommissionierung. Die gesuchten Schachteln werden anhand ihrer Abmessungen und des definierten Lagerplatzes im Regal erkannt. Anschließend wird deren Position, Ausrichtung und Typ über einen Service bereitgestellt.
ComponentSlcPacking	Mit ComponentSlcPacking werden die Artikel angeordnet in einem Ladungsträger platziert. Die Komponente empfängt ein RGBD-Bild der Ladungsträgeroberfläche und bietet den nächsten verfügbaren freien Platz, um den vom Manipulator aufgehobene Artikel zu platzieren.
RackDetection	Die ComponentRackDetection-Komponente erkennt die Position und Ausrichtung eines Regals, in dem die zu kommissionierenden Objekte strukturiert angeordnet sind (A-Frame). Aus der Regal-Position berechnet die Komponente die Position der einzelnen Objekte und stellt diese über über einen Service bereit.
KinectV2Server	Die ComponentKinectV2Server-Komponente abstrahiert den Zugriff auf Farbbild- und Tiefen-Daten, welche über die Kinect-Kamera aufgenommen wurden. Diese Daten werden verwendet, um die Objekte bzw. Regale im Raum zu erkennen. Hierzu stellt die Komponente Services sowohl für Einzelbilder als auch für Videostreams zur Verfügung.
RealSenseV2-Server	Die ComponentRealSenseV2Server-Komponente abstrahiert den Zugriff auf Farbbild- und Tiefen-Daten, welche über die Realsense-Kamera aufgenommen wurden. Diese Daten werden verwendet, um die Objekte bzw. Regale im Raum zu erkennen. Hierzu stellt die Komponente Services sowohl für Einzelbilder als auch für Videostreams zur Verfügung.

Manipulation

SmartURServerLegacy	Die SmartURServerLegacy-Komponente abstrahiert den Zugriff auf den Roboterarm (UR5), indem die Kommunikation mit der Hardware gekapselt und über Services vereinfacht zugänglich gemacht wird.
OpenRave	Die ComponentOpenRave-Komponente stellt die Schnittstelle zur OpenRave-Bibliothek dar, welche die Planung von Roboterarm-Bewegungen unter Berücksichtigung von Kollisionsmodellen durchführt. Dadurch ist es möglich Manipulationen in unstrukturierten Bereichen auszuführen, ohne mit Hindernissen zu kollidieren. Dies ist bspw. notwendig, um ein Objekt aus einem Karton zu greifen.
SmartSchunk-GripperServer	Die SmartSchunkGripperServer-Komponente abstrahiert den Zugriff auf ein Greifwerkzeug der Firma Schunk, welches am Roboterarm montiert ist. Die Komponente kapselt die Kommunikation mit der Hardware und macht sie einfach über Services zugänglich.

Navigation

AmclWithTags

Die ComponentAmclWithTags erweitert den AMCL-Lokalisierungsalgorithmus, um visuelle Tags zusammen mit Laser zu verwenden. Die Komponente bietet die verringerte Unsicherheit bei Posenschätzungen während der Verfolgung unter Verwendung eines virtuellen Lasers, der von einer kostengünstigen RGBD-Kamera erzeugt wird.

Geplante Komponenten

• Anbindung an ein Workflow-Management-System zur Vereinfachung der Anpassung von Prozessabläufen
• Anbindung an Warehouse-Management-System um Aufträge zu erhalten
• Anbindung an ein ERP-System um Artikel-Informationen zu erhalten